神經(jīng)網(wǎng)絡(luò)過(guò)擬合的表現(xiàn) 深度神經(jīng)網(wǎng)絡(luò)是否夸張地過(guò)擬合了？
深度神經(jīng)網(wǎng)絡(luò)是否夸張地過(guò)擬合了？這不可能是一樣的。1. 過(guò)度裝配可分為許多情況。一是現(xiàn)在的情況太多了。這種神經(jīng)網(wǎng)絡(luò)能對(duì)許多情況給出正確的答案。即使它是過(guò)度安裝，你也無(wú)法證明它。此外，即使它能工作和排氣
深度神經(jīng)網(wǎng)絡(luò)是否夸張地過(guò)擬合了？
這不可能是一樣的。
1. 過(guò)度裝配可分為許多情況。一是現(xiàn)在的情況太多了。這種神經(jīng)網(wǎng)絡(luò)能對(duì)許多情況給出正確的答案。即使它是過(guò)度安裝，你也無(wú)法證明它。此外，即使它能工作和排氣，也沒(méi)有壞處。
2. 是否過(guò)擬合與我們的神經(jīng)網(wǎng)絡(luò)模型和訓(xùn)練集有關(guān)。當(dāng)二者的組合過(guò)擬合時(shí)，它在訓(xùn)練集上運(yùn)行良好，在驗(yàn)證集上也會(huì)出現(xiàn)問(wèn)題。現(xiàn)在有一些方法可以對(duì)訓(xùn)練集的數(shù)據(jù)進(jìn)行預(yù)處理、多次輸入和多次訓(xùn)練。
3. 目前，過(guò)度擬合的問(wèn)題是不可避免的。培訓(xùn)本身就是一種適應(yīng)過(guò)程。如果未來(lái)在數(shù)學(xué)原理或應(yīng)用這方面有質(zhì)的突破，可能有解決的機(jī)會(huì)。
既然使用神經(jīng)網(wǎng)絡(luò)也可以解決分類(lèi)問(wèn)題，那SVM、決策樹(shù)這些算法還有什么意義呢？
這取決于數(shù)據(jù)量和樣本數(shù)。不同的樣本數(shù)和特征數(shù)據(jù)適合不同的算法。像神經(jīng)網(wǎng)絡(luò)這樣的深度學(xué)習(xí)算法需要訓(xùn)練大量的數(shù)據(jù)集來(lái)建立更好的預(yù)測(cè)模型。許多大型互聯(lián)網(wǎng)公司更喜歡深度學(xué)習(xí)算法，因?yàn)樗麄儷@得的用戶數(shù)據(jù)是數(shù)以億計(jì)的海量數(shù)據(jù)，這更適合于卷積神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)算法。
如果樣本數(shù)量較少，則更適合使用SVM、決策樹(shù)和其他機(jī)器學(xué)習(xí)算法。如果你有一個(gè)大的數(shù)據(jù)集，你可以考慮使用卷積神經(jīng)網(wǎng)絡(luò)和其他深度學(xué)習(xí)算法。
以下是一個(gè)圖表，用于說(shuō)明根據(jù)樣本數(shù)量和數(shù)據(jù)集大小選擇的任何機(jī)器學(xué)習(xí)算法。
如果你認(rèn)為它對(duì)你有幫助，你可以多表?yè)P(yáng)，也可以關(guān)注它。謝謝您
可以通過(guò)直接減少hidden layer、hidden unit而不是加正則化來(lái)解決神經(jīng)網(wǎng)絡(luò)過(guò)擬合嗎？
簡(jiǎn)單的答案是肯定的。復(fù)雜的答案是不確定的（見(jiàn)下文）。
這個(gè)概念。
（圖片作者：chabacano，許可證：CC by sa 4.0）
從圖像中可以明顯看出，過(guò)度擬合的曲線過(guò)于曲折（復(fù)雜），對(duì)現(xiàn)有數(shù)據(jù)擬合得非常好，但它不能很好地描述數(shù)據(jù)的規(guī)律，因此面對(duì)新數(shù)據(jù)，我們不得不停下來(lái)。
從上面我們得到一個(gè)直覺(jué)，過(guò)度擬合的模型往往比正確的模型更復(fù)雜。
。您所說(shuō)的“直接減少隱藏層和隱藏單元的數(shù)量”使網(wǎng)絡(luò)更薄、更窄正是簡(jiǎn)化模型的方法。這個(gè)想法沒(méi)有問(wèn)題。
但是，我們可能必須嘗試找出它是否有效。因?yàn)?，一般?lái)說(shuō)，更復(fù)雜的網(wǎng)絡(luò)可能更有表現(xiàn)力。
一般來(lái)說(shuō)，神經(jīng)網(wǎng)絡(luò)仍然是一個(gè)黑匣子。有時(shí)，正則化的效果更好，有時(shí)則不然。一些問(wèn)題可能是復(fù)雜的網(wǎng)絡(luò)工作得很好，另一些問(wèn)題可能是深度和狹窄的網(wǎng)絡(luò)工作得很好，另一些問(wèn)題可能是薄而寬的網(wǎng)絡(luò)工作得很好，或者一些問(wèn)題可能是簡(jiǎn)單的網(wǎng)絡(luò)工作得很好。
具體來(lái)說(shuō)，為了解決過(guò)擬合問(wèn)題，除了簡(jiǎn)化模型（即您稱之為“直接減少隱藏層、隱藏層、隱藏層”）外，還存在漏項(xiàng)（在某種意義上，我們可以看到模型的某些部分由于簡(jiǎn)化模型的繞道而無(wú)法工作），以及人為增加稀疏性限制（稀疏性和簡(jiǎn)化之間存在模糊關(guān)系）或盡快停止訓(xùn)練。