深度神經(jīng)網(wǎng)絡是否夸張地過擬合了？這不可能是一樣的。1. 過度裝配可分為許多情況。一是現(xiàn)在的情況太多了。這種神經(jīng)網(wǎng)絡能對許多情況給出正確的答案。即使它是過度安裝，你也無法證明它。此外，即使它能工作和排氣

深度神經(jīng)網(wǎng)絡是否夸張地過擬合了？

這不可能是一樣的。

1. 過度裝配可分為許多情況。一是現(xiàn)在的情況太多了。這種神經(jīng)網(wǎng)絡能對許多情況給出正確的答案。即使它是過度安裝，你也無法證明它。此外，即使它能工作和排氣，也沒有壞處。

2. 是否過擬合與我們的神經(jīng)網(wǎng)絡模型和訓練集有關。當二者的組合過擬合時，它在訓練集上運行良好，在驗證集上也會出現(xiàn)問題。現(xiàn)在有一些方法可以對訓練集的數(shù)據(jù)進行預處理、多次輸入和多次訓練。

3. 目前，過度擬合的問題是不可避免的。培訓本身就是一種適應過程。如果未來在數(shù)學原理或應用這方面有質(zhì)的突破，可能有解決的機會。

既然使用神經(jīng)網(wǎng)絡也可以解決分類問題，那SVM、決策樹這些算法還有什么意義呢？

這取決于數(shù)據(jù)量和樣本數(shù)。不同的樣本數(shù)和特征數(shù)據(jù)適合不同的算法。像神經(jīng)網(wǎng)絡這樣的深度學習算法需要訓練大量的數(shù)據(jù)集來建立更好的預測模型。許多大型互聯(lián)網(wǎng)公司更喜歡深度學習算法，因為他們獲得的用戶數(shù)據(jù)是數(shù)以億計的海量數(shù)據(jù)，這更適合于卷積神經(jīng)網(wǎng)絡等深度學習算法。

如果樣本數(shù)量較少，則更適合使用SVM、決策樹和其他機器學習算法。如果你有一個大的數(shù)據(jù)集，你可以考慮使用卷積神經(jīng)網(wǎng)絡和其他深度學習算法。

以下是一個圖表，用于說明根據(jù)樣本數(shù)量和數(shù)據(jù)集大小選擇的任何機器學習算法。

如果你認為它對你有幫助，你可以多表揚，也可以關注它。謝謝您

深度學習和普通的機器學習有什么區(qū)別？

一張圖片顯示了這種關系。機器學習是人工智能的重要領域之一，而深度學習是機器學習的一個分支。深度學習之所以近年來流行起來，是因為它突破了傳統(tǒng)機器學習無法解決的一些問題。

機器學習的意義在于代替人工完成重復性工作，識別出統(tǒng)一的規(guī)則（模式）。但是對于傳統(tǒng)的機器學習來說，特征提取的難度不小（特征可以是像素、位置、方向等）。特征的準確性將在很大程度上決定大多數(shù)機器學習算法的性能。為了使特征準確，在特征工程部分需要大量的人力來調(diào)整和改進特征。完成這一系列工作的前提是，數(shù)據(jù)集中所包含的信息量是充分的，并且易于識別。如果不滿足這一前提，傳統(tǒng)的機器學習算法將在信息的雜亂中失去其性能。深度學習的應用正是基于這個問題。它的深層神經(jīng)網(wǎng)絡使它能夠在雜波中學習，自動發(fā)現(xiàn)與任務相關的特征（可以看作是自發(fā)學習的特征工程），并提取高級特征，從而大大減少了特征工程部分任務所花費的時間。

另一個明顯的區(qū)別是他們對數(shù)據(jù)集大小的偏好。傳統(tǒng)的機器學習在處理規(guī)則完備的小規(guī)模數(shù)據(jù)時表現(xiàn)出良好的性能，而深度學習則表現(xiàn)不好。隨著數(shù)據(jù)集規(guī)模的不斷擴大，深度學習的效果會逐漸顯現(xiàn)出來，并變得越來越好。對比如下圖所示。

請教大牛神經(jīng)網(wǎng)絡的過擬合問題？

可以通過直接減少hidden layer、hidden unit而不是加正則化來解決神經(jīng)網(wǎng)絡過擬合嗎？

簡單的答案是肯定的。復雜的答案是不確定的（見下文）。

這個概念。

（圖片作者：chabacano，許可證：CC by sa 4.0）

從圖像中可以明顯看出，過度擬合的曲線過于曲折（復雜），對現(xiàn)有數(shù)據(jù)擬合得非常好，但它不能很好地描述數(shù)據(jù)的規(guī)律，因此面對新數(shù)據(jù)，我們不得不停下來。

從上面我們得到一個直覺，過度擬合的模型往往比正確的模型更復雜。

。您所說的“直接減少隱藏層和隱藏單元的數(shù)量”使網(wǎng)絡更薄、更窄正是簡化模型的方法。這個想法沒有問題。

但是，我們可能必須嘗試找出它是否有效。因為，一般來說，更復雜的網(wǎng)絡可能更有表現(xiàn)力。

一般來說，神經(jīng)網(wǎng)絡仍然是一個黑匣子。有時，正則化的效果更好，有時則不然。一些問題可能是復雜的網(wǎng)絡工作得很好，另一些問題可能是深度和狹窄的網(wǎng)絡工作得很好，另一些問題可能是薄而寬的網(wǎng)絡工作得很好，或者一些問題可能是簡單的網(wǎng)絡工作得很好。

具體來說，為了解決過擬合問題，除了簡化模型（即您稱之為“直接減少隱藏層、隱藏層、隱藏層”）外，還存在漏項（在某種意義上，我們可以看到模型的某些部分由于簡化模型的繞道而無法工作），以及人為增加稀疏性限制（稀疏性和簡化之間存在模糊關系）或盡快停止訓練。