機(jī)器學(xué)習(xí)中使用“正則化來(lái)防止過(guò)擬合“到底是一個(gè)什么原理？說(shuō)白了，正則化就是給原來(lái)的極值函數(shù)增加不確定性，也就是說(shuō)，你不能滿足你給出的所有數(shù)據(jù)集。那對(duì)你的健康有害。我會(huì)添加一些隨機(jī)性和懲罰因素，讓你保留

機(jī)器學(xué)習(xí)中使用“正則化來(lái)防止過(guò)擬合“到底是一個(gè)什么原理？

說(shuō)白了，正則化就是給原來(lái)的極值函數(shù)增加不確定性，也就是說(shuō)，你不能滿足你給出的所有數(shù)據(jù)集。那對(duì)你的健康有害。我會(huì)添加一些隨機(jī)性和懲罰因素，讓你保留一些。

可以通過(guò)直接減少hidden layer、hidden unit而不是加正則化來(lái)解決神經(jīng)網(wǎng)絡(luò)過(guò)擬合嗎？

簡(jiǎn)單的答案是肯定的。復(fù)雜的答案是不確定的（見(jiàn)下文）。

這個(gè)概念。

（圖片作者：chabacano，許可證：CC by sa 4.0）

從圖像中可以明顯看出，過(guò)度擬合的曲線過(guò)于曲折（復(fù)雜），對(duì)現(xiàn)有數(shù)據(jù)擬合得非常好，但它不能很好地描述數(shù)據(jù)的規(guī)律，因此面對(duì)新數(shù)據(jù)，我們不得不停下來(lái)。

從上面我們得到一個(gè)直覺(jué)，過(guò)度擬合的模型往往比正確的模型更復(fù)雜。

。您所說(shuō)的“直接減少隱藏層和隱藏單元的數(shù)量”使網(wǎng)絡(luò)更薄、更窄正是簡(jiǎn)化模型的方法。這個(gè)想法沒(méi)有問(wèn)題。

但是，我們可能必須嘗試找出它是否有效。因?yàn)?，一般?lái)說(shuō)，更復(fù)雜的網(wǎng)絡(luò)可能更有表現(xiàn)力。

一般來(lái)說(shuō)，神經(jīng)網(wǎng)絡(luò)仍然是一個(gè)黑匣子。有時(shí)，正則化的效果更好，有時(shí)則不然。一些問(wèn)題可能是復(fù)雜的網(wǎng)絡(luò)工作得很好，另一些問(wèn)題可能是深度和狹窄的網(wǎng)絡(luò)工作得很好，另一些問(wèn)題可能是薄而寬的網(wǎng)絡(luò)工作得很好，或者一些問(wèn)題可能是簡(jiǎn)單的網(wǎng)絡(luò)工作得很好。

具體來(lái)說(shuō)，為了解決過(guò)擬合問(wèn)題，除了簡(jiǎn)化模型（即您稱之為“直接減少隱藏層、隱藏層、隱藏層”）外，還存在漏項(xiàng)（在某種意義上，我們可以看到模型的某些部分由于簡(jiǎn)化模型的繞道而無(wú)法工作），以及人為增加稀疏性限制（稀疏性和簡(jiǎn)化之間存在模糊關(guān)系）或盡快停止訓(xùn)練。

機(jī)器學(xué)習(xí)中常常提到的正則化到底是什么意思？

簡(jiǎn)而言之，機(jī)器學(xué)習(xí)就是根據(jù)樣本數(shù)據(jù)訓(xùn)練一個(gè)模型，然后用這個(gè)模型來(lái)計(jì)算測(cè)試數(shù)據(jù)的輸出值。由于樣本數(shù)據(jù)存在一定的誤差，訓(xùn)練后的模型容易出現(xiàn)“過(guò)擬合”（即模型與樣本數(shù)據(jù)幾乎匹配，但不是實(shí)際模型）。正則化是為了解決“過(guò)擬合”問(wèn)題，使模型更接近實(shí)際情況，防止被錯(cuò)誤的樣本數(shù)據(jù)“偏誤”。

在上圖中，圖1擬合不足（通常是因?yàn)闃颖緮?shù)據(jù)太少），圖2擬合過(guò)度。該模型雖然與樣本數(shù)據(jù)完全吻合，但過(guò)于復(fù)雜和陌生，明顯脫離實(shí)際。圖3是添加正則化后接近真實(shí)模型的結(jié)果。

請(qǐng)教大牛神經(jīng)網(wǎng)絡(luò)的過(guò)擬合問(wèn)題？

你的問(wèn)題很模糊。你想知道神經(jīng)網(wǎng)絡(luò)的過(guò)擬合是什么樣的嗎？為什么會(huì)有過(guò)擬合。對(duì)于第一個(gè)問(wèn)題，神經(jīng)網(wǎng)絡(luò)的過(guò)擬合類似于支持向量機(jī)、高斯混合模型等建模方法的過(guò)擬合，說(shuō)明訓(xùn)練數(shù)據(jù)集的建模效果很好，而測(cè)試數(shù)據(jù)集的建模效果很差，由于強(qiáng)學(xué)習(xí)能力是預(yù)測(cè)模型中的噪聲會(huì)湮滅有用信息，導(dǎo)致泛化能力差。對(duì)于第二個(gè)問(wèn)題，產(chǎn)生上述現(xiàn)象的主要原因是隱層節(jié)點(diǎn)過(guò)多（隱層節(jié)點(diǎn)越多，學(xué)習(xí)能力越強(qiáng)），這使得預(yù)測(cè)模型在訓(xùn)練過(guò)程中挖掘訓(xùn)練數(shù)據(jù)集中的噪聲，即噪聲會(huì)湮滅有用信息。因此，在使用神經(jīng)網(wǎng)絡(luò)建模時(shí)，必須處理模型過(guò)擬合的問(wèn)題。一方面，我們可以增加樣本數(shù)據(jù)集，另一方面，我們可以使用交叉驗(yàn)證來(lái)選擇適當(dāng)數(shù)量的隱層節(jié)點(diǎn)，在精度和泛化能力之間做出權(quán)衡。最常用的方法是加入正則化項(xiàng)，在一定程度上可以防止模型過(guò)擬合的問(wèn)題。（機(jī)器學(xué)習(xí)算法和python學(xué)習(xí)）