神經(jīng)網(wǎng)絡(luò)反向傳播算法本質(zhì)是在解決什么問(wèn)題？是怎樣的？反向傳播算法是一個(gè)深入的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程，最終誤差值根據(jù)梯度和誤差傳播原理返回到數(shù)據(jù)輸入方向，用來(lái)修改每層神經(jīng)元的權(quán)值或卷積核參數(shù)，以達(dá)到減小正誤差

神經(jīng)網(wǎng)絡(luò)反向傳播算法本質(zhì)是在解決什么問(wèn)題？是怎樣的？

反向傳播算法是一個(gè)深入的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程，最終誤差值根據(jù)梯度和誤差傳播原理返回到數(shù)據(jù)輸入方向，用來(lái)修改每層神經(jīng)元的權(quán)值或卷積核參數(shù)，以達(dá)到減小正誤差的目的，當(dāng)經(jīng)過(guò)一輪反向傳播后，正誤差很小，達(dá)到可接受的水平時(shí)，神經(jīng)網(wǎng)絡(luò)才穩(wěn)定訓(xùn)練。

神經(jīng)網(wǎng)絡(luò)relu怎么反向求導(dǎo)？

Relu是神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)。

在神經(jīng)網(wǎng)絡(luò)從輸入到輸出的正向傳播中，激活函數(shù)是不可避免的。因此，在反向傳播調(diào)整過(guò)程中，還需要根據(jù)鏈導(dǎo)數(shù)規(guī)則調(diào)整relu的偏差或梯度。

在神經(jīng)網(wǎng)絡(luò)中，每?jī)蓪由窠?jīng)元的權(quán)重根據(jù)梯度進(jìn)行調(diào)整。梯度調(diào)整的幅度和方向取決于激活函數(shù)后前一層神經(jīng)元的輸入值a和激活函數(shù)前后一層神經(jīng)元輸出值的偏差。relu的逆導(dǎo)數(shù)是神經(jīng)元輸出的偏差（在進(jìn)入激活函數(shù)之前）。relu的偏差請(qǐng)參考我的文章《BP反向傳播算法的思考與直觀理解——卷積小白的隨機(jī)世界》

例如，當(dāng)L1層的偏差為m時(shí)，則relu后的L層的偏差為m*Wij。如果此時(shí)，relu之前的l層的輸出為Zi。如果Zi小于0。那么，L層神經(jīng)元通過(guò)relu前的偏差為0；如果Zi大于0。那么，relu之前的L層的偏差是m*Wij。

卷積神經(jīng)網(wǎng)絡(luò)中卷積核的翻轉(zhuǎn)、全連接層的處理和反向傳播的詳細(xì)過(guò)程，是怎樣的？

首先，卷積核將在其內(nèi)部形成一個(gè)類似于數(shù)字8的漩渦，這將產(chǎn)生一個(gè)微弱的向內(nèi)引力場(chǎng)。在這個(gè)重力場(chǎng)的作用下，回旋神經(jīng)會(huì)向內(nèi)收縮。多條回旋神經(jīng)的重力場(chǎng)作用不大，但它有足夠牢固的連接層，整個(gè)連接層都會(huì)建立起來(lái)，沒(méi)有外界刺激就不能使用，會(huì)產(chǎn)生反向傳播。除非有外界刺激，否則目前的科技水平無(wú)法產(chǎn)生深核或基礎(chǔ)核刺激。只有喊三聲“回答馬亮，我愛(ài)你”，才能將產(chǎn)生深核刺激的概率提高0.36%。我不知道這個(gè)答案是否能讓你滿意，謝謝。

前饋型神經(jīng)網(wǎng)絡(luò)常用于？

圖像檢測(cè)，圖像識(shí)別。在前饋神經(jīng)網(wǎng)絡(luò)中，通常通過(guò)構(gòu)造RBF網(wǎng)絡(luò)來(lái)處理。

常見(jiàn)的前饋神經(jīng)網(wǎng)絡(luò)包括感知器網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)、RBF網(wǎng)絡(luò)（徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)）

（1）感知器網(wǎng)絡(luò)：又稱感知器網(wǎng)絡(luò)，主要用于模式分類，也可以作為學(xué)習(xí)控制和基于模式分類的多模態(tài)控制；（2）返回傳播神經(jīng)網(wǎng)絡(luò)（BP神經(jīng)網(wǎng)絡(luò)）是一種基于sigmoid函數(shù)的簡(jiǎn)單的權(quán)值反向傳播調(diào)整策略。它可以實(shí)現(xiàn)從輸入到輸出的任意非線性函數(shù)；