前饋神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)的區(qū)別與聯(lián)系？前饋神經(jīng)網(wǎng)絡(luò)是一層節(jié)點(diǎn)，只把前一層作為輸入，輸出到后一層，本身和其他層之間沒(méi)有聯(lián)系，因?yàn)閿?shù)據(jù)是一層前向傳播的，所以叫前饋網(wǎng)絡(luò)。BP網(wǎng)絡(luò)是最常見的前

前饋神經(jīng)網(wǎng)絡(luò)、BP神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)的區(qū)別與聯(lián)系？

前饋神經(jīng)網(wǎng)絡(luò)是一層節(jié)點(diǎn)，只把前一層作為輸入，輸出到后一層，本身和其他層之間沒(méi)有聯(lián)系，因?yàn)閿?shù)據(jù)是一層前向傳播的，所以叫前饋網(wǎng)絡(luò)。

BP網(wǎng)絡(luò)是最常見的前饋網(wǎng)絡(luò)之一。BP體現(xiàn)在運(yùn)行機(jī)制上。數(shù)據(jù)輸入后，逐層向前傳播，然后計(jì)算損失函數(shù)，得到損失函數(shù)的殘差，再逐層向后傳播殘差。

卷積神經(jīng)網(wǎng)絡(luò)是基于人類視覺(jué)的特點(diǎn)，即視覺(jué)是從局部到全局的認(rèn)知，所以并不是所有的人都使用全連接（一般只有1-2個(gè)全連接層，甚至最近的研究建議取消CNN的全連接層），而是使用滑動(dòng)窗口只處理一個(gè)部分，這個(gè)運(yùn)算就像一個(gè)濾波器，這個(gè)運(yùn)算叫做卷積運(yùn)算（不是卷積運(yùn)算）信號(hào)處理的卷積運(yùn)算，當(dāng)然也可以用卷積運(yùn)算）。這種網(wǎng)絡(luò)稱為卷積神經(jīng)網(wǎng)絡(luò)。

目前最流行的網(wǎng)絡(luò)有前饋網(wǎng)絡(luò)和遞歸網(wǎng)絡(luò)，一般都是BP網(wǎng)絡(luò)；深度網(wǎng)絡(luò)一般采用卷積運(yùn)算，因此也屬于卷積神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)前的網(wǎng)絡(luò)都是連通的，但不是卷積網(wǎng)絡(luò)，而是前饋網(wǎng)絡(luò)和BP網(wǎng)絡(luò)。

神經(jīng)網(wǎng)絡(luò)是大數(shù)據(jù)嗎？

神經(jīng)網(wǎng)絡(luò)不是大數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)是一種大數(shù)據(jù)處理方法。

自2016年以來(lái)，阿爾法犬以4:1奪得人類圍棋冠軍，以神經(jīng)網(wǎng)絡(luò)為代表的人工智能開始流行。神經(jīng)網(wǎng)絡(luò)（現(xiàn)在一般稱為人工神經(jīng)網(wǎng)絡(luò)），它是一種模擬動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征、分布式并行信息處理算法的數(shù)學(xué)模型。這種網(wǎng)絡(luò)依賴于系統(tǒng)的復(fù)雜性，通過(guò)調(diào)整大量?jī)?nèi)部節(jié)點(diǎn)之間的關(guān)系，從而達(dá)到處理信息的目的。

大數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)（以及其他人工智能）經(jīng)常一起討論，而且它們密切相關(guān)。正是因?yàn)橛写罅筷P(guān)于用戶行為的網(wǎng)絡(luò)大數(shù)據(jù)，我們可以利用神經(jīng)網(wǎng)絡(luò)等方法對(duì)大數(shù)據(jù)進(jìn)行分析，從而模擬人類的行為，使計(jì)算機(jī)也能識(shí)別圖形、識(shí)別聲音、分析問(wèn)題、找到問(wèn)題的最優(yōu)解等。大數(shù)據(jù)的出現(xiàn)和興起，也帶動(dòng)了神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展。為了處理大量的搜索行為數(shù)據(jù)，Google投入了大量的研究人員對(duì)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化以提高效率，最終開發(fā)出alpha狗。阿里巴巴、百度等其他公司也在神經(jīng)網(wǎng)絡(luò)等人工智能技術(shù)領(lǐng)域投入了大量研究人員。

神經(jīng)網(wǎng)絡(luò)和大數(shù)據(jù)可以簡(jiǎn)單地分別與人的大腦和所見所聞進(jìn)行比較。神經(jīng)網(wǎng)絡(luò)是一種數(shù)據(jù)處理方法，它往往依賴于計(jì)算機(jī)程序；大數(shù)據(jù)是大量的客觀數(shù)據(jù)和信息，大數(shù)據(jù)不依賴于計(jì)算機(jī)程序，而是存儲(chǔ)在硬盤、云硬盤等物理設(shè)備中。

卷積神經(jīng)網(wǎng)絡(luò)解決了bp算法的梯度彌散問(wèn)題了么？

從理論上講，不是的

梯度色散的問(wèn)題很大程度上是由于激活函數(shù)的飽和。由于在反向傳播過(guò)程中仍然需要計(jì)算激活函數(shù)的導(dǎo)數(shù)，一旦卷積核的輸出落入函數(shù)的飽和區(qū)域，其梯度將變得很小。然而，Hinton教授提出在CNN中使用relu作為激活函數(shù)可以“改善”這個(gè)問(wèn)題。relu的定義決定了它不會(huì)在正區(qū)域飽和。

目前，CNN中的梯度色散問(wèn)題在我近年接觸的論文中很少被討論。可能是因?yàn)閞elu從工程的角度大大改善了這個(gè)問(wèn)題，所以不太關(guān)注。但可以肯定的是，目前還沒(méi)有文獻(xiàn)證明梯度色散已經(jīng)從理論上得到了解決。

關(guān)于在CNN中使用relu和dropout，請(qǐng)參閱Hinton教授的杰作：帶深度卷積神經(jīng)網(wǎng)絡(luò)的Imagenet分類。鏈接：http://www.cs.toronto.edu/~hinton/absps/imagenet.pdf