理解真正的神經(jīng)網(wǎng)絡(luò)，高等數(shù)學(xué)的知識(shí)是必須的嗎？為什么？如果我們只使用層次結(jié)構(gòu)，就不必太擔(dān)心詳細(xì)的數(shù)學(xué)推導(dǎo)過(guò)程。我們只需要知道每一部分背后的數(shù)學(xué)精神是什么。但是如果你想更上一層樓甚至更深一層樓，高等數(shù)學(xué)

理解真正的神經(jīng)網(wǎng)絡(luò)，高等數(shù)學(xué)的知識(shí)是必須的嗎？為什么？

如果我們只使用層次結(jié)構(gòu)，就不必太擔(dān)心詳細(xì)的數(shù)學(xué)推導(dǎo)過(guò)程。我們只需要知道每一部分背后的數(shù)學(xué)精神是什么。

但是如果你想更上一層樓甚至更深一層樓，高等數(shù)學(xué)的知識(shí)是不夠的，比如交叉熵還需要一些信息論的知識(shí)等等。

然而，學(xué)習(xí)是一個(gè)從少到多的過(guò)程，這最終歸因于實(shí)踐的目的。因此，我們應(yīng)該了解我們?yōu)槭裁匆@樣學(xué)習(xí)，以及為了達(dá)到我們的目標(biāo)所花費(fèi)的時(shí)間是否可以接受。

最后，讓我們說(shuō)加油。

如何估算神經(jīng)網(wǎng)絡(luò)的最優(yōu)學(xué)習(xí)率？

。

具體來(lái)說(shuō)，當(dāng)前主流的神經(jīng)網(wǎng)絡(luò)模型使用梯度下降算法進(jìn)行訓(xùn)練，或?qū)W習(xí)參數(shù)。學(xué)習(xí)速率決定權(quán)重在梯度方向上成批移動(dòng)的距離。理論上，學(xué)習(xí)率越高，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度越快。但是，如果學(xué)習(xí)速率過(guò)高，可能會(huì)“穿越”損失函數(shù)的最小值，導(dǎo)致收斂失敗。

上圖左邊是高學(xué)習(xí)率，右邊是低學(xué)習(xí)率，來(lái)源：mikkel Duif（quora）

那么，如何找到最佳學(xué)習(xí)率？

方法。但是，這種方法的初始學(xué)習(xí)率（上例中為0.1）不應(yīng)該太高。如果初始學(xué)習(xí)率太高，可能會(huì)“穿越”最優(yōu)值。

另外，還有另外一種思路，就是逆向操作，從學(xué)習(xí)率很低開始，每批之后再提高學(xué)習(xí)率。例如，從0.00001到0.0001，再到0.001，再到0.01，再到0.1。這個(gè)想法背后的直覺(jué)是，如果我們總是以很低的學(xué)習(xí)率學(xué)習(xí)，我們總是可以學(xué)習(xí)到最好的權(quán)重（除非整個(gè)網(wǎng)絡(luò)架構(gòu)有問(wèn)題），但它將非常緩慢。因此，從一個(gè)很低的學(xué)習(xí)率開始，我們可以肯定地觀察到損失函數(shù)的下降。然后逐漸加大學(xué)習(xí)率，直到學(xué)習(xí)率過(guò)高，導(dǎo)致發(fā)散。該方法還避免了上述方法初始學(xué)習(xí)率過(guò)高，一次“穿越”最優(yōu)值的隱患。這是Leslie n.Smith在2015年的論文《訓(xùn)練神經(jīng)網(wǎng)絡(luò)的循環(huán)學(xué)習(xí)率》中提出的方法。

人工智能專業(yè)包含神經(jīng)網(wǎng)絡(luò)么，考研東北大學(xué)，學(xué)校只有人工智能專業(yè)沒(méi)有神經(jīng)網(wǎng)絡(luò)專業(yè)，我該報(bào)人工智能么？

人工智能專業(yè)的主要研究?jī)?nèi)容是如何利用機(jī)器智能（主要通過(guò)計(jì)算機(jī)技術(shù)）實(shí)現(xiàn)人的問(wèn)題獲取、問(wèn)題推理和問(wèn)題解決。目前的研究領(lǐng)域包括通過(guò)機(jī)器視覺(jué)感知外界環(huán)境、機(jī)器聽覺(jué)、機(jī)器觸覺(jué)環(huán)境數(shù)據(jù)采集等。，通過(guò)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)對(duì)數(shù)據(jù)進(jìn)行分析和推理（基于神經(jīng)網(wǎng)絡(luò)模型的相關(guān)方法的研究是一個(gè)主要的研究方向）。問(wèn)題的解決主要依靠計(jì)算機(jī)科學(xué)技術(shù)的軟硬件設(shè)計(jì)和軟件工程的算法實(shí)現(xiàn)。最后通過(guò)機(jī)電工程機(jī)械設(shè)計(jì)自動(dòng)化設(shè)備系統(tǒng)解決了這一問(wèn)題。東北大學(xué)已進(jìn)入甲級(jí)學(xué)科，包括材料科學(xué)、計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程和控制科學(xué)。因此，從總體上看，東北大學(xué)在人工智能方向上具有較強(qiáng)的實(shí)力。

人工智能專業(yè)是智能科學(xué)與技術(shù)的一個(gè)分支，神經(jīng)網(wǎng)絡(luò)只是目前智能領(lǐng)域機(jī)器學(xué)習(xí)和深度學(xué)習(xí)應(yīng)用技術(shù)的典型模式。未來(lái)的發(fā)展將會(huì)有更多的模式和技術(shù)。因此，首先，神經(jīng)網(wǎng)絡(luò)不是一個(gè)專業(yè)方向，其次，在相關(guān)課程中學(xué)習(xí)并不比是否包含在內(nèi)更難，將來(lái)一定會(huì)發(fā)生。

統(tǒng)計(jì)和概率論應(yīng)該是包括人工智能在內(nèi)的智能科學(xué)學(xué)習(xí)和發(fā)展最具影響力的基礎(chǔ)學(xué)科，因?yàn)槟壳叭斯ぶ悄艿闹饕较蚴菣C(jī)器學(xué)習(xí)和基于人類經(jīng)驗(yàn)大數(shù)據(jù)的深度學(xué)習(xí)。

神經(jīng)網(wǎng)絡(luò)是大數(shù)據(jù)嗎？

神經(jīng)網(wǎng)絡(luò)不是大數(shù)據(jù)，神經(jīng)網(wǎng)絡(luò)是一種大數(shù)據(jù)處理方法。

自2016年以來(lái)，阿爾法犬以4:1奪得人類圍棋冠軍，以神經(jīng)網(wǎng)絡(luò)為代表的人工智能開始流行。神經(jīng)網(wǎng)絡(luò)（現(xiàn)在一般稱為人工神經(jīng)網(wǎng)絡(luò)），它是一種模擬動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征、分布式并行信息處理算法的數(shù)學(xué)模型。這種網(wǎng)絡(luò)依賴于系統(tǒng)的復(fù)雜性，通過(guò)調(diào)整大量?jī)?nèi)部節(jié)點(diǎn)之間的關(guān)系，從而達(dá)到處理信息的目的。

大數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)（以及其他人工智能）經(jīng)常一起討論，而且它們密切相關(guān)。正是因?yàn)橛写罅筷P(guān)于用戶行為的網(wǎng)絡(luò)大數(shù)據(jù)，我們可以利用神經(jīng)網(wǎng)絡(luò)等方法對(duì)大數(shù)據(jù)進(jìn)行分析，從而模擬人類的行為，使計(jì)算機(jī)也能識(shí)別圖形、識(shí)別聲音、分析問(wèn)題、找到問(wèn)題的最優(yōu)解等。大數(shù)據(jù)的出現(xiàn)和興起，也帶動(dòng)了神經(jīng)網(wǎng)絡(luò)技術(shù)的發(fā)展。為了處理大量的搜索行為數(shù)據(jù)，Google投入了大量的研究人員對(duì)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化以提高效率，最終開發(fā)出alpha狗。阿里巴巴、百度等其他公司也在神經(jīng)網(wǎng)絡(luò)等人工智能技術(shù)領(lǐng)域投入了大量研究人員。

神經(jīng)網(wǎng)絡(luò)和大數(shù)據(jù)可以簡(jiǎn)單地分別與人的大腦和所見所聞進(jìn)行比較。神經(jīng)網(wǎng)絡(luò)是一種數(shù)據(jù)處理方法，它往往依賴于計(jì)算機(jī)程序；大數(shù)據(jù)是大量的客觀數(shù)據(jù)和信息，大數(shù)據(jù)不依賴于計(jì)算機(jī)程序，而是存儲(chǔ)在硬盤、云硬盤等物理設(shè)備中。