為什么要使用relu激活函數(shù)？增加了網(wǎng)絡(luò)的非線性能力，以適應(yīng)更多的非線性過程。在一定程度上，relu可以防止梯度的消失，但這并不是使用它的主要原因。主要原因是很容易找到導(dǎo)數(shù)。在一定程度上，這意味著右端

為什么要使用relu激活函數(shù)？

增加了網(wǎng)絡(luò)的非線性能力，以適應(yīng)更多的非線性過程。在一定程度上，relu可以防止梯度的消失，但這并不是使用它的主要原因。主要原因是很容易找到導(dǎo)數(shù)。在一定程度上，這意味著右端不會接近飽和。當我們計算導(dǎo)數(shù)時，導(dǎo)數(shù)不會為零，所以梯度不會消失。但是左端問題仍然存在，如果我們掉進去梯度就會消失。所以有很多改進的relu。

深度學(xué)習(xí)難嗎？

有毅力不難思考，有毅力不難思考，有毅力不難堅持

深度學(xué)習(xí)是什么意思？

近年來，隨著信息社會、學(xué)習(xí)科學(xué)和課程改革的發(fā)展，深度學(xué)習(xí)是一種新的學(xué)習(xí)形式。

目前，對深度學(xué)習(xí)的概念有很多答案，很多專家學(xué)者的解釋是本質(zhì)意義一致的表述略有不同。

李嘉厚教授認為，深度學(xué)習(xí)是建立在理解的基礎(chǔ)上的。學(xué)習(xí)者可以批判性地學(xué)習(xí)新的想法和事實，將它們?nèi)谌朐械恼J知結(jié)構(gòu)，將許多想法聯(lián)系起來，并將現(xiàn)有的知識轉(zhuǎn)移到新的情境中，從而做出決策和解決問題。

郭華教授認為，深度學(xué)習(xí)是在教師指導(dǎo)下的一個有意義的學(xué)習(xí)過程，學(xué)生圍繞挑戰(zhàn)性的學(xué)習(xí)主題，全心投入，體驗成功，獲得發(fā)展。它具有批判性理解、有機整合、建設(shè)性反思和遷移應(yīng)用的特點。

深度學(xué)習(xí)有幾個特點。一是觸動人心的學(xué)習(xí)。第二，體驗式學(xué)習(xí)。三是深入認識和實踐創(chuàng)新的研究。

卷積神經(jīng)網(wǎng)絡(luò)卷積層后一定要跟激活函數(shù)嗎？

線性激活函數(shù)的缺點是線性函數(shù)的組合仍然是線性的。

由于我們遇到的問題大多是非線性的，比較復(fù)雜，如果不使用激活函數(shù)來添加非線性，網(wǎng)絡(luò)結(jié)構(gòu)的表達能力就非常有限，相應(yīng)的效果自然就差了。