卷積神經(jīng)網(wǎng)絡(luò)卷積層后一定要跟激活函數(shù)嗎？線性激活函數(shù)的缺點(diǎn)是線性函數(shù)的組合仍然是線性的。由于我們遇到的問(wèn)題大多是非線性的，比較復(fù)雜，如果不使用激活函數(shù)來(lái)添加非線性，網(wǎng)絡(luò)結(jié)構(gòu)的表達(dá)能力就非常有限，相應(yīng)的

卷積神經(jīng)網(wǎng)絡(luò)卷積層后一定要跟激活函數(shù)嗎？

線性激活函數(shù)的缺點(diǎn)是線性函數(shù)的組合仍然是線性的。

由于我們遇到的問(wèn)題大多是非線性的，比較復(fù)雜，如果不使用激活函數(shù)來(lái)添加非線性，網(wǎng)絡(luò)結(jié)構(gòu)的表達(dá)能力就非常有限，相應(yīng)的效果自然就差了。

深度學(xué)習(xí)難嗎？

有毅力不難思考，有毅力不難思考，有毅力不難堅(jiān)持

在訓(xùn)練LSTM的時(shí)候使用除了Tanh/Sigmoid以外的激活函數(shù)效果都很差，是為什么？

LSTM中使用的所有Sigmoid都是門，其輸出必須在0.1之間，所以relu不能確定

elliotsig也很難飽和。LSTM應(yīng)該需要飽和門來(lái)記住或忘記信息。不飽和門會(huì)使過(guò)去和現(xiàn)在的記憶一直重疊，從而導(dǎo)致記憶障礙