為什么要使用relu激活函數(shù)？增加了網(wǎng)絡(luò)的非線性能力，以適應(yīng)更多的非線性過程。在一定程度上，relu可以防止梯度的消失，但這并不是使用它的主要原因。主要原因是很容易找到導(dǎo)數(shù)。在一定程度上，這意味著右端

為什么要使用relu激活函數(shù)？

增加了網(wǎng)絡(luò)的非線性能力，以適應(yīng)更多的非線性過程。在一定程度上，relu可以防止梯度的消失，但這并不是使用它的主要原因。主要原因是很容易找到導(dǎo)數(shù)。在一定程度上，這意味著右端不會(huì)接近飽和。當(dāng)我們計(jì)算導(dǎo)數(shù)時(shí)，導(dǎo)數(shù)不會(huì)為零，所以梯度不會(huì)消失。但是左端問題仍然存在，如果我們掉進(jìn)去梯度就會(huì)消失。所以有很多改進(jìn)的relu。

深度學(xué)習(xí)難嗎？

有毅力不難思考，有毅力不難思考，有毅力不難堅(jiān)持

在訓(xùn)練LSTM的時(shí)候使用除了Tanh/Sigmoid以外的激活函數(shù)效果都很差，是為什么？

LSTM中使用的所有Sigmoid都是門，其輸出必須在0.1之間，所以relu不能確定

elliotsig也很難飽和。LSTM應(yīng)該需要飽和門來記住或忘記信息。不飽和門會(huì)使過去和現(xiàn)在的記憶一直重疊，從而導(dǎo)致記憶障礙