從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡到底是如何工作的？RNN（遞歸神經(jīng)網(wǎng)絡），顧名思義，以先前的輸出（隱藏狀態(tài)）作為輸入，形成一個循環(huán)。（RNN擴展，圖像源：colah.github.io文件)上面

從RNN到LSTM，性能良好的神經(jīng)網(wǎng)絡到底是如何工作的？

RNN（遞歸神經(jīng)網(wǎng)絡），顧名思義，以先前的輸出（隱藏狀態(tài)）作為輸入，形成一個循環(huán)。

（RNN擴展，圖像源：colah.github.io文件)

上面的展開圖清楚地顯示了RNN的結構。不難發(fā)現(xiàn)RNN的結構與序列化數(shù)據(jù)是一致的。實際上，RNN實際上主要用于處理序列化數(shù)據(jù)。

基本上，不使用原始RNN，而是使用RNN的變體。

漸變裁剪可以緩解漸變爆炸，而RNN變體（如主流LSTM和Gru）可以緩解漸變消失。

（一般是sigmoid層）建模輸入、輸出和遺忘。

（圖片來源：中新網(wǎng)/@左上角的藍色是輸入門，右上角的綠色是輸出門，底部的紅色是遺忘門。

是否存在通用的神經(jīng)網(wǎng)絡模型，可以處理圖像，語音以及NLP？

對于目前的深度學習模型，雖然深度學習的目標之一是設計能夠處理各種任務的算法，但是深度學習的應用還需要一定的專業(yè)化，目前還沒有通用的神經(jīng)網(wǎng)絡處理模型。然而，每一種模式也在相互學習、相互融合、共同提高。例如，一些創(chuàng)新可以同時改進卷積神經(jīng)網(wǎng)絡和遞歸神經(jīng)網(wǎng)絡，如批量標準化和關注度。一般模型需要在將來提出。

圖像和視頻處理，計算機視覺，最流行的是CNN，卷積神經(jīng)網(wǎng)絡，它的變形和發(fā)展，CNN適合處理空間數(shù)據(jù)，廣泛應用于計算機視覺領域。例如，alexnet、vggnet、googlenet、RESNET等都有自己的特點。將上述模型應用于圖像分類識別中。在圖像分割、目標檢測等方面，提出了更有針對性的模型，并得到了廣泛的應用。

語音處理，2012年之前，最先進的語音識別系統(tǒng)是隱馬爾可夫模型（HMM）和高斯混合模型（GMM）的結合。目前最流行的是深度學習RNN遞歸神經(jīng)網(wǎng)絡，其長、短期記憶網(wǎng)絡LSTM、Gru、雙向RNN、層次RNN等。

除了傳統(tǒng)的自然語言處理方法外，目前的自然語言處理深度學習模型也經(jīng)歷了幾個發(fā)展階段，如基于CNN的模型、基于RNN的模型、基于注意的模型、基于變壓器的模型等。不同的任務場景有不同的模型和策略來解決一些問題。