神經(jīng)網(wǎng)絡(luò)的每一層網(wǎng)絡(luò)，有什么實(shí)際的意義嗎？這個(gè)問(wèn)題涉及到神經(jīng)網(wǎng)絡(luò)的可解釋性。經(jīng)過(guò)訓(xùn)練，每一層神經(jīng)網(wǎng)絡(luò)都有其實(shí)際意義，但這一意義通常很難被人類(lèi)簡(jiǎn)單地理解。人類(lèi)可以嘗試對(duì)經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)進(jìn)行重復(fù)計(jì)算，但

神經(jīng)網(wǎng)絡(luò)的每一層網(wǎng)絡(luò)，有什么實(shí)際的意義嗎？

這個(gè)問(wèn)題涉及到神經(jīng)網(wǎng)絡(luò)的可解釋性。經(jīng)過(guò)訓(xùn)練，每一層神經(jīng)網(wǎng)絡(luò)都有其實(shí)際意義，但這一意義通常很難被人類(lèi)簡(jiǎn)單地理解。人類(lèi)可以嘗試對(duì)經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)進(jìn)行重復(fù)計(jì)算，但這種計(jì)算的意義還不夠明確，因此一般認(rèn)為神經(jīng)網(wǎng)絡(luò)的“解釋性”不強(qiáng)。

一般來(lái)說(shuō)，淺層神經(jīng)元提取一些低級(jí)特征，而深層神經(jīng)元提取一些高級(jí)特征。在許多問(wèn)題中，我們可以設(shè)計(jì)一些方法來(lái)可視化從每個(gè)隱藏層中提取的特征，但是這種方法不能很好地解釋所有的問(wèn)題，所以很多人把神經(jīng)網(wǎng)絡(luò)看作一個(gè)“黑匣子”。

在某些特定問(wèn)題中，模型可能具有良好的可解釋性。以卷積神經(jīng)網(wǎng)絡(luò)（CNN）為例，提出了一種逐層提取特征的方法。如下圖所示，底層網(wǎng)絡(luò)提取圖像的邊緣、紋理等特征。隨著層次的提高，網(wǎng)絡(luò)逐漸提取出更高層次、更全面的特征。然而，這并不是說(shuō)CNN的解釋能力是完美的。只能說(shuō)，CNN比一般的神經(jīng)網(wǎng)絡(luò)具有相對(duì)更好的解釋能力，但我們?nèi)匀缓茈y真正厘清每一層網(wǎng)絡(luò)的實(shí)際意義。

在深度學(xué)習(xí)被提出之前，當(dāng)時(shí)機(jī)器學(xué)習(xí)領(lǐng)域最流行、最成功的方法是隨機(jī)林，隨機(jī)林中的每一棵決策樹(shù)都有非常好的解釋性——深度學(xué)習(xí)拋棄了這種解釋性，從模型的最終性能來(lái)看，它也有一個(gè)更好的表現(xiàn)比各種隨機(jī)森林。從這個(gè)例子中，我們還可以感覺(jué)到模型的可解釋性和模型的性能之間存在著非常復(fù)雜的關(guān)系。模型越復(fù)雜，模型的可解釋性越好。