如何更好地調(diào)試神經(jīng)網(wǎng)絡(luò)？神經(jīng)網(wǎng)絡(luò)的設(shè)置參數(shù)所不同的是程序的調(diào)試只不過它的錯誤類型不會是運行錯誤并不一定的錯誤是網(wǎng)絡(luò)絕對無法收攝可是對此比較有經(jīng)驗的人來說，這反到好些如何處理，不要一行一行一欄代碼。假如

如何更好地調(diào)試神經(jīng)網(wǎng)絡(luò)？

神經(jīng)網(wǎng)絡(luò)的設(shè)置參數(shù)所不同的是程序的調(diào)試

只不過它的錯誤類型不會是運行錯誤

并不一定的錯誤是網(wǎng)絡(luò)絕對無法收攝

可是對此比較有經(jīng)驗的人來說，這反到好些如何處理，不要一行一行一欄代碼。

假如比較早就再次出現(xiàn)了NAN，此時此刻的問題本質(zhì)我們的學(xué)習(xí)率過熱，將當(dāng)前學(xué)習(xí)率調(diào)好后三分之一原先訓(xùn)練，如果沒有不行的話，再繼續(xù)調(diào)小。

或是遇見網(wǎng)絡(luò)繼續(xù)去學(xué)習(xí)的問題。而現(xiàn)在可能會又出現(xiàn)了過擬合，我們必須降低樣本數(shù)量，如果依舊過擬合，那你是需要去確認(rèn)樣本和標(biāo)簽是否需要隨機。

調(diào)參作為訓(xùn)練神經(jīng)網(wǎng)絡(luò)最重要的是也最常見的三步。初始的權(quán)值很重要的是，稍微大一點的幅度會有一點好一點，不過太大又會影起NAN問題，因此得把握好尺度，也有是在訓(xùn)練結(jié)束后之前數(shù)次減小去學(xué)習(xí)率，看是否能對效果給予進階。

系統(tǒng)的總結(jié)下

調(diào)試神經(jīng)網(wǎng)絡(luò)整體而言要比第一項程序花費的精力大量，而且它動不動愛會因為各個方面的因素而使得網(wǎng)絡(luò)的終于效果不好，所以不需要慢慢地慢慢，漸漸清楚，最終達(dá)到在又出現(xiàn)問題的時候能明白了是什么導(dǎo)致的。

左右吧觀點若有不足，還請指教

如何使用Keras函數(shù)式API進行深度學(xué)習(xí)？

也可以那樣的話說，Keras Python庫讓創(chuàng)建家族深度學(xué)習(xí)模型變地飛速且簡單啊。

序列API讓你都能夠為大多數(shù)問題逐層創(chuàng)建模型。當(dāng)然了它又是有局限性的，那是它并不能不能讓你創(chuàng)建角色強大共享層或具有多個輸入輸入或輸出的模型。

Keras中的的函數(shù)式API是創(chuàng)建模型的另一種，它更具更多的靈活性，除了創(chuàng)建家族更為復(fù)雜的模型。

在本教程中，你將知道一點該如何用Keras中更突出靈活性的函數(shù)式API來符號表示深度學(xué)習(xí)模型。

完成本教程后，你將明白了：

序列API和函數(shù)式API之間的區(qū)別。

使用方法函數(shù)式API定義很簡單多層感知器、卷積神經(jīng)網(wǎng)絡(luò)在內(nèi)循環(huán)神經(jīng)網(wǎng)絡(luò)模型。

要如何定義方法具高互相訪問層和多個輸入輸出的無比復(fù)雜的模型。

教程簡要說明

本教程范圍涵蓋六部分內(nèi)容，共有是：

序列模型

函數(shù)式模型

3.標(biāo)準(zhǔn)網(wǎng)絡(luò)模型

4.互相訪問層模型

5.多個輸入和輸出模型

6.最佳實踐

序列模型

Keras能提供了一個序列模型API。

這是一種創(chuàng)建角色深度學(xué)習(xí)模型的方法，其中創(chuàng)建了一個序列類的實例，還創(chuàng)建了模型層并將其去添加到其中。

的或，可以將層定義方法為數(shù)組的形式并傳達(dá)給序列：

fromimportSequential

acrossimportDense

modelSequential([Dense(2,input_dim1),Dense(1)])

別外，層確實是也可以縱斷面去添加的：

modelSequential()

(Dense(2,input_dim1))

(Dense(1))

是可以那樣說，在大多數(shù)情況下，序列模型API是非常適合我用于變更土地性質(zhì)深度學(xué)習(xí)模型的，但而也具備一定的局限性。

例如，定義兩個可能具有多個相同輸入源、且能能生成多個輸出目標(biāo)或賞識層的模型，并不是一件簡單的事情。

Keras函數(shù)式API能提供了符號表示模型的一種最為身形靈活的。

尤其是，它讓你都能夠定義方法更具多個然后輸入或作為輸出以及互相訪問層的模型。不止如此，它還令你都能夠符號表示特定的非循環(huán)網(wǎng)絡(luò)圖。

模型是實際創(chuàng)建角色層的實例并將它們就地復(fù)等位基因相互連接來定義的，然后再定義一個Model，指定你層以及模型的輸入和輸出。

接下來的了解一下Keras函數(shù)式API的三個獨特的地方方面：

定義輸入

與序列模型有所不同的是，你必須創(chuàng)建家族并定義另一個的的的再輸入層來指定你輸入數(shù)據(jù)的形狀。

再輸入層接受一個形狀參數(shù)，即一個元組，它它表示的是輸入數(shù)據(jù)的維數(shù)。。

如果鍵入數(shù)據(jù)是一維的，例如多層感知器，那你這個形狀可以都能夠必須明確地為在訓(xùn)練網(wǎng)絡(luò)過程中并且空間切割數(shù)據(jù)時不使用的小批量大小的形狀他留空間。并且，這個形狀數(shù)組老是用還有一個維度（2）定義，的或：

aroundimportInput

visibleInput(shape(2,))

連接到層

模型中的層是成對連接上的。

這是是從在定義每個新層時指定輸入的出處成功的。這里在用括號可以表示法，以備萬一在創(chuàng)建層之后，就委托了無論是當(dāng)前層輸入出處的層。

讓我們用一個簡短的例子來那說明這一點。我們是可以如本所述現(xiàn)在這樣修改然后輸入層，后再創(chuàng)建一個封印層才是密密麻麻的層，只得到依附輸入輸入層的輸入。

hiddenDense(2)(visible)

注意一點可以說性，在創(chuàng)建尖銳層之后，將輸入層的輸出以及輸入輸入與密集地的隱藏地層接受連接上。

應(yīng)該是這種能將各個層依順序連接上過來，使使得函數(shù)式API本身靈活性。比如，你可以看到開始符號表示層的預(yù)備圖表是多么很容易。

創(chuàng)建角色模型

在創(chuàng)建了所有模型層并將它們連接到在一起之后，你就可以定義方法模型了。

與序列API一般，模型肯定是你可以通過系統(tǒng)的總結(jié)、模型擬合、評估和利用接受分析和預(yù)測的東西。

Keras能提供了一個Model類，你是可以在用它從已創(chuàng)建戰(zhàn)隊的層中創(chuàng)建戰(zhàn)隊一個模型。要求那是你沒法指定你輸入和輸出層。的或：

outsideimportModel

modelModel(inputsvisible,outputshidden)

要是我們巳經(jīng)所了解Keras函數(shù)式API的所有關(guān)鍵是部分，那就接下來我們就來定義方法一套有所不同的模型并就其做一些實踐。

每個示例大都可想執(zhí)行的，可展示更多結(jié)構(gòu)并創(chuàng)建戰(zhàn)隊圖表的簡圖。這樣做的好處是，你這個可以很清楚地所知你所定義法的是什么。

我只希望，在將來你打算使用函數(shù)式API定義自己的模型時，這些示例也能為你需要提供模板。

當(dāng)結(jié)束建議使用函數(shù)式API時，好是先去打聽一下一些標(biāo)準(zhǔn)的神經(jīng)網(wǎng)絡(luò)模型是該如何進行定義方法的。

在本節(jié)中，我們將定義,定義一個很簡單多層感知器、卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)。

這些例子將為再理解接下來無比具體點的示例奠定基礎(chǔ)。

多層感知器

在本節(jié)中，我們定義了一個應(yīng)用于一元分類（binaryclassification）的多層感知器模型。

該模型有10個輸入、3個三個更具10、20和10個神經(jīng)元的封印層、這些一個只有一個輸出的輸出層。在每個隱層中都使用了糾正線性激活函數(shù)（Rectifiedlinearactivationfunctions），而在輸出來層中可以使用了一個sigmoid激活函數(shù)，以應(yīng)用于一元分類。

#MultilayerPerceptron

returningkeras.utilsimportplot_model

visibleInput(shape(10,))

hidden1Dense(10,activationrelu)(visible)

hidden2Dense(20,activationrelu)(hidden1)

hidden3Dense(10,activationrelu)(hidden2)

inputDense(1,activationsigmoid)(hidden3)

modelModel(inputsvisible,outputsoutput)

#summarizelayers

print(())

#plotgraph

plot_model(model,can_filemultilayer_perceptron_)

不運行該示例，展示展示出該網(wǎng)絡(luò)的結(jié)構(gòu)：

該模型圖的一個簡圖也被創(chuàng)建戰(zhàn)隊并需要保存到文件中。

多層感知器網(wǎng)絡(luò)圖

卷積神經(jīng)網(wǎng)絡(luò)

在本節(jié)中，我們將符號表示一個主要是用于圖像分類的卷積神經(jīng)網(wǎng)絡(luò)。

該模型收得到一個規(guī)格為64×64的純黑圖像充當(dāng)然后輸入，接著有一個卷積層和池化層的序列才是特征提取器，而后是一個用以解釋什么特征的完全連接上層，在內(nèi)個主要用于兩個類預(yù)估的sigmoid激活函數(shù)。

#ConvolutionalNeuralNetwork

outsideimportConv2D

outsideimportMaxPooling2D

visibleInput(shape(64,64,1))

conv1Conv2D(32,kernel_size4,activationrelu)(visible)

pool1MaxPooling2D(pool_size(2,2))(conv1)

conv2Conv2D(16,kernel_size4,activationrelu)(pool1)

pool2MaxPooling2D(pool_size(2,2))(conv2)

hidden1 Dense(10,activationrelu)(pool2)

inputDense(1,activationsigmoid)(hidden1)

plot_model(model,can_fileconvolutional_neural_)

運行程序該示例，總結(jié)模型層：

該模型圖的簡圖也被修改并保存到到文件。

卷積神經(jīng)網(wǎng)絡(luò)圖

循環(huán)神經(jīng)網(wǎng)絡(luò)

在本節(jié)中，我們將定義,定義一個作用于序列分類的長短型記憶循環(huán)神經(jīng)網(wǎng)絡(luò)。

該模型只希望以一個特征的100個時間步長另外然后輸入。該模型有一個不能的LSTM封印層以從序列中其他提取特征，然后是一個全部連接到層用以解釋什么LSTM輸出來，接下來的事情是一個應(yīng)用于并且二元分析預(yù)測的輸出層。

#RecurrentNeuralNetwork

outsideimportLSTM

visibleInput(shape(100,1))

hidden1LSTM(10)(visible)

hidden2Dense(10,activationrelu)(hidden1)

inputsDense(1,activationsigmoid)(hidden2)

plot_model(model,need_filerecurrent_neural_)

不運行該示例，總結(jié)模型層。

循環(huán)神經(jīng)網(wǎng)絡(luò)圖

多個層也可以共享來自一個層的輸出。

的或，可能會有多個差別的特征抽取層是無論是于同一個輸入的，也可以有多個層是作用于請解釋來自一個特征匹配層的輸出的。

我們來看下這兩個例子。

寬帶共享輸入層

在本節(jié)中，我們定義了具高完全不同大小內(nèi)核的多個卷積層來請解釋圖像輸入。

該模型常規(guī)大小為64×64像素的黑白圖像。有兩個CNN特征提取子模型鏈接共享該然后輸入最先內(nèi)核大小為4，第二個內(nèi)核大小為8。這些特征提取子模型的輸出被壓解成向量，再連接到一個長向量中，并傳達(dá)消息到一個徹底再連接層，以備萬一在終于作為輸出層接受二3元分類之前接受解釋。

#SharedInputLayer

returningimportFlatten

returningimportconcatenate

#inputlayer

#firstfeatureextractor

flat1 Flatten()(pool1)

#secondfeatureextractor

conv2Conv2D(16,kernel_size8,activationrelu)(visible)

flat2Flatten()(pool2)

#mergefeatureextractors

mergeconcatenate([flat1,flat2])

#interpretationlayer

hidden1 Dense(10,activationrelu)(merge)

#predictioninput

plot_model(model,did_fileshared_input_)

具備寬帶共享輸入輸入的神經(jīng)網(wǎng)絡(luò)圖

共享圖像特征提取層

在本節(jié)中，我們將用兩個左行子模型來解釋什么LSTM特性提取器的輸出，以通過序列分類。

該模型的輸入是一個特征的100個時間步長。一個具高10個記憶單元的LSTM層以講解該序列。另一個解釋什么模型是個淺的單徹底連接上層，第二是一個深度3層模型。兩個請解釋模型的輸出都被連接到到一個長向量中，訊息傳遞到作為輸出層用以接受3元預(yù)測。

#Shared Feature Extraction Layer

#defineinput

#featureextraction

extract1LSTM(10)(visible)

#firstinterpretationmodel

interp1 Dense(10,activationrelu)(extract1)

#secondinterpretationmodel

interp11Dense(10,activationrelu)(extract1)

interp12Dense(20,activationrelu)(interp11)

interp13Dense(10,activationrelu)(interp12)

#mergeinterpretation

mergeconcatenate([normalize1,preprocessing13])

#output

outputDense(1,activationsigmoid)(merge)

plot_model(model,did_fileshared_feature_)

互相訪問特征匹配層的神經(jīng)網(wǎng)絡(luò)圖

函數(shù)式API也可作用于開發(fā)具有多個輸入輸入的更緊張的模型，可能更具差別的形式。它也是可以作用于變更土地性質(zhì)有一種多個輸出的模型。

我們將在本節(jié)中打開系統(tǒng)每個示例。

多鍵入模型

我們將旗下一個圖像分類模型，它將兩個版本的圖像充當(dāng)再輸入，每個版本的大小差別。詳細(xì)是黑白64×64版本和彩色32×32版本。分開來的特征提取CNN模型在每個模型上不運行，然后再將兩個模型的結(jié)果連接上起來接受解釋和結(jié)果預(yù)測。

請再注意，在創(chuàng)建Model（）實例時，我們將六個輸入層定義為數(shù)組。具體看不勝感激：

modelModel(inputs[visible1,visible2],outputsoutput)

求全部的示例追加所示：

#MultipleInputs

#firstinputmodel

visible1Input(shape(64,64,1))

conv11Conv2D(32,kernel_size4,activationrelu)(visible1)

pool11MaxPooling2D(pool_size(2,2))(conv11)

conv12Conv2D(16,kernel_size4,activationrelu)(pool11)

pool12MaxPooling2D(pool_size(2,2))(conv12)

flat1Flatten()(pool12)

#secondinputmodel

visible2Input(shape(32,32,3))

conv21Conv2D(32,kernel_size4,activationrelu)(visible2)

pool21MaxPooling2D(pool_size(2,2))(conv21)

conv22Conv2D(16,kernel_size4,activationrelu)(pool21)

pool22MaxPooling2D(pool_size(2,2))(conv22)

flat2Flatten()(pool22)

#mergeinputmodels

#interpretationmodel

plot_model(model,want_filemultiple_)

該模型圖的簡圖被修改并保存到到文件。

具備多個輸入輸入的神經(jīng)網(wǎng)絡(luò)圖

多作為輸出模型

在本節(jié)中，我們將開發(fā)完畢出一種也可以參與兩種不同類型預(yù)測的模型。計算變量一個特征的100時間步長的再輸入序列，該模型將對序列接受分類并輸出具有不同長度的新序列。

LSTM層回答輸入輸入序列，并直接返回每個時間步長的追蹤狀態(tài)。第一個輸出模型創(chuàng)建一個邏輯塊LSTM，講解特征，并參與一元預(yù)測。第二個輸出模型使用相同的輸出層對每個輸入輸入時間步長參與實值預(yù)估。

#MultipleOutputs

aroundimportTimeDistributed

extractLSTM(10,return_sequencesTrue)(visible)

#classificationoutput

class11LSTM(10)(extract)

class12Dense(10,activationrelu)(class11)

input1Dense(1,activationsigmoid)(class12)

#sequenceoutput

parameters2TimeDistributed(Dense(1,activationlinear))(extract)

modelModel(inputsvisible,outputs[inputs1,output2])

plot_model(model,did_filemultiple_)

具高多個輸出的神經(jīng)網(wǎng)絡(luò)圖

在本節(jié)中，我會給你一些建議，以便在定義自己的模型時充分利用函數(shù)式API。

同一的變量名：對輸入輸入（可以說）、控制輸出層（輸出來），甚至還是封印層（hidden1，hidden2）可以使用相同的變量名稱。它將能增強正確的地將它們聯(lián)系聯(lián)系站了起來。

重新回顧層總結(jié)：要堅持再歸納模型學(xué)習(xí)總結(jié)并回憶一下層輸出，以確保全模型按預(yù)期那樣直接連接在一起。

再次回顧圖表簡圖：只要能堅持創(chuàng)建戰(zhàn)隊模型圖的簡圖，并對其采取并且重新回顧，以確保所有的東西都按照你的意愿放在旁邊在一起。

命名原則層：你這個可以為在回顧曾經(jīng)模型圖的總結(jié)和簡圖時使用的層分配名稱。或者：Dense（1，命名hidden1）。

分開來的子模型：決定分離子模型的開發(fā)，并在后來將子模型組合在一起。