Keras還是TensorFlow，程序員該如何選擇深度學習框架？如果您想用少量的代碼盡快地構建和測試神經(jīng)網(wǎng)絡，keras是最快的，而且sequential API和model非常強大。而且keras

Keras還是TensorFlow，程序員該如何選擇深度學習框架？

如果您想用少量的代碼盡快地構建和測試神經(jīng)網(wǎng)絡，keras是最快的，而且sequential API和model非常強大。而且keras的設計非常人性化。以數(shù)據(jù)輸入和輸出為例，與keras的簡單操作相比，tensorflow編譯碼的構造過程非常復雜（尤其對于初學者來說，大量的記憶過程非常痛苦）。此外，keras將模塊化作為設計原則之一，用戶可以根據(jù)自己的需求進行組合。如果你只是想快速建立通用模型來實現(xiàn)你的想法，keras可以是第一選擇。

但是，包裝后，keras將變得非常不靈活，其速度相對較慢。如果高度包裝，上述缺點將更加明顯。除了一些對速度要求較低的工業(yè)應用外，由于tensorflow的速度較高，因此會選擇tensorflow

如果您在驗證您的想法時，想定義損失函數(shù)而不是使用現(xiàn)有的設置，與keras相比，tensorflow提供了更大的個性空間。此外，對神經(jīng)網(wǎng)絡的控制程度將在很大程度上決定對網(wǎng)絡的理解和優(yōu)化，而keras提供的權限很少。相反，tensorflow提供了更多的控制權，比如是否訓練其中一個變量、操作梯度（以獲得訓練進度）等等。

盡管它們都提供了深度學習模型通常需要的功能，但如果用戶仍然追求一些高階功能選擇，例如研究特殊類型的模型，則需要tensorflow。例如，如果您想加快計算速度，可以使用tensorflow的thread函數(shù)來實現(xiàn)與多個線程的相同會話。此外，它還提供了調試器功能，有助于推斷錯誤和加快操作速度。

請問神經(jīng)網(wǎng)絡有多個輸出的回歸問題，損失函數(shù)如何定義比較合理？

在我看來，多重輸出和損失函數(shù)的類型選擇沒有直接關系。一般來說，使用交叉熵是沒有問題的，即使是最小均方誤差也不會產(chǎn)生顯著的影響。但是，最好添加一個帶有范數(shù)的正則化因子（計算量較少）。然而，輸出有多大是影響算法收斂性的關鍵因素，因為如果輸出太多（例如超過一千個）需要合并，可以嘗試使用分層softmax。有關代碼，請參閱word2vec。我希望它能幫助你

~]。

具體來說，當前主流的神經(jīng)網(wǎng)絡模型使用梯度下降算法進行訓練，或學習參數(shù)。學習速率決定權重在梯度方向上成批移動的距離。理論上，學習率越高，神經(jīng)網(wǎng)絡的學習速度越快。但是，如果學習速率過高，可能會“穿越”損失函數(shù)的最小值，導致收斂失敗。

上圖左邊是高學習率，右邊是低學習率，來源：mikkel Duif（quora）

那么，如何找到最佳學習率？

方法。但是，這種方法的初始學習率（上例中為0.1）不應該太高。如果初始學習率太高，可能會“穿越”最優(yōu)值。

另外，還有另外一種思路，就是逆向操作，從學習率很低開始，每批之后再提高學習率。例如，從0.00001到0.0001，再到0.001，再到0.01，再到0.1。這個想法背后的直覺是，如果我們總是以很低的學習率學習，我們總是可以學習到最好的權重（除非整個網(wǎng)絡架構有問題），但它將非常緩慢。因此，從一個很低的學習率開始，我們可以肯定地觀察到損失函數(shù)的下降。然后逐漸加大學習率，直到學習率過高，導致發(fā)散。該方法還避免了上述方法初始學習率過高，一次“穿越”最優(yōu)值的隱患。這是Leslie n.Smith在2015年的論文《訓練神經(jīng)網(wǎng)絡的循環(huán)學習率》中提出的方法。

如何估算神經(jīng)網(wǎng)絡的最優(yōu)學習率？

這兩種方法都是常用的分類算法。從目標函數(shù)的角度看，不同之處在于logistic回歸采用logistic損失，支持向量機采用鉸鏈損失。這兩個損失函數(shù)的目的是增加對分類影響較大的數(shù)據(jù)點的權重，減少與分類關系較小的數(shù)據(jù)點的權重。支持向量機的處理方法只考慮了支持向量機。