梯度法 機器學習為什么會使用梯度下降法？
機器學習為什么會使用梯度下降法？另外，在神經網絡（非凸問題）的訓練中，大多采用梯度下降法。梯度下降法和擬牛頓法可以用來訓練logistic回歸（凸問題）模型。在機器學習任務中，必須最小化損失函數L（θ
機器學習為什么會使用梯度下降法？
另外，在神經網絡（非凸問題）的訓練中，大多采用梯度下降法。梯度下降法和擬牛頓法可以用來訓練logistic回歸（凸問題）模型。
在機器學習任務中，必須最小化損失函數L（θ）Lleft（thetaright）L（θ），其中θthetaθ是要求解的模型參數。梯度下降法和牛頓/擬牛頓法都是迭代法。梯度下降法是梯度法，而牛頓法/擬牛頓法是由二階Hessian矩陣的逆矩陣或偽逆矩陣求解的。
梯度下降法與牛頓法的比較