怎樣由最速下降法變成牛頓法？最速下降法的迭代點在逼近最小點的過程中采用鋸齒形路徑，容易產(chǎn)生鋸齒現(xiàn)象，導致每次迭代的距離越來越小，收斂速度不快。如果目標函數(shù)具有連續(xù)的二階偏導數(shù)，牛頓法可以快速收斂到問題

怎樣由最速下降法變成牛頓法？

最速下降法的迭代點在逼近最小點的過程中采用鋸齒形路徑，容易產(chǎn)生鋸齒現(xiàn)象，導致每次迭代的距離越來越小，收斂速度不快。如果目標函數(shù)具有連續(xù)的二階偏導數(shù)，牛頓法可以快速收斂到問題的最小點。

共軛梯度法對比牛頓法有什么優(yōu)缺點？

牛頓法需要函數(shù)的一階和二階導數(shù)信息，也就是說它涉及Hesse矩陣，包括矩陣求逆運算。雖然收斂速度快，但運算量大。擬牛頓法用某種方法構(gòu)造一個類似于黑森矩陣的正定矩陣，這種構(gòu)造方法比牛頓法計算量??；共軛梯度法的基本思想是將共軛性質(zhì)與最速下降法結(jié)合起來，利用已知點的梯度構(gòu)造一組共軛方向，沿著這組方向搜索元素，找到目標函數(shù)的最小點。根據(jù)共軛方向的基本性質(zhì)，該方法計算量小，收斂速度快。