在進行線性回歸時，為什么最小二乘法是最優(yōu)方法？對于線性回歸，無論用LSE(最小二乘估計)還是MLE(極大似然估計)，都是基于不同的假設(shè)而已，LSE是直接假設(shè)object function，而MLE假設(shè)

在進行線性回歸時，為什么最小二乘法是最優(yōu)方法？

對于線性回歸，無論用LSE(最小二乘估計)還是MLE(極大似然估計)，都是基于不同的假設(shè)而已，LSE是直接假設(shè)object function，而MLE假設(shè)的是distribution，這里在gauss noise下，他們恰好formula相同而已。

什么是最小二乘法原理和一元線性回歸？

最小二乘法是一種線性回歸的方法

所謂線性回歸

其實就是在平面直角坐標(biāo)系里有一系列的點

然后模擬一條直線

讓這條直線盡可能地與這些點契合

得出直線方程y=αx β 即為線性回歸方程

而所謂最小二乘

就是假設(shè)回歸直線為y=αx β

則對于平面上的每個點An的坐標(biāo)(xk，yk)

將xk代入回歸方程 可以求出一個yk"

另δk=yk"-yk 就是回歸直線上的點 和 實際點的偏差

這樣對于所有的點An都會有一個偏差δn與之對應(yīng)

我們所要做出的回歸直線 要盡可能地與平面上的點契合

那么就是要盡量讓這些偏差盡可能地小

但是由于有些點在直線上方 有些點在直線下方

則求出的δ有正有負 所以不能夠直接相加

所以我們就想出一個辦法 將δ平方后確保為正 然后相加

這樣令所有的δ的平方和盡可能小 得到的直線就是最小二乘法求出的最優(yōu)回歸直線

由于直線有兩個未知數(shù)α和β

所以求最小的方法就是對α和β分別求偏導(dǎo)數(shù) 令兩個偏導(dǎo)數(shù)都為0

求出α和β 對應(yīng)的直線方程y=αx β 就是最小二乘法求出的最優(yōu)回歸直線方程

總的來說 所謂最小二乘

二乘 就是要對每個點對于直線的偏差δ進行平方保正

最小 就是讓每個點對于直線的偏差的平方和最小

不知道這樣說能否理解

簡述用加權(quán)最小二乘法消除一元線性回歸中的異方差的思想和方法？

普通最小二乘估計就是尋找參數(shù)的估計值使離差平方和達極小。其中每個平方項的權(quán)數(shù)相同，是普通最小二乘回歸參數(shù)估計方法。在誤差項等方差不相關(guān)的條件下，普通最小二乘估計是回歸參數(shù)的最小方差線性無偏估計。然而在異方差的條件下，平方和中的每一項的地位是不相同的，誤差項的方差大的項，在殘差平方和中的取值就偏大，作用就大，因而普通最小二乘估計的回歸線就被拉向方差大的項，方差大的項的擬合程度就好，而方差小的項的擬合程度就差。由OLS求出的仍然是的無偏估計，但不再是最小方差線性無偏估計。所以就是：對較大的殘差平方賦予較小的權(quán)數(shù)，對較小的殘差平方賦予較大的權(quán)數(shù)。這樣對殘差所提供信息的重要程度作一番校正，以提高參數(shù)估計的精度。

加權(quán)最小二乘法的方法：

最小二乘法求線性回歸方程中的系數(shù)a,b怎么求？

用最小二乘法求回歸直線方程中的a，b有下面的公式：

最小二乘法：總離差不能用n個離差之和來表示，通常是用離差的平方和，即作為總離差，并使之達到最小，這樣回歸直線就是所有直線中Q取最小值的那一條，這種使“離差平方和最小”的方法，叫做最小二乘法：

由于絕對值使得計算不變，在實際應(yīng)用中人們更喜歡用：Q=（y1-bx1-a）2 （y2-bx-a2） 。。。 （yn-bxn-a）2

這樣，問題就歸結(jié)于：當(dāng)a，b取什么值時Q最小，即到點直線y=bx a的“整體距離”最小。