一元線性回歸原理

統(tǒng)計(jì)思維回歸的直觀理解與原理:一元線性回歸

一元線性回歸原理（一）問題的提出例1

假定需要研究化肥施用量與糧食產(chǎn)量的關(guān)系，以便準(zhǔn)確地定出化肥施用量的單位變化如何影響糧食產(chǎn)量的平均單位變化，進(jìn)而確定合理的化肥施用量。表1化肥施用量與糧食產(chǎn)量化肥施用量x(萬噸)4541.053637.872287.493056.894883.73779.34021.09糧食產(chǎn)量y(萬噸)48526.6945110.8740753.7943824.5850890.1146370.8846577.91化肥施用量x(萬噸)2989.063021.93953.973212.133804.761598.281998.56糧食產(chǎn)量y(萬噸)42947.4441673.2147244.3443061.5347336.7837127.8939515.07化肥施用量x(萬噸)3710.563269.031017.121864.232797.241034.09

糧食產(chǎn)量y(萬噸)46598.0444020.9234866.9137184.1441864.7733717.78

一元線性回歸原理圖1化肥施用量與糧食產(chǎn)量的散點(diǎn)圖一元線性回歸原理上述變量間關(guān)系的特點(diǎn)：變量間關(guān)系不能用函數(shù)關(guān)系精確表達(dá)一個(gè)變量的取值不能由另一個(gè)變量唯一確定當(dāng)變量x取某個(gè)值時(shí)，變量y的取值可能有幾個(gè)各觀測點(diǎn)分布在直線周圍xy一元線性回歸原理問題兩個(gè)變量之間有著密切的關(guān)系，但它們之間密切的程度并不能由一個(gè)變量唯一確定另一個(gè)變量，即它們間的關(guān)系是一種非確定性的關(guān)系。它們之間到底有什么樣的關(guān)系呢?例1中由20組數(shù)據(jù)，糧食產(chǎn)量與化肥施用量的關(guān)系式

是如何得到的？一元線性回歸原理解決方案運(yùn)用模型來擬合這些數(shù)據(jù)點(diǎn)。觀測值分解成兩部分：y

=b0+b1x

+e一元線性回歸模型xy觀測項(xiàng)=+結(jié)構(gòu)項(xiàng)隨機(jī)項(xiàng)

=+一元線性回歸原理（二）一元線性回歸模型描述因變量y如何依賴于自變量x和誤差項(xiàng)

的方程稱為回歸模型一元線性回歸模型可表示為

y

=b0+b1x

+ey是x的線性函數(shù)(部分)加上誤差項(xiàng)線性部分反映了由于x的變化而引起的y的變化誤差項(xiàng)

是隨機(jī)變量反映了除x和y之間的線性關(guān)系之外的隨機(jī)因素對y的影響是不能由x和y之間的線性關(guān)系所解釋的變異性0和1稱為模型的參數(shù)xy一元線性回歸原理一元線性回歸模型(基本假定)因變量x與自變量y之間具有線性關(guān)系在重復(fù)抽樣中，自變量x的取值是固定的，即假定x是非隨機(jī)的誤差項(xiàng)ε是一個(gè)期望值為0的隨機(jī)變量，即E(ε)=0。對于一個(gè)給定的x值，y的期望值為E(y)=0+

1x對于所有的x值，ε的方差σ2都相同誤差項(xiàng)ε是一個(gè)服從正態(tài)分布的隨機(jī)變量，且相互獨(dú)立。即ε~N(0,σ2)獨(dú)立性意味著對于一個(gè)特定的x值，它所對應(yīng)的ε與其他x值所對應(yīng)的ε不相關(guān)對于一個(gè)特定的x值，它所對應(yīng)的y值與其他x所對應(yīng)的y值也不相關(guān)一元線性回歸原理回歸方程(regressionequation)描述y的平均值或期望值如何依賴于x的方程稱為回歸方程一元線性回歸方程的形式如下

E(y)=0+1x方程的圖示是一條直線，也稱為直線回歸方程0是回歸直線在y軸上的截距，是當(dāng)x=0時(shí)y的期望值1是直線的斜率，稱為回歸系數(shù)，表示當(dāng)x每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值xy一元線性回歸原理xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)問題：回歸直線如何確定？一元線性回歸原理KarlGauss的最小化圖xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)ei=yi-yi＾目標(biāo)：找一條直線盡可能的擬合這n個(gè)樣本點(diǎn)。一元線性回歸原理（三）最小二乘估計(jì)

(least-squaresestimation)德國科學(xué)家KarlGauss(1777—1855)提出用最小化圖中垂直方向的誤差平方和來估計(jì)參數(shù)使因變量的觀察值與估計(jì)值之間的誤差平方和達(dá)到最小來求得和的方法。即用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實(shí)際數(shù)據(jù)的誤差比其他任何直線都小一元線性回歸原理問題如何估計(jì)使得最小一元線性回歸原理解決方法根據(jù)微積分法求極值的原理，通過求偏導(dǎo)數(shù)并命其為0而得到：

這組方程稱為正規(guī)方程組經(jīng)過整理，可得？一元線性回歸原理其中，記可以簡寫為經(jīng)過整理，可得一元線性回歸原理例1

假定需要研究化肥施用量與糧食產(chǎn)量的關(guān)系，以便準(zhǔn)確地定出化肥施用量的單位變化如何影響糧食產(chǎn)量的平均單位變化，進(jìn)而確定合理的化肥施用量。表1糧食產(chǎn)量與化肥施用量化肥施用量x(萬噸)4541.053637.872287.493056.894883.73779.34021.09糧食產(chǎn)量y(萬噸)48526.6945110.8740753.7943824.5850890.1146370.8846577.91化肥施用量x(萬噸)2989.063021.93953.973212.133804.761598.281998.56糧食產(chǎn)量y(萬噸)42947.4441673.2147244.3443061.5347336.7837127.8939515.07化肥施用量x(萬噸)3710.563269.031017.121864.232797.241034.09

糧食產(chǎn)量y(萬噸)46598.0444020.9234866.9137184.1441864.7733717.78

最小二乘法求解回歸方程實(shí)例一元線性回歸原理解：

一元線性回歸原理回歸方程為：一元線性回歸原理直觀來看，回歸直線與20個(gè)樣本數(shù)據(jù)點(diǎn)都很接近，說明回歸直線對數(shù)據(jù)的擬合效果是好的。

圖1化肥施用量與糧食產(chǎn)量的散點(diǎn)圖一元線性回歸原理最小二乘估計(jì)的軟件實(shí)現(xiàn)、輸出結(jié)果回歸方程為：一元線性回歸原理小結(jié)：估計(jì)的回歸方程一元線性回歸中估計(jì)的回歸方程為用樣本統(tǒng)計(jì)量和代替回歸方程中的未知參數(shù)和，就得到了估計(jì)的回歸方程總體回歸參數(shù)和

是未知的，必須利用樣本數(shù)據(jù)去估計(jì)其中：是估計(jì)的回歸直線在y

軸上的截距，是直線的斜率，它表示對于一個(gè)給定的x

的值，是y

的估計(jì)值，也表示x

每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值

.一元線性回歸原理“回歸”名稱的由來十九世紀(jì)，英國生物學(xué)家兼統(tǒng)計(jì)學(xué)家高爾頓研究父母身高與其子女身高的遺傳問題時(shí)，觀察了1078對夫婦，