一元線性回歸方程

關(guān)于一元線性回歸方程第一頁，共二十八頁，2022年，8月28日第一章一元線性回歸模型

以下設(shè)x為自變量(普通變量)Y為因變量(隨機(jī)變量).現(xiàn)給定x的n

個(gè)值x1,…,xn,觀察Y得到相應(yīng)的n

個(gè)值y1,…,yn,(xi,yi)

i=1,2,…,n

稱為樣本點(diǎn).

以(xi,yi)為坐標(biāo)在平面直角坐標(biāo)系中描點(diǎn),所得到的這張圖便稱之為散點(diǎn)圖.第二頁，共二十八頁，2022年，8月28日第三頁，共二十八頁，2022年，8月28日§1.1模型的建立及其假定條件例如：研究某市可支配收入X對(duì)人均消費(fèi)支出Y的影響。建立如下理論回歸模型：Yi=0

+1

Xi+εi其中：Yi——被解釋變量；Xi——解釋變量；εI——隨機(jī)誤差項(xiàng)；0，1—回歸系數(shù)隨機(jī)變量ε

i包含：回歸模型中省略的變量;確定數(shù)學(xué)模型的誤差；測(cè)量誤差一、一元線性回歸模型第四頁，共二十八頁，2022年，8月28日XY80100120140160180200220240260556579801021101201351371506070849310711513613714515265749095110120140140155175708094103116130144152165178758598108118135145157175180－88－113125140－160189185－－－115－－－162－191戶數(shù)5657665765總支出32546244570767875068510439661211

假設(shè)調(diào)查了某社區(qū)所有居民，他們的人均可支配收入和消費(fèi)支出數(shù)據(jù)如下：第五頁，共二十八頁，2022年，8月28日YX5510012014016080

描出散點(diǎn)圖發(fā)現(xiàn)：隨著收入的增加，消費(fèi)“平均地說”也在增加，且Y的條件均值均落在一根正斜率的直線上。這條直線稱為總體回歸線。第六頁，共二十八頁，2022年，8月28日二、隨機(jī)誤差項(xiàng)εi的假定條件為了估計(jì)總體回歸模型中的參數(shù)，需對(duì)隨機(jī)誤差項(xiàng)作出如下假定：假定1：零期望假定：E(εi)=0。假定2：同方差性假定：Var(εi)=

2。假定4：εi

服從正態(tài)分布，即εi

N(0,2)。假定3：無序列相關(guān)假定：Cov(εi,εj)=0,(i

j)。前三個(gè)條件稱為G-M條件第七頁，共二十八頁，2022年，8月28日§1.2一元線性回歸模型的參數(shù)估計(jì)普通最小二乘法（OrdinaryLeastSquares）OLS回歸直線的性質(zhì)OLSE的性質(zhì)第八頁，共二十八頁，2022年，8月28日一、普通最小二乘法對(duì)于所研究的問題，通常真實(shí)的回歸直線E(Yi|Xi)

=0

+1Xi

是觀測(cè)不到的?？梢酝ㄟ^收集樣本來對(duì)真實(shí)的回歸直線做出估計(jì)。

經(jīng)驗(yàn)回歸直線：

其中：為Yi的估計(jì)值（擬合值）；為0

,1

的估計(jì)值；如果觀測(cè)值到這條直線的縱向距離（真實(shí)值與估計(jì)值的偏差）用ei表示（稱為殘差），則經(jīng)驗(yàn)回歸模型為：（ei為εi的估計(jì)值）第九頁，共二十八頁，2022年，8月28日注意：分清4個(gè)式子的關(guān)系（4）經(jīng)驗(yàn)（估計(jì)的）回歸直線：（1）理論（真實(shí)的）回歸模型：

（3）經(jīng)驗(yàn)（估計(jì)的）回歸模型：（2）理論（真實(shí)的）回歸直線：第十頁，共二十八頁，2022年，8月28日對(duì)于參數(shù)的估計(jì)采用最小二乘估計(jì)法、最小二乘法的原則是以“殘差平方和最小”確定直線位置（即估計(jì)參數(shù)）。（Q為殘差平方和）Q===則通過Q最小確定這條直線，即確定，以為變量，把它們看作是Q的函數(shù)，就變成了一個(gè)求極值的問題，可以通過求導(dǎo)數(shù)得到。求Q對(duì)兩個(gè)待估參數(shù)的偏導(dǎo)數(shù)：=

=0=

=0正規(guī)方程組即第十一頁，共二十八頁，2022年，8月28日根據(jù)以上兩個(gè)偏導(dǎo)方程得以下正規(guī)方程（Normalequation）：第十二頁，共二十八頁，2022年，8月28日若記則第十三頁，共二十八頁，2022年，8月28日二、OLS回歸直線的性質(zhì)（1）估計(jì)的回歸直線過點(diǎn).

（3）Yi

的擬合值的平均數(shù)等于其樣本觀測(cè)值的平均數(shù).=

=

=

（2）第十四頁，共二十八頁，2022年，8月28日統(tǒng)計(jì)性質(zhì)線性無偏性有效性2

的估計(jì)三、OLSE回歸直線的性質(zhì)第十五頁，共二十八頁，2022年，8月28日1、線性這里指都是Yi的線性函數(shù)。證明：=

=

令代入上式，得：同理可證：0也具有線性特性。=

第十六頁，共二十八頁，2022年，8月28日2、無偏性證明：======類似可證第十七頁，共二十八頁，2022年，8月28日3、有效性0

，1的OLS估計(jì)量的方差比其他線性無偏估計(jì)量的方差都小。第十八頁，共二十八頁，2022年，8月28日總體（隨機(jī)誤差項(xiàng)）真實(shí)方差2的無偏估計(jì)量：三、2的估計(jì)第十九頁，共二十八頁，2022年，8月28日§1.3回歸方程的顯著性檢驗(yàn)一、回歸參數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)）首先，提出原假設(shè)和備擇假設(shè)：

H0：

H1：

其次，確定并計(jì)算統(tǒng)計(jì)量：

＝如果不能拒絕H0：，認(rèn)為X對(duì)Y沒有顯著影響。

如果拒絕H0：

，認(rèn)為X對(duì)Y有顯著影響。

同理,可對(duì)進(jìn)行顯著性檢驗(yàn)。

第二十頁，共二十八頁，2022年，8月28日二、回歸方程的顯著性檢驗(yàn)（F檢驗(yàn)）

總離差平方和＝回歸平方和＋殘差平方和SST=SSR+SSEH0：

H1：

拒絕域F>Fα(1,n-2)第二十一頁，共二十八頁，2022年，8月28日三、用樣本可決系數(shù)檢驗(yàn)回歸方程的擬合優(yōu)度R2

=

R2=0時(shí)表明解釋變量X與被解釋變量Y之間不存在線性關(guān)系；R2=1時(shí)表明樣本回歸線與樣本值重合，這種情況極少發(fā)生；一般情況下，R2越接近1表示擬合程度越好，X對(duì)Y的解釋能力越強(qiáng)。第二十二頁，共二十八頁，2022年，8月28日四.

相關(guān)系數(shù)檢驗(yàn)法1.提出原假設(shè)2.選擇統(tǒng)計(jì)量3.對(duì)給定的顯著性水平α,查臨界值rα(n-2),

得否定域?yàn)閨R|

>rα(n-2);第二十三頁，共二十八頁，2022年，8月28日§1.4

回歸系數(shù)估計(jì)值的置信區(qū)間

-t/2(n-2)

0

t/2(n-2)

由于：由大括號(hào)內(nèi)不等式表示的1的1-α的置信區(qū)間為：得：P{t/2

(n-2)

}=1-

同理,可，并求得的置信區(qū)間為：

第二十四頁，共二十八頁，2022年，8月28日§1.5一元線性回歸方程的預(yù)測(cè)和控制點(diǎn)預(yù)測(cè)Yi區(qū)間預(yù)測(cè)

（1）單個(gè)值Yi的區(qū)間預(yù)測(cè)（2）均值E(Yi)的區(qū)間預(yù)測(cè)控制第二十五頁，共二十八頁，2022年，8月28日如果經(jīng)過檢驗(yàn)，樣本回歸方程的擬合優(yōu)度好，且回歸系數(shù)的估計(jì)值顯著不為0，則可以用回歸方程進(jìn)行預(yù)測(cè)和控制。1、點(diǎn)預(yù)測(cè)

假設(shè)X0為解釋變量的一個(gè)已知點(diǎn)，則帶入樣本回歸方程即可得到Y(jié)0的估計(jì)值:2、區(qū)間預(yù)測(cè)

估計(jì)值是一個(gè)點(diǎn)預(yù)測(cè)值，它可以是（1）總體真值Y0的預(yù)測(cè)值；也可以是（2）總體回歸線E(Y0

）的預(yù)測(cè)值。