一元線性回歸方程PPT教材

1、回歸分析變變量量間間的的關關系系確定性關系或函數(shù)關系y =f (x)人的身高和體重人的身高和體重家庭的收入和消費家庭的收入和消費商品的廣告費和銷售額商品的廣告費和銷售額糧食的施肥量和產(chǎn)量糧食的施肥量和產(chǎn)量非確定性關系().xY相關關系第一章第一章 一元線性回歸模型一元線性回歸模型 以下設 x 為自變量(普通變量普通變量) Y 為因變量(隨機變隨機變量量) .現(xiàn)給定 x 的 n 個值 x1, xn, 觀察 Y 得到相應的 n 個值 y1,yn, (xi ,yi) i=1,2, n 稱為樣本點樣本點. 以以 (xi ,yi) 為坐標在平面直角坐標系中描點,所得到的這張圖便稱之為散點圖散點圖.北京市

2、城市居民家庭生活抽樣調(diào)查圖表0 02 24 46 68 810100 02 24 46 68 810101212 14141616 1818x:人均生活費收入Y:人均食品支出1.1 1.1 模型的建立及其假定條件模型的建立及其假定條件例如：研究某市可支配收入例如：研究某市可支配收入X對人均消費支出對人均消費支出Y 的影響。建立如下的影響。建立如下理論回歸模型理論回歸模型： Yi = 0 + 1 Xi + i其中：其中： Yi被解釋變量；被解釋變量； Xi解釋變量；解釋變量； I 隨機誤差項；隨機誤差項； 0， 1回歸系數(shù)回歸系數(shù)隨機變量隨機變量 i包含：包含： 回歸模型中省略的變量回歸模型中省

3、略的變量; 確定數(shù)學模型的誤差；確定數(shù)學模型的誤差； 測量誤差測量誤差 一、一元線性回歸模型一、一元線性回歸模型 XY8010012014016018020022024026055657980102110120135137150607084931071151361371451526574909511012014014015517570809410311613014415216517875859810811813514515717518088113125140160189185115162191戶數(shù)戶數(shù)5657665765總支出總支出3254624457076787506851043966121

4、1 假設調(diào)查了某社區(qū)所有居民，他們的人均可支假設調(diào)查了某社區(qū)所有居民，他們的人均可支配收入和消費支出數(shù)據(jù)如下：配收入和消費支出數(shù)據(jù)如下：YX55100 120140 16080 描出散點圖發(fā)現(xiàn)：隨著收入的增加，消費描出散點圖發(fā)現(xiàn)：隨著收入的增加，消費“平均地說平均地說”也在增加，且也在增加，且Y的條件均值均落在一根正斜率的直線上。這條直線稱為的條件均值均落在一根正斜率的直線上。這條直線稱為總體回歸線總體回歸線。二、隨機誤差項二、隨機誤差項i i的假定條件的假定條件為了估計總體回歸模型中的參數(shù)，需對隨機誤差項作出如下假定：為了估計總體回歸模型中的參數(shù)，需對隨機誤差項作出如下假定：假定假定1：零期

5、望假定零期望假定：E(i) = 0。假定假定2：同方差性假定同方差性假定：Var(i) = 2。假定假定4： i 服從正態(tài)分布服從正態(tài)分布，即即i N (0, 2 )。假定假定3：無序列相關假定無序列相關假定：Cov(i, j) = 0, (i j )。前三個條件稱為前三個條件稱為G-M條件條件1.2 1.2 一元線性回歸模型的參數(shù)估計一元線性回歸模型的參數(shù)估計普通最小二乘法（普通最小二乘法（Ordinary Least SquaresOrdinary Least Squares）OLSOLS回歸直線的性質(zhì)回歸直線的性質(zhì)OLSEOLSE的性質(zhì)的性質(zhì)一、普通最小二乘法一、普通最小二乘法對于所研究

6、的問題，通常真實的回歸直線對于所研究的問題，通常真實的回歸直線 E(Yi|Xi) = 0 + 1Xi 是觀是觀測不到的?？梢酝ㄟ^收集樣本來對真實的回歸直線做出估計。測不到的?？梢酝ㄟ^收集樣本來對真實的回歸直線做出估計。 經(jīng)驗回歸直線：經(jīng)驗回歸直線： iiXY10其中：其中： 為為Yi的估計值（擬合值）；的估計值（擬合值）；iY10,為為 0 , 1 的估計值；的估計值；如果觀測值到這條直線的縱向距離（真實值與估計值的偏差）用如果觀測值到這條直線的縱向距離（真實值與估計值的偏差）用ei表示（稱為殘差），則表示（稱為殘差），則經(jīng)驗回歸模型經(jīng)驗回歸模型為：為： iiieXY10（ei為為i的估計值）

7、的估計值）注意：分清注意：分清4個式子的關系個式子的關系 （4）經(jīng)驗（估計的）回歸直線：）經(jīng)驗（估計的）回歸直線：（1）理論（真實的）回歸模型：）理論（真實的）回歸模型： （3）經(jīng)驗（估計的）回歸模型：）經(jīng)驗（估計的）回歸模型： （2）理論（真實的）回歸直線：）理論（真實的）回歸直線： 01iiiYXiiX)X|Y(E10iiieXY10iiXY10對于參數(shù)的估計采用最小二乘估計法、最小二乘法的原則是以對于參數(shù)的估計采用最小二乘估計法、最小二乘法的原則是以“殘差平方和最小殘差平方和最小” 確定直線位置（即估計參數(shù)）。（確定直線位置（即估計參數(shù)）。（Q為殘差平方為殘差平方和）和）Q = niie

8、12niiiYY12)(=niii)XY(1210則通過則通過Q最小確定這條直線，即確定最小確定這條直線，即確定 ，以，以 為變量，為變量，把它們看作是把它們看作是Q的函數(shù)，就變成了一個求極值的問題，可以通過求的函數(shù)，就變成了一個求極值的問題，可以通過求導數(shù)得到。導數(shù)得到。10,10,求求QQ對對 兩個待估參數(shù)兩個待估參數(shù) 的偏導數(shù)：的偏導數(shù)：0Q= ) 1( )(2110niiiXY= 01Q= )( )(2110iniiiXXY= 0正規(guī)方程組正規(guī)方程組00iiiXee即即12()()()iiiXX YYXXXY10根據(jù)以上兩個偏導方程得以下正規(guī)方程正規(guī)方程（Normal equation

9、） ：iiXnY10210iiiiXXXY, XYXY其中和 分別為 、 的均值011xyxxYXLL若記21()nxxiiLXX21()nyyiiLYY1() ()nxyiiiLXXYY則 二、二、OLS回歸直線的性質(zhì)回歸直線的性質(zhì)（1）估計的回歸直線）估計的回歸直線 過點過點 .iiXY10),(YX （3） Yi 的擬合值的平均數(shù)等于其樣本觀測值的平均數(shù)的擬合值的平均數(shù)等于其樣本觀測值的平均數(shù) . YY niiXn110)(111niiYYn= X10= Y= 00iiiXee（2）統(tǒng)計性質(zhì)統(tǒng)計性質(zhì)l 線性線性l 無偏性無偏性l 有效性有效性 2 2 的估計的估計三、三、OLSE回歸直線

10、的性質(zhì)回歸直線的性質(zhì)1 1、線性、線性10,這里指這里指 都是都是Yi的線性函數(shù)。的線性函數(shù)。證明：證明：1= 2()()()iiiXXYYXX= 2()()()iiiiXX Y YXXXX2()()iiiXX YXX令令22()()iiiiiXXxkXXx代入上式，得：代入上式，得：iiYk1同理可證：同理可證： 0也具有線性特性也具有線性特性 。= 2、無偏性、無偏性 證明：證明：)(1E = = =)(iiYkE01 (iiiEkX01iiiiiEkk Xk=)( )(1iiiiukEXXkE=)(1iiuEk=122(-)(-)iiiiiXXxkXXx0()E0類似可證3、有效性、有效

11、性 0 ， 1 的的OLS估計量的方差比其他線性無偏估計量的方差都小。估計量的方差比其他線性無偏估計量的方差都小。2221()ixxVarkL221()xxXnL0()Var總體（隨機誤差項）真實方差總體（隨機誤差項）真實方差 2的無偏估計量：的無偏估計量：201( )()( )iiiiVar YVarXVar三、三、 2 的估計的估計22222iienn1.3 1.3 回歸方程的顯著性檢驗回歸方程的顯著性檢驗一、回歸參數(shù)的顯著性檢驗（一、回歸參數(shù)的顯著性檢驗（t t 檢驗檢驗） 首先，提出原假設和備擇假設：首先，提出原假設和備擇假設： H0： 01H1： 01其次，確定并計算統(tǒng)計量：其次，確

12、定并計算統(tǒng)計量： 111St1xxL如果如果 不能拒絕不能拒絕H0： ，認為，認為X X對對Y Y沒有顯著影響。沒有顯著影響。 01)2(2/ntt如果如果 拒絕拒絕H0 ： ，認為，認為X X對對Y Y有顯著影響。有顯著影響。 )2(2/ntt同理同理, ,可對可對 進行顯著性檢驗。進行顯著性檢驗。 001二、回歸方程的顯著性檢驗（二、回歸方程的顯著性檢驗（F F檢驗檢驗） 222()()()iiiiYYYYYY 總離差平方和總離差平方和 回歸平方和回歸平方和 殘差平方和殘差平方和SST = SSR + SSESST = SSR + SSE/1(1,2)/(2)SSRFFnSSEnH0： 0

13、1H1： 01拒絕域F F F F (1,n-2)三、三、 用樣本可決系數(shù)檢驗回歸方程的擬合優(yōu)度用樣本可決系數(shù)檢驗回歸方程的擬合優(yōu)度 R2 = SSRSSTR2 2=0=0時時 表明解釋變量表明解釋變量X X與被解釋變量與被解釋變量Y Y之間不存在線性關系；之間不存在線性關系；R2 2=1=1時時 表明樣本回歸線與樣本值重合，這種情況極少發(fā)生；表明樣本回歸線與樣本值重合，這種情況極少發(fā)生；一般情況下，一般情況下，R2 2越接近越接近1 1表示擬合程度越好，表示擬合程度越好，X X對對Y Y的解釋能力越強。的解釋能力越強。四四. 相關系數(shù)檢驗法相關系數(shù)檢驗法1. 提出原假設2. 選擇統(tǒng)計量3.

14、對給定的顯著性水平, 查臨界值 r (n-2), 得否定域為 |R R | r (n-2);yyxxxylllR 011.41.4 回歸系數(shù)估計值的置信區(qū)間回歸系數(shù)估計值的置信區(qū)間 -t /2 (n-2) 0 t /2 (n-2) 由于：由于：111s由大括號內(nèi)不等式表示的由大括號內(nèi)不等式表示的 1 1的的1-的的置信區(qū)間為：置信區(qū)間為：1)2()2(2/112/111ntSntSP得：得：1/21/2(2),(2)xxxxtntnLLP t /2 (n-2) = 1- 同理同理, ,可，并求得可，并求得 的置信區(qū)間為：的置信區(qū)間為： 0220/20/211(2),(2)xxxxXXtntnn

15、LnL1. 5 1. 5 一元線性回歸方程的預測和控制一元線性回歸方程的預測和控制 點預測點預測Yi區(qū)間預測區(qū)間預測 （1）單個值單個值Yi的區(qū)間預測的區(qū)間預測 （2）均值均值E(Yi)的區(qū)間預測的區(qū)間預測控制控制如果經(jīng)過檢驗，樣本回歸方程的擬合優(yōu)度好，且回歸系數(shù)的估計值顯如果經(jīng)過檢驗，樣本回歸方程的擬合優(yōu)度好，且回歸系數(shù)的估計值顯著不為著不為0，則可以用回歸方程進行預測和控制。，則可以用回歸方程進行預測和控制。1 1、點預測、點預測 假設假設X0為解釋變量的一個已知點，則帶入樣本回歸方程為解釋變量的一個已知點，則帶入樣本回歸方程即可得到即可得到Y Y0 0的估計值的估計值: :itXY100100XY2 2、區(qū)間預測、區(qū)間預測 估計值估計值 是一個點預測值，它可以是（是一個點預測值，它可以是（1 1）總體真值）總體真值Y0的預測值；的預測值；也可以是（也可以是（2）總體回歸線）總體回歸線E(Y 0 ）的預測值?，F(xiàn)在根據(jù)的預測值?，F(xiàn)在根據(jù) 來對（來對（1）（2）進行區(qū)間預測。）進行區(qū)間預測。 0Y0Y（1）Y0的預測區(qū)間的預測區(qū)間 00