一元線性回歸分析基礎ppt課件

1、重點問題重點問題v 參數(shù)的最小二乘估計參數(shù)的最小二乘估計v 最小二乘估計的性質(zhì)最小二乘估計的性質(zhì)v 參數(shù)估計的檢驗參數(shù)估計的檢驗v 預測預測1、幾個概念、幾個概念條件分布條件分布Conditional distribution）：以）：以X取定值為條件的取定值為條件的Y的條件分的條件分布布條件概率條件概率Conditional probability）：給定）：給定X的的Y的概率，記為的概率，記為P(Y|X)。例如，例如，P(Y=55|X=80)=1/5；PY=150|X=260）=1/7。條件期望條件期望conditional Expectation）：給定）：給定X的的Y的期望值，記為的期

2、望值，記為E(Y|X)。例如，例如，E(Y|X=80)=551/5601/5651/5701/5751/565總體回歸曲線總體回歸曲線Popular Regression Curve）（總體回歸曲線的幾何意）（總體回歸曲線的幾何意義）：當解釋變量給定值時因變量的條件期望值的軌跡。義）：當解釋變量給定值時因變量的條件期望值的軌跡。2、總體回歸函數(shù)、總體回歸函數(shù)( Popular Regression Function，PRF)E(Y|Xi)=f(Xi)當當PRF的函數(shù)形式為線性函數(shù)，則有，的函數(shù)形式為線性函數(shù)，則有，E(Y|Xi)=1+2Xi其中其中1和和2為未知而固定的參數(shù)，稱為回歸系數(shù)。為未

3、知而固定的參數(shù)，稱為回歸系數(shù)。1和和2也分別稱也分別稱為截距和斜率系數(shù)。為截距和斜率系數(shù)。上述方程也稱為線性總體回歸函數(shù)。上述方程也稱為線性總體回歸函數(shù)。3、“線性的含義線性的含義 “線性可作兩種解釋：對變量為線性，對參數(shù)為線性。一般線性可作兩種解釋：對變量為線性，對參數(shù)為線性。一般“線性回歸線性回歸一詞總是指對參數(shù)一詞總是指對參數(shù)為線性的一種回歸即參數(shù)只以它的為線性的一種回歸即參數(shù)只以它的1次方出現(xiàn)）。次方出現(xiàn)）。 4、PRF的隨機設定的隨機設定 將個別的將個別的Yi圍繞其期望值的離差圍繞其期望值的離差(Deviation)表述如下：表述如下： ui=Yi-E(Y|Xi) 或或 Yi=E(Y

4、|Xi)+ui其中其中ui為隨機誤差項為隨機誤差項Stochastic error或隨機干擾項或隨機干擾項Stochastic disturbance）。線性總體回歸函數(shù)：）。線性總體回歸函數(shù)： PRF：Yi=1+2Xi+ui=E(Y|Xi)+ui5、隨機干擾項的意義、隨機干擾項的意義 隨機擾動項是從模型中省略下來的而又集體地影響著隨機擾動項是從模型中省略下來的而又集體地影響著Y的全部變量的全部變量的替代物。顯然的問題是：為什么不把這些變量明顯地引進到模型中來，的替代物。顯然的問題是：為什么不把這些變量明顯地引進到模型中來，而以隨即擾動項來替代？理由是多方面的：而以隨即擾動項來替代？理由是多方

5、面的：（1理論的含糊性：理論不能完全說明影響因變量的所有影響因素。理論的含糊性：理論不能完全說明影響因變量的所有影響因素。（2數(shù)據(jù)的欠缺：無法獲得有關數(shù)據(jù)。數(shù)據(jù)的欠缺：無法獲得有關數(shù)據(jù)。（3核心變量與周邊變量：希望能找到與有較大影響的核心變量的關系。核心變量與周邊變量：希望能找到與有較大影響的核心變量的關系。（4內(nèi)在隨機性：因變量具有內(nèi)在的隨機性。內(nèi)在隨機性：因變量具有內(nèi)在的隨機性。（5替代變量：用來代替不可觀測變量的替代變量選擇，造成一定誤差。替代變量：用來代替不可觀測變量的替代變量選擇，造成一定誤差。（6省略原則：研究中盡可能使回歸式簡單。省略原則：研究中盡可能使回歸式簡單。（7錯誤的函數(shù)

6、形式：回歸式的的選擇是主觀的。錯誤的函數(shù)形式：回歸式的的選擇是主觀的。6、樣本回歸函數(shù)、樣本回歸函數(shù)SRF） 由于在大多數(shù)情況下，我們只知道變量值得一個樣本，要用樣本信由于在大多數(shù)情況下，我們只知道變量值得一個樣本，要用樣本信息的基礎上估計息的基礎上估計PRF。 X（收入）80100120140160180200220240260Y（支出）55657980102110120135137150樣本1 X（收入）80100120140160180200220240260Y（支出）708094103116130144152165178樣本2iiiuXY21樣本回歸函數(shù)SRF：的估計量為的估計量為的估

7、計量為其中12211,Xi)|E(YY, 在回歸分析中，我們用SRF估計PRF。 估計量估計量Estimator）：一個估計量又稱統(tǒng)計量）：一個估計量又稱統(tǒng)計量(statistic)，是指一個，是指一個規(guī)則、公式或方法，以用來根據(jù)已知的樣本所提供的信息去估計總體參數(shù)。規(guī)則、公式或方法，以用來根據(jù)已知的樣本所提供的信息去估計總體參數(shù)。在應用中，由估計量算出的數(shù)值稱為估計值）（在應用中，由估計量算出的數(shù)值稱為估計值）（estimate)。樣本回歸函數(shù)樣本回歸函數(shù)SRF的隨機形式為：的隨機形式為：iiiiuYuX Y21i其中 表示樣本殘差項residual）。iu Xi X PRF:E(Y|Xi)

8、=1+2XiSRF：YE(Y|Xi)iiXY21iu iuiYiY SRF SRF是是PRFPRF的近似估計。的近似估計。 為了使二者更為接近，即為了使二者更為接近，即要使要使2211,盡可能接近盡可能接近主要內(nèi)容主要內(nèi)容v第一節(jié)第一節(jié) 模型的假定模型的假定 v第二節(jié)第二節(jié) 參數(shù)的最小二乘估計參數(shù)的最小二乘估計 v第三節(jié)第三節(jié) 最小二乘估計量的性質(zhì)最小二乘估計量的性質(zhì)v第四節(jié)第四節(jié) 系數(shù)的顯著性檢驗系數(shù)的顯著性檢驗v第五節(jié)第五節(jié) 預測和預測區(qū)間預測和預測區(qū)間第一節(jié)第一節(jié) 模型的假定模型的假定第一節(jié)第一節(jié) 模型的假定模型的假定 或 Y=f(X1，X2，Xn，u) (15) 其中最簡單的形式為一元

9、線性回歸模型 Y=1+2X+u (16) 計量經(jīng)濟學只討論變量之間不完全確定的關系，如式(14)或式(15)所表示的關系。 如式(16)所表示的關系式，稱為一元線性回歸模型。 “一元是指只有一個自變量X，這個自變量X可以解釋引起因變量Y變化的部分原因。因而，X稱為解釋變量，Y稱為被解釋變量，1和2為參數(shù)。第一節(jié)第一節(jié) 模型的假定模型的假定v “線性一詞在這里有兩重含義。它一方面指被解釋變量Y與解釋變量X之間為線性關系，另一方面也指Y與參數(shù)1、2之間為線性關系。v 在數(shù)理統(tǒng)計學中，“回歸通常指散布點分布在一條直線(或曲線)附近，并且越靠近該直線(或曲線)，點的分布越密集的情況。 v “模型一詞通

10、常指滿足某些假設條件的方程或方程組。第一節(jié)第一節(jié) 模型的假定模型的假定第一節(jié)第一節(jié) 模型的假定模型的假定假設假設3 3 不同的誤差項不同的誤差項utut和和usus之間互相獨立，即之間互相獨立，即 cov(ut,us)=E(ut-E(ut)(us-E(us)=0 cov(ut,us)=E(ut-E(ut)(us-E(us)=0 (110)(110)第一節(jié)第一節(jié) 模型的假定模型的假定 (ts; t=1, 2, , n; s=1, 2, , n) (ts; t=1, 2, , n; s=1, 2, , n)或或 E(utus)=0 (111) E(utus)=0 (111) 假設假設4 4 解釋變

11、量解釋變量XtXt與誤差項與誤差項utut不相關，即不相關，即 cov(Xt, ut)=E(Xt-E(Xt)(ut-E(ut) cov(Xt, ut)=E(Xt-E(Xt)(ut-E(ut) =E(Xt-E(Xt)ut) =E(Xt-E(Xt)ut) =0 (t=1, 2, =0 (t=1, 2, ， n) (112) n) (112) 假設假設5 ut5 ut為服從正態(tài)分布的隨機變量，即為服從正態(tài)分布的隨機變量，即 ut utN(0, u2)N(0, u2) 以上五個假設條件稱為經(jīng)典假設條件。以上五個假設條件稱為經(jīng)典假設條件。 綜上所述，一元線性回歸模型可以歸結(jié)為綜上所述，一元線性回歸模型可

12、以歸結(jié)為 Yt=1+2Xt+ut(t=1, 2, Yt=1+2Xt+ut(t=1, 2, ， n) (113) n) (113)第一節(jié)第一節(jié) 模型的假定模型的假定 E(ut)=0 cov(ut, us)=0 (ts； t, s=1, 2, , n) var(ut)=u2 (常數(shù)常數(shù)) cov(Xt, ut)=0 utN(0, u2) 第二節(jié)第二節(jié) 參數(shù)的最小二乘估計參數(shù)的最小二乘估計ntttYY1ntttYY1)(ttYYmax21)(ntttYY 第第4 4種準則，由于逐項平方，不存在正負抵消的問種準則，由于逐項平方，不存在正負抵消的問題。它不僅考慮了所有點的影響，而且具有無偏性，題。它不僅

13、考慮了所有點的影響，而且具有無偏性，是一個很好的準則。這個準則稱為最小二乘準則。用是一個很好的準則。這個準則稱為最小二乘準則。用最小二乘準則尋找擬合直線的方法稱為最小二乘法。最小二乘準則尋找擬合直線的方法稱為最小二乘法。第二節(jié)第二節(jié) 參數(shù)的最小二乘估計參數(shù)的最小二乘估計為簡化表達式，從本節(jié)起，在不會發(fā)生誤解的情況下，為簡化表達式，從本節(jié)起，在不會發(fā)生誤解的情況下，略去求和指標略去求和指標t t求和的上下限。只要求和符號沒有上下限，求和的上下限。只要求和符號沒有上下限，就表示為從就表示為從t=1t=1到到t=nt=n求和。即用求和符號求和。即用求和符號代替符號代替符號nt1假設估計直線：假設估計

14、直線：Y= Y= * * + + * *X X* *，* *為參數(shù)估計為參數(shù)估計當當X=XtX=XtYt= Yt= * * + + * *XtXt(Xt,Yt)(Xt, (Xt,Yt)(Xt, * * + + * *Xt)Xt)殘差：殘差：et= Yt-( et= Yt-( * * + + * *Xt)Xt)誤差：誤差：ut= Yt-( + Xt)ut= Yt-( + Xt)殘差平方和：殘差平方和：Q= et2= Yt-( Q= et2= Yt-( * * + + * *Xt)2Xt)2第二節(jié)第二節(jié) 參數(shù)的最小二乘估計參數(shù)的最小二乘估計 22()( ):0, 0: 20 20 tttttttt

15、OLSordinary least squaresQQQYXYXXYXX YnXYXnX 最小二乘法求出參數(shù)估計量使達到最小值.正規(guī)方程: 即第二節(jié)第二節(jié) 參數(shù)的最小二乘估計參數(shù)的最小二乘估計 222222: XXttYYttXYttttXXXYXYXXSXXXnXSYYYnYSXXYYX YnXYSSSS 定義 則式變?yōu)? YX第二節(jié)第二節(jié) 參數(shù)的最小二乘估計參數(shù)的最小二乘估計XYX-Y)XX()YY)(XX(*2ttt*估計的回歸方程：最小二乘估計第二節(jié)第二節(jié) 參數(shù)的最小二乘估計參數(shù)的最小二乘估計總體有限總體無限總體任何樣本都是有限的 第三節(jié)第三節(jié) 最小二乘估計量的性質(zhì)最小二乘估計量的性質(zhì)

16、 一、線性特性 是指參數(shù)估計值*1和*2分別為觀察值Yt或擾動項ut的線性組合。 證： *2 =Xtyt/ Xt2 =Xt(Yt- )/X2t =（Xt/Xt2Yt 令 bt= （Xt/Xt2） 得 *2 = bt Yt 即*2 是Yt的線性組合Y第三節(jié)第三節(jié) 最小二乘估計量的性質(zhì)最小二乘估計量的性質(zhì) *2=btYt =bt(1+2Xt+ut) =1bt+2btXt+btut 其中： bt=(Xt/Xt2)=Xt / Xt2=0 btXt=(Xt/Xt2)Xt=(Xt(Xt+ )/Xt2)=1 所以 *2 =2+btut即*2也是ut的線性組合 X第三節(jié)第三節(jié) 最小二乘估計量的性質(zhì)最小二乘估計

17、量的性質(zhì) *1= - 1 =(1/n)Yt- btYt =(1/n)- btYt令 at= (1/n)- bt由于和bt均為非隨機變量，所以at也是非隨機變量。因而 *1 =atYt即*1是Yt的線性組合。 YXXXX第二節(jié)第二節(jié) 參數(shù)的最小二乘估計參數(shù)的最小二乘估計 *1 =at(1+2Xt+ut) =1at+2atXt+atut其中：at=(1/n)- bt=1- bt=1atXt=1/n- btXt =(1/n)Xt- btXt =0所以*1 =1+atut即*1也是ut的線性組合XXXX第三節(jié)第三節(jié) 最小二乘估計量的性質(zhì)最小二乘估計量的性質(zhì)二、無偏性 指*1和*2 的期望值分別等于總體

18、參數(shù)1和2。 即E(*1)=1 E(*2 )=2 E(*2 )=E(2+btut) =2+btE(ut) =2 E(*1)=E(1+atut) =1 第三節(jié)第三節(jié) 最小二乘估計量的性質(zhì)最小二乘估計量的性質(zhì)三、最優(yōu)性 指最小二乘估計*1和*2在各種線性無偏估計中，具有最小方差。 1.先求*1和*2的方差 var(*2) = var(btYt) = bt2 var(1+2Xt+ut) = bt2 var(ut)= (Xt/Xt2)22 = 2 /Xt2 var(*1)= var(atYt) = at2 var(1+2Xt+ut) = at2 var(ut)= (1/n)- bt22 = 2 (1/

19、n+ 2/ Xt2)XX第三節(jié)第三節(jié) 最小二乘估計量的性質(zhì)最小二乘估計量的性質(zhì)2.2.證明最小方差性證明最小方差性 假設假設* * *2 2是其他方法得到的關于是其他方法得到的關于22的線性的線性無偏估計無偏估計 * * *2=ctYt2=ctYt 其中，其中，ct=bt+dtct=bt+dt，dtdt為不全為零的常數(shù)為不全為零的常數(shù) 則容易證明則容易證明 var( var(* * *2) var(2) var(* *2) 2) 同理可證明同理可證明11的最小二乘估計量的最小二乘估計量* *1 1具有最具有最小方差。小方差。 高斯高斯馬爾可夫定理馬爾可夫定理(Gauss-Markov (Gau

20、ss-Markov theorem)theorem)： 滿足性質(zhì)滿足性質(zhì)1 1、2 2、3 3的最小二乘估計量是最優(yōu)線的最小二乘估計量是最優(yōu)線性無偏估計量性無偏估計量best linear unbiased best linear unbiased estimatorestimator：BLUEBLUE）第四節(jié)第四節(jié) 系數(shù)的顯著性檢驗系數(shù)的顯著性檢驗一、誤差項方差估計 對比總體回歸模型和樣本回歸模型，可以看出，殘差et可以看做誤差項ut的估計值。計算如下：22222222: , ,2 (1) (2) (3)tttttttttttttttYXueYYYYuubXXeuuuubXXbXX 的估計量

21、模型:包含三個未知參數(shù)第四節(jié)第四節(jié) 系數(shù)的顯著性檢驗系數(shù)的顯著性檢驗 2222222222222223,(2)2,(1)1(1),(2),(3)122:2,XXXXttESEEnSEenneSnE SS 由定義則即是的一個無偏估計第四節(jié)第四節(jié) 系數(shù)的顯著性檢驗系數(shù)的顯著性檢驗二、參數(shù)估計的顯著性檢驗二、參數(shù)估計的顯著性檢驗 在上一節(jié)中，已經(jīng)證明，由于最小二乘估在上一節(jié)中，已經(jīng)證明，由于最小二乘估計計*1和和*2 具有線性特性，所以具有線性特性，所以*1和和*2均均為為Yt的線性組合。的線性組合。 因為因為Yt服從正態(tài)分布，所以作為服從正態(tài)分布，所以作為Yt的線性的線性組合的組合的*1和和*2也

22、服從正態(tài)分布。也服從正態(tài)分布。 由無偏性，證明了由無偏性，證明了*1和和*2的期望分別的期望分別為總體參數(shù)為總體參數(shù)1和和2。在證明最優(yōu)性的過程中。在證明最優(yōu)性的過程中又得到又得到*1和和*2的方差。的方差。第四節(jié)第四節(jié) 系數(shù)的顯著性檢驗系數(shù)的顯著性檢驗因而，可以得到*1和*2的抽樣分布為),(),(222*22221*1tuttuXNXnXN 由于真實的2不知，用它的無偏估計量S2=et2/(n-2)替代時，可構(gòu)造如下統(tǒng)計量：)2(*2222*222*ntSXStt 檢驗步驟：（1對總體參數(shù)提出假設 H0： 2=0， H1：20（2以原假設H0構(gòu)造t統(tǒng)計量，并由樣本計算其值*2*2St 第四

23、節(jié)第四節(jié) 系數(shù)的顯著性檢驗系數(shù)的顯著性檢驗（3給定顯著性水平給定顯著性水平，查，查t分布表，得臨界值分布表，得臨界值 t /2(n-2)(4) 比較，判斷比較，判斷 假設假設 |t| t /2(n-2)，則拒絕，則拒絕H0 ，接受，接受H1 ； 假設假設 |t| t /2(n-2)，則拒絕，則拒絕H1 ，接受，接受H0 ； 對于一元線性回歸方程中的對于一元線性回歸方程中的1 1，可構(gòu)造如下，可構(gòu)造如下t t統(tǒng)計量進統(tǒng)計量進行顯著性檢驗：行顯著性檢驗： )2()(*1*12221*1ntSXnXSttt第四節(jié)第四節(jié) 系數(shù)的顯著性檢驗系數(shù)的顯著性檢驗三、總體參數(shù)的置信區(qū)間 總體參數(shù)1和2的置信區(qū)間

24、分別為 *2*2*1*1)2()2()2()2(2/*222/*22/*112/*1SntSntSntSnt和第四節(jié)第四節(jié) 系數(shù)的顯著性檢驗系數(shù)的顯著性檢驗四、決定系數(shù))Y-(Y)Y-Y(Y-YYtttt，再求和得上式兩邊減去ttteYY 由樣本回歸模型和樣本回歸方程，可以得到由樣本回歸模型和樣本回歸方程，可以得到 這個恒等式把被解釋變量的總偏差分解成相應的這個恒等式把被解釋變量的總偏差分解成相應的可解釋偏差可解釋偏差( (回歸偏差回歸偏差) )和殘差和殘差( (隨機偏差兩部分之隨機偏差兩部分之和，如下圖：和，如下圖：第四節(jié)第四節(jié) 系數(shù)的顯著性檢驗系數(shù)的顯著性檢驗ttYY 圖15被解釋變量偏差

25、的分解 XXtOYXyttYY Yt第四節(jié)第四節(jié) 系數(shù)的顯著性檢驗系數(shù)的顯著性檢驗記2)(YYTSSt總體平方和總體平方和Total Sum of Squares）)(YYESSt回歸平方和回歸平方和Explained Explained Sum of SquaresSum of Squares）2)(ttYYRSS殘差平方和殘差平方和Residual Residual Sum of Squares Sum of Squares ）TSS=ESS+RSS可以證明第四節(jié)第四節(jié) 系數(shù)的顯著性檢驗系數(shù)的顯著性檢驗ttt2t1tt212222X)X()( )()( )(2)()()()()(YYYYY

26、YYYYYYYYYYYYYYYttttttttttttt其中：由正規(guī)方程組00tttX第四節(jié)第四節(jié) 系數(shù)的顯著性檢驗系數(shù)的顯著性檢驗所以0)()()(222ttttYYYYYY即TSS=ESS+RSS Y的觀測值圍繞其均值的總離差(total variation)可分解為兩部分：一部分來自回歸線(ESS)，另一部分則來自隨機勢力(RSS)。在給定樣本中，TSS不變， 如果實際觀測點離樣本回歸線越近，則ESS在TSS中占的比重越大。第四節(jié)第四節(jié) 系數(shù)的顯著性檢驗系數(shù)的顯著性檢驗因此定義：222)()(YYYYTSSESSRtt表示擬合的程度，因此稱為決定系數(shù)(coefficient of det

27、ermination)或擬合優(yōu)度。在相關分析中R2 也稱為復相關系數(shù)。 0R2 1第四節(jié)第四節(jié) 系數(shù)的顯著性檢驗系數(shù)的顯著性檢驗五、相關分析 通常把相關分析作為回歸分析的補充分析方法。相關分析分為線性相關與非線性相關，如果樣本點集中分布在一條直線附近，則兩變量的關系稱為線性相關。當直線的斜率為正值，兩變量的關系稱為正線性相關。當直線的斜率為負值，兩變量的關系稱為負線性相關。如果樣本點集中分布在一條曲線附近，則兩變量的關系稱為非線性相關。 第四節(jié)第四節(jié) 系數(shù)的顯著性檢驗系數(shù)的顯著性檢驗v線性相關：通常用相關系數(shù)表示X和Y的相關程度 2222)var()var(),(ttttttttXYyxyxn

28、ynxnyxyXYXCOVrrXY為X與Y的簡單相關系數(shù)(只有兩個變量相關的相關系數(shù))，同時也是樣本相關系數(shù) 第四節(jié)第四節(jié) 系數(shù)的顯著性檢驗系數(shù)的顯著性檢驗總體相關系數(shù))var()var(),(YXYXCOVXY-1 1=0，表示總體，表示總體X與與Y不相關；不相關；0，表示總體，表示總體X與與Y在一定程度上相關；在一定程度上相關；=1，表示總體，表示總體X與與Y完全正相關或完全負相完全正相關或完全負相關。關。 第四節(jié)第四節(jié) 系數(shù)的顯著性檢驗系數(shù)的顯著性檢驗X與與Y總體是否相關的檢驗總體是否相關的檢驗提出假設：提出假設： H0 =0 H1 0 構(gòu)造統(tǒng)計量構(gòu)造統(tǒng)計量2n1)2(2rSntSrtr

29、r其中：第四節(jié)第四節(jié) 系數(shù)的顯著性檢驗系數(shù)的顯著性檢驗六、相關分析與回歸分析的聯(lián)系2RrYX 決定系數(shù)R2與相關分析中的簡單相關系數(shù)rXY之間的關系 簡單相關系數(shù)rXY與回歸分析中的參數(shù)估計*2的關系)var()var(*2XYrXY第五節(jié)第五節(jié) 預測和預測區(qū)間預測和預測區(qū)間一、預測的點估計根據(jù)樣本回歸方程ttXY21對原樣本外的任意解釋變量X0，可得到tXY210因為：的無偏估計值。是即)()()()(0000210210YEYYEXXEYE第五節(jié)第五節(jié) 預測和預測區(qū)間預測和預測區(qū)間的無偏估計值。不是可見00000210210)()(YYYXXEYE)(0)(0000YYYYE即二者之差值得注意：但是 在多次觀察中，平均值趨向于零，從這個意義上是合理的中心區(qū)來估計用0000間作為，并且用YYYY第五節(jié)第五節(jié) 預測和預測區(qū)間預測和預測區(qū)間二、預測的區(qū)間估計 1.E(Y0)的置信區(qū)間)()()(var(2000000YYEEYYEEYYE因為0)()()(0000YEYEYYEE 所以)(2)()()()()var()()(var(221102220211202211020000EXEXEXEYYYEEYYE第五節(jié)第五節(jié) 預測和預測區(qū)間預測和預測區(qū)間因為22202022202221211)var()()v