計量經(jīng)濟學(xué)講義——線性回歸模型的異方差問題1上課講義

1、計量經(jīng)濟學(xué)講義線性回歸模型的異方差問題1一元線性回歸方程中參數(shù)a、b的確定：bxay最小二乘法基本數(shù)學(xué)要求：2()m inyy02012min,min) (22xbxaybxaybabxayyy，有求偏導(dǎo)數(shù)，并令其為零、分別對函數(shù)中，有由一元線性回歸分析總結(jié)（回歸系數(shù)的計算方法）整理得到由兩個關(guān)于a、b的二元一次方程組成的方程組：xbynxbnyaXXYYXXxyxbiiiiii22)()(進一步整理，有：2ynab xxya xb x 一元線性回歸分析總結(jié)（回歸系數(shù)的計算公式）殘差之和為零所擬合直線通過樣本散點圖的重心誤差項與解釋變量不相關(guān)a與b分別是總體回歸系數(shù)的無偏估計量a與b均為服從正

2、態(tài)分布的隨機變量)(,(),)(,(22222xxNbxxxNa0e),(yx0)(xxee)()(bEaE一元線性回歸分析總結(jié)（最小二乘法的優(yōu)良性質(zhì) ）b與r的關(guān)系： r0 r0 r=0b0 b0 b=0 xyyxSSrbSSbr;一元線性回歸分析總結(jié)（相關(guān)系數(shù)與回歸系數(shù)的差別）假定1 回歸模型參數(shù)是線性的，但不一定是變量線性的，回歸模型形式如下：uxy一元線性回歸分析回歸的假定條件假定2 解釋變量X與擾動誤差項u不相關(guān)。但是，如果X是非隨機的，則該假定自然滿足。一元線性回歸分析回歸的假定條件假定3 給定X，擾動誤差項u的數(shù)學(xué)期望或均值為0，即E（u|X） 0。XY0uuuuuuE(Y|X)

3、=+*X一元線性回歸分析回歸的假定條件假定4 誤差擾動項u的方差為常數(shù)，即Var（u）2，稱之為同方差(homoscedasticity) 同方差的含義：每個Y值以相同的方差分布在其均值周圍，即Y偏離其均值的程度相同。XY0uuuuuuE(Y|X)=+*XXY0uuuuuuE(Y|X)=+*X同方差(homoscedasticity)異方差(heteroscedasticity)一元線性回歸分析回歸的假定條件假定5 無自相關(guān)假定，即兩個誤差項之間不相關(guān)。 Cov（ui,uj） = 0。正 相 關(guān)負 相 關(guān)不 相 關(guān)ujuiujuiujui假定6 回歸模型是正確設(shè)定的，即實證分析的模型不存在設(shè)定

4、誤差或設(shè)定錯誤。uxy一元線性回歸分析回歸的假定條件假定7 在總體回歸函數(shù)中，誤差項u服從均值為0，方差為2的正態(tài)分布。即 u N(0，2)中心極限定理 獨立同分布的隨機變量，隨著變量個數(shù)的無限增加，其和的分布近似服從正態(tài)分布。 雖然古典線性回歸模型強調(diào)了同方差假定，但在實踐中無法保證總能夠滿足。本章內(nèi)容就是討論同方差假定不滿足條件下，回歸模型可能會出現(xiàn)的問題，以及如何解決問題：異方差有什么性質(zhì)？異方差的后果是什么？如何診斷存在異方差？1. 如果存在異方差，如何解決？異方差性回歸問題的引入9.2 異方差的性質(zhì)Sales R&DProfitSalesR&D Profit6375.

5、362.5185.180552.86620.113869.911626.492.91596.595249.03918.64487.814665.1178.3276.8101314.11595.310278.921869.2258.42828.1116141.36107.58787.3例9.1 美國創(chuàng)新研究：1988年美國研究與開發(fā)費用支出9.2 異方差的性質(zhì)例9.1 美國創(chuàng)新研究：銷售對研究與開發(fā)的影響R&D 266.2575 + 0.030878*Sales se(1002.963) (0.008347) t (0.265471) (3.699508) p (0.7940) (0.0

6、019) R2 0.461032從回歸結(jié)果可以看出：（1）隨著銷售額的增加，R&D也逐漸增加，即銷售額每增加一百萬美元，研發(fā)相應(yīng)的增加3.1 萬美元。（2）隨著銷售額的增加，R&D支出圍繞樣本回歸線的波動也逐漸變大，表現(xiàn)出異方差性。9.2 異方差的性質(zhì)方程回歸結(jié)果圖9.2 異方差的性質(zhì)殘差與觀察值（銷售額）關(guān)系圖9.2 異方差的性質(zhì) 從殘差圖可以看出：殘差的絕對值隨著銷售額的增加而增加。 盡管殘差ei與擾動項ui是兩個不同的概念，根據(jù)ei的變化并不能斷言ui的方差也是變化的。但是，實踐中很難觀察到ui，只能利用檢驗ei的變動來推斷ui的變化。 問題：如何理解殘差ei與擾動項ui

7、兩個概念的差別？9.3 異方差的后果 如果CLRM其它假設(shè)保持不變，放松同方差假定，允許擾動項方差隨觀察值而異，異方差有如下后果：1、OLS估計量仍是線性的。2、OLS估計量仍是無偏的。3、OLS估計量不再具有最小方差性，即不再是有效的。4、根據(jù)常用估計OLS估計量方差的公式得到的方差通常是有偏的，無法先驗地辨別偏差是正的還是負的。如果OLS高估了估計量的真實方差，則產(chǎn)生正的偏差，如果OLS低估了估計量的真實方差，則產(chǎn)生負的偏差。9.3 異方差的后果 如果CLRM其它假設(shè)保持不變，放松同方差假定，允許擾動項方差隨觀察值而異，異方差有如下后果：1、OLS估計量仍是線性的，是指關(guān)于隨機變量Y線性的

8、。xbynxbnyaXXYYXXxyxbiiiiii22)()(9.3 異方差的后果 5、方差的產(chǎn)生是由于 ，不再是真實2的無偏估計量，因為在計算OLS估計量的方差時已經(jīng)用了 。6、建立在t分布與F分布之上的置信區(qū)間和假設(shè)檢驗是不可靠的。如果沿用傳統(tǒng)的假設(shè)檢驗方法，則很可能得出錯誤的結(jié)論。fdei./,22即2222nei3.2一元線性回歸分析普通最小二乘估計量的方差與標準誤差系數(shù)估計量的誤差 ：是既然估計量是通過樣本計算出來的，因此隨著樣本的變化，這些估計量是存在抽樣變異性的 ，其變異性是由估計量的方差或其標注誤差 來度量。)var(.)()var()var()(.)()var(222222

9、2bestXXbaaestXXnXaibiia2是誤差擾動項u的方差，但是在多數(shù)情況下它是未知的。9.4 異方差的診斷方法1：圖形檢驗法例子 不同收入階層人群的消費狀況。不同收入階層的消費方差很可能是不同的。異方差的診斷方法：1、殘差的圖形檢驗：即考慮解釋變量X與誤差ei之間的關(guān)系。從例9.1看出隨著Sales增大，誤差ei的平方呈逐漸增大趨勢。9.4 異方差的診斷方法1：圖形診斷法0.0E+001.0E+072.0E+073.0E+074.0E+075.0E+076.0E+07050000100000200000300000SALESE29.4 異方差的診斷方法2：帕克(R.E.Park)檢

10、驗法如果存在異方差，則異方差i2可能與一個或多個解釋變量系統(tǒng)有關(guān)。是否相關(guān)，做i2對一個或多個解釋變量X的回歸。例如，在一元回歸模型中進行如下回歸：其中，vi是殘差項。此即為帕克檢驗。在許多情況下，是無法知道i2的，因此就用ei代替ui，建立如下回歸模型：iiivXBBln*ln212iiivXBBeln*ln212(9.1)(9.2)ei2可以從原始回歸模型中得到。9.4 異方差的診斷方法2：帕克(R.E.Park)檢驗法帕克檢驗步驟：做普通最小二乘回歸，不考慮異方差問題；從原始回歸方程求得殘差ei，并求其平方，再取對數(shù)形式；利用原始模型中得一個解釋變量做形如(9.2)的回歸，如果有多個解釋

11、變量，則對每個解釋變量做形如(9.2)的回歸，或者做ei2對Y估計值的回歸；檢驗零假設(shè)B20，即不存在異方差。如果lnei2和lnXi之間是統(tǒng)計顯著的，則拒絕零假設(shè)，表示存在異方差的可能。1. 如果接受零假設(shè)，則回歸方程中的B1可以理解為同方差i2的一個給定值。Park檢驗的弱點在哪？9.4 異方差的診斷方法3：格萊澤(Glejser)檢驗法 該檢驗方法實際上與帕克檢驗方法類似，從原始模型中獲得殘差ei后，格萊澤所做的回歸模型的方程不同，他采取的是下列函數(shù)形式：iiiiiiiiivXBBevXBBevXBBe1*|*|*|212121(9.3)(9.4)(9.5)Gleiser檢驗與Park檢

12、驗存在同樣的弱點。9.4 異方差的診斷方法4：懷特(White)檢驗法1、首先用普通最小二乘法估計方程(9.6)，獲得殘差ei2、做如下輔助回歸：iiiiuXBXBBY33221(9.6)(9.7)(9.8)iiiiiiiivXXAXAXAXAXAAe3262352243322123、求輔助回歸方程(9.7)的R2值，在不存在異方差的原假設(shè)下，懷特證明了從方程(9.7)中得到的R2值與樣本容量(n)的積服從2分布，自由度等于方程(9.7)中解釋變量的個數(shù)。212kRn9.4 異方差的診斷方法4：懷特(White)檢驗法4、如果從方程(9.8)中得到的2值超過了所選顯著水平的2臨界值，或者說計算

13、2的p值很低，則拒絕原假設(shè)：不存在異方差。p值大，則不能拒絕原假設(shè)。(9.8)212kRn9.4 異方差的診斷方法4：懷特(White)檢驗法507103.0),00060.0)(00000.0()182100.4)(801368.7()049390.0)(89255.31(*206553.08055.2482RptseAtprofitsndiv179238.0*00855.0*16896.1057.248222Ratpatpatpei樣本容量為19，自由度為2，19*0.179238=3.41則22=2.77(=25) 3.41 22=4.61(=10)，存在異方差的可能性還是較大的。9.4

14、 異方差的診斷方法4：懷特(White)檢驗法02004006008001000120014001600500600700800900ATPE29.4 異方差的診斷方法4：懷特(White)檢驗法 懷特檢驗的缺陷在于它過于一般化，如果有若干個解釋變量，那么在回歸方程中要包括這些變量，變量的平方以及它們的交叉乘積項，就會迅速的消耗自由度。因此，在回歸模型(9.7)中，引入太多變量時，必須謹慎。有時可以去掉回歸模型(9.7)中的交叉乘積項。9.5 異方差的解決辦法 解決異方差的方法就是對原始模型進行變量代換，使得異方差的模型變?yōu)橥讲畹哪Ｐ?。采取的辦法就是取決于真實方差i2是已知還是未知的： （1

15、）當i2已知時：加權(quán)最小二乘法iiiiiiiiiiuXBBYuXBBY)()1(*2121(9.9)(9.10)是變換后的誤差項。令iiiivuv,9.5 異方差的解決辦法iiiiiiiiiiXBBYuXBBY*2*1*21)()1(9.10)(9.11)11)(1)(222iiiiiuVarVar9.5 異方差的解決辦法 （2）當i2未知時：作變量代換 情形1：如果誤差方差與Xi成比例，作平方根變換用OLS法進行估計，把回歸的殘差對解釋變量X作圖，看誤差方差與X之間是否線性相關(guān)，或者說與X成比例，即 2i= E(ui2) = k*Xi iiiiiiiiiivXBXBXuXXBXBXY2121

16、11(9.11)(9.12)9.5 異方差的解決辦法 （2）當i2未知時：作變量代換 情形2：如果誤差方差與X2i成比例，作倒數(shù)變換用OLS法進行估計，把回歸的殘差對解釋變量X作圖，看誤差方差與X2之間是否線性相關(guān)，或者說與X2成比例，即 2i=E(ui2) = 2*X2i iiiiiiivBXBXuBXBXY212111(9.13)(9.14)9.5 異方差的解決辦法 （3）重新建立模型 除了推測i2以外，有時也可以通過重新建立PRF模型消除異方差。例如，利用雙對數(shù)模型，半對數(shù)模型等。 但實際上，選擇更合適的模型更加困難。異方差問題的概念異方差問題的來源異方差問題的后果 OLS估計量仍是線性

17、的 OLS估計量仍是無偏的 OLS估計量不再具有方差最小性，即有效性不再存在。 根據(jù)常用估計OLS估計量方差公式得到的方差通常是有偏的。無法先驗的辨別偏差是正的還是負的。 方差的產(chǎn)生是由于 不再是真實2的無偏估計量。 建立在t分布和F分布之上的置信區(qū)間和假設(shè)檢驗是不可靠的，即沿用經(jīng)典的假設(shè)檢驗方法，則很可能得到錯誤結(jié)論。9.6 異方差問題的總結(jié).,./,22fdei即異方差診斷方法 圖形檢驗法 帕克（R.E.Park）檢驗法 格萊澤(Glejser)檢驗法 懷特（White）檢驗法解決異方差問題的方法 已知2，對原始方程兩邊同除以 未知2，對原始方程兩邊同除以(Xi)1/2 未知2，對原始方程

18、兩邊同除以(1/Xi) 改變方程形式，重新建立方程9.6 異方差問題的總結(jié)9.7 異方差問題例子例9.2 經(jīng)濟計量學(xué)精要p.306. 139Ln(R&D) -7.2828 + 1.3144*ln(Sales) se(1.86167) (0.16924) t (-3.91198) (7.76697) p (0.0012) (0.0000) R2 0.790373從回歸結(jié)果可以看出：（1）在雙對數(shù)模型中，R&D支出與銷售額正相關(guān)，即銷售額每增加1%，研發(fā)相應(yīng)的增加1.3%。9.7 異方差問題例子例9.2 經(jīng)濟計量學(xué)精要p.306. 139 Sales與殘差resid作圖： 9.7

19、異方差問題例子例9.2 經(jīng)濟計量學(xué)精要p.306. 139 Sales與殘差resid作圖： 9.7 異方差問題例子例9.2 經(jīng)濟計量學(xué)精要p.306. 139 對回歸的殘差進行帕克檢驗和格萊澤檢驗，得出什么結(jié)論？Park檢驗：ln(e2) = 3.4125+0.9377*ln(Sales) se=(4.9726)(0.4520) t = (0.6863)(2.0744) p=(0.5024)(0.0545) R2=0.2119從Park檢驗可知，回歸模型存在異方差。9.7 異方差問題例子例9.2 經(jīng)濟計量學(xué)精要p.306. 139 對回歸的殘差進行帕克檢驗和格萊澤檢驗，得出什么結(jié)論？Glejser檢驗：|e2| = 573.5345+0.0124*(Sales) p=(0.4071)(0.0418)|e2| = -522.8083+8.175*(Sales)(1/2) p=(0.6069)(0.0263)|e2| = 2135.75-19863530*(1/Sales