計量經(jīng)濟學(xué)課件第四章多重共線性

1、第四章 多重共線性引子：發(fā)展農(nóng)業(yè)會減少財政收入嗎？為了分析各主要因素對財政收入的影響，建立財政收入模型: CSi = b 0 + b1 NZ i + b 2GZi + b 3 JZZ i + b 4TPOPi + b 5CUM i + b 6 SZM i + ui其中: CS財政收入(億元) ; NZ農(nóng)業(yè)增加值(億元);GZ工業(yè)增加值(億元); JZZ建筑業(yè)增加值(億元); TPOP總?cè)丝?萬人); CUM最終消費(億元);SZM受災(zāi)面積(萬公頃)數(shù)據(jù)樣本時期1978年-2007年（資料來源：中國統(tǒng)計年鑒2008，中國統(tǒng)計出版社2008年版）采用普通最小二乘法得到以下估計結(jié)果財政收入模型的EV

2、iews估計結(jié)果Variable農(nóng)業(yè)增加值工業(yè)增加值建筑業(yè)增加值總?cè)丝谧罱K消費受災(zāi)面積截距Coefficient-1.907548Std. Error0.3420450.0427460.7657670.0916600.0428070.0489048607.753t-Statistic-5.576888 1.074892 8.433867 1.047591 0.072609-0.564916-0.631118Prob.0.00000.29360.00000.30570.94270.57760.5342 0.045947 6.458374 0.096022 0.003108-0.027627-54

3、32.507R-squaredAdjusted R-squaredS.E. of regressionSum squared residLog likelihoodDurbin-Watson stat0.9896540.9869551437.44847523916-256.70131.654140Mean dependent var10049.04S.D. dependent var12585.51Akaike info criterion 17.58009Schwarz criterion17.90704 F-statistic366.6801Prob(F-statistic)0.00000

4、0模型估計與檢驗結(jié)果分析可決系數(shù)為0.9897 ，校正的可決系數(shù)為0.9870，模型擬合很好。模型對財政收入的解釋程度高達(dá)98.9%。F統(tǒng)計量為366.68，說明0.05水平下回歸方程整體上顯著。 t 檢驗結(jié)果表明，除了農(nóng)業(yè)增加值、建筑業(yè)增加值以外，其他因素對財政收入的影響均不顯著。農(nóng)業(yè)增加值的回歸系數(shù)是負(fù)數(shù)。農(nóng)業(yè)的發(fā)展反而會使財政收入減少嗎？!這樣的異常結(jié)果顯然與理論分析和實踐經(jīng)驗不相符。若模型設(shè)定和數(shù)據(jù)真實性沒問題，問題出在哪里呢？第四章 多重共線性本章討論四個問題：什么是多重共線性多重共線性產(chǎn)生的后果多重共線性的檢驗多重共線性的補救措施第一節(jié) 什么是多重共線性本節(jié)基本內(nèi)容:多重共線性的含

5、義產(chǎn)生多重共線性的背景一、多重共線性的含義在計量經(jīng)濟學(xué)中所謂的多重共線性(Multi-Collinearity)，不僅包括完全的多重共線性，還包括不完全的多重共線性。在有截距項的模型中，截距項可以視為其對應(yīng)的解釋變量總是為1。對于解釋變量 1, X 2 , X 3 , , X k ，如果存在不全為0的 數(shù) 1 , 2 ,. k ，使得 l1 + l2 X 2i + l3 X 3i + + lk X ki = 0(i = 1, 2, ,n)則稱解釋變量 1, X 2 , X 3 ,線性?；蛘哒f,當(dāng) Rank ( X ) < k重共線性。, X k 之間存在著完全的多重共時，表明在數(shù)據(jù)矩陣X

6、 中，至少有一個列向量可以用其余的列向量線性表示，則說明存在完全的多不完全的多重共線性實際中，常見的情形是解釋變量之間存在不完全的多重共線性。對于解釋變量 1, X 2 , X 3 ,l1 , l2 , lk ，使得X k ，存在不全為0的數(shù)l1 + l2 X 2i + l3 X 3i + . + lk X ki + ui = 0i = 1, 2,., n其中， ui 為隨機變量。這表明解釋變量1, X 2 , X 3 , X k 只是一種近似的線性關(guān)系。回歸模型中解釋變量的關(guān)系 可能表現(xiàn)為三種情形：(1) rxi x j = 0 ，解釋變量間毫無線性關(guān)系，變量間相互正交。這時已不需要作多元回

7、歸，每個參數(shù)bj都可以通過Y 對 Xj 的一元回歸來估計。(2) rxi x j = 1 ，解釋變量間完全共線性。此時模型參數(shù)將無法確定。 1(3) 0rxi x j ，解釋變量間存在一定程度的線性關(guān)系。實際中常遇到的情形。二、產(chǎn)生多重共線性的背景多重共線性產(chǎn)生的經(jīng)濟背景主要有幾種情形：1.經(jīng)濟變量之間具有共同變化趨勢。2.模型中包含滯后變量。3.利用截面數(shù)據(jù)建立模型也可能出現(xiàn)多重共線性。4.樣本數(shù)據(jù)自身的原因。第二節(jié) 多重共線性產(chǎn)生的后果本節(jié)基本內(nèi)容:完全多重共線性產(chǎn)生的后果不完全多重共線性產(chǎn)生的后果一、完全多重共線性產(chǎn)生的后果1.參數(shù)的估計值不確定當(dāng)解釋變量完全線性相關(guān)時 OLS 估計式不

8、確定 從偏回歸系數(shù)意義看：在 X 2和 X 3 完全共線性時，無法保持 X 3不變，去單獨考慮 X 2 對Y 的影響（ X 2 和 X 3 的影響不可區(qū)分） =0 從OLS估計式看：可以證明此時 2 02.參數(shù)估計值的方差無限大 OLS估計式的方差成為無窮大： Var( b 2 ) = ¥二、不完全多重共線性產(chǎn)生的后果如果模型中存在不完全的多重共線性，可以得到參數(shù)的估計值，但是對計量經(jīng)濟分析可能會產(chǎn)生一系列的影響。1.參數(shù)估計值的方差增大 ) = 2Var( 2 11 = 2222å x2i (1- r23 ) å x2i (1- r23 )2當(dāng)r23增大時 Va

9、r( b 2 ) 也增大2.對參數(shù)區(qū)間估計時，置信區(qū)間趨于變大3.假設(shè)檢驗容易作出錯誤的判斷4.可能造成可決系數(shù)較高，但對各個參數(shù)單獨的t 檢驗卻可能不顯著，甚至可能使估計的回歸系數(shù)符號相反，得出完全錯誤的結(jié)論。第三節(jié) 多重共線性的檢驗本節(jié)基本內(nèi)容： 簡單相關(guān)系數(shù)檢驗法 方差擴大（膨脹）因子法 直觀判斷法 逐步回歸法一、簡單相關(guān)系數(shù)檢驗法含義：簡單相關(guān)系數(shù)檢驗法是利用解釋變量之間的線性相關(guān)程度去判斷是否存在嚴(yán)重多重共線性的一種簡便方法。判斷規(guī)則：一般而言，如果每兩個解釋變量的簡單相關(guān)系數(shù)(零階相關(guān)系數(shù))比較高，例如大于0.8，則可認(rèn)為存在著較嚴(yán)重的多重共線性。注意：較高的簡單相關(guān)系數(shù)只是多重共

10、線性存在的充分條件，而不是必要條件。特別是在多于兩個解釋變量的回歸模型中，有時較低的簡單相關(guān)系數(shù)也可能存在多重共線性。因此并不能簡單地依據(jù)相關(guān)系數(shù)進(jìn)行多重共線性的準(zhǔn)確判斷。二、輔助回歸模型檢驗當(dāng)模型的解釋變量個數(shù)多于兩個，并且呈現(xiàn)出較為復(fù)雜的相關(guān)關(guān)系時，可以通過每個解釋變量對其它解釋變量的輔助回歸模型來檢驗多重共線性，即依次建立k個輔助回歸模型：xi = a0 + a1 x1 + L + ai -1 xi -1 + ai +1 xi +1 + L + ak xk + e( i=1,2,k)若其中某些方程顯著，則表明存在多重共線性。三、方差擴大（膨脹）因子法 統(tǒng)計上可以證明，解釋變量 X j 的

11、參數(shù)估計式 j的方差可表示為 1 Var( j ) = ×= × VIFj 222 å x j 1- R j å x j22其中的 VIFj 是變量 X j 的方差擴大因子 1(Variance Inflation Factor)，即 VIFj =2 (1- R j )其中 R2j是多個解釋變量輔助回歸的可決系數(shù)經(jīng)驗規(guī)則方差膨脹因子越大，表明解釋變量之間的多重共性越嚴(yán)重。反過來，方差膨脹因子越接近于1，多重共線性越弱。經(jīng)驗表明，方差膨脹因子10時，說明解釋變量與其余解釋變量之間有嚴(yán)重的多重共線性，且這種多重共線性可能會過度地影響最小二乘估計。另一個與VI

12、F等價的指標(biāo)是“容許度”（Tolerance），其定義為：TOLi = (1 - R ) = 1 VIFi 2i 顯然，0TOL1；當(dāng)xi與其它解釋變量高度相關(guān)時，TOL0。因此，一般當(dāng)TOL<0.1時，認(rèn)為模型存在較嚴(yán)重的多重共線性四、直觀判斷法1. 當(dāng)增加或剔除一個解釋變量，或者改變一個觀測值時，回歸參數(shù)的估計值發(fā)生較大變化，回歸方程可能存在嚴(yán)重的多重共線性。2. 從定性分析認(rèn)為，一些重要的解釋變量的回歸系數(shù)的標(biāo)準(zhǔn)誤差較大，在回歸方程中沒有通過顯著性檢驗時，可初步判斷可能存在嚴(yán)重的多重共線性。3. 有些解釋變量的回歸系數(shù)所帶正負(fù)號與定性分析結(jié)果違背時，很可能存在多重共線性。4. 解釋

13、變量的相關(guān)矩陣中，自變量之間的相關(guān)系數(shù)較大時，可能會存在多重共線性問題。五、逐步回歸檢測法逐步回歸的基本思想將變量逐個的引入模型，每引入一個解釋變量后，都要進(jìn)行檢驗，并對已經(jīng)選入的解釋變量逐個進(jìn)行t 檢驗，當(dāng)原來引入的解釋變量由于后面解釋變量的引入而變得不再顯著時，則將其剔除。以確保每次引入新的變量之前回歸方程中只包含顯著的變量。在逐步回歸中，高度相關(guān)的解釋變量，在引入時會被剔除。因而也是一種檢測多重共線性的有效方法。第四節(jié) 多重共線性的補救措施本節(jié)基本內(nèi)容:修正多重共線性的經(jīng)驗方法逐步回歸法嶺回歸法在本科教學(xué)中只是供選擇使用的內(nèi)容。一、修正多重共線性的經(jīng)驗方法1. 剔除變量法把方差擴大因子最

14、大者所對應(yīng)的自變量首先剔除再重新建立回歸方程，直至回歸方程中不再存在嚴(yán)重的多重共線性。注意:需注意產(chǎn)生新的問題:模型的經(jīng)濟意義不合理；是否使模型產(chǎn)生異方差性或自相關(guān)性；若剔除不當(dāng),可能會產(chǎn)生模型設(shè)定誤差，造成參數(shù)估計嚴(yán)重有偏2. 增大樣本容量如果樣本容量增加，會減小回歸參數(shù)的方差，標(biāo)準(zhǔn)誤差也同樣會減小。因此盡可能地收集足夠多的樣本數(shù)據(jù)可以改進(jìn)模型參數(shù)的估計。問題：增加樣本數(shù)據(jù)在實際計量分析中常面臨許多困難。3. 變換模型形式一般而言，差分后變量之間的相關(guān)性要比差分前弱得多，所以差分后的模型可能降低出現(xiàn)共線性的可能性，此時可直接估計差分方程。問題：差分會丟失一些信息，差分模型的誤差項可能存在序列

15、相關(guān)，可能會違背經(jīng)典線性回歸模型的相關(guān)假設(shè)，在具體運用時要慎重。4. 利用非樣本先驗信息通過經(jīng)濟理論分析能夠得到某些參數(shù)之間的關(guān)系，可以將這種關(guān)系作為約束條件，將此約束條件和樣本信息結(jié)合起來進(jìn)行約束最小二乘估計?！纠可a(chǎn)函數(shù)Y = AL K e1- babe，L與K通常高度相關(guān)（規(guī)模報酬不變）已知附加信息： + =1則記 y=Y/L , k=K/L則C-D生產(chǎn)函數(shù)可以表示成: y=Ak 利用OLS法估計 A, b ，進(jìn)而得到 a = 1 - b KbY = AL K = AL( ) 或 LbYKb = A( )LL5. 橫截面數(shù)據(jù)與時序數(shù)據(jù)并用首先利用橫截面數(shù)據(jù)估計出部分參數(shù)，再利用時序數(shù)據(jù)

16、估計出另外的部分參數(shù)，最后得到整個方程參數(shù)的估計。注意：這里包含著假設(shè)，即參數(shù)的橫截面估計和從純粹時間序列分析中得到的估計是一樣的。舉例：中國家用轎車需求n銷售數(shù)據(jù)Yt、平均價格Pt、消費者收入It利用橫截面數(shù)據(jù)估計出 b 3利用時間序列數(shù)據(jù)回歸ln Yt = b1 + b 2 ln Pt + b3 ln I t + ut*nnYt * = b1 + b 2 ln Pt + ut其中，Yt * = lnY - b ln I t *36. 變量變換變量變換的主要方法：(1)計算相對指標(biāo)(2)將名義數(shù)據(jù)轉(zhuǎn)換為實際數(shù)據(jù)(3)將小類指標(biāo)合并成大類指標(biāo)變量數(shù)據(jù)的變換有時可得到較好的結(jié)果，但無法保證一定可

17、以得到很好的結(jié)果。二、逐步回歸法（1）用被解釋變量對每一個所考慮的解釋變量做簡單回歸。（2）以對被解釋變量貢獻(xiàn)最大的解釋變量所對應(yīng)的回歸方程為基礎(chǔ)，按對被解釋變量貢獻(xiàn)大小的順序逐個引入其余的解釋變量。若新變量的引入改進(jìn)了 R 2 和 F 檢驗，且回歸參數(shù)的t 檢驗在統(tǒng)計上也是顯著的，則在模型中保留該變量。若新變量的引入未能改進(jìn) R 2 和 F 檢驗，且對其他回歸參數(shù)估計值的t 檢驗也未帶來什么影響，則認(rèn)為該變量是多余變量。若新變量的引入未能改進(jìn) R 2 和 F 檢驗，且顯著地影響了其他回歸參數(shù)估計值的數(shù)值或符號，同時本身的回歸參數(shù)也通不過t 檢驗，說明出現(xiàn)了嚴(yán)重的多重共線性。第五節(jié) 案例分析一

18、、研究的目的要求提出研究的問題為了規(guī)劃中國未來國內(nèi)旅游產(chǎn)業(yè)的發(fā)展，需要定量地分析影響中國國內(nèi)旅游市場發(fā)展的主要因素。二、模型設(shè)定及其估計影響因素分析與確定影響因素主要有國內(nèi)旅游人數(shù) X 2，城鎮(zhèn)居民人均旅游支出 X 3，農(nóng)村居民人均X 6 作為相關(guān)基礎(chǔ)設(shè)施的代表旅游支出 X 4 ，并以公路里程次 X 5 和鐵路里程理論模型的設(shè)定Yt = b1 + b2 X 2t + b3 X 3t + b4 X 4t + b5 X 5t + b6 X 6t + ut其中 ： Yt 第 t 年全國國內(nèi)旅游收入數(shù)據(jù)的收集與處理1994年2007年中國旅游收入及相關(guān)數(shù)據(jù)年份國內(nèi)旅游收 國內(nèi)旅游人入Y（億元） 數(shù)X2

19、（萬人 次）城鎮(zhèn)居民人均旅游花費X3（元）農(nóng)村居民人均旅游花費X4（元）公路里程 鐵路里程X5（萬km） X6（萬km）199419951996199719981023.51375.71638.42112.72391.25240062900639006440069450414.7464.0534.1599.8607.054.961.570.5145.7197.0111.78115.70118.58122.64127.855.905.976.496.606.641999200020012002200320042005200620072831.93175.53522.43878.43442.347

20、10.75285.96229.747770.627190074400784008780087000110200121200139400161000614.8678.6708.3739.7684.9731.8737.1766.4906.9249.5226.6212.7209.1200.0210.2227.6221.9222.5135.17140.27169.80176.52180.98187.07193.05345.70358.376.746.877.017.197.307.447.547.717.80OLS 估計的結(jié)果該模型X6R 2 = 0.9973R 2 = 0.9956可決系數(shù)很高，F(xiàn)檢

21、驗值，593.4168,明顯顯著。但是當(dāng) a = 0.05 時ta / 2 (n - k ) = t0.025(14 - 6) = 2.31a = 0.05不僅 X 5、 6 系數(shù)的t檢驗 X、不顯著，而且 X 6 系數(shù)的符號與預(yù)期的相反，這表明很可能存在嚴(yán)重的多重共線性。計算各解釋變量的相關(guān)系數(shù)X2X2X3X41.0000000.8671920.566024X30.8671921.0000000.811726X40.5660240.8117261.000000X50.9455390.8051290.487669X60.8913030.9569030.790144X5X60.9455390.8

22、913030.8051290.9569030.4876690.7901441.0000000.8129210.8129211.000000表明各解釋變量間確實存在嚴(yán)重的多重共線性三、消除多重共線性采用逐步回歸法檢驗和解決多重供線性問題。分別作Y 對X2、X3、X4、X5、X6的一元回歸變量參數(shù)估計值t 統(tǒng)計量X20.058818.24880.9652X314.02259.30900.8784X419.61033.27100.4714X522.59578.70840.8634X63025.0629.13920.8744R2R220.96230.86820.42730.85200.8639R 的大小排序為： X2、 X3、X6