第三章多重共線性

1、 現(xiàn)實(shí)的經(jīng)濟(jì)活動(dòng)是十分復(fù)雜的，古典假定經(jīng)常會(huì)不成立，我們經(jīng)常不得不放寬古典假定條件，需要討論違反假定以后的一些專門的計(jì)量方法。12 基本假定的回顧與分析基本假定的回顧與分析iYiu2,()kE Y XX為了分析各主要因素對(duì)國(guó)家財(cái)政收入的影響，建立財(cái)政收入模型:其中: CS財(cái)政收入(億元) ; NZ農(nóng)業(yè)增加值(億元); GZ工業(yè)增加值(億元); JZZ建筑業(yè)增加值(億元); TPOP總?cè)丝?萬(wàn)人); CUM最終消費(fèi)(億元); SZM受災(zāi)面積(萬(wàn)公頃) 數(shù)據(jù)：樣本時(shí)期1978年-2003年（資料來(lái)源：中國(guó)統(tǒng)計(jì)年鑒2004，中國(guó)統(tǒng)計(jì)出版社2004年版） 采用普通最小二乘法得到以下估計(jì)結(jié)果301234

2、56iiiiiiiiNZGZJZZTPOPCUMS MuSZC4 VariableCoefficientStd. Errort-StatisticProb. 農(nóng)業(yè)增加值農(nóng)業(yè)增加值NZ-1.5350900.129778-11.828610.0000工業(yè)增加值工業(yè)增加值GZ0.8987880.2454663.6615580.0017建筑業(yè)增加值建筑業(yè)增加值JZZ-1.5270891.206242-1.2659890.2208總?cè)丝诳側(cè)丝赥POP0.1511600.0337594.4776460.0003最終消費(fèi)最終消費(fèi)CUM0.1015140.1053290.9637830.3473受災(zāi)面積受災(zāi)面

3、積SZM-0.0368360.018460-1.9953820.0605截距項(xiàng)截距項(xiàng)-11793.343191.096-3.6957040.0015 R-squared 0.995015 Mean dependent var5897.824 Adjusted R-squared0.993441 S.D. dependent var5945.854 S.E. of regression481.5380 Akaike info criterion15.41665 Sum squared resid4405699. Schwarz criterion15.75537 Log likelihood-1

4、93.4165 F-statistic632.0999 Durbin-Watson stat1.873809 Prob(F-statistic)0.000000模型的模型的EViewsEViews估計(jì)結(jié)果估計(jì)結(jié)果農(nóng)業(yè)和建筑業(yè)的發(fā)展農(nóng)業(yè)和建筑業(yè)的發(fā)展反而會(huì)使反而會(huì)使財(cái)政收入減少嗎？財(cái)政收入減少嗎？! !這樣的結(jié)果顯然與理論分析和實(shí)踐經(jīng)驗(yàn)不相符。為什么會(huì)出現(xiàn)這樣的異常結(jié)果？問(wèn)題出在哪里呢？5模型估計(jì)檢驗(yàn)結(jié)果分析：模型估計(jì)檢驗(yàn)結(jié)果分析：6經(jīng)濟(jì)分析：天津市糧食銷售體制改革中糧食銷量逐年增長(zhǎng)，分析糧食銷量的變化及原因。影響糧食銷量的主要因素可能是人口數(shù)量、居民收入，以及與糧食相關(guān)的肉、蛋、魚(yú)蝦銷售量等。

5、變量選擇：被解釋變量 Y 糧食年銷售量（萬(wàn)噸） 解釋變量：常住人口X2（萬(wàn)人）、人均收入X3（元）、 肉銷售量X4（萬(wàn)噸）、蛋銷售量X5（萬(wàn)噸）、 魚(yú)蝦銷售量X6（萬(wàn)噸）模型設(shè)定：樣本選擇：選天津市糧食銷售體制改革前1974年1987年的有關(guān)數(shù)據(jù)為樣本。數(shù)據(jù)收集：來(lái)源于天津統(tǒng)計(jì)年鑒（1988） （數(shù)據(jù)見(jiàn)下頁(yè)） 12233445566ttYXXXXXu案例案例2 2：天津市糧食銷售量及影響因素分析：天津市糧食銷售量及影響因素分析ttuXXXXXY6655443322178估計(jì)參數(shù)：用估計(jì)參數(shù)：用OLSOLS估計(jì)估計(jì)9估計(jì)結(jié)果：取取 ，查臨界值表得，查臨界值表得 為什么也出現(xiàn)這種結(jié)果？為什么也出現(xiàn)

6、這種結(jié)果？306. 2)614(025. 0t69. 3)614, 16(05. 0F234563.4965630.1253300.0736672.6775893.4534484.491117ttttttYXXXXX (1.409082)( 2.027719)(2.129846)(1.944897)(2.119245)t 20.970442R 20.951968R 52.53085F 0.052R10 第三章第三章 多重共線性多重共線性本章討論四個(gè)問(wèn)題：本章討論四個(gè)問(wèn)題：1、多重共線性的概念。：11能找到不全為0的數(shù) ，使得（正交變量）k32,03322KkXXX03322iKkvXXX完全的

7、線性關(guān)系完全的線性關(guān)系不完全的線性關(guān)系不完全的線性關(guān)系完全無(wú)線性關(guān)系完全無(wú)線性關(guān)系 12如： 13ttttuXXY1321（1）完全無(wú)多重共線性時(shí)）完全無(wú)多重共線性時(shí)各解釋變量都分別獨(dú)立地影響因變量，多元回歸是否必要?以兩個(gè)解釋變量模型為例：當(dāng)完全無(wú)多重共線性時(shí) 則有這時(shí)這正是分別以 和 為解釋變量的一元回歸的參數(shù)估計(jì)式23123ttttYXXu1422332222322222332()()()()()()iiiiiiiiiiiiiiy xxy xxxyxxxx xx230iix x 23223222322323332()()()()()()iiiiiiiiiiiiiiy xxy xxxyxx

8、xx xx2X3X2322322230iiiix xrxx（2）解釋變量完全線性相關(guān)時(shí)）解釋變量完全線性相關(guān)時(shí) OLS 估計(jì)式不確定估計(jì)式不確定 從偏回歸系數(shù)意義看：在 和 完全共線性時(shí)， 將肯定隨 而變化，將無(wú)法保持 不變，去單獨(dú)考慮 對(duì)Y的影響（ 和 的作用事實(shí)上不可區(qū)分） 從OLS估計(jì)式看：可以證明此時(shí) （3）解釋變量不完全線性相關(guān)，但存在高度多重共線性時(shí)）解釋變量不完全線性相關(guān)，但存在高度多重共線性時(shí) 此時(shí)回歸系數(shù)可以估計(jì)，但方差會(huì)變得很大，OLS估計(jì)式會(huì)不精確152X3X3X2X2002X3X3X2X300當(dāng) 和 完全線性相關(guān)時(shí)OLS估計(jì)式的方差 成為無(wú)窮大 當(dāng) 和 不完全線性相關(guān)時(shí)

9、 OLS估計(jì)式的方差 會(huì)增大 當(dāng) 增大時(shí)，方差擴(kuò)大因子VIF2 增大， 也會(huì)增大 ，思考思考: 當(dāng) 時(shí) (與一元回歸比較) 當(dāng) 時(shí)162X2X3X3X2()Var 023r2222()iVarx2222222222223223211()(1)(1)iiiVarVIFxrxrx231r 17例如例如當(dāng)當(dāng) 時(shí)，引入任意不為時(shí)，引入任意不為0的數(shù)的數(shù)模型變換模型變換估計(jì)結(jié)果估計(jì)結(jié)果當(dāng)當(dāng) 時(shí)，所估計(jì)的時(shí)，所估計(jì)的 的參數(shù)與真實(shí)的參數(shù)與真實(shí) 的符號(hào)可能相反的符號(hào)可能相反tttttuXXXY4433221ttkXX240*tttttttuXXXXXY2*2*4433221tttttttukXXXXXY4*

10、2*4433221tttttuXkXXY4*4332*21)1()(*12233441()()ttttYXXXk22X*2（3）當(dāng)多重共線性嚴(yán)重時(shí)，甚至可能使估計(jì)的回）當(dāng)多重共線性嚴(yán)重時(shí)，甚至可能使估計(jì)的回歸系數(shù)歸系數(shù) 符號(hào)相反符號(hào)相反，得出完全錯(cuò)誤的結(jié)論，得出完全錯(cuò)誤的結(jié)論（4）區(qū)間估計(jì)時(shí)，對(duì)總體參數(shù)的區(qū)間估計(jì)時(shí)，對(duì)總體參數(shù)的置信區(qū)間會(huì)趨于增大置信區(qū)間會(huì)趨于增大 （共線性越嚴(yán)重，（共線性越嚴(yán)重， 和和 越大，置信區(qū)間也增大）越大，置信區(qū)間也增大） 多重共線性程度增加對(duì) 的95%置信區(qū)間的影響18 的的95%置信區(qū)間置信區(qū)間 0.00 0.50 0.99 0.999 23r222221.96i

11、x22221.961.33ix22221.96100ix22221.96500ix219因?yàn)橐驗(yàn)?，當(dāng)因多重共線性使方差變大時(shí)會(huì)使，當(dāng)因多重共線性使方差變大時(shí)會(huì)使 t 值減小，值減小，導(dǎo)致在無(wú)多重共線性時(shí)本應(yīng)否定的導(dǎo)致在無(wú)多重共線性時(shí)本應(yīng)否定的“參數(shù)為參數(shù)為”的原假設(shè)而的原假設(shè)而被接受。被接受。 （6）可能造成參數(shù)的聯(lián)合顯著性很高（通過(guò)）可能造成參數(shù)的聯(lián)合顯著性很高（通過(guò)F檢驗(yàn)），但各個(gè)檢驗(yàn)），但各個(gè) 參數(shù)單獨(dú)的參數(shù)單獨(dú)的 t 檢驗(yàn)卻不顯著檢驗(yàn)卻不顯著(例如引子中的案例例如引子中的案例2)22()tVar20：理解: 無(wú)偏性是重復(fù)抽樣的特性； BLUE中的“最小方差性”是相對(duì)于其他估計(jì)方法而言

12、： （相對(duì)于其他方法方差最小，并不是說(shuō)相對(duì)于估計(jì)量的值就很?。?多重共線性導(dǎo)致“方差變大”,是相 對(duì)于無(wú)多重共線性而言。 （2）多重共線性的影響程度與解釋變量在方程中的相對(duì) “地位”有關(guān) 21 （3）如果研究目的僅在于預(yù)測(cè)Y，而解釋變量X之間的多重共線性關(guān)系的性質(zhì)在未來(lái)將繼續(xù)保持（前提條件），這時(shí)多重共線性可能并不是嚴(yán)重問(wèn)題，而應(yīng)著重于可決系數(shù)高和F檢驗(yàn)顯著。（怎樣理解？出現(xiàn)高度共線性時(shí)，雖然無(wú)法精確估計(jì)個(gè)別回歸系數(shù)，但可精確估計(jì)這些系數(shù)的某些線性組合。如果系數(shù)這樣的線性組合在預(yù)測(cè)期繼續(xù)保持，就可以用于預(yù)測(cè)）22 （三）多重共線性的檢驗(yàn)（三）多重共線性的檢驗(yàn) 1、利用解釋變量之間的相關(guān)系數(shù)去判

13、斷、利用解釋變量之間的相關(guān)系數(shù)去判斷 （1）只有兩個(gè)解釋變量時(shí)：用二者相關(guān)系數(shù) 判斷 （2）兩個(gè)以上解釋變量時(shí)：可用兩兩變量的相關(guān)系數(shù) 判斷（K個(gè)變量可用相關(guān)系數(shù)矩陣）例如 注意注意:在有多個(gè)解釋變量時(shí)，較低的相關(guān)系數(shù)也可能存在較嚴(yán)重多重共線性23rijr多元線性回歸模型 中，可分別以每個(gè)解釋變量為被解釋變量，作與其他解釋變量的回歸，這稱為輔助回歸。以 為被解釋變量作對(duì)其他解釋變量的輔助線性回歸為 輔助回歸的可決系數(shù)用 表示。 原回歸方程中解釋變量 的參數(shù)估計(jì)值 的方差可表示為（證明從略）其中的 VIFj 是變量 所對(duì)應(yīng)參數(shù)估計(jì)量的方差擴(kuò)大因子，也稱容許度。 1221111jiijjijjik

14、kiiXXXXXv23jXj222221()1jjjjjVarVIFxRxjX2jR211jjRVIFjX122iikkiiYXXu在只有兩個(gè)解釋變量時(shí)(見(jiàn)前面的討論)當(dāng)有多個(gè)解釋變量時(shí)，作 對(duì)其他解釋變量的輔助回歸，并計(jì)算可決系數(shù) ，注意注意： 是多個(gè)解釋變量輔助回歸的多重可決系數(shù)， 而相關(guān)系數(shù) 只是說(shuō)明兩個(gè)變量的線性關(guān)系 。242222222222223223211()(1)(1)iiiVarVIFxrxrxjX2jR222221()(1)jjjjjVarVIFxRx223r2jR由 越大 多重共線性越嚴(yán)重 VIFj越大。 252jR方差擴(kuò)大因子的作用方差擴(kuò)大因子的作用以下情況的出現(xiàn)提示很

15、可能存在多重共線性： （1）當(dāng)增加或剔除一個(gè)解釋變量，或者改變一個(gè)觀測(cè)值時(shí)，回歸參數(shù)的估計(jì)值發(fā)生較大變化 （2）從定性分析認(rèn)為一些是重要的解釋變量，但其回歸系數(shù)的標(biāo)準(zhǔn)誤差較大，在回歸方程中沒(méi)有通過(guò)顯著性檢驗(yàn) （3）有些解釋變量的回歸系數(shù)所帶正負(fù)號(hào)與定性分析結(jié)果違背 （4）可決系數(shù)較高，F(xiàn)檢驗(yàn)顯著，但偏回歸系數(shù)的 t 檢驗(yàn)不顯著2627274、利用解釋變量之間的輔助回歸及檢驗(yàn)判斷、利用解釋變量之間的輔助回歸及檢驗(yàn)判斷jX1221111jiijjijjikkiiXXXXXv逐步回歸：逐步回歸：基本思想是將變量逐個(gè)的引入模型，每引入一個(gè)解釋變量后，都要進(jìn)行檢驗(yàn)，并對(duì)已經(jīng)選入的解釋變量逐個(gè)進(jìn)行t檢驗(yàn)，

16、當(dāng)原來(lái)引入的解釋變量由于后面解釋變量的引入而變得不再顯著時(shí)，則提示很可能引起了多重共線性。當(dāng)出現(xiàn)多個(gè)解釋變量之間高度相關(guān)的時(shí)候，逐步回歸方法是一種檢測(cè)多重共線性的方法。28多重共線性的后果主要是參數(shù)估計(jì)量方差變大，例如一元回歸中 因?yàn)槭街?為常數(shù)， 確定后，當(dāng)樣本容量越大時(shí)， 越大，可使 減小，從而減輕多重共線性的影響 注意：注意： 增大樣本容量有時(shí)十分困難，受到數(shù)據(jù)來(lái)源的限制29302、利用先驗(yàn)信息先驗(yàn)信息先驗(yàn)信息在此之前的研究所提供的信息1tttQAL K u1tttQAL Ku()ttttQLAuKK1lnlnlnlnttttQLAuKKlnlnlnlnlntttQALKu31 有時(shí)在時(shí)

17、間序列數(shù)據(jù)中多重共線性嚴(yán)重的變量，在截面數(shù)據(jù)中不一定有嚴(yán)重的共線性 假定前提：假定前提：截面數(shù)據(jù)估計(jì)出的參數(shù)與時(shí)間序列中估計(jì)的參數(shù)差異不大方法：方法：先用截面數(shù)據(jù)估計(jì)出一個(gè)變量的參數(shù)，再代入原模型中用時(shí)間序列估計(jì)另一個(gè)變量的參數(shù) 例如 其中：Y家庭轎車銷售量；P平均價(jià)格；I消費(fèi)者收入 先用截面數(shù)據(jù)估計(jì)收入彈性 （同一時(shí)期各截面的價(jià)格可視為相同） 再用時(shí)序數(shù)據(jù)估計(jì)123lnlnlnttttYPIu*13lnlniiiYIv*3212*332lnlnllnntttttYYIPu32對(duì)存在多重共線性的變量，進(jìn)行對(duì)數(shù)變換、一階差分變換等，有時(shí)可消除或減輕多重共線性的影響 注意：一階差分可能帶來(lái)新的問(wèn)題

18、： 雖然 和 都是序列無(wú)關(guān)的，但差分形成的隨機(jī)項(xiàng) 常常是序列相關(guān)的，可能會(huì)違反無(wú)自相關(guān)假定. 一階差分中減少了一個(gè)自由度 一階差分不適于截面數(shù)據(jù)，因截面數(shù)據(jù)沒(méi)有先后順序)(1tttuuvtu1tu33 5 5、逐步回歸法、逐步回歸法 基本思想基本思想： 設(shè)法刪除引起多重共線性但又不那么重要的變量。 用逐步回歸方法發(fā)現(xiàn)產(chǎn)生共線性的解釋變量，并將其剔除，從而減少多重共線性影響 方法方法：，基本思路的框圖為：(見(jiàn)下頁(yè)) 存在的問(wèn)題：存在的問(wèn)題： 有可能刪除重要變量，而引起設(shè)定誤差！ 使用逐步回歸剔除變量時(shí)要格外小心！34將Y對(duì)各個(gè) 分別回歸kX計(jì)算各2kR 以 最大的作逐步回歸的基礎(chǔ)2kR逐個(gè)將其他

19、 加入模型回歸kX用F檢驗(yàn)檢驗(yàn)新加入 的顯著性kXF檢驗(yàn)改善不顯著F檢驗(yàn)改善顯著多余變量對(duì)先引入的變量的顯著性無(wú)影響使先引入的變量參數(shù)發(fā)生明顯變化或使 t 檢驗(yàn)不顯著剔除剔除保留此變量保留此變量出現(xiàn)多重共線性出現(xiàn)多重共線性剔除此變量剔除此變量研究目的研究目的：中國(guó)國(guó)內(nèi)旅游市場(chǎng)發(fā)展迅速，需要定量地研究影響中國(guó)國(guó)內(nèi)旅游市場(chǎng)發(fā)展的主要原因。經(jīng)分析，以旅游收入表示旅游市場(chǎng)發(fā)展，除了國(guó)內(nèi)旅游人數(shù)和旅游支出外，還可能與旅游基礎(chǔ)設(shè)施有關(guān)。模型設(shè)定：模型設(shè)定：其中：3523456123456tttttttYXXXXXu第 t年全國(guó)旅游收入 國(guó)內(nèi)旅游人數(shù)（萬(wàn)人） 城鎮(zhèn)居民人均旅游支出 （元） 農(nóng)村居民人均旅游支

20、出 （元） 公路里程（萬(wàn)公里） 鐵路里程（萬(wàn)公里） tY2tX3tX4tX5tX6tX3619942003年的統(tǒng)計(jì)數(shù)據(jù)年的統(tǒng)計(jì)數(shù)據(jù) 年年份份國(guó)內(nèi)旅游收入Y（億元）國(guó)內(nèi)旅游人數(shù)X2（萬(wàn)人次）城鎮(zhèn)居民人均旅游支出X3（元）農(nóng)村居民人均旅游支出X4（元）公路里程 X5（萬(wàn)公里）鐵路里程X6（萬(wàn)公里）19941023.552400414.754.9111.785.9019951375.762900464.061.5115.705.9719961638.463900534.170.5118.586.4919972112.764400599.8145.7122.646.6019982391.2694506

21、07.0197.0127.856.6419992831.971900614.8249.5135.176.7420003175.574400678.6226.6140.276.8720013522.478400708.3212.7169.807.0120023878.487800739.7209.1176.527.1920033442.387000684.9200.0180.987.3037該模型 ， 可決系數(shù)很高，F(xiàn)檢驗(yàn)值173.3525,明顯顯著。但是當(dāng) 時(shí), 不僅 、 系數(shù)的t檢驗(yàn)不顯著，而且 系數(shù)的符號(hào)與預(yù)期的相反，這表明很可能存在嚴(yán)重的多重共線性。 389954. 02R9897. 0

22、2R05. 0776. 2)610()(025. 02tknt2X6X6X例如作X3對(duì)X2、X4、X5、X6的輔助回歸得方差擴(kuò)大因子為：由于 ，根據(jù)經(jīng)驗(yàn)，說(shuō)明X3與其他解釋變量間有嚴(yán)重多重共線性。其他變量間的多重共線性可用類似方式檢驗(yàn)。39230.948332XR3231119.3543(1)(1 0.948332)XXVIFR319.354310XVIF采用逐步回歸的辦法，去檢驗(yàn)和解決多重共線性問(wèn)題。分別作Y對(duì)X2、X3、X4、X5、X6的一元回歸。一元回歸結(jié)果：402R2R變量X2X3X4X5X6參數(shù)估計(jì)值0.08429.052311.667334.33242014.146t 統(tǒng)計(jì)量8.6

23、65913.15985.19676.46758.74870.90370.95580.77150.83940.90540.89170.95040.74270.81950.8936加入X3的方程2R最大,以X3為基礎(chǔ)，順次加入其他變量逐步回歸 412RX2X3X4X5X6X3、X20.0298(2.1530)6.1940(4.2872)0.9659X3、X48.0206(5.7513)1.7106(0.8550)0.9486 X3、X56.7356(6.6523)10.9117 (2.6628)0.9718 X3、X67.8512(2.9101)285.012(0.4621)0.9450 新加入新

24、加入X5X5的方程的方程9718. 02R，改進(jìn)最大改進(jìn)最大， 且且 t 檢驗(yàn)顯著檢驗(yàn)顯著保留保留X5X5，再加入其他新變量逐步回歸，再加入其他新變量逐步回歸 0.025()2.365tnk422RX2X3X4X5X6X3、X5、X20.0091(0.4229)6.3553(4.5277)8.5739(1.2176)0.9681X3、X5、X44.2196(3.9502)3.2160(3.0633)13.6279(4.6945)0.9872X3、X5、X68.0988(4.0852)12.9241(2.6445)-424.9056(-0.8073)0.9703 2R2R2R在X3、X5基礎(chǔ)上加入X4后的方程 明顯增大，而且各個(gè)參數(shù)t檢驗(yàn)都顯著。加入X2后不僅 下降，而且X5參數(shù)的t檢驗(yàn)變得不顯著；