多重共線性問題

1、問題一：多重共線性問題一：多重共線性 Multi-CollinearityMulti-Collinearity一、多重共線性的概念一、多重共線性的概念二、實(shí)際經(jīng)濟(jì)問題中的多重共線性二、實(shí)際經(jīng)濟(jì)問題中的多重共線性三、多重共線性的后果三、多重共線性的后果四、多重共線性的檢驗(yàn)四、多重共線性的檢驗(yàn)五、克服多重共線性的方法五、克服多重共線性的方法六、案例六、案例*七、分部回歸與多重共線性七、分部回歸與多重共線性一、多重共線性的概念一、多重共線性的概念 對于模型 Yi=0+1X1i+2X2i+kXki+i i=1,2,n其基本假設(shè)之一是解釋變量是互相獨(dú)立的。 如果某兩個或多個解釋變量之間出現(xiàn)了相如果某兩個

2、或多個解釋變量之間出現(xiàn)了相關(guān)性，則稱為關(guān)性，則稱為多重共線性多重共線性(Multicollinearity)。 如果存在如果存在 c1X1i+c2X2i+ckXki=0 i=1,2,n 其中其中: ci不全為不全為0，則稱為解釋變量間存在，則稱為解釋變量間存在完全共線完全共線性性（perfect multicollinearity）。 如果存在如果存在 c1X1i+c2X2i+ckXki+vi=0 i=1,2,n 其中其中ci不全為不全為0，vi為隨機(jī)誤差項(xiàng)，則稱為為隨機(jī)誤差項(xiàng)，則稱為 近似共線近似共線性性（approximate multicollinearity）或或交互相關(guān)交互相關(guān)(in

3、tercorrelated)。 注意：注意： 完全共線性的情況并不多見，一般出現(xiàn)完全共線性的情況并不多見，一般出現(xiàn)的是在一定程度上的共線性，即近似共線的是在一定程度上的共線性，即近似共線性。性。 二、實(shí)際經(jīng)濟(jì)問題中的多重共線性二、實(shí)際經(jīng)濟(jì)問題中的多重共線性 一般地，產(chǎn)生多重共線性的主要原因有以下一般地，產(chǎn)生多重共線性的主要原因有以下三個方面：三個方面： （1 1）經(jīng)濟(jì)變量相關(guān)的共同趨勢）經(jīng)濟(jì)變量相關(guān)的共同趨勢 時間序列樣本：時間序列樣本：經(jīng)濟(jì)經(jīng)濟(jì)繁榮時期繁榮時期，各基本經(jīng)濟(jì)，各基本經(jīng)濟(jì)變量（收入、消費(fèi)、投資、價格）都趨于增長；變量（收入、消費(fèi)、投資、價格）都趨于增長；衰退時期衰退時期，又同時趨

4、于下降。，又同時趨于下降。 橫截面數(shù)據(jù)：橫截面數(shù)據(jù)：生產(chǎn)函數(shù)中生產(chǎn)函數(shù)中，資本投入與勞動資本投入與勞動力投入往往出現(xiàn)高度相關(guān)情況，大企業(yè)二者都大，力投入往往出現(xiàn)高度相關(guān)情況，大企業(yè)二者都大，小企業(yè)都小。小企業(yè)都小。 （2 2）滯后變量的引入）滯后變量的引入 在經(jīng)濟(jì)計量模型中，往往需要引入滯在經(jīng)濟(jì)計量模型中，往往需要引入滯后經(jīng)濟(jì)變量來反映真實(shí)的經(jīng)濟(jì)關(guān)系。后經(jīng)濟(jì)變量來反映真實(shí)的經(jīng)濟(jì)關(guān)系。 例如例如，消費(fèi)，消費(fèi)=f(當(dāng)期收入當(dāng)期收入, 前期收入）前期收入） 顯然，兩期收入間有較強(qiáng)的線性相關(guān)顯然，兩期收入間有較強(qiáng)的線性相關(guān)性。性。 （3 3）樣本資料的限制）樣本資料的限制 由于完全符合理論模型所要求的

5、樣本數(shù)據(jù)較由于完全符合理論模型所要求的樣本數(shù)據(jù)較難收集，特定樣本可能存在某種程度的多重共線難收集，特定樣本可能存在某種程度的多重共線性。性。 一般經(jīng)驗(yàn)一般經(jīng)驗(yàn)： 時間序列數(shù)據(jù)時間序列數(shù)據(jù)樣本：簡單線性模型，往往存在樣本：簡單線性模型，往往存在多重共線性。多重共線性。 截面數(shù)據(jù)截面數(shù)據(jù)樣本：問題不那么嚴(yán)重，但多重共線樣本：問題不那么嚴(yán)重，但多重共線性仍然是存在的。性仍然是存在的。 二、多重共線性的后果二、多重共線性的后果 1 1、完全共線性情況下的后果、完全共線性情況下的后果 (1) (1) 完全共線性下參數(shù)估計量不存在完全共線性下參數(shù)估計量不存在 (2) (2) 參數(shù)估計量的方差無限大參數(shù)估計

6、量的方差無限大 2 2、不完全多重共線性產(chǎn)生的后果、不完全多重共線性產(chǎn)生的后果 如果模型中存在不完全的多重共線性，可以得到如果模型中存在不完全的多重共線性，可以得到參數(shù)的估計值，但是對計量分析可能會產(chǎn)生一系參數(shù)的估計值，但是對計量分析可能會產(chǎn)生一系列的影響。列的影響。 （1）參數(shù)估計值的方差增大）參數(shù)估計值的方差增大（2）對參數(shù)區(qū)間估計時）對參數(shù)區(qū)間估計時, 置信區(qū)間趨于變大置信區(qū)間趨于變大（3）嚴(yán)重多重共線時）嚴(yán)重多重共線時,假設(shè)檢驗(yàn)容易做出錯誤的假設(shè)檢驗(yàn)容易做出錯誤的判斷判斷（4）當(dāng)多重共線性嚴(yán)重時）當(dāng)多重共線性嚴(yán)重時,可能造成可決系數(shù)可能造成可決系數(shù)R2較高經(jīng)較高經(jīng)F檢驗(yàn)的參數(shù)聯(lián)合顯著性

7、也很高，但對各檢驗(yàn)的參數(shù)聯(lián)合顯著性也很高，但對各個參數(shù)單獨(dú)的個參數(shù)單獨(dú)的t檢驗(yàn)卻可能不顯著，甚至可能使檢驗(yàn)卻可能不顯著，甚至可能使估計的回歸系數(shù)相反，得出完全錯誤的結(jié)論估計的回歸系數(shù)相反，得出完全錯誤的結(jié)論 。變量的顯著性檢驗(yàn)失去意義變量的顯著性檢驗(yàn)失去意義存在多重共線性時存在多重共線性時參數(shù)估計值的方差與標(biāo)準(zhǔn)差變大參數(shù)估計值的方差與標(biāo)準(zhǔn)差變大容易使通過樣本計算的容易使通過樣本計算的t值小于臨界值，值小于臨界值， 誤導(dǎo)作出參數(shù)為誤導(dǎo)作出參數(shù)為0的推斷的推斷可能將重要的解釋變量排除在模型之外可能將重要的解釋變量排除在模型之外注意：注意： 除非是完全共線性，多重共線性并不意味著除非是完全共線性，多

8、重共線性并不意味著任何基本假設(shè)的違背；任何基本假設(shè)的違背； 因此，即使出現(xiàn)較高程度的多重共線性，因此，即使出現(xiàn)較高程度的多重共線性，OLS估計量仍具有線性性等良好的統(tǒng)計性質(zhì)。估計量仍具有線性性等良好的統(tǒng)計性質(zhì)。 問題在于問題在于，即使，即使OLS法仍是最好的估計方法，法仍是最好的估計方法，它卻不是它卻不是“完美的完美的”，尤其是在統(tǒng)計推斷上無，尤其是在統(tǒng)計推斷上無法給出真正有用的信息。法給出真正有用的信息。 多重共線性檢驗(yàn)的任務(wù)多重共線性檢驗(yàn)的任務(wù)是： （1）檢驗(yàn)多重共線性是否存在；）檢驗(yàn)多重共線性是否存在； （2）估計多重共線性的范圍，即判斷哪些變量之）估計多重共線性的范圍，即判斷哪些變量之

9、間存在共線性。間存在共線性。 多重共線性表現(xiàn)為解釋變量之間具有相關(guān)關(guān)系，所以用于多重共線性的檢驗(yàn)方法主要是統(tǒng)計方法用于多重共線性的檢驗(yàn)方法主要是統(tǒng)計方法：如判定系數(shù)檢驗(yàn)法判定系數(shù)檢驗(yàn)法、逐步回歸檢驗(yàn)法逐步回歸檢驗(yàn)法等。 三、多重共線性的檢驗(yàn)三、多重共線性的檢驗(yàn) 1 1、檢驗(yàn)多重共線性是否存在、檢驗(yàn)多重共線性是否存在 (1)(1)對兩個解釋變量的模型，采用對兩個解釋變量的模型，采用簡單相關(guān)系數(shù)法簡單相關(guān)系數(shù)法 求出X1與X2的簡單相關(guān)系數(shù)r，若|r|接近1，則說明兩變量存在較強(qiáng)的多重共線性。 (2) (2)對多個解釋變量的模型，對多個解釋變量的模型，采用綜合統(tǒng)計檢驗(yàn)法采用綜合統(tǒng)計檢驗(yàn)法 若 在在

10、OLS法下：法下：R2與與F值較大，但值較大，但t檢驗(yàn)值較小檢驗(yàn)值較小，說明各解釋變量對Y的聯(lián)合線性作用顯著，但各解釋變量間存在共線性而使得它們對Y的獨(dú)立作用不能分辨，故t檢驗(yàn)不顯著。 2 2、判明存在多重共線性的范圍、判明存在多重共線性的范圍 如果存在多重共線性，需進(jìn)一步確定究竟由哪些變量引起。 (1) 判定系數(shù)檢驗(yàn)法判定系數(shù)檢驗(yàn)法 使模型中每一個解釋變量分別以其余解釋變量為解釋變量進(jìn)行回歸，并計算相應(yīng)的擬合優(yōu)度。 如果某一種回歸 Xji=1X1i+2X2i+LXLi的判定系數(shù)判定系數(shù)較大，說明Xj與其他X間存在共線性共線性。具體可進(jìn)一步對上述回歸方程作具體可進(jìn)一步對上述回歸方程作F檢驗(yàn)：檢

11、驗(yàn)： 式中：Rj2為第j個解釋變量對其他解釋變量的回歸方程的決定系數(shù)， 若存在較強(qiáng)的共線性，則Rj2較大且接近于1，這時（1- Rj2 ）較小，從而Fj的值較大。 因此，給定顯著性水平，計算F值，并與相應(yīng)的臨界值比較，來判定是否存在相關(guān)性。 構(gòu)造如下F統(tǒng)計量) 1, 2() 1/()1 ()2/(2.2.knkFknRkRFjjj 在模型中排除某一個解釋變量在模型中排除某一個解釋變量Xj，估，估計模型計模型； 如果擬合優(yōu)度與包含如果擬合優(yōu)度與包含Xj時十分接近，時十分接近，則說明則說明Xj與其它解釋變量之間存在共線性。與其它解釋變量之間存在共線性。 另一等價的檢驗(yàn)另一等價的檢驗(yàn)是是: (2)逐

12、步回歸法逐步回歸法 以Y為被解釋變量，逐個引入解釋變量，構(gòu)成回歸模型，進(jìn)行模型估計。 根據(jù)擬合優(yōu)度的變化決定新引入的變量是否獨(dú)立。 如果擬合優(yōu)度變化顯著如果擬合優(yōu)度變化顯著，則說明新引入的變量是一個獨(dú)立解釋變量； 如果擬合優(yōu)度變化很不顯著如果擬合優(yōu)度變化很不顯著，則說明新引入的變量與其它變量之間存在共線性關(guān)系。（3）方差擴(kuò)大（膨脹）因子法）方差擴(kuò)大（膨脹）因子法 統(tǒng)計上可以證明，解釋變量統(tǒng)計上可以證明，解釋變量的參數(shù)估計式的參數(shù)估計式的方差可表示為的方差可表示為 其中的其中的是變量是變量(Variance Inflation Factor)，即，即的方差擴(kuò)大因子的方差擴(kuò)大因子其中其中 是多個解

13、釋變量輔助回歸的可決系數(shù)是多個解釋變量輔助回歸的可決系數(shù) 21VIF =1-jjR222221Var() =VIF1-jjjjjxRxVIFjjXjXj2jR經(jīng)驗(yàn)規(guī)則經(jīng)驗(yàn)規(guī)則方差膨脹因子越大，表明解釋變量之間的多重共方差膨脹因子越大，表明解釋變量之間的多重共性越嚴(yán)重。反過來，方差膨脹因子越接近于性越嚴(yán)重。反過來，方差膨脹因子越接近于1，多重共線性越弱。多重共線性越弱。經(jīng)驗(yàn)表明，方差膨脹因子經(jīng)驗(yàn)表明，方差膨脹因子10時，說明解釋變量時，說明解釋變量與其余解釋變量之間有嚴(yán)重的多重共線性，且這與其余解釋變量之間有嚴(yán)重的多重共線性，且這種多重共線性可能會過度地影響最小二乘估計。種多重共線性可能會過度地

14、影響最小二乘估計。（4）直觀判斷法）直觀判斷法當(dāng)增加或剔除一個解釋變量，或者改變一當(dāng)增加或剔除一個解釋變量，或者改變一個觀測值時，回歸參數(shù)的估計值發(fā)生較大個觀測值時，回歸參數(shù)的估計值發(fā)生較大變化，回歸方程可能存在嚴(yán)重的多重共線變化，回歸方程可能存在嚴(yán)重的多重共線性。性。從定性分析認(rèn)為，一些重要的解釋變量的從定性分析認(rèn)為，一些重要的解釋變量的回歸系數(shù)的標(biāo)準(zhǔn)誤差較大，在回歸方程中回歸系數(shù)的標(biāo)準(zhǔn)誤差較大，在回歸方程中沒有通過顯著性檢驗(yàn)時，可初步判斷可能沒有通過顯著性檢驗(yàn)時，可初步判斷可能存在嚴(yán)重的多重共線性。存在嚴(yán)重的多重共線性。有些解釋變量的回歸系數(shù)所帶正負(fù)號與定性分有些解釋變量的回歸系數(shù)所帶正負(fù)

15、號與定性分析結(jié)果違背時，很可能存在多重共線性。析結(jié)果違背時，很可能存在多重共線性。解釋變量的相關(guān)矩陣中，自變量之間的相關(guān)系解釋變量的相關(guān)矩陣中，自變量之間的相關(guān)系數(shù)較大時，可能會存在多重共線性問題。數(shù)較大時，可能會存在多重共線性問題。 找出引起多重共線性的解釋變量，將它排除出去。 以逐步回歸法逐步回歸法(stepwise)得到最廣泛的應(yīng)用。 注意：注意： 這時，剩余解釋變量參數(shù)的經(jīng)濟(jì)含義和數(shù)值都這時，剩余解釋變量參數(shù)的經(jīng)濟(jì)含義和數(shù)值都發(fā)生了變化。發(fā)生了變化。 如果模型被檢驗(yàn)證明存在多重共線性，則需要發(fā)展新的方法估計模型，最常用的方法有三類。四、克服多重共線性的方法四、克服多重共線性的方法 1

16、1、第一類方法：排除引起共線性的變量、第一類方法：排除引起共線性的變量 2 2、第二類方法：差分法、第二類方法：差分法 時間序列數(shù)據(jù)、線性模型：將原模型變換為時間序列數(shù)據(jù)、線性模型：將原模型變換為差分模型差分模型: Yi= 1 X1i+ 2 X2i+ k Xki+ i可以有效地消除原模型中的多重共線性?？梢杂行У叵Ｐ椭械亩嘀毓簿€性。 一般而言，差分后變量之間的相關(guān)性要比一般而言，差分后變量之間的相關(guān)性要比差分前弱得多，所以差分后的模型可能降差分前弱得多，所以差分后的模型可能降低出現(xiàn)共線性的可能性，此時可直接估計低出現(xiàn)共線性的可能性，此時可直接估計差分方程。差分方程。問題：問題：差分會丟失

17、一些信息，差分模型的誤差差分會丟失一些信息，差分模型的誤差項(xiàng)可能存在序列相關(guān)，可能會違背經(jīng)典線性回項(xiàng)可能存在序列相關(guān)，可能會違背經(jīng)典線性回歸模型的相關(guān)假設(shè)，在具體運(yùn)用時要慎重。歸模型的相關(guān)假設(shè)，在具體運(yùn)用時要慎重。 例例如如：表表 4.3.2 中國中國 GDP 與居民消費(fèi)與居民消費(fèi) C 的總量與增量數(shù)據(jù)的總量與增量數(shù)據(jù)（億元）（億元）年份CYC/YCYC/Y19781759.13605.60.48819792005.44074.00.492246.3468.40.52619802317.14551.30.509311.7477.30.65319812604.14901.40.531287.03

18、50.10.82019822867.95489.20.522263.8587.80.44919833182.56076.30.524314.6587.10.53619843674.57164.40.513492.01088.10.45219854589.08792.10.522914.51627.70.56219865175.010132.80.511586.01340.70.43719875961.211784.70.506786.21651.90.47619887633.114704.00.5191671.92919.30.57319898523.516466.00.518890.4176

19、2.00.50519909113.218319.50.497589.71853.50.318199110315.921280.40.4851202.72960.90.406199212459.825863.70.4822143.94583.30.468199315682.434500.70.4553222.68637.00.373199420809.846690.70.4465127.412190.00.421199526944.558510.50.4616134.711819.80.519199632152.368330.40.4715207.89819.90.530199734854.67

20、4894.20.4652702.36563.80.412199836921.179003.30.4672066.54109.10.503199939334.482673.10.4762413.33669.80.658200042911.989112.50.4823577.56439.40.556 由表中的比值可以直觀地看到，增量的增量的線性關(guān)系弱于總量之間的線性關(guān)系線性關(guān)系弱于總量之間的線性關(guān)系。 進(jìn)一步分析：進(jìn)一步分析： Y與C(-1)之間的判定系數(shù)為0.9988， Y與C(-1)之間的判定系數(shù)為0.9567 3、第三類方法：減小參數(shù)估計量的方差、第三類方法：減小參數(shù)估計量的方差 多重共線性

21、多重共線性的主要后果后果是參數(shù)估計量具有較大的方差，所以 采取適當(dāng)方法減小參數(shù)估計量的方差采取適當(dāng)方法減小參數(shù)估計量的方差，雖然沒有消除模型中的多重共線性，但確能消除多重共線性造成的后果。 例如： 增加樣本容量增加樣本容量，可使參數(shù)估計量的方可使參數(shù)估計量的方差減小差減小。 橫截面數(shù)據(jù)與時序數(shù)據(jù)并用橫截面數(shù)據(jù)與時序數(shù)據(jù)并用首先利用橫截面數(shù)據(jù)估計出部分參數(shù)，再利用首先利用橫截面數(shù)據(jù)估計出部分參數(shù)，再利用時序數(shù)據(jù)估計出另外的部分參數(shù)，最后得到整時序數(shù)據(jù)估計出另外的部分參數(shù)，最后得到整個方程參數(shù)的估計。個方程參數(shù)的估計。 注意：注意：這里包含著假設(shè)，即參數(shù)的橫截面估計和這里包含著假設(shè)，即參數(shù)的橫截面

22、估計和從純粹時間序列分析中得到的估計是一樣的。從純粹時間序列分析中得到的估計是一樣的。 變量變換變量變換變量變換的主要方法：變量變換的主要方法：(1)計算相對指標(biāo)計算相對指標(biāo) (2)將名義數(shù)據(jù)轉(zhuǎn)換為實(shí)際數(shù)據(jù)將名義數(shù)據(jù)轉(zhuǎn)換為實(shí)際數(shù)據(jù) (3)將小類指標(biāo)合并成大類指標(biāo)將小類指標(biāo)合并成大類指標(biāo) 變量數(shù)據(jù)的變換有時可得到較好的結(jié)果，但無變量數(shù)據(jù)的變換有時可得到較好的結(jié)果，但無法保證一定可以得到很好的結(jié)果。法保證一定可以得到很好的結(jié)果。 *嶺回歸法嶺回歸法（Ridge Regression） 70年代發(fā)展的嶺回歸法，以引入偏誤為代價減小以引入偏誤為代價減小參數(shù)估計量的方差參數(shù)估計量的方差，受到人們的重視。

23、 具體方法是：引入矩陣D，使參數(shù)估計量為 其中矩陣D一般選擇為主對角陣，即 D=aI a為大于0的常數(shù)。YXDXX1)(（*） 顯然，與未含顯然，與未含D的參數(shù)的參數(shù)B的估計量相比，的估計量相比，(*)式的估式的估計量有較小的方差。計量有較小的方差。 六、案例六、案例中國糧食生產(chǎn)函數(shù)中國糧食生產(chǎn)函數(shù) 根據(jù)理論和經(jīng)驗(yàn)分析，影響糧食生產(chǎn)（Y）的主要因素有： 農(nóng)業(yè)化肥施用量（X1）；糧食播種面積(X2) 成災(zāi)面積(X3); 農(nóng)業(yè)機(jī)械總動力(X4); 農(nóng)業(yè)勞動力(X5) 已知中國糧食生產(chǎn)的相關(guān)數(shù)據(jù)，建立中國糧食生產(chǎn)函數(shù)： Y= 0+ 1 X1 + 2 X2 + 3 X3 + 4 X4 + 4 X5 +

24、 表表 4.3.3 中國糧食生產(chǎn)與相關(guān)投入資料中國糧食生產(chǎn)與相關(guān)投入資料年份糧食產(chǎn)量Y(萬噸)農(nóng)業(yè)化肥施用量1X（萬公斤）糧食播種面積2X（千公頃）受災(zāi)面積3X（公頃）農(nóng)業(yè)機(jī)械總動力4X（萬千瓦）農(nóng)業(yè)勞動力5X（萬人）1983387281659.811404716209.31802231645.11984407311739.811288415264.01949731685.01985379111775.810884522705.32091330351.51986391511930.611093323656.02295030467.01987402081999.311126820392.7248

25、3630870.01988394082141.511012323944.72657531455.71989407552357.111220524448.72806732440.51990446242590.311346617819.32870833330.41991435292806.111231427814.02938934186.31992442642930.211056025894.73030834037.01993456493151.911050923133.03181733258.21994445103317.910954431383.03380232690.319954666235

26、93.711006022267.03611832334.51996504543827.911254821233.03854732260.41997494173980.711291230309.04201632434.91998512304083.711378725181.04520832626.41999508394124.311316126731.04899632911.82000462184146.410846334374.05257432797.5 1 1、用、用OLS法估計上述模型法估計上述模型： R2接近于1； 給定=5%，得F臨界值 F0.05(5,12)=3.11 F=638.4 15.19，故認(rèn)上述糧食生產(chǎn)的總體線性關(guān)系顯著成立。 但X4 、X5 的參數(shù)未通過t檢驗(yàn)，且符號不正確，故解釋變量間可能存在多重共線性解釋變量間可能存在多重共線性。54321028. 0098. 0166. 0421. 0213. 644.12816XXXXXY (-0.91) (8.39) (3.32) (-2.81) (-1.45) (-0.14) 2 2、檢驗(yàn)簡單相關(guān)系數(shù)、檢驗(yàn)簡單相關(guān)系數(shù) 發(fā)現(xiàn)：發(fā)現(xiàn)： X1與X4間存在高度相關(guān)性。列出X1，X2，X3，X4，X5的相