多重共線性的解決之法

1、第七章 多重共線性教學(xué)目的及要求：1、重點理解多重共線性在經(jīng)濟現(xiàn)象中的表現(xiàn)及產(chǎn)生的原因和后果2、掌握檢驗和處理多重共線性問題的方法3、學(xué)會靈活運用eviews軟件解決多重共線性的實際問題。第一節(jié) 多重共線性的產(chǎn)生及后果一、多重共線性的含義1、含義在多元線性回歸模型經(jīng)典假設(shè)中，其重要假定之一是回歸模型的解釋變量之間不存在線性關(guān)系，也就是說，解釋變量x1，x2，xk中的任何一個都不能是其他解釋變量的線性組合。如果違背這一假定，即線性回歸模型中某一個解釋變量與其他解釋變量間存在線性關(guān)系，就稱線性回歸模型中存在多重共線性。多重共線性違背了解釋變量間不相關(guān)的古典假設(shè)，將給普通最小二乘法帶來嚴(yán)重后果。2、

2、類型多重共線性包含完全多重共線性和不完全多重共線性兩種類型。（1）完全多重共線性完全多重共線性是指線性回歸模型中至少有一個解釋變量可以被其他解釋變量線性表示，存在嚴(yán)格的線性關(guān)系。如對于多元線性回歸模型 （7-1）存在不全為零的數(shù)，使得下式成立： （7-2）則可以說解釋變量之間存在完全的線性相關(guān)關(guān)系，即存在完全多重共線性。從矩陣形式來看，就是，即，觀測值矩陣是降秩的，表明在向量中至少有一個列向量可以由其他列向量線性表示。（2）不完全多重共線性不完全多重共線性是指線性回歸模型中解釋變量間存在不嚴(yán)格的線性關(guān)系，即近似線性關(guān)系。如對于多元線性回歸模型（7-1）存在不全為零的數(shù)，使得下式成立： （7-3

3、）其中為隨機誤差項，則可以說解釋變量之間存在不完全多重共線性。隨機誤差項表明上述線性關(guān)系是一種近似的關(guān)系式，大體上反映了解釋變量間的相關(guān)程度。完全多重共線性與完全非線性都是極端情況，一般說來，統(tǒng)計數(shù)據(jù)中多個解釋變量之間多少都存在一定程度的相關(guān)性，對多重共線性程度強弱的判斷和解決方法是本章討論的重點。二、多重共線性產(chǎn)生的原因多重共線性在經(jīng)濟現(xiàn)象中具有普遍性，其產(chǎn)生的原因很多，一般較常見的有以下幾種情況。（一）經(jīng)濟變量間具有相同方向的變化趨勢在同一經(jīng)濟發(fā)展階段，一些因素的變化往往同時影響若干經(jīng)濟變量向相同方向變化，從而引起多重共線性。如在經(jīng)濟上升時期，投資、收入、消費、儲蓄等經(jīng)濟指標(biāo)都趨向增長，這

4、些經(jīng)濟變量在引入同一線性回歸模型并作為解釋變量時，往往存在較嚴(yán)重的多重共線性。（二）經(jīng)濟變量間存在較密切關(guān)系由于組成經(jīng)濟系統(tǒng)的各要素之間是相互影響相互制約的，因而在數(shù)量關(guān)系上也會存在一定聯(lián)系。如耕地面積與施肥量都會對糧食總產(chǎn)量有一定影響，同時，二者本身存在密切關(guān)系。（三）采用滯后變量作為解釋變量較易產(chǎn)生多重共線性一般滯后變量與當(dāng)期變量在經(jīng)濟意義上關(guān)聯(lián)度比較密切，往往會產(chǎn)生多重共線性。如在研究消費規(guī)律時，解釋變量因素不但要考慮當(dāng)期收入，還要考慮以往各期收入，而當(dāng)期收入與滯后收入間存在多重共線性的可能很大。（四）數(shù)據(jù)收集范圍過窄，有時會造成變量間存在多重共線性問題。三、多重共線性產(chǎn)生的后果由前述可

5、知，多重共線性分完全多重共線性和不完全多重共線性兩種情況，兩種情況都會對模型進行最小二乘估計都會產(chǎn)生嚴(yán)重后果。（一）完全多重共線性產(chǎn)生的后果以二元線性回歸模型為例， （7-4）以離差形式表示，假設(shè)其中，常數(shù)，則， ，的最小二乘估計量為 （7-5）同理得到： （7-6） 可見參數(shù)估計值和無法確定。再考察參數(shù)估計量的方差，由前面章節(jié)可知： （7-7）將代入上式，則 （7-8） =說明此種情況下方差為無窮大。同理可以證明的方差在完全共線性下也為無窮大。以上分析表明，在完全多重共線性條件下，普通最小二乘法估計的參數(shù)值不能確定，并且估計值的方差為無窮大。（二）不完全多重共線性產(chǎn)生的后果假設(shè)上述二元線性回

6、歸模型中解釋變量與的關(guān)系為 （7-9）其中為隨機項，滿足，代入估計表達得： （7-10）由于，因而是可確定估計的，但是其數(shù)值依賴的數(shù)值，而的數(shù)值隨樣本的變化有較大變化，所以估計值是很不穩(wěn)定的。同理可以證明也是可估計的，且數(shù)值具有不穩(wěn)定性?？疾旃烙嬃康姆讲睿河桑?-1）式可知是、的相關(guān)系數(shù)，因此 （7-11）參數(shù)估計量的方差可表達為： （7-12）其中為和之間的相關(guān)系數(shù)，從（7-12）式可見，的值越大，則共線程度越高，估計量方差越大，直至無窮。綜上所述，線性回歸模型解釋變量間存在多重共線性可能產(chǎn)生如下后果：增大最小二乘估計量的方差；參數(shù)估計值不穩(wěn)定，對樣本變化敏感；檢驗可靠性降低，產(chǎn)生棄真錯誤。

7、由于參數(shù)估計量方差增大，在進行顯著性檢驗時，t檢驗值將會變小，可能使某些本該參數(shù)顯著的檢驗結(jié)果變得不顯著，從而將重要變量舍棄。第二節(jié) 多重共線性的檢驗多重共線性是較為普通存在的現(xiàn)象，從上節(jié)分析可知，較高程度的多重共線性會對最小二乘估計產(chǎn)生嚴(yán)重后果，因此，在運用最小二乘法進行多元線性回歸時，不但要檢驗解釋變量間是否存在多重共線性，還要檢驗多重共線性的嚴(yán)重程度。一、不顯著系數(shù)法情況1、 很大，t小不顯著系數(shù)法是利用多元線性回歸模型的擬合結(jié)果進行檢驗。如果擬合優(yōu)度的值很大（一般來說在0.8以上），然而模型中的全部或部分參數(shù)值估計值經(jīng)檢驗卻不顯著，那么解釋變量間有可能存在較嚴(yán)重的多重共線性。情況2、理

8、論性強，檢驗值弱如果從經(jīng)濟理論或常識來看某個解釋變量對被解釋變量有重要影響，但是從線性回歸模型的擬合結(jié)果來看，該解釋變量的參數(shù)估計值經(jīng)檢驗卻不顯著，那么可能是解釋變量間存在多重共線性所導(dǎo)致的。情況3、新引入變量后，方差增大在多元線性回歸模型中新引入一個變量后，發(fā)現(xiàn)模型中原有參數(shù)估計值的方差明顯增大，則說明解釋變量間可能存在多重共線性。二、擬合優(yōu)度檢驗對多元線性回歸模型中各個解釋變量相互建立回歸方程，分別求出各回歸方程的擬和優(yōu)度，如果其中最大的一個接近，顯著大于臨界值，該變量可以被其他變量線性解釋，則其所對應(yīng)的解釋變量與其余解釋變量間存在多重共線性。如設(shè)某多元線性回歸模型中原有個解釋變量，將每個

9、解釋變量對其他解釋變量進行回歸，得到個回歸方程：分別求出上述各個方程的擬合優(yōu)度，如果其中最大的一個接近于，則它所對應(yīng)的解釋變量與其余解釋變量間存在多重共線性。三、相關(guān)矩陣法考察多元線性回歸模型 （7-13）其解釋變量之間的相關(guān)系數(shù)矩陣為： （7-14）因為，所以上面相關(guān)陣為對稱陣，只需考察主對角線元素上方（或下方）某個元素絕對值是否很大（一般在0.8以上），就可以判斷兩個解釋變量間是否存在多重共線性。結(jié)論：另外需要特別注意的是，如果相關(guān)系數(shù)很大，則一定存在多重共線性，如果相關(guān)系數(shù)很小，不一定沒有多重共線性。四、frisch綜合分析法1、方法及分析標(biāo)準(zhǔn)frisch綜合分析法也叫逐步分析估計法，其

10、基本思想是先將被解釋變量對每個解釋變量作簡單回歸方程，稱為基本回歸方程。再對每一個基本回歸方程進行統(tǒng)計檢驗，并根據(jù)經(jīng)濟理論分析選出最優(yōu)基本方程，然后再將其他解釋變量逐一引入，建立一系列回歸方程，根據(jù)每個新加的解釋變量的標(biāo)準(zhǔn)差和復(fù)相關(guān)系數(shù)來考察其對每個回歸系數(shù)的影響，一般根據(jù)如下標(biāo)準(zhǔn)進行分類判別：.如果新引進的解釋變量使得到提高,而其他參數(shù)回歸系數(shù)在統(tǒng)計上和經(jīng)濟理論上仍然合理，則認(rèn)為這個新引入的變量對回歸模型是有利的，可以作為解釋變量予以保留。.如果新引進的解釋變量對改進不明顯，對其他回歸系數(shù)也沒有多大影響，則不必保留在回歸模型中。.如果新引進的解釋變量不僅改變了，而且對其他回歸系數(shù)的數(shù)值或符號

11、具有明顯影響，則可認(rèn)為引進新變量后，回歸模型解釋變量間存在嚴(yán)重多重共線性。這個新引進的變量如果從理論上分析是十分重要的，則不能簡單舍棄，而是應(yīng)研究改善模型的形式，尋找更符合實際的模型，重新進行估計。如果通過檢驗證明存在明顯線性相關(guān)的兩個解釋變量中的一個可以被另一個解釋，則可略去其中對被解釋變量影響較小的那個變量，模型中保留影響較大的那個變量。2、具體實例例7-1 設(shè)某地10年間有關(guān)服裝消費、可支配收入、流動資產(chǎn)、服裝類物價指數(shù)、總物價指數(shù)的調(diào)查數(shù)據(jù)如表7-1，請建立需求函數(shù)模型。表7-1 服裝消費及相關(guān)變量調(diào)查數(shù)據(jù)年份服裝開支（百萬元）可支配收入y（百萬元）流動資產(chǎn)（百萬元）服裝類物價指數(shù)pc

12、1992年=100總物價指數(shù)01992年=10019888.482.917.1929419899.688.021.39396199010.499.925.19697199111.4105.329.09497199212.2117.734.0100100199314.2131.040.0101101199415.8148.244.0105104199517.9161.849.0112109199619.3174.251.0112111199720.8184.753.0112111（）設(shè)對服裝的需求函數(shù)為用最小二乘法估計得由得出拒絕零假設(shè)，認(rèn)為服裝支出與解釋變量間存在顯著關(guān)系。（）求各解釋變量的基

13、本相關(guān)系數(shù)上述基本相關(guān)系數(shù)表明解釋變量間高度相關(guān)，也就是存在較嚴(yán)重的多重共線性。（）為檢驗多重共線性的影響，作如下簡單回歸： （-3.3102） （41.9370） （-9.1682） （12.5363） （2.5858） （15.3096） （-14.7710） （18.6585） 以上四個方程根據(jù)經(jīng)濟理論和統(tǒng)計檢驗，收入是最重要的解釋變量（t檢驗值=41.937也最大），從而得出最優(yōu)簡單回歸方程。（）將其余變量逐個引入，計算結(jié)果如下表7-2：表7-2服裝消費模型的估計（常數(shù)）-1.2455（-3.3102）0.117（41.9370）_0.99552.62711.4047（0.2852）0

14、.1257（8.4259）-0.0361（-0.5398）_0.99572.53350.9400（0.1815）0.1387（5.5845）-0.0345（-0.4941）-0.0379（-0.6682）_0.99593.1568-12.7593（-1.9581）0.1036（7.4640）-0.1882（-2.4693）_0.3186（2.6189）0.99803.5241-13.5335（-1.8013）0.0970（3.6603）-0.1991（-2.2087）0.0151（0.3053）0.3401（2.2714）0.99803.3826結(jié)果分析：在最優(yōu)簡單回歸方程中引入變量，使由0.

15、9955提高到0.9957，正號，負(fù)號是合理的，進行t檢驗不顯著。從經(jīng)濟理論分析，應(yīng)該是重要因素，雖然與高度相關(guān)，但并不影響的顯著性和穩(wěn)定性，因此，可能是“有利變量”，暫時給予保留。模型中引入變量，由0.9957提高到0.9959，值略有提高。雖然與，與均高度相關(guān)，但是的引入對參數(shù)、的影響不大， 的符號不滿意，可能是“多余變量”，暫時刪除。舍去變量，加入變量，使由0.9957提高到0.9980，值改進較大，、均顯著，從經(jīng)濟意義上看也是合理的。因此可以認(rèn)為、皆為“有利變量”應(yīng)給予保留。最后再引入變量，0.9980沒有增加（或幾乎沒有增加），對其他三個解釋變量參數(shù)系數(shù)沒有多大影響，可以確定是多余變

16、量，應(yīng)從模型中刪除。得到如下結(jié)論：回歸模型以為最優(yōu)模型。通過上例分析可以看出，frisch綜合分析法不但可以檢驗多重共線性，同時也可以對多重共線性進行處理。第三節(jié) 多重共線性的處理一、先驗信息法先驗信息法是指根據(jù)經(jīng)濟理論或者其他已有研究成果事前確定回歸模型參數(shù)間的某種關(guān)系，將這種約束條件與樣本信息綜合考慮，進行最小二乘估計。運用參數(shù)間的先驗信息可以消除多重共線性。如對cobb-douglas生產(chǎn)函數(shù)進行回歸估計 其中y、l、k分別表示產(chǎn)出、勞動力和資本由先驗信息可知勞動投入量l與資金投入量k之間通常是高度相關(guān)的，如果按照經(jīng)濟理論“生產(chǎn)規(guī)模報酬不變”的假定，則 則 兩邊取對數(shù) （7-15）此時上

17、式為一元線性回歸模型，不存在多重共線性問題。二、改變變量的定義形式在進行回歸模型共線性處理時，有時要根據(jù)所分析的具體經(jīng)濟問題及模型的形式對解釋變量重新調(diào)整，一般有如下幾種方法：（1）用相對數(shù)變量替代絕對數(shù)變量如設(shè)需求函數(shù)為 （7-16）其中y、x、p、p1 分別代表需求量、收入、商品價格與替代商品價格，由于商品價格與替代商品價格往往是同方向變動，該需求函數(shù)模型可能存在多重共線性?？紤]用兩種商品價格之比作解釋變量，代替原模型中商品價格與替代商品價格兩個解釋變量，則模型為如下形式： （7-17） 原模型中兩種商品價格變量之間的多重共線性得以避免。（2）刪去模型中次要的或可替代的解釋變量 如果回歸模

18、型解釋變量間存在較嚴(yán)重的多重共線性，根據(jù)經(jīng)濟理論、實踐經(jīng)驗、相關(guān)系數(shù)檢驗、統(tǒng)計分析等方法鑒別變量是否重要及是否可替代，刪去那些對被解釋變量影響不大，或認(rèn)為不太重要的變量，則可減輕多重共線性。（3）差分法對回歸模型中所有變量作差分變換也是消除多重共線性的一種有效方法。如設(shè)原回歸模型為 （7-18）模型中解釋變量與間存在多重共線性，與都是時間序列資料，對于期 （7-19） （7-20）得到原模型期與期的一階差分形式，令一階差分為可以得到一階差分模型： （7-21）這里的解釋變量不再是原來的解釋變量而是解釋變量的一階差分，即使原模型中存在嚴(yán)重的多重共線性，變換后的一階差分模型一般也可以解決此類問題。

19、值得注意的是，差分變換法也有一定的負(fù)面作用。由于，而與等必然相關(guān)，因此差分變換法在減少多重共線性的同時，卻帶來了隨機擾動項序列相關(guān)問題。三、主成分法1、含義主成分法是通過線性變換，將原來的多個指標(biāo)組合成相互獨立的少數(shù)幾個能充分反映總體信息的指標(biāo)，從而在不丟掉重要信息的前提下避開變量間共線性問題，便于進一步分析。在主成分分析中提取出的每個主成分都是原來多個指標(biāo)的線性組合。比如有兩個原始變量和，則一共可提取出兩個主成分： （7-22）原則上如果有n個變量，則最多可以提取出n個主成分，但如果將它們?nèi)刻崛〕鰜砭褪チ嗽摲椒ê喕瘮?shù)據(jù)的意義。一般情況下提取出2-3個主成分（已包含了90%以上的信息），其

20、他的可以忽略不計。2、基本原理主成分分析的基本原理是將解釋變量轉(zhuǎn)換成若干個主成分，這些主成分從不同側(cè)面反映解釋變量的綜合影響，并且互不相關(guān)。因此，可以將被解釋變量關(guān)于這些主成分進行回歸，再根據(jù)主成分與解釋變量之間的對應(yīng)關(guān)系，求得原回歸模型的估計方程。3、具體步驟主成分回歸的具體步驟：（1）對原始樣本數(shù)據(jù)做標(biāo)準(zhǔn)化處理，得到解釋變量的相關(guān)系數(shù)矩陣r。（2）計算r的個特征值，以及相應(yīng)的標(biāo)準(zhǔn)化特征向量。（3）利用特征值檢驗多重共線性。模型存在多重共線性時，至少有一個特征值近似地等于零，不妨設(shè)近似為零，這表明解釋變量之間存在個線性相關(guān)關(guān)系。（4）設(shè)多元線性模型為，標(biāo)準(zhǔn)化后的解釋變量的k個主成分為 （7-

21、23）其中互不相關(guān)，并且近似為零。將標(biāo)準(zhǔn)化的被解釋變量關(guān)于個主成分進行回歸，得 （7-24）（5）根據(jù)主成分與解釋變量之間的關(guān)系式（7-23），將其代入主成分回歸方程式（7-24），求得用標(biāo)準(zhǔn)化數(shù)據(jù)表示的回歸方程： （7-25）系數(shù)與原模型中參數(shù)之間的關(guān)系為 （7-26） （7-27）其中，分別為和的標(biāo)準(zhǔn)差，由此可以計算出原回歸模型中的參數(shù)，進而得到 （7-28）四、嶺回歸估計1、含義嶺回歸分析實際上是一種改良的最小二乘法，是一種專門用于共線性數(shù)據(jù)分析的有偏估計回歸方法。如果回歸模型的假定得不到滿足，則b的ols估計的優(yōu)良性質(zhì)將遭到嚴(yán)重破壞，如果諸x之間有完全的共線性，則它們的回歸系數(shù)是不確定的，并且它們的標(biāo)準(zhǔn)誤沒有定義；如果有高度共線性，回歸系數(shù)有較大的標(biāo)準(zhǔn)誤，系數(shù)的總體值不能準(zhǔn)確地加以估計，將導(dǎo)致回歸系數(shù)的方差擴大。horel（1970）提出了嶺回歸估計方法，該方法放棄最小二乘的無偏性，損失部分信息，以放棄部分精確度為代價來尋求效果稍差但更符合實際的回歸方程。故嶺回歸所得剩余標(biāo)準(zhǔn)差比最小二乘回歸要大。2、基本原理嶺回歸分析的基本思想是當(dāng)自變量間存