專題二多重共線性

1一、多重共線性的概念二、產生多重共線性的原因三、多重共線性對OLS估計量的影響四、多重共線性現象的偵察五、對多重共線性問題的補救專題二：多重共線性Multi-Collinearity27.1多重共線性的概念

1.多重共線性的概念

對于模型

Yi=0+1X1i+2X2i++kXki+i

i=1,2,…,n其基本假設之一是解釋變量是互相獨立的。如果某兩個或多個解釋變量之間出現了相關性，則稱為多重共線性(Multicollinearity)。3

一、完全多重共線性

如果存在

c1X1i+c2X2i+…+ckXki=0

i=1,2,…,n

其中:ci不全為0，則稱為解釋變量間存在完全多重共線性（perfectmulticollinearity）。在矩陣表示的線性回歸模型Y=X+中，完全共線性指：秩(X)<k+1，即：中，至少有一列向量可由其他列向量（不包括第一列）線性表出。如X2=kX1，則X2對Y的作用可由X1代替。4注意：

完全多重共線性的情況在經濟學中并不多見，一般出現的是在一定程度上的共線性，即不完全的多重共線性。二、不完全多重共線性如果存在

c1X1i+c2X2i+…+ckXki+vi=0

i=1,2,…,n

其中ci不全為0，vi為隨機誤差項，則稱為不完全多重共線性或欠完全多重共線性（approximatemulticollinearity）。57.2.產生多重共線性的原因

一般地，產生多重共線性的主要原因有以下四個方面：

（1）經濟變量相關的共同趨勢

時間序列樣本：經濟繁榮時期，各基本經濟變量（收入、消費、投資、價格）都趨于增長；衰退時期，又同時趨于下降。

橫截面數據：生產函數中，資本投入與勞動力投入往往出現高度相關情況，大企業(yè)二者都大，小企業(yè)都小。（2）滯后變量的引入

在經濟計量模型中，往往需要引入滯后經濟變量來反映真實的經濟關系。

例如，消費=f(當期收入,前期收入），顯然，兩期收入間有較強的線性相關性。

6（3）多項式項的引入

如研究企業(yè)的成本與產量之間的關系時，往往在成本模型中引進產量的三次方，即：在這種模型中，解釋變量之間可能存在一定程度的多重共線性。（4）樣本資料的限制

由于完全符合理論模型所要求的樣本數據較難收集，特定范圍內抽取樣本可能存在某種程度的多重共線性。進一步地講，如果在實際應用中我們有足夠多的樣本，解釋變量的多重共線性程度就會大大降低。這就再次說明，多重共線性本質上是樣本問題。77.3多重共線性對OLS估計量的影響一、完全多重共線性對OLS估計量的影響1、完全共線性下參數估計量不確定的的OLS估計量為：如果存在完全共線性，則(X’X)-1不存在，無法得到參數的估計量。2、參數估計量方差無窮大對于模型：，其OLS估計量的方差為：8

在完全多重共線性下，導致上面兩式的分母都等于0，因此OLS估計量的方差和標準誤都是無窮大。

二、不完全多重共線性下OLS的后果

不完全的多重共線性下，可以得到OLS參數估計量，但參數估計量方差的表達式為

由于|X’X|0，引起(X’X)-1主對角線元素較大，使參數估計值的方差增大，OLS參數估計量仍然是有效，但有效并不意味著方差的值較小。1.參數估計量的方差增大以二元線性離差模型

：y=1x1+2x2+為例:9X1與X2的線性相關系數的平方r2，由于r2

1，故1/(1-r2)1。在X1與X2為不完全多重共線性時，OLS估計量方差會很大，而且隨著共線性程度增加，兩個估計量的方差也將隨之增大。因此，從這個角度看，解釋變量具有不完全多重共線性時，OLS的估計量雖然仍具有最小方差性，但方差最小是相對其他的線性和無偏估計量而言。2.參數的估計精度較低當存在不完全多重共線性時，從上面已經知道，參數的OLS估計量方差較大，其標準誤也就較大，從而使得參數估計量的精度較低。10

3.參數估計量經濟含義不合理如果模型中兩個解釋變量具有線性相關性，例如X2=X1

，這時，X1和X2前的參數1、2并不反映各自與被解釋變量之間的結構關系，而是反映它們對被解釋變量的共同影響。1、2已經失去了應有的經濟含義，于是經常表現出似乎反常的現象：例如1本來應該是正的，結果恰是負的。在含兩個解釋變量的回歸模型中，的經濟含義是：在X2保持不變的條件下，X1變化一個單位會導致被解釋變量平均變化個單位，顯然如果兩個解釋變量存在較強的線性關系，則在保持X2不變的條件下，X1變化一個單位時，X2也會變化，因此，不能正確度量解釋變量X1單獨對被解釋變量的平均影響。114.顯著性檢驗的結論可能失效存在不完全多重共線性時參數估計值的方差與標準差變大容易使通過樣本計算的t值小于臨界值，誤導作出參數為0的推斷可能將重要的解釋變量排除在模型之外*注：使本來影響顯著的變量變得不顯著。或者更準確地說，在不完全多重共線性下，t檢驗更容易接受原假設。125.OLS估計量及其標準誤對樣本數據微小變化較敏感

以兩個解釋變量的回歸模型為例，OLS估計量的方差和標準誤都與解釋變量之間的相關系數有關，而相關系數的微小變化，都導致的變化非常明顯，從而使標準誤會發(fā)生顯著變化。如：當由0.9增加到0.95時，的值由10增加到20。13總結：

除非是完全多重共線性，否則多重共線性并不意味著任何基本假設的違背；也就是說，不完全的多重共線性并不違背經典假定；因此，即使出現較高程度的多重共線性，OLS估計量仍然具有最佳線性無偏估計量的統計性質，即高斯-馬爾科夫定理仍然成立；

問題在于，即使OLS法仍是最好的估計方法，它卻不是“完美的”，尤其是在統計推斷上無法給出真正有用的信息。因為，模型存在多重共線性時，OLS估計量的方差會增大，因此，無論是參數的估計還是參數的統計推斷都是不可靠的。14

多重共線性表現為解釋變量之間具有相關關系，所以用于多重共線性的檢驗方法主要是統計方法。

1、相關系數法

(1)對兩個解釋變量的模型，采用簡單相關系數法求出X1與X2的簡單相關系數r，若|r|接近1，則說明兩變量存在較強的多重共線性。經驗表明，當r的值大于或等于0.8時，說明存在多重共線性。

(2)對多個解釋變量的模型，采用相關系數矩陣法，但是相關系數矩陣法是存在多重共線性的充分條件而不是必要條件。尤其在多于兩個解釋變量的回歸模型中，有時較低的簡單相關系數也意味著可能存在比較嚴重的多重共線性，因此僅利用相關系數來判斷是否存在多重共線性，有時不能準確判斷多重共線性的嚴重程度。7.4對多重共線性現象的偵察15162、輔助回歸法利用模型中每一個解釋變量分別以其余解釋變量為解釋變量進行回歸，并計算相應的擬合優(yōu)度。如果某一種回歸的判定系數較大，說明Xj與其他X間存在共線性。判別的標準是回歸模型是否通過F檢驗。具體可進一步對上述回歸方程作F檢驗，構造如下F統計量

式中：Rj?2為第j個解釋變量對其他解釋變量的回歸方程的判定系數，若存在較強的共線性，則Rj?2較大且接近于1，這時（1-Rj?2

）較小，從而Fj的值較大。因此，給定顯著性水平，計算F值，并與相應的臨界值比較，來判定是否存在相關性。1718192021

3.根據回歸結果來判斷（1）對于原始的多元回歸模型，當增加、剔除或者改變一個變量的觀測值(不是異常值)時，回歸參數的估計值和標準誤發(fā)生較大變化，據此可以判斷回歸方程可能存在嚴重的多重共線性。這是因為數據的微小變化，引起了解釋變量之間的相關關系發(fā)生明顯變化，從而導致回歸系數的估計值和標準誤發(fā)生較大變化。因此，在實證研究中，由于樣本數據發(fā)生的微小變化而對估計結果產生較大影響，隱含著模型中可能存在嚴重的多重共線性。（2）在回歸方程中，一些理論上顯著的重要解釋變量的回歸系數的標準誤較大，t統計量值較小而不能拒絕原假設，同時又很高(或F檢驗能顯著拒絕原假設)，這種情況可初步判斷存在嚴重的多重共線性。22

上式的第一行是對應參數估計值的t統計量，第二行是對應的t檢驗的p-值。從回歸結果來看，當顯著性水平為5%時，所有參數OLS估計量的p值都大于0.05，說明t檢驗的結論是都不能拒絕原假設。而從模型的F檢驗來看，F統計量的p值是0，說明模型是顯著成立的，同時R2很高(=0.97)。綜上所述，如果按照t檢驗的結果，所有的解釋變量對被解釋變量的影響是不顯著的，而按照F檢驗的結果，模型又具有總體顯著性。也就是說，t檢驗的結果和F檢驗的結果相互矛盾，這種矛盾的根源在于多元線性回歸模型存在嚴重的多重共線性現象。在例7.1中，利用Eviews6.0對模型進行估計，估計的結果如下：23（3）如果有些解釋變量的回歸系數的符號與經濟原理相違背，這種現象表明很可能存在多重共線性。我們在前面已經說明，多重共線性可能扭曲了參數的經濟含義。4.方差膨脹因子(VIF)檢驗

對于多元線性模型，解釋變量的參數估計值的方差可以表示為：其中是的方差膨脹因子，即：

是第j個解釋變量與其它所有解釋變量回歸時的判定系數，經驗表明：當方差膨脹因子大于10時，認為存在嚴重的多重共線性。24

在例7.1中，在上面輔助回歸的基礎上，可以直接得到各個解釋變量的方差膨脹因子，分別是VIF1＝8.176；VIF2=48.41；VIF3=15.42；VIF4=39.281;；VIF5=105.03

除了第一個解釋變量的VIF小于10以外，其余四個解釋變量的VIF都大于10，說明模型存在嚴重的多重共線性。25

1.剔除變量法這是消除多重共線性最簡單的一種方法。當回歸方程中存在嚴重的多重共線性，可以刪除引起多重共線性的解釋變量。以輔助回歸模型(7.4.1)為例，通過F檢驗發(fā)現變量Xj是其他解釋變量的近似的線性組合，一個最為簡單的方法是在回歸模型中去掉變量Xj。這種去掉變量的方法可以持續(xù)下去，直到所有的輔助回歸模型都不能通過F檢驗為止。注意：根據經濟理論建立的回歸模型，去掉某些解釋變量會導致模型的設定誤差，從而使參數的OLS估計產生偏誤，因此在使用該方法時要慎重。

7.5對多重共線性問題的補救262.增大樣本容量造成多重共線性的直接原因是參數OLS估計量的標準誤增大，因此如何減小因多重共線性導致OLS估計量的標準誤是解決多重共線性問題的目的之一。我們知道，增加樣本容量，可以提高回歸參數的估計精度，即可以導致回歸參數的方差和標準誤減小，t檢驗值也隨之增大，因此盡可能地收集足夠多的數據可以改進模型參數的估計，提高參數估計的精度和假設檢驗的有效性。3.變換模型形式將原設定的模型形式作適當的變換，可以有效地消除或減弱原模型中解釋變量之間的相關性，從而減弱多重共線性的影響。一般的變換方式包括：①變換模型的函數形式，如把線性模型變換為對數模型等；②變換模型的變量形式，如差分變換和對變量做對數變換等。以差分變換為例，對變量進行差分可以減弱多重共線性，因為增量之間的相關性往往要低于水平值之間的相關性。差分變換的缺陷是丟棄了X、Y變量水平值之間的數量關系。274.逐步回歸法

逐步回歸法是指在選擇變量時，遵從“由少到多”的原則，即從所有解釋變量中間先選擇影響最為顯著的變量建立模型，然后再將模型之外的變量逐個地引入；每引入一個變量，就對模型中所有解釋變量進行顯著性檢驗，并從中剔除不顯著變量；逐步引入-剔除-引入，直到模型之外所有變量均不顯著。

具體步驟：先利用相關系數從所有解釋變量中選取相關性最強的變量建立模型；然后在一元回歸模型中引入第二個變量，第三個變量，…，選擇原則是：每個解釋變量影響顯著、參數符號正確、修正的判定系數有所提高。

28293031325.無為而治——什么也不做以上對多重共線性的補救方法，每種補救方法都存在一定程度上的缺陷，所以什么也不做常常是正確的選擇。原因在于，多重共線性對回歸參數估計量的影響并非總是導致它的符號與經濟理論不同，多重共線性對假設檢驗的影響并非總是使得t檢驗本應顯著而降低到不顯著。因此，除非所面對的多重共線性極其嚴重，否則，通常的補救方法是無為而治，即不對多重共線性進行任何補救。具體而言，對于一個估計的多元線性回歸模型，如果假設檢驗的結論是正確或者與經濟理論一致，其估計結果與經濟學的理論或者預期吻合，或者估計結果已經揭示了經濟現實的特征、體現出明顯的現實意義。對于這種估計的模型中所隱含的多重共線性，不予檢驗，也不予補救，這就是無為而治——什么也不做的內涵。33本章小結:1.多重共線性是指解釋變量X之間有準確或近似的線性關系。多重共線性問題本質上是樣本問題。2.多重共線性分為兩種：完全多重共線性和不完全多重共線性，其中不完全多重共線性比較普遍，而完全多重共線性很少出現。3.不完全多重共線性雖然不違反經典假定，但他會導致參數的OLS估計量具有較大的方差和標準誤，因而統計推斷不可靠。4.

多重共線性的偵察包括相關系數矩陣法、輔助回歸法、方差膨脹因子法、回歸結果的直觀判斷法。5.多重共線性的補救包括增加樣本容量、去掉引起共線性的解釋變量、變換變量或者變換模型的形式、逐步回歸法、無為而治等方法。操作練習——中國糧食生產函數

根據理論和經驗分析，影響糧食生產（Y）的主要因素有：農業(yè)化肥施用量（X1）；糧食播種面積(X2)

成災面積(X3);農業(yè)機械總動力(X4);

農業(yè)勞動力(X5)

已知中國糧食生產的相關數據，建立中國糧食生產函數：

Y=0+1X1+2X2+3X3+4X4