第五講多重共線性異方差自相關

第五講多重共線性異方差自相關第1頁，共67頁，2023年，2月20日，星期一一、多重共線性的概念

如果某兩個或多個解釋變量之間出現(xiàn)了相關性，則稱為多重共線性(Multicollinearity)。含義：解釋變量的樣本向量近似線性相關。多重共線性來源：（1）解釋變量x受到同一個因素的影響；例如：政治事件對很多變量都產(chǎn)生影響，這些變量同時上升或同時下降。（2）解釋變量x自己的當期和滯后期；（3）錯誤設定。對于模型其基本假設之一是解釋變量是互相獨立的。第2頁，共67頁，2023年，2月20日，星期一

二、多重共線性的后果的OLS估計量為：完全共線性指的是解釋變量中某個變量是其他變量的線性組合，即c1X1+c2X2+…+ckXk=0其中ci不全為0，i=1,…k1、完全共線性下參數(shù)估計量不存在如果存在完全共線性，則不存在，無法得到參數(shù)的估計量。第3頁，共67頁，2023年，2月20日，星期一例：對離差形式的二元回歸模型如果兩個解釋變量完全相關，如x2=x1，則這時，只能確定綜合參數(shù)1+2的估計值：一個方程確定兩個未知數(shù)，有無窮多個解。第4頁，共67頁，2023年，2月20日，星期一2、近似共線性下OLS估計量非有效近似共線性下，可以得到OLS參數(shù)估計量，但參數(shù)估計量方差的表達式為

由于，引起主對角線元素較大，使參數(shù)估計值的方差增大，OLS參數(shù)估計量非有效。近似共線性指的是解釋變量中某個變量不完全是其他解釋變量的線性組合，還差個擾動項。即c1X1+c2X2+…+ckXk＋vi=0，其中ci不全為0，i=1,…k第5頁，共67頁，2023年，2月20日，星期一

如果模型中兩個解釋變量具有線性相關性，例如X2=X1

，這時，X1和X2前的參數(shù)1、2并不反映各自與被解釋變量之間的結構關系，而是反映它們對被解釋變量的共同影響。

1、2已經(jīng)失去了應有的經(jīng)濟含義，于是經(jīng)常表現(xiàn)出似乎反常的現(xiàn)象：例如1本來應該是正的，結果恰是負的。3、參數(shù)估計量經(jīng)濟含義不合理注：除非是完全共線性，多重共線性并不意味著任何基本假設的違背。第6頁，共67頁，2023年，2月20日，星期一

多重共線性診斷的任務是：（1）檢驗多重共線性是否存在；（2）估計多重共線性的范圍，即判斷哪些變量之間存在共線性。

多重共線性表現(xiàn)為解釋變量之間具有相關關系，所以用于多重共線性的檢驗方法主要是統(tǒng)計方法：如判定系數(shù)檢驗法、逐步回歸檢驗、方差膨脹因子（VIF）法等。

三、多重共線性的診斷第7頁，共67頁，2023年，2月20日，星期一

(1)對兩個解釋變量的模型，采用簡單相關系數(shù)法求出X1與X2的簡單相關系數(shù)r，若|r|接近1，則說明兩變量存在較強的多重共線性。(2)對多個解釋變量的模型，采用綜合統(tǒng)計檢驗法

若在OLS法下：R2與F值較大，但t檢驗值較小，說明各解釋變量對Y的聯(lián)合線性作用顯著，但各解釋變量間存在共線性而使得它們對Y的獨立作用不能分辨，故t檢驗不顯著。1、檢驗多重共線性是否存在第8頁，共67頁，2023年，2月20日，星期一

如果存在多重共線性，需進一步確定究竟由哪些變量引起。

2、判明存在多重共線性的范圍(1)判定系數(shù)檢驗法使模型中每一個解釋變量分別以其余解釋變量為解釋變量進行回歸，并計算相應的擬合優(yōu)度。如果某一種回歸

Xji=1X1i+2X2i+kXki的判定系數(shù)較大，說明Xj與其他X間存在共線性。第9頁，共67頁，2023年，2月20日，星期一具體可進一步對上述回歸方程作F檢驗：

式中：Rj?2為第j個解釋變量對其他解釋變量的回歸方程的可決系數(shù)，若存在較強的共線性，則Rj?2較大且接近于1，這時（1-Rj?2

）較小，從而Fj的值較大。因此，給定顯著性水平，計算F值，并與相應的臨界值比較，來判定是否存在相關性。

構造如下F統(tǒng)計量～第10頁，共67頁，2023年，2月20日，星期一

在模型中排除某一個解釋變量Xj，估計模型；

如果擬合優(yōu)度與包含Xj時十分接近，則說明Xj與其它解釋變量之間存在共線性。

另一等價的檢驗是:第11頁，共67頁，2023年，2月20日，星期一

(2)逐步回歸法

以Y為被解釋變量，逐個引入解釋變量，構成回歸模型，進行模型估計。根據(jù)擬合優(yōu)度的變化決定新引入的變量是否獨立。

如果擬合優(yōu)度變化顯著，則說明新引入的變量是一個獨立解釋變量；

如果擬合優(yōu)度變化很不顯著，則說明新引入的變量與其它變量之間存在共線性關系。第12頁，共67頁，2023年，2月20日，星期一

(3)方差膨脹因子（VIF:VarianceInflationFactor

）VIF指標：Xk與其余變量回歸所得的可決系數(shù)VIF范圍：[+1,+∞)判斷：若VIF≥5，則認為多重共線性強，不可接受。(4)條件數(shù)（ConditionIndix）解釋變量的相關矩陣的最大特征值與最小特征值相比調用數(shù)據(jù)庫neiyun.dta講解。條件數(shù)大于30，認為多重共線存在。第13頁，共67頁，2023年，2月20日，星期一

找出引起多重共線性的解釋變量，將它排除出去。以逐步回歸法得到最廣泛的應用。注意：這時，剩余解釋變量參數(shù)的經(jīng)濟含義和數(shù)值都發(fā)生了變化。

如果模型被檢驗證明存在多重共線性，則需要發(fā)展新的方法估計模型，最常用的方法有三類。

四、克服多重共線性的方法1、第一類方法：排除引起共線性的變量第14頁，共67頁，2023年，2月20日，星期一

時間序列數(shù)據(jù)、線性模型：將原模型變換為差分模型:

Yi=1X1i+2X2i++kXki+i可以有效地消除原模型中的多重共線性。

一般講，增量之間的線性關系遠比總量之間的線性關系弱得多。2、第二類方法：差分法第15頁，共67頁，2023年，2月20日，星期一

多重共線性的主要后果是參數(shù)估計量具有較大的方差，所以

采取適當方法減小參數(shù)估計量的方差，雖然沒有消除模型中的多重共線性，但確能消除多重共線性造成的后果。例如：增加樣本容量可使參數(shù)估計量的方差減小。3、第三類方法：減小參數(shù)估計量的方差第16頁，共67頁，2023年，2月20日，星期一

六、案例——中國糧食生產(chǎn)函數(shù)

根據(jù)理論和經(jīng)驗分析，影響糧食生產(chǎn)（Y）的主要因素有：農(nóng)業(yè)化肥施用量（X1）；糧食播種面積(X2)

成災面積(X3);農(nóng)業(yè)機械總動力(X4);

農(nóng)業(yè)勞動力(X5)

已知中國糧食生產(chǎn)的相關數(shù)據(jù)，建立中國糧食生產(chǎn)函數(shù)：

Y=0+1X1+2X2+3X3

+4X4

+5X5

+調用數(shù)據(jù)庫E:\博士計量課程軟件應用\multi第17頁，共67頁，2023年，2月20日，星期一第18頁，共67頁，2023年，2月20日，星期一R2接近于1；給定=5%，得F臨界值F0.05(5,12)=3.11

F=137.11>3.11，故認上述糧食生產(chǎn)的總體線性關系顯著成立。但X4

、X5

的參數(shù)未通過t檢驗，且符號不正確，故解釋變量間可能存在多重共線性。(-0.91)(8.39)(3.32)(-2.81)(-1.45)(-0.14)1、用OLS法估計上述模型：第19頁，共67頁，2023年，2月20日，星期一發(fā)現(xiàn)：

X1與X4間存在高度相關性。列出X1，X2，X3，X4，X5的相關系數(shù)矩陣：2、檢驗簡單相關系數(shù)第20頁，共67頁，2023年，2月20日，星期一可見，應選第1個式子為初始的回歸模型。分別作Y與X1，X3

，X2，X4，X5間的回歸：

(25.58)(11.49)R2=0.8919F=132.1

(-0.49)(1.14)R2=0.075F=1.30

(17.45)(6.68)R2=0.7527F=48.7

(-1.04)(2.66)R2=0.3064F=7.073、找出最簡單的回歸形式

(1.74)(7.25)R2=0.1596F=3.04第21頁，共67頁，2023年，2月20日，星期一

將其他解釋變量分別導入上述初始回歸模型，尋找最佳回歸方程。4、逐步回歸第22頁，共67頁，2023年，2月20日，星期一

回歸方程以Y=f(X1，X2，X3)為最優(yōu)：5、結論第23頁，共67頁，2023年，2月20日，星期一

§5.2異方差（Heteroscedasticity

）1、同方差假定及異方差定義模型的假定條件⑴給出Var()是一個對角矩陣，Var()=

2I=

2

且

的方差協(xié)方差矩陣主對角線上的元素都是常數(shù)且相等，即每一誤差項的方差都是有限的相同值（同方差假定）；且非主對角線上的元素為零（無自相關假定），第24頁，共67頁，2023年，2月20日，星期一Var(

)=

2

=

2

2I.

當這個假定不成立時，Var()不再是一個純量對角矩陣。當誤差向量的方差協(xié)方差矩陣主對角線上的元素不相等時，稱該隨機誤差系列存在異方差，即誤差向量中的元素取自不同的分布總體。非主對角線上的元素表示誤差項之間的協(xié)方差值。比如

中的ij

,（i

j）表示與第i組和第j組觀測值相對應的

i與

j的協(xié)方差。若

非主對角線上的部分或全部元素都不為零，誤差項就是自相關的（后面講自相關）。第25頁，共67頁，2023年，2月20日，星期一2.異方差的表現(xiàn)

異方差通常有三種表現(xiàn)形式，（1）遞增型（2）遞減型（3）條件自回歸型。遞增型異方差見圖5.21和5.22。圖5.23為遞減型異方差。圖5.24為條件自回歸型異方差(復雜性異方差)。圖5.21遞增型異方差情形

圖5.22遞增型異方差

隨著解釋變量值的增大，被解釋變量取值的差異性增大第26頁，共67頁，2023年，2月20日，星期一圖5.23遞減型異方差

圖5.6復雜型異方差

注：時間序列數(shù)據(jù)和截面數(shù)據(jù)中都有可能存在異方差。經(jīng)濟時間序列中的異方差常為遞增型異方差。金融時間序列中的異方差常表現(xiàn)為自回歸條件異方差。無論是時間序列數(shù)據(jù)還是截面數(shù)據(jù)。遞增型異方差的來源主要是因為隨著解釋變量值的增大，被解釋變量取值的差異性增大。第27頁，共67頁，2023年，2月20日，星期一3.異方差的后果

下面以簡單線性回歸模型為例討論異方差對參數(shù)估計的影響。

對模型

yt

=0

+1

xt

+ut

（1）.當Var(ut)=t2為異方差時（t2是一個隨時間或序數(shù)變化的量），回歸參數(shù)估計量仍具有無偏性和一致性,但是回歸參數(shù)估計量不再具有有效性。以為例

＝E()E()=E()=1+

=1第28頁，共67頁，2023年，2月20日，星期一Var()=E(-1)2

＝E（）2＝E()==≠上式不等號左側項分子中的t2不是一個常量，不能從累加式中提出，所以不等號右側項不等于不等號左側項。而不等號右側項是同方差條件下1的最小二乘估計量的方差。因此異方差條件下的失去有效性。第29頁，共67頁，2023年，2月20日，星期一4.異方差的診斷

（2）參數(shù)估計量的方差估計是真實方差的有偏估計（3）t檢驗失效經(jīng)濟變量規(guī)模差別很大時容易出現(xiàn)異方差。如個人收入與支出關系，投入與產(chǎn)出關系。

(2)利用散點圖做初步判斷。

OLS(3)White檢驗White檢驗的具體步驟如下：

第一步：YXe1,…en檢驗假設：H0:即，同方差第30頁，共67頁，2023年，2月20日，星期一第三步：～＞第四步：拒絕H0，存在異方差。第二步：ei2原變量、原變量平方、交叉項R2OLS（4）自回歸條件異方差（ARCH）檢驗異方差的另一種檢驗方法稱作自回歸條件異方差(ARCH)檢驗。這種檢驗方法不是把原回歸模型的隨機誤差項t2

看作是xt

的函數(shù)，而是把t2看作誤差滯后項ut-12,ut-22,…的函數(shù)。ARCH是誤差項二階矩的自回歸過程。恩格爾（Engle1982）針對ARCH過程提出LM檢驗法。輔助回歸式定義為：第31頁，共67頁，2023年，2月20日，星期一LM統(tǒng)計量定義為：～ARCH=nR2檢驗假設：H0:5.克服異方差的方法

（1）采用GLS估計

Y=X+u

設模型為：其中E(u)=0，Var(u)=E(uu‘)=

2，

已知

因為

是一個T階正定矩陣，所以必存在一個非退化TT階矩陣M使下式成立。MM'=I

TTM'M=

-1

MY=MX+Mu取Y*=MY,X*=MX,u*=Mu

Y*=X*+u*

若對于不全為零的實數(shù)x1,x2,…xn總有f=f(x1,x2,…xn)>0,則f稱為正定二次型。滿秩矩陣第32頁，共67頁，2023年，2月20日，星期一

Var(u*)=E(u*

u*'

)=E(Muu'M')=M

2

M

'=

2

M

M

'=

2

I(GLS)=(X*'X*)-1X*'Y*=(X'M'MX)-1

X'M'MY

=(X'

-1X)-1X'

-1Y

這種方法成為廣義最小二乘法（GLS）(2)通過對數(shù)據(jù)取對數(shù)消除異方差。中國進出口貿(mào)易額差（1953-1998）

對數(shù)的中國進出口貿(mào)易額之差第33頁，共67頁，2023年，2月20日，星期一

§5.3自相關（Autocorrelation

）1.非自相關的假定及自相關定義

Cov(ui,uj

)0,(i

j)即誤差項ut的取值在時間上是相互無關的。稱誤差項ut非自相關。如果則稱誤差項ut存在自相關。注：自相關又稱序列相關。

第34頁，共67頁，2023年，2月20日，星期一圖1非自相關的散點圖

圖4正自相關的散點圖

圖3負自相關的散點圖

圖2非自相關的序列圖

第35頁，共67頁，2023年，2月20日，星期一2.自相關產(chǎn)生的原因

大多數(shù)經(jīng)濟時間數(shù)據(jù)都有一個明顯的特點，就是它的慣性。

GDP、價格指數(shù)、生產(chǎn)、就業(yè)與失業(yè)等時間序列都呈周期性，如周期中的復蘇階段，大多數(shù)經(jīng)濟序列均呈上升勢，序列在每一時刻的值都高于前一時刻的值，似乎有一種內(nèi)在的動力驅使這一勢頭繼續(xù)下去，直至某些情況（如利率或課稅的升高）出現(xiàn)才把它拖慢下來。（1）慣性第36頁，共67頁，2023年，2月20日，星期一（2）設定偏誤1：模型中未含應包括的變量

例如：如果對牛肉需求的正確模型應為Yt=0+1X1t+2X2t+3X3t+t其中：Y=牛肉需求量，X1=牛肉價格，

X2=消費者收入，X3=豬肉價格如果模型設定為：Yt=0+1X1t+2X2t+vt

則該式中，vt=3X3t+t,

于是在豬肉價格影響牛肉消費量的情況下，這種模型設定的偏誤往往導致隨機項中有一個重要的系統(tǒng)性影響因素，使其呈序列相關性。第37頁，共67頁，2023年，2月20日，星期一

(3)設定偏誤2：不正確的函數(shù)形式

例如：如果真實的邊際成本回歸模型應為：

Yt=0+1Xt+2Xt2+t其中：Y=邊際成本，X=產(chǎn)出，但建模時設立了如下模型：Yt=0+1Xt+vt

因此，由于vt=2Xt2+t,

，包含了產(chǎn)出的平方對隨機項的系統(tǒng)性影響，隨機項也呈現(xiàn)序列相關性。(4)蛛網(wǎng)現(xiàn)象例如：農(nóng)產(chǎn)品供給對價格的反映本身存在一個滯后期：供給t=0+1價格t-1+t

意味著，農(nóng)民由于在年度t的過量生產(chǎn)（使該期價格下降）很可能導致在年度t+1時削減產(chǎn)量，因此不能期望隨機干擾項是隨機的，往往產(chǎn)生一種蛛網(wǎng)模式。第38頁，共67頁，2023年，2月20日，星期一3.自相關性的后果（1）參數(shù)估計量非有效雖然回歸系數(shù)仍具有無偏性。但是喪失有效性。

的方差比非自相關時大，失去有效性。

第39頁，共67頁，2023年，2月20日，星期一(2)變量的顯著性檢驗失去意義

用OLS法估計時仍然用估計，所以會低估的方差。

等于過高估計統(tǒng)計量t的值，從而把不重要的解釋變量保留在模型里，使顯著性檢驗失去意義。(3)Var(）和su2都變大，都不具有最小方差性。所以用依據(jù)普通最小二乘法得到的回歸方程去預測，預測是無效的。關于名詞白噪聲序列：零期望、同方差、無自相關序列。第40頁，共67頁，2023年，2月20日，星期一

然后，通過分析這些“近似估計量”之間的相關性，以達到判斷隨機誤差項是否具有自相關性的目的?；舅悸罚?.自相關檢驗第41頁，共67頁，2023年，2月20日，星期一（1）Durbin-Watson檢驗法

D-W檢驗是J.Durbin）和G.S.Watson于1951年提出的一種檢驗序列自相關的方法，該方法的假定條件是：（1）解釋變量X非隨機；（2）隨機誤差項i為一階自回歸形式：

i=i-1+i（3）回歸模型中不應含有滯后因變量作為解釋變量，即不應出現(xiàn)下列形式：

Yi=0+1X1i+kXki+Yi-1+i（4）回歸含有截距項；第42頁，共67頁，2023年，2月20日，星期一

該統(tǒng)計量的分布與出現(xiàn)在給定樣本中的X值有復雜的關系，因此其精確的分布很難得到。

D.W.統(tǒng)計量第43頁，共67頁，2023年，2月20日，星期一DW檢驗步驟如下。給出假設：

H0:=0(不存在自相關)H1:

0(存在一階自相關)用殘差值et計算統(tǒng)計量DW。

DW=＝因為≈≈DW=＝2（1－）＝2（1－）第44頁，共67頁，2023年，2月20日，星期一因為

的取值范圍是[-1,1]，所以DW統(tǒng)計量的取值范圍是[0,4]。

與DW值的對應關系見下表。DW

的表現(xiàn)

=0DW=2

非自相關

=1DW=0

完全正自相關

=-1DW=4

完全負自相關實際中DW=0,2,4的情形是很少見的。當DW取值在（0,2），（2,4）之間時，怎樣判別誤差項是否存在自相關呢？推導統(tǒng)計量DW的精確抽樣分布是困難的，因為DW是依據(jù)殘差et

計算的，而et的值又與xt的形式有關。DW檢驗與其它統(tǒng)計檢驗不同，它沒有唯一的臨界值用來制定判別規(guī)則。然而Durbin-Watson根據(jù)樣本容量和被估參數(shù)個數(shù)，在給定的顯著性水平下，給出了檢驗用的上、下兩個臨界值dU和dL

。判別規(guī)則如下：第45頁，共67頁，2023年，2月20日，星期一

可以看出，當D.W.值在2左右時，模型不存在一階自相關。第46頁，共67頁，2023年，2月20日，星期一當DW值落在“不確定”區(qū)域時，有兩種處理方法。①加大樣本容量或重新選取樣本，重作DW檢驗。②選用其它檢驗方法。注意：①因為DW統(tǒng)計量是以解釋變量非隨機為條件得出的，所以當有滯后的內(nèi)生變量作解釋變量時，DW檢驗無效。②不適用于聯(lián)立方程模型中各方程的序列自相關檢驗。③DW統(tǒng)計量不適用于對高階自相關的檢驗。

但在實際計量經(jīng)濟學問題中，一階自相關是出現(xiàn)最多的一類序列相關；另外，經(jīng)驗表明，如果不存在一階自相關，一般也不存在高階序列相關。第47頁，共67頁，2023年，2月20日，星期一

（2）圖示法

圖示法就是依據(jù)殘差et

對時間t的序列圖作出判斷。由于殘差et是對誤差項ut

的估計，所以盡管誤差項ut

觀測不到，但可以通過et的變化判斷ut

是否存在自相關。圖示法的具體步驟是，(1)用給定的樣本估計回歸模型，計算殘差et

,(t=1,2,…T)，繪制殘差圖；(2)分析殘差圖。Stata實現(xiàn)語句：regyxpredictr,residualsgenrlag＝r[_n-1]Scatterrrlag

調用水果數(shù)據(jù)庫第48頁，共67頁，2023年，2月20日，星期一第49頁，共67頁，2023年，2月20日，星期一(3)回歸檢驗法

優(yōu)點是，（1）適合于任何形式的自相關檢驗，（2）若結論是存在自相關，則同時能提供出自相關的具體形式與參數(shù)的估計值。缺點是，計算量大。①用給定樣本估計模型并計算殘差et。②對殘差序列et

,(t=1,2,…,T)用OLS進行不同形式的回歸擬合。如

et=et–1+vt

et=1et–1+2et–2+vtet

=et-12+vtet=

+vt

…(3)對上述各種擬合形式進行顯著性檢驗，從而確定誤差項ut存在哪一種形式的自相關。回歸檢驗法的步驟如下：第50頁，共67頁，2023年，2月20日，星期一5.克服自相關如果模型的誤差項存在自相關，首先應分析產(chǎn)生自相關的原因。如果自相關是由于錯誤地設定模型的數(shù)學形式所致，那么就應當修改模型的數(shù)學形式。如果自相關是由于模型中省略了重要解釋變量造成的，那么解決辦法就是找出略去的解釋變量，把它做為重要解釋變量列入模型。只有當以上兩種引起自相關的原因都消除后，才能認為誤差項ut“真正”存在自相關。在這種情況下，解決辦法是變換原回歸模型，使變換后的隨機誤差項消除自相關，進而利用普通最小二乘法估計回歸參數(shù)。這種變換方法稱作廣義最小二乘法（GLS）。

第51頁，共67頁，2023年，2月20日，星期一廣義最小二乘法

對于模型

Y=X+N……………(1)

如果存在序列相關，同時存在異方差，即有第52頁，共67頁，2023年，2月20日，星期一設=

用D-1左乘上式兩邊，得到一個新的模型：

D-1Y=D-1X+D-1N即Y*=X*+N*…….(2)該模型具有同方差性和隨機誤差項互相獨立性。第53頁，共67頁，2023年，2月20日，星期一于是，可以用OLS法估計模型(2)，得

這就是原模型(1)的廣義最小二乘估計量(GLSestimators)，是無偏的、有效的估計量。如何得到矩陣？仍然是對原模型(1)首先采用普通最小二乘法，得到隨機誤差項的近似估計量，以此構成矩陣的估計量，即第54頁，共67頁，2023年，2月20日，星期一

差分法

差分法是一類克服自相關性的有效的方法，被廣泛地采用。

差分法是將原模型變換為差分模型，分為一階差分法(first-differencemethod)和廣義差分法(generalizeddifferencemethod)。下面以一元線性模型為例說明。第55頁，共67頁，2023年，2月20日，星期一

（1）一階差分法將原模型變化為其中如果原模型存在完全一階正自相關，即在

i=i-1+i中，=1。模型可變換為：Yi=1Xi+i由于