多重共線性的診斷方法和解決方法綜述,計(jì)量經(jīng)濟(jì)學(xué)論文

多重共線性的診斷方法和解決方法綜述,計(jì)量經(jīng)濟(jì)學(xué)論文摘要：多元線性回歸模型的經(jīng)典假定之一是解釋變量之間不存在線性關(guān)系。但在實(shí)際應(yīng)用中，多元線性回歸模型中的解釋變量之間往往存在近似的線性關(guān)系，假如仍然用最小二乘法估計(jì)模型，會(huì)造成分析結(jié)果不準(zhǔn)確甚至嚴(yán)重偏離變量間本來的依存關(guān)系。為此，首先總結(jié)了多重共線性的檢驗(yàn)方式方法，然后討論了多重共線性常用的修正方式方法，最后結(jié)合實(shí)例演繹了逐步回歸法和主成分回歸法的詳細(xì)應(yīng)用，為現(xiàn)實(shí)經(jīng)濟(jì)問題中多重共線性的檢驗(yàn)與處理提供一定借鑒。本文關(guān)鍵詞語：多重共線性;診斷;彌補(bǔ)措施;逐步回歸法;主成分回歸;Abstract：Therebeingnolinearrelationshipamonginterpretationvariablesisoneoftheclassicalassumptionsinmultiplelinearregressionmodel.However,inthepracticalapplication,thereisoftenanapproximatelinearrelation.Ifwestillusethemethodofordinaryleastsquarestoestimatethemodel,theresultmaybecomeincorrectandevenfarfromtheoriginalrelationshipamongthevariables.Therefore,thepaperfirstsummarizesthetestmethodsofMulticollinearity.Andthen,thepapersummarizesthecommomcorrectionmethodsofmulticollinearity.Finally,theapplicationofstepwiseregressionandprincipalcomponentregressionisdeducedbyusinganexample.Theresearchwillprovidesomereferenceforthetestandtreatmentofmulticollinearityinrealeconomicproblems.Keyword：multicollinearity;diagnosis;remedialmeasures;stepwiseregression;principalcomponentregression;多重共線性是指模型中解釋變量間存在相關(guān)關(guān)系。假如解釋變量之間存在完全線性相關(guān)關(guān)系，則稱模型出現(xiàn)了完全多重共線性；假如解釋變量之間近似線性相關(guān)，則稱模型出現(xiàn)了不完全多重共線性。古典線性回歸模型的假設(shè)之一是模型中不存在多重共線性。假如模型存在多重共線性，仍然采用普通最小二乘法估計(jì)模型參數(shù)，會(huì)產(chǎn)生下面后果：完全共線性下模型的普通最小二乘估計(jì)量不存在，無法得到參數(shù)的估計(jì)量；近似共線性下普通最小二乘估計(jì)量即便存在，但共線性使得參數(shù)估計(jì)量的方差增大，進(jìn)而導(dǎo)致變量的顯著性檢驗(yàn)失去意義、模型的預(yù)測(cè)失效。在實(shí)際經(jīng)濟(jì)問題中，解釋變量之間往往存在某種關(guān)聯(lián)，多重共線性是多元回歸模型中普遍存在的問題。那么，怎樣診斷多重共線性及其影響程度以及如何處理模型中的多重共線性，顯得尤為重要。關(guān)于多重共線性的診斷方式方法與解決方式方法，不少學(xué)者進(jìn)行了研究。本文綜述了多重共線性的診斷方式方法和解決方式方法。在實(shí)際應(yīng)用中，對(duì)于多重共線性的檢驗(yàn)有時(shí)并不需要復(fù)雜的檢驗(yàn)方式方法，而經(jīng)歷體驗(yàn)方式方法簡(jiǎn)單易行，本文結(jié)合實(shí)例給出了診斷共線性的經(jīng)歷體驗(yàn)方式方法。本研究可為現(xiàn)實(shí)經(jīng)濟(jì)問題中多重共線性的檢驗(yàn)與處理提供一定借鑒。1、多重共線性的診斷方式方法1.1、經(jīng)歷體驗(yàn)方式方法模型的可決系數(shù)R2值較高，但變量顯著性檢驗(yàn)〔t檢驗(yàn)〕表示清楚變量不顯著，或模型的經(jīng)濟(jì)意義不合理，這是多重共線性的典型特征。也就是講假如R2較高，則模型顯著性檢驗(yàn)〔F檢驗(yàn)〕通常會(huì)拒絕零假設(shè)，即方程整體顯著，但t檢驗(yàn)表示清楚，沒有或很少有斜率系數(shù)是顯著不為零的。1.2、簡(jiǎn)單相關(guān)系數(shù)檢驗(yàn)法對(duì)模型中任意兩個(gè)不同的解釋變量求簡(jiǎn)單相關(guān)系數(shù)。假如相關(guān)系數(shù)的絕對(duì)值較大，則以為這兩個(gè)變量相關(guān)性較高。但是，相關(guān)系數(shù)檢驗(yàn)法只能檢驗(yàn)兩個(gè)解釋變量的相關(guān)性，對(duì)于3個(gè)或更多個(gè)解釋變量的相關(guān)性檢驗(yàn)不適用。1.3、輔助回歸模型檢驗(yàn)[1]將模型中每一個(gè)解釋變量對(duì)其余解釋變量進(jìn)行回歸。假如某一種回歸的擬合優(yōu)度較大，講明Xj與其他解釋變量之間存在共線性。另一等價(jià)的檢驗(yàn)是：在模型中排除某一解釋變量Xj，重新估計(jì)模型，假如調(diào)整的可決系數(shù)〔珚R2〕與包含Xj時(shí)特別接近，則講明Xj與其他解釋變量之間存在線性關(guān)系。1.4、方差膨脹因子檢驗(yàn)[2]在多元線性回歸模型中，第i個(gè)解釋變量的方差膨脹因子為：華而不實(shí)，Ri2是把第i個(gè)解釋變量作為被解釋變量，將其對(duì)其他k-1個(gè)解釋變量作線性回歸所得的可決系數(shù)。該方式方法其實(shí)和輔助回歸模型檢驗(yàn)一樣，只不過利用可決系數(shù)構(gòu)造了一個(gè)新的指標(biāo)VIFi。方差膨脹因子越大，講明Ri2越接近1，則第i個(gè)解釋變量與其他解釋變量之間共線程度越強(qiáng)。1.5、特征值、病態(tài)數(shù)與病態(tài)指數(shù)檢驗(yàn)[2]對(duì)于由k個(gè)解釋變量、n個(gè)樣本觀察值組成的樣本數(shù)據(jù)矩陣：當(dāng)模型存在完全共線性時(shí)，|XX|=0；當(dāng)模型存在嚴(yán)重共線性時(shí)，|XX|0。設(shè)1，2，，k+1為矩陣XX的k+1個(gè)特征值，若則特征值1，2，，k+1中至少有一個(gè)近似等于0，表示清楚模型存在嚴(yán)重的共線性。病態(tài)數(shù)〔CN〕和病態(tài)指數(shù)〔CI〕是利用特征值構(gòu)造的用于檢驗(yàn)多重共線性的指標(biāo)。其指標(biāo)定義為這兩個(gè)指標(biāo)數(shù)值越大，講明多重共線性越嚴(yán)重。一般經(jīng)歷體驗(yàn)是：CI大于10即可以為模型存在共線性，大于30即可以為模型存在嚴(yán)重的共線性。2、多重共線性的解決方式方法2.1、排除引起共線性的解釋變量找出引起多重共線性的解釋變量，然后把它從模型中剔除出去，這是解決多重共線性最有效的方式方法。在實(shí)際應(yīng)用中，解決方式方法有逐步回歸法、利用粗糙集理論的屬性約簡(jiǎn)方式方法和GMDH算法[3,4]，華而不實(shí)逐步回歸法應(yīng)用最廣泛。逐步回歸法是在模型中逐個(gè)引入解釋變量，根據(jù)模型經(jīng)濟(jì)意義的檢驗(yàn)、統(tǒng)計(jì)意義的檢驗(yàn)以及珚R2的變化來判定新引入的變量能否引起了共線性。假如新引入的變量使得模型經(jīng)濟(jì)意義檢驗(yàn)和統(tǒng)計(jì)意義檢驗(yàn)都能通過，且又能提高模型的珚R2，則應(yīng)引入；假如珚R2無顯著變化，或者模型的經(jīng)濟(jì)意義檢驗(yàn)通不過，或者變量的顯著性檢驗(yàn)沒有通過，則無需引入[5]。利用逐步回歸法能夠剔除掉引起共線性的變量，但是，當(dāng)排除了引起共線性的變量后，保存在模型中的變量的系數(shù)的估計(jì)值將會(huì)發(fā)生改變，其經(jīng)濟(jì)意義也將發(fā)生變化。2.2、改變參數(shù)的約束形式根據(jù)經(jīng)濟(jì)理論或其他信息，找出參數(shù)間的某種關(guān)系進(jìn)行受約束回歸。受約束回歸模型減少了解釋變量的個(gè)數(shù)，消除或削弱了多重共線性。這種方式方法的缺點(diǎn)在于外生的或先驗(yàn)的信息并不總是可獲得的，即便能獲得這一信息，但要假設(shè)外生的或先驗(yàn)的信息在當(dāng)下樣本中仍然有效并不總是能夠?qū)崿F(xiàn)。所以應(yīng)用這種方式方法的關(guān)鍵在于獲得這一信息，并檢驗(yàn)約束條件在當(dāng)下樣本中的真?zhèn)?。假如約束條件為真，則能夠應(yīng)用該方式方法。2.3、變換模型的形式對(duì)原設(shè)定的模型形式進(jìn)行適當(dāng)?shù)淖儞Q，能夠消除或削弱模型中解釋變量之間的線性關(guān)系。詳細(xì)有3種變換方式：一是變換模型中變量的形式；二是變換模型的函數(shù)形式，如將線性模型轉(zhuǎn)換成非線性模型；三是改變變量的統(tǒng)計(jì)指標(biāo)[6]。2.4、減少參數(shù)估計(jì)量的方差減少參數(shù)估計(jì)量的方差，能夠使變量顯著性檢驗(yàn)的t值增大，使本來不顯著的解釋變量變得顯著。在實(shí)際應(yīng)用中，有增大樣本容量和嶺回歸兩種方式方法。2.4.1、增大樣本容量在建立的計(jì)量經(jīng)濟(jì)學(xué)模型中，假如變量的樣本數(shù)據(jù)太少，很容易產(chǎn)生多重共線性。對(duì)于多元線性回歸模型，參數(shù)估計(jì)值^bi的方差為：式中：2為隨機(jī)誤差項(xiàng)的方差；Xi為第i個(gè)解釋變量的觀察值；珡Xi為i個(gè)解釋變量的均值；,Ri2表示第i個(gè)解釋變量對(duì)模型中其他解釋變量回歸時(shí)的可決系數(shù)。從式〔7〕能夠看出，當(dāng)樣本容量增大時(shí)，將會(huì)增大，進(jìn)而使var(^bi〕變小，這對(duì)提高^bi的估計(jì)精度有益。2.4.2、嶺回歸法嶺回歸法是以引入偏誤為代價(jià)來減少參數(shù)估計(jì)量方差的方式方法。嶺回歸法的參數(shù)估計(jì)量為矩陣D一般選擇為主對(duì)角矩陣。即式中：l為大于0的常數(shù)；I為單位矩陣。關(guān)于l的取值，一般采用何瑞爾和肯納德于1975年提出的方式方法。與最小二乘估計(jì)量相比，式〔9〕的估計(jì)量方差較小。嶺回歸分析方式方法固然能夠減少參數(shù)估計(jì)量的方差，使回歸結(jié)果更符合實(shí)際，但假如原模型的經(jīng)濟(jì)意義不合理，即便使用嶺回歸法也不一定使修正后的模型能通過經(jīng)濟(jì)意義的檢驗(yàn)。因而在實(shí)際應(yīng)用中并不是所有的共線性都能夠用嶺回歸法來解決[7]。2.5、主成份回歸主成分回歸是運(yùn)用降維的思想，在盡量減少信息損失的情況下，將多個(gè)指標(biāo)通過正交旋轉(zhuǎn)轉(zhuǎn)化為幾個(gè)綜合指標(biāo)的分析方式方法。其基本原理是：利用主成分分析將解釋變量轉(zhuǎn)換成若干個(gè)主成分，這些主成分從不同側(cè)面反映了解釋變量的綜合影響[8,9]。因而，能夠?qū)⒔忉屪兞繉?duì)這些主成分進(jìn)行回歸，再根據(jù)主成分與解釋變量之間的關(guān)系，求得原回歸模型的估計(jì)方程。3、實(shí)踐應(yīng)用根據(jù)上述多重共線性的診斷方式方法及解決方式方法，本文將結(jié)合實(shí)際例子對(duì)多重共線性進(jìn)行檢驗(yàn)與修正，進(jìn)而給出多重共線性檢驗(yàn)與修正的詳細(xì)操作方式方法，為相關(guān)研究與應(yīng)用提供一定的借鑒。取中國(guó)民航客運(yùn)量作為被解釋變量〔Y，萬人〕。選取的解釋變量為居民消費(fèi)支出〔X1，億元〕、消費(fèi)支出〔X2，億元〕、來華旅游入境人數(shù)〔X3，萬人〕、民航航線里程〔X4，萬公里〕。收集整理的樣本數(shù)據(jù)〔表1〕來源于1996-2022年的(中國(guó)統(tǒng)計(jì)年鑒〕[10]。將居民消費(fèi)支出和消費(fèi)支出換算為以1995年為基期的不變價(jià)，建立中國(guó)民航客運(yùn)量預(yù)測(cè)模型。表11995-2021年中國(guó)民航客運(yùn)量及其影響因素?cái)?shù)據(jù)表11995-2021年中國(guó)民航客運(yùn)量及其影響因素?cái)?shù)據(jù)運(yùn)用Eviews軟件對(duì)中國(guó)民航客運(yùn)量的多元線性回歸模型進(jìn)行最小二乘估計(jì)，結(jié)果如下：式〔10〕中括號(hào)內(nèi)的數(shù)字是各變量顯著性檢驗(yàn)對(duì)應(yīng)的P值，下同。從模型的最小二乘估計(jì)結(jié)果能夠看出，模型的整體擬合優(yōu)度非常高，但除X4之外，其余解釋變量的顯著性檢驗(yàn)都沒有通過，并且變量X3經(jīng)濟(jì)意義檢驗(yàn)沒有通過，講明模型出現(xiàn)了嚴(yán)重的多重共線性。為了消除或削弱多重共線性的影響，本文選擇兩種修正方式方法：第一種方式方法是逐步回歸法，即排除引起共線性的變量的方式方法；第二種方式方法是主成分分析方式方法，該方式方法沒有去掉任何變量便能夠削弱共線性的影響，使模型經(jīng)濟(jì)意義合理。3.1、逐步回歸法3.1.1、一元回歸模型根據(jù)相關(guān)系數(shù)和理論分析可知，中國(guó)民航客運(yùn)量與民航航線里程關(guān)聯(lián)程度最大，因而，設(shè)建立一元回歸方程為：3.1.2、最優(yōu)回歸模型的選擇通過逐步引入其他變量，確定最適宜的多元回歸方程?；貧w結(jié)果見表2。表2中國(guó)民航客運(yùn)量預(yù)測(cè)模型逐步回歸結(jié)果由表2可知，模型Y=f(X1,X4〕中調(diào)整的斷定系數(shù)較一元模型Y=f(X4〕的高，模型經(jīng)濟(jì)意義合理，變量都通過了顯著性檢驗(yàn)，因而最終的預(yù)測(cè)模型為：比照模型〔10〕和模型〔12〕可知，利用逐步回歸法可有效解決多重共線性問題，但要剔除引起共線性的變量X2和X3。3.2、主成分回歸利用Eviews軟件對(duì)標(biāo)準(zhǔn)化的解釋變量X1、X2、X3、X4進(jìn)行主成分分析。分析結(jié)果見表3和表4。表3特征值、累計(jì)奉獻(xiàn)率等表4特征向量由表3能夠看出，特征值最大為3.6214、最小為0.006。第1主成分的奉獻(xiàn)率為90.53%，講明第一個(gè)主成分包含了原始數(shù)據(jù)90%以上的信息。由表4可知主成分為：將標(biāo)準(zhǔn)化的Y〔記為Yz〕關(guān)于Z1進(jìn)行回歸，估計(jì)模型后發(fā)現(xiàn)模型存在一階序列相關(guān)，用廣義差分法重新估計(jì)模型，得到下面估計(jì)結(jié)果：R2=0.9962,DW=1.81模型〔14〕擬合優(yōu)度高，且不存在序列相關(guān)性。將式〔13〕代入式〔14〕，得：模型〔15〕中各變量均為標(biāo)準(zhǔn)化變量。將各變量復(fù)原，最終得到復(fù)原后的預(yù)測(cè)模型為：模型〔16〕擬合優(yōu)度高，模型的經(jīng)濟(jì)意義合理。從模型〔16〕中能夠得到每個(gè)解釋變量對(duì)民航客運(yùn)量的影響。盡管多重共線性的檢驗(yàn)方式方法很多，但在實(shí)際應(yīng)用中，經(jīng)歷體驗(yàn)方式方法是最常使用的方式方法。當(dāng)模型總體擬合優(yōu)度高，但多個(gè)變量的顯著性檢驗(yàn)不能通過甚至模型的經(jīng)濟(jì)意義不合理時(shí)，基本能夠斷定模型出現(xiàn)了多重共線性。至于修正方式方法，假如決策者不介意剔除引起共線性的變量，則逐步回歸法是簡(jiǎn)單易行的，而且會(huì)徹底解決多重共線性帶來的問題，但它無法得到剔除掉的影響因素對(duì)被解釋變量的影響。主成分回歸會(huì)削弱解釋變量之間的共線程度，能求得各個(gè)影響因素對(duì)被解釋變量的單獨(dú)影響，但有時(shí)會(huì)碰到修正過的模型經(jīng)濟(jì)意義不合理的情況，這時(shí)決策者能夠考慮其他修正方式方法，比方嶺回歸法，詳細(xì)哪一種方式方法更優(yōu)，則需詳細(xì)試算并比擬才可得知。4、結(jié)束語本文對(duì)已有的多重共線性的診斷及處理方式方法進(jìn)行了總結(jié)，并結(jié)合實(shí)際例子給出了多重共線性的檢驗(yàn)與修正經(jīng)過。需要指出的是，模型存在多重共線性并不意味著