多重共線性發(fā)現(xiàn)和檢驗

1、關于多重共線性的發(fā)現(xiàn)和檢驗1第1頁，共40頁，2022年，5月20日，19點48分，星期三2第一節(jié) 多重共線性及其影響第二節(jié) 多重共線性的發(fā)現(xiàn)和檢驗第三節(jié) 多重共線性的克服和處理本章結構第2頁，共40頁，2022年，5月20日，19點48分，星期三3第一節(jié) 多重共線形及其影響一、多重共線形及其分類二、嚴格多重共線形及其危害三、近似多重共線形的原因及其影響第3頁，共40頁，2022年，5月20日，19點48分，星期三4一、多重共線性及其分類多元線性回歸模型要求解釋變量之間不存在線性關系，包括嚴格的線性關系和高度的近似線性關系。 但事實上由于模型設定和數(shù)據等各方面的問題，模型的解釋變量之間很可能存

2、在某種程度的線性關系。這時候稱多元線性回歸模型存在多重共線性問題。 第4頁，共40頁，2022年，5月20日，19點48分，星期三5多重共線性可以分為兩類。如果多元線性回歸模型中，存在兩個或多個解釋變量之間存在嚴格的線性關系，則稱為“完全多重共線性”，也稱為“嚴格的多重共線性”。 而解釋變量之間存在近似的而不是嚴格的線性關系，這種情況被稱為“近似多重共線性”。 第5頁，共40頁，2022年，5月20日，19點48分，星期三6二、嚴格多重共線形及其危害完全多重共線性不可能由于數(shù)據問題引起，通常是由于模型設定問題，把有嚴格聯(lián)系的變量引進同一個模型，或者虛擬變量設置不當引起的。 設兩個解釋變量的線性

3、回歸模型為： 回歸方程為： 第6頁，共40頁，2022年，5月20日，19點48分，星期三7求參數(shù)最小二乘估計量的正規(guī)方程組為： 其中 、 和 分別是 、 和 的離差。設 和 兩個變量之間有嚴格的線性關系 ，這個模型當然就存在完全的多重共線性。 第7頁，共40頁，2022年，5月20日，19點48分，星期三8此時 也成立。把該關系式代入上述正規(guī)方程組中的第二式可得：得到：很顯然，這個方程與上述正規(guī)方程組的第一個方程是完全相同的。 第8頁，共40頁，2022年，5月20日，19點48分，星期三9這意味著我們得到了包含兩個未知參數(shù)估計量的兩個相同的方程，這時該方程組有無窮組解而不是有唯一一組解。

4、這實際上意味著被解釋變量究竟受哪些變量的影響變得很不清楚，變量關系是無法識別的。 有完全多重共線性的多元線性回歸模型都無法順利進行參數(shù)估計，會使多元線性回歸模型參數(shù)估計失敗，回歸分析無法進行。 第9頁，共40頁，2022年，5月20日，19點48分，星期三10完全多重共線性雖然破壞性很大，卻不是最需要擔心的問題。 因為完全多重共線性是由于模型設定問題，把有嚴格聯(lián)系的變量引進同一個模型，或者虛擬變量設置不當引起的，因此只要在建模時適當注意就可以避免。 即使由于模型設定的疏忽使得模型存在完全多重共線性問題，也比較容易發(fā)現(xiàn)。因為參數(shù)估計失效馬上會提示我們這方面的問題。 第10頁，共40頁，2022年

5、，5月20日，19點48分，星期三11完全多重共線性問題的處理也比較簡單，只需要針對性地修改模型，放棄、調整相互之間形成線性關系，導致完全多重共線性的部分解釋變量。 注意一般不需要也不應該放棄存在線性關系的全部變量，否則容易使模型失去意義。 第11頁，共40頁，2022年，5月20日，19點48分，星期三12三、近似多重共線形的原因及其影響近似多重共線性既與變量選擇有關，也與數(shù)據有關。 雖然解釋變量的選擇不當，把內在相關性較強的變量引進同一個模型，是導致近似多重共線性的重要原因，但近似多重共線性更經常的原因是經濟數(shù)據的共同趨勢。 第12頁，共40頁，2022年，5月20日，19點48分，星期三

6、13近似多重共線性不會導致參數(shù)估計失效，最小二乘參數(shù)估計能夠得到唯一解。 在模型存在近似多重共線性的情況下，參數(shù)的最小二乘估計不僅仍然是唯一存在的，而且仍然是最小方差線性無偏估計。 但問題是當存在比較嚴重的近似多重共線性問題時，參數(shù)估計方差的絕對水平可能并不小，而且會隨著多重共線性程度的提高急劇上升。 第13頁，共40頁，2022年，5月20日，19點48分，星期三14如果 用記變量 的離差平方和， 記變量 對其余 個解釋變量的回歸平方和， 表示原模型第k 個解釋變量對 其余 個解釋變量回歸的決定系數(shù)，那么 的方差可以寫成： 第14頁，共40頁，2022年，5月20日，19點48分，星期三15

7、如果第k個解釋變量與其余 個解釋變量完全沒有相關性，那么 ， 。 當?shù)趉 個解釋變量與其他解釋變量之間有相關性時， 。當?shù)趉 個解釋變量與其他解釋變量之間有很強的相關性，也就是模型存在很強的近似多重共線性時， 接近1，此時 的方差 會變得非常大。 第15頁，共40頁，2022年，5月20日，19點48分，星期三16參數(shù)估計量方差的增大，必然導致參數(shù)估計的不穩(wěn)定性提高，容易出現(xiàn)參數(shù)符號和數(shù)值大小的異常情況，從而使最小二乘估計的有效性受到很大影響。 多重共線性正是通過這樣的機制，對多元線性回歸模型的最小二乘估計產生不利影響，其后果常表現(xiàn)為參數(shù)估計不穩(wěn)定，數(shù)據的很小變化會引起參數(shù)估計值的較大變化，而

8、且參數(shù)估計的異常值增多，包括顯著性水平不符合實際，或反映解釋變量作用方向的符號相反等。 第16頁，共40頁，2022年，5月20日，19點48分，星期三17近似多重共線性表現(xiàn)形式和原因的多樣性，數(shù)據問題導致多重共線性的隱蔽性，使得近似多重共線性的發(fā)現(xiàn)、判斷和處理也比較困難。 正是因為這些原因，近似多重共線性是我們重點關心的問題，在多數(shù)情況下多重共線性指的就是近似多重共線性。 第17頁，共40頁，2022年，5月20日，19點48分，星期三18第二節(jié) 多重共線性的發(fā)現(xiàn)和檢驗多重共線性的根源是解釋變量之間的相關性，因此分析解釋變量之間的相關性，進行單相關或多元相關性的分析檢驗，是發(fā)現(xiàn)和判斷多重共線

9、性問題的基本方法。 當然，解釋變量之間總是有不同程度相關性的，因此要認定模型確實存在較嚴重、必須處理的共線性問題，必須結合參數(shù)估計的符號、大小和顯著性等是否異常，或者參數(shù)估計是否表現(xiàn)出很大不穩(wěn)定性（可通過改變少量數(shù)據檢驗）等進行判斷。 第18頁，共40頁，2022年，5月20日，19點48分，星期三19因為多重共線性是通過對參數(shù)估計方差的放大作用對多元線性回歸產生不利影響的，而解釋變量的共線性程度與參數(shù)估計量方差的大小有一致性，因此可以根據參數(shù)估計方差被“放大”的程度，判斷模型是否存在多重共線性問題，以及是由哪些變量引起的共線性問題。以參數(shù)估計 為例。 的方差為： 第19頁，共40頁，2022

10、年，5月20日，19點48分，星期三20而 中的因子 ，正是第k個解釋變量與其他解釋變量之間的相關性導致方差 擴大的倍數(shù)。我們把這個因子稱為“方差擴大因子”，記為： 這個方差擴大因子正是反映各個解釋變量與其他變量之間的相關性，對參數(shù)估計方差和模型有效性影響程度的關鍵指標，可以用來檢驗多重共線性的存在以及根源。 第20頁，共40頁，2022年，5月20日，19點48分，星期三21這種檢驗方法稱為“方差擴大因子檢驗”，是檢驗多重共線性的常用方法。 通常以方差擴大因子 是否大于10，即 是否大于0.9，或第k個解釋變量是否90%以上由其他解釋變量反映，作為判斷k個解釋變量是否存在必須加以處理的多重共

11、線性的標準。 事實上，當解釋變量之間存在嚴重的共線性問題時，相關變量的方差擴大因子常常會達到幾十、上百甚至更大。 例81。詳見Eviews演示。第21頁，共40頁，2022年，5月20日，19點48分，星期三22第三節(jié) 多重共線性的克服和處理一、增加樣本容量二、差分模型三、模型修正四、分布估計參數(shù)第22頁，共40頁，2022年，5月20日，19點48分，星期三23一、增加樣本容量由于近似多重共線性意味著 對任意i都必須成立，因此若樣本容量較小，近似多重共線性的可能性就較大，若樣本容量大，多重共線性的可能性就越小，因此增加樣本容量常能降低解釋變量之間的多重共線性。增加樣本容量是理論上降低多重共線

12、性最簡便的方法之一。 第23頁，共40頁，2022年，5月20日，19點48分，星期三24增加樣本容量方法的缺陷首先是增加樣本容量并不必然降低多重共線性。事實上如果所增加的數(shù)據與原來的數(shù)據有基本相同的性質，即也有類似的共線性，那么就完全起不到作用。 其次在許多實際的計量經濟分析中，數(shù)據數(shù)量會受到很大限制，增加樣本容量事實上無法實現(xiàn)。因此增加樣本容量的方法在解決多重共線性方面的作用是很有限的。 第24頁，共40頁，2022年，5月20日，19點48分，星期三25二、差分模型因為多重共線性往往是經濟變量的共同變化趨勢引起的，差分變換常常能使數(shù)據中趨勢性部分的比重降低，波動和變化部分的比重加強，從而

13、降低多重共線性問題。 例如線性回歸模型為： 且已知 和 之間存在多重共線性問題。 第25頁，共40頁，2022年，5月20日，19點48分，星期三26如果我們對數(shù)據作如下的一階差分變換：那么 和 之間的共線性通常會比 和 之間的共線性程度低。 第26頁，共40頁，2022年，5月20日，19點48分，星期三27因此若改用差分模型： 進行回歸，受多重共線性的影響通常會比較小。采用增長率模型也能起到同樣的作用。 需要注意的一個問題是，用差分模型解決多重共線性問題可能會導致誤差項出現(xiàn)序列相關。 第27頁，共40頁，2022年，5月20日，19點48分，星期三28因為差分模型的誤差項為 ， ，所以相鄰

14、兩個誤差項之間會有一定的相關性。 當然，如果原模型既有多重共線性問題，又有較強的一階正自相關性，那么差分方法也可能會同時解決這兩種問題。 運用差分模型往往還會使參數(shù)估計的方差擴大，樣本信息也會有一些損失。 第28頁，共40頁，2022年，5月20日，19點48分，星期三29三、模型修正由于近似多重共線性既是數(shù)據的問題，也是變量選擇和模型設定問題，因此修改模型設定，也是克服多重共線性問題的基本方法。 修改模型的方法也有多種。 第29頁，共40頁，2022年，5月20日，19點48分，星期三301、刪減解釋變量引起多重共線性的直接原因之一，是在模型中引進過多相似有內在聯(lián)系的解釋變量，因此在根據方差

15、擴大因子等判斷導致共線性的變量中，如果刪減掉一些與其他解釋變量意義相近的變量，?？善鸬接行Ы档投嘀毓簿€性的作用。 例如資產和流動資產兩個指標之間，就常有較強的相關性，而且它們的意義也近似，因此同時引進這兩個變量的線性回歸模型常會因它們而有共線性問題，放棄其中一個指標往往能使共線性大大降低。 第30頁，共40頁，2022年，5月20日，19點48分，星期三312、整合解釋變量以某種方式將經濟意義相近、相關性較強的解釋變量整合成一個新變量，也是降低共線性的有效方法。 當然整合解釋變量要注意經濟理論和實證的根據，如加權的權重要符合經濟理論、經驗結論，或者原模型回歸分析的試算結果等。 第31頁，共40

16、頁，2022年，5月20日，19點48分，星期三323、先驗信息參數(shù)約束如果有關于模型或者其中參數(shù)的某些“先驗信息”，也可以利用來克服模型的多重共線性問題。例如已知生產函數(shù)為 ，經過對數(shù)變換建立了線性回歸模型：因為勞動力和資本的增長往往有同步性，因此上述模型往往有多重共線性問題。 第32頁，共40頁，2022年，5月20日，19點48分，星期三33不過，有時候根據對經濟的實證研究，能夠預先知道所研究的經濟有規(guī)模報酬不變的性質，也就是上述模型中的參數(shù)和 滿足 。這種先驗信息就可以用來克服多重共線性問題。把 代入模型，有： 第33頁，共40頁，2022年，5月20日，19點48分，星期三34整理可

17、得：最后這個函數(shù)相當于兩變量線性回歸模型，當然不會有多重共線性問題。 第34頁，共40頁，2022年，5月20日，19點48分，星期三35四、分布估計參數(shù)利用先驗信息修正模型克服多重共線性的方法很有啟發(fā)性。如果先用某種方法估計出模型中的部分參數(shù)，就可以把它們作為先驗信息簡化模型，從而克服原模型的多重共線性問題。 分步估計參數(shù)方法的典型應用，是在時間序列數(shù)據模型中結合截面數(shù)據分析。 第35頁，共40頁，2022年，5月20日，19點48分，星期三36例如通常會考慮用模型： 作為研究需求規(guī)律的模型。其中Q 為消費需求，可以是針對特定商品的，也可以指總的消費需求，Y 為可支配收入或收入，P 為價格或價格指數(shù)。 由于價格只有時間序列數(shù)據，因此這種模型通常是分析時間序列數(shù)據規(guī)律的。 但問題是Y 和P 兩個變量之間常常有共同的時間趨勢，因此很容易存在共線性問題，從而影響回歸分析的可靠性。 第36頁，共40頁，2022年，5月20日，19點48分，星期三37可以先利用截面數(shù)據得到模型中參數(shù) 的估計值。 例如通過調查得到不同收入組別居民在同一時點的平均需求，形成Q和Y的截面數(shù)據樣本，利用這些數(shù)據對兩變量模型 進行回歸分析，得到參數(shù)估計值。 第37頁，共40頁，2022年，5月20日，19點