異方差與自相關

1、七、 異方差與自相關我們討論如果古典假定中的同方差和無自相關假定不能得到滿足，會引起什么樣的估計問題呢？另一方面，如何發(fā)現(xiàn)問題，也就是發(fā)現(xiàn)和檢驗異方差以及自相關的存在性也是一個重要的方面，這個部分就是就這個問題進行討論。二、知識要點1、引起異方差的原因及其對參數(shù)估計的影響2、異方差的檢驗（發(fā)現(xiàn)異方差）3、異方差問題的解決辦法4、引起自相關的原因及其對參數(shù)估計的影響5、自相關的檢驗（發(fā)現(xiàn)自相關）6、自相關問題的解決辦法（時間序列部分講解）三、要點細綱1、引起異方差的原因及其對參數(shù)估計的影響原因： 引起異方差的眾多原因中，我們討論兩個主要的原因，一是模型的設定偏誤，主要指的是遺漏變量 的影響。這樣

2、，遺漏的變量就進入了模型的殘差項中。當省略的變量與回歸方程中的變量有相關關系的時候，不僅會引起內生性問題，還會引起異方差。二是截面數(shù)據(jù)中總體各單位的差異。后果： 異方差對參數(shù)估計的影響主要是對參數(shù)估計有效性 的影響。 在存在異方差的情況下，OLS 方法得到的參數(shù)估計仍然是無偏的，但是已經(jīng)不具備最小方差性質。一般而言，異方差會引起真實方差的低估，從而夸大參數(shù)估計的顯著性，即是參數(shù)估計的t 統(tǒng)計量偏大，使得本應該被接受的原假設被錯誤的拒絕。2、異方差的檢驗（ 1）圖示檢驗法由于異方差通常被認為是由于殘差的大小隨自變量的大小而變化，因此， 可以通過散點圖的方式來簡單的判斷是否存在異方差。具體的做法是

3、，以回歸的殘差的平方ei2 為縱坐標，回歸式中的某個解釋變量xi 為橫坐標，畫散點圖。如果散點圖表現(xiàn)出一定的趨勢，則可以判斷存在異方差。1 / 13(2) Goldfeld-Quandt 檢驗Goldfeld-Quandt檢驗又稱為樣本分段法、集團法，由Goldfeld和Quandt 1965 年提出。這種檢驗的思想是以引起異方差的解釋變量的大小為順序，去掉中間若干個值，從而把整個樣本分為兩個子樣本。用兩個子樣本分別進行回歸，并計算 殘差平方和。用兩個殘差平方和構造檢驗異方差的統(tǒng)計量。Goldfeld-Quandt檢驗有兩個前提條件，一是該檢驗只應用于大樣本(n>30), 并且要求滿足條

4、件：觀測值的數(shù)目至少是參數(shù)的二倍；二是除了同方差假定不成立以外，要求其他假設都成立，隨機項沒有自相關并且服從正態(tài)分布。Goldfeld-Quandt檢驗假設檢驗設定為：H。:具有同方差，H1:具有遞增型異方差。 具體實施步驟為：將觀測值按照解釋變量x的大小順序排列。將排在中間部分的c個(約n/4)觀測值刪去，再將剩余的觀測值分成兩個部 分，每個部分的個數(shù)分別為n1、n20分別對上述兩個部分的觀測值進行回歸，得到兩個部分的回歸殘差平方和。構造F統(tǒng)計量F ee幽),其中k為模型中被估參數(shù)個數(shù)。在 H0成立條 e1e1(n1 k)件下，F(xiàn) F(n2 k,n k)判別規(guī)則如下，若F F (n2 - k

5、, n1 - k),接受H0 (具有同方差)若F > F (n2 - k, n1 - k),拒絕H0 (遞增型異方差)注意：當摸型含有多個解釋變量時，應以每一個解釋變量為基準檢驗異方差 此法只適用于遞增型異方差。2 / 137 6 _ Y Y5 一4 _3 一2 ,050100(3) Breusch Pagan/Godfrey LM 檢驗該方法的基本思想是構造殘差平方序列與解釋變量之間的輔助函數(shù)，得到回歸平 方和ESS從而判斷異方差性存在的顯著性。該檢驗假設異方差的形式為:具體設模型為：Y12 i2 3 i3k ikuivar(ui)2 i 01 i1 2 i2vp ip vi2 2f(

6、 0 aZi)其中Zi是解釋變量構成的向量，當a 0時，模型是同方差的。表示是某個解釋變量或全部。該檢驗也可以通過一個簡單的回歸來實現(xiàn)。提出原假設3 / 13具體步驟如下:2構造變量e:用OLS方法估計方程中的未知參數(shù)，得 (ee n)oY?ei i 12 i2k ik2十 ?2和 n(n為樣本谷事)2ESS。以一e為被解釋變量，Zi為解釋變量進行回歸，并計算回歸平方和 (ee n)構造輔助回歸函數(shù)2 e ?201 i12 i2VP iP i構造LM統(tǒng)計量為：LM =ESS2 匚QQ當有同方差性，且n無限增大時有 空ESS2對于給定顯著性水平，如果坐 222P(P),則拒絕原假設，表明模型中存

7、在異方差。為了計算的簡便，LM統(tǒng)計量的構造也可以采取如下形式：1-1LM gZ(Z Z) Zg22其中，Z是關于(1,Zi)的n P觀測值矩陣，g是觀測值gi e 1排成的列向(ee n)量。由于上述統(tǒng)計量的構造過分依賴于殘差的正態(tài)性假定，因此， Koenker和Bassett對該統(tǒng)計量進行了修正，令、，1 n 2,、2-、V e (ee n) u (ee, n) n i 11-一1則 LM - (u-u) Z(Z Z) Z (u - u)4 4) White 檢驗White 檢驗由 H. White 1980年提出。和 Goldfeld-Quandt 檢驗相比，White 檢驗不需要對觀測值

8、排序，也不依賴于隨機誤差項服從正態(tài)分布， 它是通過一個 輔助回歸式構造 2統(tǒng)計量進行異方差檢驗。White檢驗的提出避免了 Breusch-Pagan檢驗一定要已知隨機誤差的方差產(chǎn)生的原因且要求隨機誤差服從4 / 13正態(tài)分布。White檢驗與Breusch-Pagan檢驗很相似，但它不需要關于異方差的任何先驗知識，只要求在大樣本的情況下。White 的檢驗的思想直接來源于其異方差一致估計。當存在異方差時，傳統(tǒng)的方差估計式Var(b| X) 2(XX) 1不再是估計量方差的一致估計，而應該使用 White 一致性估計：(X X)-1( in 1ei2xi'x i)(X X) -1。通過

9、檢驗2(XX) 1是不是參數(shù)估計方差的一致估計，可以 檢驗是否存在異方差。在實際的應用過程中，可以通過回歸的步驟來簡單的實現(xiàn)上述思想。以二元回歸模型yi = 0 + 1 xi1 + 2 xi2+ ui 為例，White 檢驗的具體步驟如下：首先對上式進行OLS 回歸，求殘差平方ei2 。做如下輔助回歸式，ei2= 0 + 1 xi1 + 2xi2 + 3 xi12 + 4xi22 + 5 xi1 xi2 + vi即用殘差平方ei2 對原回歸式中的各解釋變量、解釋變量的平方項、交叉乘積項進行 OLS 回歸。注意，上式中要保留常數(shù)項。求輔助回歸式的可決系數(shù)R2。 White 檢驗的原假設和備擇假設

10、是（1） ui 不存在異方差，H1： ui 存在異方差利用回歸得到的R2,計算統(tǒng)計量nR20在同方差假設條件下，統(tǒng)計量nR22(5)其中 n 表示樣本容量，R2 是輔助回歸式的OLS 估計的可決系數(shù)。自由度5 表示輔助回歸式中解釋變量項數(shù)(注意，不計算常數(shù)項)。 n R 2 屬于LM 統(tǒng)計量。統(tǒng)計量nR2漸進服從自由度為k 1的卡方分布，其中k是輔助回歸中參數(shù)的個數(shù)(包括常數(shù)項)。判別規(guī)則是若n R22(5), 接受H0(ui具有同方差)若n R 2 > 2(5), 拒絕H0(ui具有異方差)（5） 5) ARCH 檢驗5 / 13自回歸條件異方差（ARCH）檢驗主要用于檢驗時間序列中存

11、在的異方差。ARCH檢驗的思想是，在時間序列數(shù)據(jù)中，可認為存在的異方差性為ARCH過程，并通過檢驗這一過程是否成立來判斷時間序列是否存在異方差。ARCH過程可以表述為： 222t 01t1 ptpvt其中p是ARCH過程的階數(shù)，并且 0 0, i 0,（i 1,2，p） ; vt為隨機誤差。ARCH檢驗的基本步驟如下：提出假設：H0： i 2 p 0；Hi： j（j 1,2，p）中至少一個不為零。對原模型做OLS估計，求出殘差0,并計算殘差平方序列e2（t 1,2，T）,分別作為對；的估計。作輔助回歸 _22 2et?0 'let 1pe p并計算上式的可決系數(shù)R2,可以證明，在原假設

12、成立的情況下，基于大樣本，有（T p）R2近似服從自由度為p的卡方分布。如果（T p）R22（p）,則拒絕原假設，表明原模型的誤差項存在異方差。（6） Park檢驗法2Park檢驗法就是將殘差圖法公式化，提出 i是解釋變量 為 的某個函數(shù)， 然后通過檢驗這個函數(shù)形式是否顯著，來判定是否具有異方差性及其異方差性的 函數(shù)結構。（7） Glejser檢驗法這種方法類似于Park檢驗。首先從OLS回歸取得殘差e之后，用e的 絕對值對被認為與方差密切相關的 X變量作回歸。3、異方差的解決辦法 （詳細見板書）對異方差的傳統(tǒng)解決辦法是通過加權最小二乘 WLS將殘差向同方差轉換。一般認為，異方差的產(chǎn)生是由于殘

13、差項中包含了解釋變量的相關信息，也就是說,可以將殘差項e表達成解釋變量x的函數(shù)：6 / 13e g(x)其中x是1 k的向量，g()可以是關于x的線性函數(shù)，也可以是非線性的。如果 知道g(x)的函數(shù)形式，那么可以通過加權最小二乘的方法對模型進行修正，在不存在自相關的假定下，在回歸方程y f(x)兩邊同乘以力可以對殘差進行修正，從而消除殘差的異方差性使得 OLS估計量仍然具有有效性。但是，這 樣的方法卻有兩個方面的問題 一一首先，是g()的形式難以確定(為了簡便，我 們往往假設g()是關于x的線性函數(shù)，但實際上真實的函數(shù)形式很可能是非線性 的)，從而相應的WLS的權重設定也就往往是不正確的了；

14、其次，即使知道g(x) 的真實函數(shù)形式，通過加權得出的參數(shù)估計也已經(jīng)不是原來的關注參數(shù)了；最后,在強外生性條件E( |x) 0不滿足的條件下，WLS估計量也往往是不一致的。 因此，從現(xiàn)代的觀點來看，從模型設定的角度對異方差進行修正才是可行的方法。4、引起自相關的原因及其對參數(shù)估計的影響引起自相關的原因主要可以歸納為三點：經(jīng)濟數(shù)據(jù)的固有的慣性(inertia)帶來的相關，比如經(jīng)濟系統(tǒng)自身的慣性，經(jīng) 濟活動的滯后效應。這主要出現(xiàn)在時間序列數(shù)據(jù)當中， 經(jīng)濟變量在時間上的慣性 往往是造成自相關的主要原因。滯后效應指的是某一經(jīng)濟變量對另一經(jīng)濟變量的 影響不僅影響于當期，而是延續(xù)若干期，由此帶來變量的自相

15、關。模型的設定誤差，主要仍然是 遺漏變量的影響，將遺漏的變量歸入了殘差項， 由于遺漏的變量在不同時間點上是相關的，這就造成了殘差項的自相關。對數(shù)據(jù)的處理造成了數(shù)據(jù)的內在了解，從而引起自相關現(xiàn)象。自相關對參數(shù)估計的影響仍然是影響參數(shù)估計的有效性，自相關的存在使得OLS得到的參數(shù)估計不再具有最小方差性質。一般而言，在存在自相關的情況下， 如果仍然用滿足古典假定的OLS去估計參數(shù)及其方差，會低估真實的2,更會低估參數(shù)估計的方差，從而是t統(tǒng)計量被高估，致使原來不顯著的解釋變量變得 顯著，夸大的參數(shù)的顯著水平。5、自相關的檢驗7 / 13(1)圖示檢驗圖示檢驗是一種直觀的檢驗自相關的方法。與上述檢驗異方

16、差的方法略有不 同的是，該方法是通過做殘差的當期值與其滯后期的值的散點圖來判斷是否存在 自相關。具體做法是，以 OLS回歸的殘差當期值為縱坐標，以其滯后值為橫坐 標(可以是滯后一期，也可以是滯后一期以上)畫散點圖。如果該圖形有明顯的 趨勢，則可以認為殘差存在自相關。8 / 13anUiUj(2)相關系數(shù)檢驗法相關系數(shù)的方法是檢驗自相關的一個簡單方法。其基本思想就是通過計算OLS回歸得到的殘差之間的一階自相關系數(shù)，來確認是否存在自相關的現(xiàn)象。具體表示如下：et yt Xtb做輔助回歸et ret i vtTT 2retet ietit 2. t 1顯然，r是對相關系數(shù)的一個估計。但是這個方法的問

17、題是：沒有一個確定的標 準來判斷究竟多大的相關悉數(shù)才能認為存在自相關。(3) Breusch Godfrey LM 檢驗Breusch Godfrey LM檢驗的原假設是不存在自相關，備擇假設是存在自相10 / 13關 H1: t AR(p)。基本步驟如下：提出假設：Ho： 12p 0；Hi： j(j 1,2,p)中至少一個不為零。其中p是階數(shù)。對原模型做OLS估計，求出殘差et (t 1,2,T)。作輔助回歸et010 i pet p vt并得到上面回歸的可決系數(shù) R2,可以證明，在原假設成立的情況下，基于大樣 本，有(T p)R2近似服從自由度為p的卡方分布。拒絕原假設，則表明原模型的 誤

18、差項存在自相關。(4) PierceBox檢驗和 Ljung-Box 檢驗Q統(tǒng)計量最早由Box和Pierce于1970年提出，其計算表達式為:PQ Tr2j 1T00 j其中，rj °Q統(tǒng)計量服從自由度為P的卡方分布。為了使該統(tǒng)計量具 2et t 1有更加優(yōu)良的小樣本性質, 統(tǒng)計量其表達形式為：Ljung和Box于1979年對其進行了改進。改進后的Q T(T 2)2 rjj iT j(5) Durbin Watson 檢驗DW統(tǒng)計量是用OLS回歸的殘差來構造檢驗自相關的統(tǒng)計量的?？梢员硎鋈缦?11 / 1322r）一2 eTt 1(e et 1)2d 12-n 2(12et t i其中，r是一階自相關系數(shù)。當樣本量很大的時候，上式中的第二項可以忽略，此時統(tǒng)計量變成d 2(1 r)。DW檢驗有兩個臨界值dU和dL(dU dL),當統(tǒng)計量的值落在兩個臨界值中間時，接受原假設，認為不存在自相關。當統(tǒng)計量的值臨界值大于du或者小于dL時，均認為存在自相關。使用DW統(tǒng)計量對自相關進行檢驗需要注意該統(tǒng)計量的使用條件。一是該統(tǒng)計量只能檢驗