多元線性回歸模型的各種檢驗(yàn)方法

1、對(duì)多元線性回歸模型的各種檢驗(yàn)方法對(duì)于形如Y 0 1X1 2X2 LL kXku（1）的回歸模型，我們可能需要對(duì)其實(shí)施如下的檢驗(yàn)中的一種或幾種檢驗(yàn)：一、 對(duì)單個(gè)總體參數(shù)的假設(shè)檢驗(yàn)： t 檢驗(yàn)在這種檢驗(yàn)中，我們需要對(duì)模型中的某個(gè)（總體）參數(shù)是否滿足虛擬假設(shè) H 0 ：ja j ，做出具有統(tǒng)計(jì)意義（即帶有一定的置信度）的檢驗(yàn)，其中 a j 為某個(gè)給定的已知數(shù)。特別是，當(dāng) a j =0 時(shí)，稱為參數(shù)的（狹義意義上的）顯著性檢驗(yàn)。如果拒絕 H 0 ，說明解釋變量X j 對(duì)被解釋變量 Y 具有顯著的線性影響，估計(jì)值?j 才敢使用；反之，說明解釋變量 X j 對(duì)被解釋變量 Y 不具有顯著的線性影響，估計(jì)值

2、?j 對(duì)我們就沒有意義。具體檢驗(yàn)方法如下：（1）給定虛擬假設(shè)H 0 ：ja j ；1?jE(j )?jaj（2） 計(jì)算統(tǒng)計(jì)量tSe( ?j ) 的數(shù)值；Se( ?j )Se( ?j )?C jj ， 其 中 C jj(X TX) 1j 1j 1（3）在給定的顯著水平下（不能大于 0.1即10%，也即我們不能在置信度小于 90%以下的前提下做結(jié)論），查出雙尾 t （ n k 1）分布的臨界值 t / 2 ；（4）如果出現(xiàn)tt / 2 的情況，檢驗(yàn)結(jié)論為拒絕H 0 ；反之，無法拒絕 H 0 。?jjt 檢驗(yàn)方法的關(guān)鍵是統(tǒng)計(jì)量t Se( ?j ) 必須服從已知的 t 分布函數(shù)。什么情況或條件下才會(huì)這

3、樣呢？這需要我們建立的模型滿足如下的條件（或假定）：（1） 隨機(jī)抽樣性。我們有一個(gè)含 n 次觀測(cè)的隨機(jī)樣X i 1 , X i 2 ,L , X ik ,Yi: i1,2, L, n。這保證了誤差 u2自身的隨機(jī)性，即無自相關(guān)性，Cov(uiE(ui )(u jE(u j )0 。（2） 條件期望值為 0。給定解釋變量的任何值，誤差u 的期望值為零。即有E ( u X 1 , X 2 , L , X k )0這也保證了誤差 u 獨(dú)立于解釋變量 X 1 , X2 , L,X ，即模型中的解釋變量是外生性的，也使得 E( u )0 。(3 ） 不存在完全共線性。在樣本因而在總體中，沒有一個(gè)解釋變量

4、是常數(shù)，解釋變量之間也不存在嚴(yán)格的線性關(guān)系。（4） 同方差性。 Var(u X1 , X 2 ,L , X k )2常數(shù)。（5） 正態(tài)性。誤差 u 滿足 u Normal (0 ,2) 。在以上 5 個(gè)前提下，才可以推導(dǎo)出：?j Nj ,Var ( ? j )( ?jj ) / Sd( ? j ) N (0,1)( ?jj ) / Se( ? j ) t n k 13由此可見， t 檢驗(yàn)方法所要求的條件是極為苛刻的。二、 對(duì)參數(shù)的一個(gè)線性組合的假設(shè)的檢驗(yàn)需要檢驗(yàn)的虛擬假設(shè)為H 0 ： j1j2 。比如12 無法直接檢驗(yàn)。設(shè)立新參數(shù) 112。原虛擬假設(shè)等價(jià)于 H 0 ： 10。將 112 代入原

5、模型后得出新模型：Y0X(XX )L LX u （2）1 12 12k k在模型（ 2）中再利用 t 檢驗(yàn)方法檢驗(yàn)虛擬假設(shè) H 0 ：1 0。我們甚至還可以檢驗(yàn)這樣一個(gè)更一般的假設(shè)H 0 : 0011Lt 統(tǒng)計(jì)量為kkC?tt(n k 1)2T1 TSe(X X)三、 對(duì)參數(shù)多個(gè)線性約束的假設(shè)檢驗(yàn)： F 檢驗(yàn)4需要檢驗(yàn)的虛擬假設(shè)為H 0 ：kq10,kq2 ,L,k0 。該假設(shè)對(duì)模型（ 1）施加了 q 個(gè)排除性約束。模型（1）在該約束下轉(zhuǎn)變?yōu)槿缦碌男履Ｐ停篩01X12X2L Lk qXk qu（3）模型（1）稱為不受約束（ ur ）的模型，而模型（ 3）稱為受約束（ r ）的模型。模型（ 3）

6、也稱為模型（ 1）的嵌套模型，或子模型。分別用 OLS方法估計(jì)模型（1）和（2）后，可以計(jì)算出如下的統(tǒng)計(jì)量：RSSF/ qRSSrRSSurur/( nk1 )關(guān)鍵在于，不需要滿足 t 檢驗(yàn)所需要的假定（ 3），統(tǒng)計(jì)量 F 就滿足： F F q , n k 1 。利用已知的 F 分布函數(shù)，我們就可以拒絕或接受虛擬假設(shè)H 0 ：k q 1 0, k q 2 ,L , k 0 了。所以，一般來講， F 檢驗(yàn)比 t 檢驗(yàn)更先使用，用的更普遍，可信度更高。利用關(guān)系式5r2RSSTSS(1 Rur )，F(xiàn) 統(tǒng)計(jì)量還可以寫成：TSS(1 R ) ，RSSur2rR2Fur2( 1R ) /( nkur1

7、)四、 對(duì)回歸模型整體顯著性的檢驗(yàn)： F 檢驗(yàn)需要檢驗(yàn)的虛擬假設(shè)為H0： 10, 2 ,L , k 0 。相當(dāng)于前一個(gè)檢驗(yàn)問題的特例， q k 。嵌套模型變?yōu)閅2TSS， Rur220 u。 R r 0， RSSrR 。F 統(tǒng)計(jì)量變?yōu)椋篎R2 / k(1 R2)/(n k 1)ESS/ kRSS/(n k 1)五、 檢驗(yàn)一般的線性約束需要檢驗(yàn)的虛擬假設(shè)比如為H 0 ：11, 2,L , k0。受約束模型變?yōu)椋?Y0X 1u再變形為： Y X10u。F 統(tǒng)計(jì)量只可用：RSSrRSS/ qFurur/(nk1)其RSS中RSSr TSSY X1(YiXi1) (YX1)2 2(Yi Y) (Xi1

8、 X1)。，六、 檢驗(yàn)兩個(gè)數(shù)據(jù)集的回歸參數(shù)是否相等：皺（至莊）檢驗(yàn)虛擬假定是總體回歸系數(shù)的真值相等。步驟如下：（1）基于兩組樣本數(shù)據(jù)，進(jìn)行相同設(shè)定的回歸，將二者的 RSS分別記為 RSS1 和 RSS2 。（2） 將兩組樣本數(shù)據(jù)合并，基于合并的樣本數(shù)據(jù)，進(jìn)行相同設(shè)定的回歸，將回歸的 RSS記為 RSST 。（3） 計(jì)算下面的 F 統(tǒng)計(jì)量：7(RSSRSS RSS ) /(k1)FT12(RSSRSS ) /(nn 2k2)1212（4）如果F F，拒絕原假定。七、 非正態(tài)假定下多個(gè)線性約束的大樣本假設(shè)檢驗(yàn)：LM（拉格郎日乘數(shù)）檢驗(yàn)F 檢驗(yàn)方法需要模型（ 1）中的 u 滿足正態(tài)性假定。在不滿足正

9、態(tài)性假定時(shí)，在大樣本條件下，可以使用LM統(tǒng)計(jì)量。虛擬假設(shè)依然是 H 0 ：k q 1 0, k q 2,L , k 0。LM統(tǒng)計(jì)量?jī)H要求對(duì)受約束模型的估計(jì)。具體步驟如下：（）將 Y 對(duì)施加限制后的解釋變量進(jìn)行回歸，并保留殘差 u。即我們要進(jìn)行了如下的回歸估計(jì)Y12LLu012kq kqXXX（）將 u 對(duì)所有解釋變量進(jìn)行輔助回歸，即進(jìn)行如下回歸估計(jì)801122LLkku?XXX?并得到 R-平方，記為 Ru2。（）計(jì)算統(tǒng)計(jì)量LM2。nR u比較。如（）將 LM 與2分布中適當(dāng)?shù)呐R界值 cq果 LMc ，就拒絕虛擬假設(shè) H 0 ；否則，就不能拒絕虛擬假設(shè) H0。八、 對(duì)模型函數(shù)形式誤設(shè)問題的一般

10、檢驗(yàn)： RESET如果一個(gè)多元回歸模型沒有正確地解釋被解釋變量與所觀察到的解釋變量之間的關(guān)系，那它就存在函數(shù)形式誤設(shè)的問題。誤設(shè)可以表現(xiàn)為兩種形式：模型中遺漏了對(duì)被解釋變量有系統(tǒng)性影響的解釋變量；錯(cuò)誤地設(shè)定了一個(gè)模型的函數(shù)形式。在偵察一般的函數(shù)形式誤設(shè)方面，拉姆齊（ Ramsey，1969）的回歸設(shè)定誤差檢驗(yàn)（ regression specilfication error test , RESET）是一種常用的方法。 RESET背后的思想相當(dāng)簡(jiǎn)單。如果原模型（ 1）滿足經(jīng)典假定（ 3），那么在模型90 。這時(shí)，（1）中添加解釋變量的非線性關(guān)系應(yīng)該是不顯著的。盡管這樣做通常能偵察出函數(shù)形式誤設(shè)

11、，但如果原模型中有許多解釋變量，它又有使用掉大量自由度的缺陷。另外，非線性關(guān)系的形式也是多種多樣的。 RESET則是在模型（ 1）中添加模型（ 1）的 OLS擬合值的多項(xiàng)式，以偵察函數(shù)形式誤設(shè)的一般形式。為了實(shí)施 RESET，我們必須決定在一個(gè)擴(kuò)大的回歸模型中包括多少個(gè)擬合值的函數(shù)。雖然對(duì)這個(gè)問題沒有正確的答案，但在大多數(shù)應(yīng)用研究中，都表明平方項(xiàng)和三次項(xiàng)很有用。令 Y 表?示從模型（ 1）所得到的OLS估計(jì)值?？紤]擴(kuò)大的模型2 3（4）Y01 X12 X 2 L Lk X k 1Y? 2Y?這個(gè)模型看起來有些奇怪，因?yàn)樵烙?jì)的擬合值的函數(shù)現(xiàn)在卻出作為解釋變量出現(xiàn)。實(shí)際上，我們對(duì)模型（4）的參數(shù)

12、估計(jì)并不感興趣，我們只是利用這個(gè)模型來檢驗(yàn)?zāi)Ｐ停?1）是否遺漏掉了重要的非線性關(guān)系。記住， Y?2 和Y?3 都只是 X j 的非線性函數(shù)。對(duì)模型（ 4），我們檢驗(yàn)虛擬假設(shè)H0 : 1 0 , 210模型（4）是無約束模型，模型（ 1）是受約束模型。計(jì)算 F 統(tǒng)計(jì)量。需要查 F2 , n k 3分布表。拒絕 H 0 ，模型（1）存在誤設(shè)，否則，不存在誤設(shè)。九、利用非嵌套模型檢驗(yàn)函數(shù)形式誤設(shè)尋求對(duì)函數(shù)形式誤設(shè)的其他類型（比如，試圖決定某一解釋變量究竟應(yīng)以水平值形式還是對(duì)數(shù)形式出現(xiàn)）作出檢驗(yàn)，需要離開經(jīng)典假設(shè)檢驗(yàn)的轄域。有可能要相對(duì)模型Y01 log(X1 )2 log(X2 )L Lk log(

13、Xk )（5）檢驗(yàn)?zāi)Ｐ停?1），或者把兩個(gè)模型反過來。然而，它們是非嵌套的，所以我們不能僅使用標(biāo)準(zhǔn)的 F 檢驗(yàn)。有兩種不同的方法。一種方法由 Mizon and Richard (1986) 提出，構(gòu)造一個(gè)綜合模型，將每個(gè)模型作為一個(gè)特殊情形而包含其中，然后檢驗(yàn)導(dǎo)致每個(gè)模型的約束。對(duì)于模型（ 1）和模型（ 5）而言，綜合模型就是11Y01X1Lk X kk 1 log( X1 ) Lk k log( X k )（6）可以先檢驗(yàn) H 0 : k 10,L ,k k0 ，作為對(duì)模型（ 1）的檢驗(yàn)。也可以通過對(duì)檢驗(yàn) H 0 : 10 ,L , k 0 ，作為對(duì)模型（ 5）的檢驗(yàn)。另一種方法由 Dav

14、ison and MacKinnon (1981) 提出。認(rèn)為，如果模型（ 1）是正確的，那么從模型（ 5）得到的擬合值在模型（ 1）中應(yīng)該是不顯著的。因此，為了檢驗(yàn)?zāi)Ｐ停?1）的正確性，首先用 OLS估計(jì)模型（5）以得到擬合值，并記為 Y 。?在新模型?（7）Y01 X12 X 2L Lk X k1Y?中計(jì)算 Y 的 t 統(tǒng)計(jì)量，利用 t 檢驗(yàn)拒絕或接受假定 H 0 : 10 。?顯著的 t 統(tǒng)計(jì)量就是拒絕模型（ 1）的證據(jù)。類似的，為了檢驗(yàn)?zāi)Ｐ停?5）的正確性，首先用 OLS估計(jì)模型（1）以得到擬合值，并記為 Y 。在新模型?（8）Y01 log(X 1 ) 2 log( X 2 ) L Lk log(X k ) 1Y?中計(jì)算 Y 的 t 統(tǒng)計(jì)量，利用 t 檢驗(yàn)拒絕或接受假定 H 0 : 10 。?以上兩種檢驗(yàn)方法可以用于檢驗(yàn)任意兩個(gè)具有相同的12被解釋變量的非嵌套模型。非嵌套檢驗(yàn)存在一些問題。首先，不一定會(huì)出現(xiàn)一個(gè)明顯好的模型。兩個(gè)模型可能都被拒絕，也可能沒有一個(gè)被拒絕。在后一種情形中，我們可以使用調(diào)整的R-平方進(jìn)行選擇。如果兩個(gè)模型都被拒絕，則有更多的工作要做。不過，重要的是知道使用這種或那種函數(shù)形式的后果