第一部分4 GLS和MLE(三大檢驗(yàn))

1、第四章 GLS和MLE一、廣義最小二乘法（GLS）1、回歸模型的矩陣表示總體回歸方程可表示為：也可以寫(xiě)成：。當(dāng)取不同的形式時(shí)，也就構(gòu)成了不同的模型，包括：線性、非線性和非參數(shù)等。我們這里主要討論的是線性模型(一元或多元)：其中：，表示樣本數(shù)量，表示解釋變量個(gè)數(shù)（包含了常數(shù)項(xiàng)），當(dāng)時(shí)就是一元線性回歸模型。而表示的是隨機(jī)擾動(dòng)項(xiàng)，包含了除了解釋變量以外的其他影響因素。若遺漏變量，則這個(gè)變量也將被擾動(dòng)項(xiàng)所包含。2、經(jīng)典假設(shè)滿足時(shí)的殘差項(xiàng)的方差協(xié)方差矩陣在無(wú)異方差和無(wú)自相關(guān)的假定下，殘差項(xiàng)的方差協(xié)方差矩陣是一個(gè)對(duì)角陣，并且主對(duì)角線的元素都相同。即有：（此時(shí)OLS估計(jì)量是最優(yōu)線性無(wú)偏估計(jì)BLUE）問(wèn)題的提

2、出：若擾動(dòng)項(xiàng)違背球形假定，結(jié)果怎樣？ （1）其中是一般的正定矩陣，而不是在古典假設(shè)的情況下的單位矩陣。（1）異方差時(shí)存在異方差時(shí)的后果：OLS估計(jì)量是線性無(wú)偏估計(jì)，但不是最有效的。處理方法：第一條思路：找到最優(yōu)線性無(wú)偏估計(jì)。具體方法加權(quán)最小二乘法（WLS），也就是模型變換法；第二條思路：存在異方差時(shí)OLS估計(jì)量是線性無(wú)偏，但是原OLS方法得到的方差計(jì)算公式有誤。對(duì)于系數(shù)估計(jì)仍采用OLS估計(jì)，對(duì)于系數(shù)的方差估計(jì)進(jìn)行修正。得到穩(wěn)健估計(jì)量。具體參見(jiàn)本科課程（2）自相關(guān)時(shí)存在自相關(guān)時(shí)的后果：OLS估計(jì)量是線性無(wú)偏估計(jì)，但不是最有效的。處理方法：第一條思路：找到最優(yōu)線性無(wú)偏估計(jì)。具體方法廣義差分方法；第

3、二條思路：存在自相關(guān)時(shí)OLS估計(jì)量是線性無(wú)偏，但是原OLS方法得到的方差計(jì)算公式有誤。對(duì)于系數(shù)估計(jì)仍采用OLS估計(jì)，對(duì)于系數(shù)的方差估計(jì)進(jìn)行修正。得到穩(wěn)健估計(jì)量。具體參見(jiàn)本科課程（利用廣義差分方法處理，具體參見(jiàn)本科課程）（3）同時(shí)存在異方差和自相關(guān)時(shí)存在異方差、自相關(guān)時(shí)的后果：OLS估計(jì)量是線性無(wú)偏估計(jì)，但不是最有效的。處理方法：第一條思路：找到最優(yōu)線性無(wú)偏估計(jì)。具體方法廣義最小二乘（GLS）；第二條思路：存在異方差、自相關(guān)時(shí)OLS估計(jì)量是線性無(wú)偏，但是原OLS方法得到的方差計(jì)算公式有誤。對(duì)于系數(shù)估計(jì)仍采用OLS估計(jì)，對(duì)于系數(shù)的方差估計(jì)進(jìn)行修正。得到穩(wěn)健估計(jì)量。3GLSGLS的思想十分簡(jiǎn)單，就是

4、通過(guò)對(duì)總體方差協(xié)方差矩陣的分解，將回歸的殘差轉(zhuǎn)變成滿足古典假定的殘差，然后使用OLS估計(jì)。由于W是一個(gè)正定的對(duì)稱(chēng)矩陣，由矩陣代數(shù)的知識(shí)，我們知道存在一個(gè)滿秩矩陣P，使得。在古典回歸方程兩邊同乘，得到：或者寫(xiě)成：（其中）可以看出，顯然變換后的模型滿足古典假定，因此可以用OLS對(duì)該式進(jìn)行估計(jì)。得到如下結(jié)果：4、FGLS（可行的GLS）FGLS是GLS在實(shí)際問(wèn)題中的應(yīng)用。顯然，如果方差協(xié)方差矩陣是W已知的，那么GLS就是最優(yōu)的估計(jì)方法。但是，在實(shí)際的問(wèn)題中，W往往是未知的。這就要求我們必須先對(duì)矩陣W進(jìn)行估計(jì)，得到，然后再按照上述GLS的方法對(duì)回歸模型進(jìn)行估計(jì)。二、最大似然估計(jì)（MLE）一個(gè)關(guān)于最大似

5、然估計(jì)的實(shí)例（打獵的例子）1、引子利用來(lái)自泊松分布的10個(gè)觀測(cè)值，估計(jì)相關(guān)的參數(shù)。已知泊松分布的密度函數(shù)是：, 為參數(shù)，X為觀察值。Poisson 分布，X所有的可能取值為0,1,2。取各值的概率既和x有關(guān)，也和參數(shù)有關(guān)。思考問(wèn)題：現(xiàn)得到10個(gè)觀測(cè)值，5，0，1，1，0，3，2，3，4，1,估計(jì)其參數(shù)。解答：似然函數(shù)具體的：該似然函數(shù)給出由具有未知參數(shù)的泊松分布生成數(shù)據(jù)時(shí)，觀察到特定樣本的概率。什么樣的的使這個(gè)樣本最為可能?？紤]最大化這個(gè)函數(shù)。由于對(duì)數(shù)函數(shù)是單調(diào)遞增的，而且便于處理，因此通常最大化lnL()，即最大化對(duì)數(shù)似然函數(shù)。又因?yàn)?、極大似然函數(shù)及其估計(jì)的基本原理（1）MLE估計(jì)的原理似

6、然函數(shù)的定義：從總體中經(jīng)過(guò)N次隨機(jī)抽取得到樣本容量為N的樣本觀測(cè)值，在任一次隨機(jī)抽取中，樣本觀測(cè)值都以一定的概率出現(xiàn)，各樣本的抽取是獨(dú)立的，因此容易得到樣本的聯(lián)合密度函數(shù)。似然函數(shù)樣本觀測(cè)值的聯(lián)合概率函數(shù)（聯(lián)合密度函數(shù)）似然函數(shù)的表示：設(shè)總體的概率密度函數(shù)為，其類(lèi)型是已知的，但含有未知參數(shù)，觀測(cè)值的聯(lián)合密度函數(shù)為：樣本的似然函數(shù)，包含有未知參數(shù)。對(duì)數(shù)似然函數(shù)原理：極大似然估計(jì)的原理就是尋找參數(shù)估計(jì)量，使得似然函數(shù)達(dá)到最大，就稱(chēng)為極大似然估計(jì)量。求解的方法：通過(guò)取對(duì)數(shù)以及一階條件可以求得該參數(shù)估計(jì)值。最大化的必要條件是一般來(lái)說(shuō)似然函數(shù)是非線性的，必須采用迭代計(jì)算的方法求參數(shù)的極大似然估計(jì)值。極大

7、似然估計(jì)量 (MLE) 具有一致性和漸近有效性。（2）例2，經(jīng)典線性回歸模型的最大似然估計(jì)量線性回歸模型的MLE yt = b0 + b1 xt1 + b 2 xt 2 + + b k-1 xt k -1 + ut , t = 1, 2, , T, 進(jìn)行極大似然估計(jì)。假定ut N(0, s 2 ), 則yt 也服從正態(tài)分布。 yt N(E( yt), s 2 )， 其中E( yt) = b0 + b1 xt1 + b 2 xt 2 + + bk -1 xt k -1。若yt是相互獨(dú)立的，則對(duì)于樣本 ( y1, y2, , yT)，似然函數(shù)是 L(y1, ,y2, , yT |b, s 2) =

8、 f( y1) f( y2) f( yT),其中 b 表示未知參數(shù) b0, b1, , b k -1的集合。正態(tài)分布：f ( xt ) = 每個(gè)yt的概率密度函數(shù)為： f ( yt ) = exp.取對(duì)數(shù)后：lnf ( yt ) = .對(duì)于樣本 ( y1, y2, , yT)，對(duì)數(shù)似然函數(shù)為 logL = f ( yt ) = -log 2p - log s 2 - E( yt ) 2. = -log 2p -log s 2 - b0 + b1 xt1 + b 2 xt 2 + + b k-1 xt k -1 2 分析：對(duì)logL極大化，等同于使平方和- E( yt )2 極小化，即選擇使-

9、-xt 1 -xt 2 - -xt k -1) 2 = 極小化。上式中表示殘差。這種估計(jì)方法恰好與OLS法相同，所以在這個(gè)例子中 b 的MLE估計(jì)量與OLS估計(jì)量完全相同，即=。（具體的，是對(duì)數(shù)似然值對(duì)于每個(gè)求偏導(dǎo)數(shù)，并等0。）與OLS法不同的是極大似然估計(jì)法在估計(jì)的同時(shí)，還得到ut方差的估計(jì)量。對(duì)（lnL）求 s 2 的偏導(dǎo)數(shù)并令其為零。 = -+- E( yt ) 2 = 0. 用代替上式中E(yt) 中的b 得 = T -13、極大似然估計(jì)的性質(zhì)若似然函數(shù)滿足正則條件，極大似然估計(jì)量有下列漸進(jìn)性質(zhì)：M1、一致性：M2、漸進(jìn)正態(tài)：，M3、漸進(jìn)有效：是漸進(jìn)有效的，且達(dá)到一致估計(jì)量的克拉美-勞

10、下界： M4、不變性：若是的ML估計(jì)，是連續(xù)函數(shù)，則的ML估計(jì)是。這四個(gè)性質(zhì)特別是最后兩個(gè)性質(zhì)，估計(jì)量達(dá)到了最小方差，即ML估計(jì)量是有效估計(jì)量。同時(shí)若要估計(jì)參數(shù)的函數(shù)，無(wú)需重新估計(jì)模型，為估計(jì)參數(shù)函數(shù)提供了便利。ML估計(jì)量大樣本性質(zhì)好，但在小樣本的條件下，ML估計(jì)并不一定是最佳的。三、 基于MLE的三大檢驗(yàn)(回顧，基于OLS的檢驗(yàn)：t檢驗(yàn)，模型整體顯著性F檢驗(yàn)，F(xiàn)檢驗(yàn)（多個(gè)系數(shù)同時(shí)為零，線性約束檢驗(yàn)）。下面介紹三種常用的檢驗(yàn)方法，這三種檢驗(yàn)所用統(tǒng)計(jì)量都是利用極大似然估計(jì)法計(jì)算的。似然比（LR）檢驗(yàn)：需要計(jì)算受約束，不受約束的模型沃爾德（W）檢驗(yàn)： 需要計(jì)算不受約束模型拉格朗日（lagrange

11、）乘數(shù)（LM）檢驗(yàn)： 需要計(jì)算受約束模型1、似然比（LR）檢驗(yàn)（1）思想：思想：如果約束條件成立則相應(yīng)約束模型的極大似然函數(shù)值LR與非約束模型的極大似然函數(shù)值LUR應(yīng)該是近似相等的。因?yàn)榧由线@樣的約束不應(yīng)該引起似然函數(shù)最大值的大幅度降低。實(shí)質(zhì)：比較有約束條件下的似然函數(shù)最大值與無(wú)約束條件下似然函數(shù)最大值。方法：構(gòu)造似然比。似然比定義為有約束條件下的似然函數(shù)最大值與無(wú)約束條件下似然函數(shù)最大值之比。以似然比為基礎(chǔ)可以構(gòu)造一個(gè)服從卡方分布統(tǒng)計(jì)量（2）LR檢驗(yàn)步驟H0：約束條件成立H1：約束條件不成立計(jì)算非約束模型的極大似然函數(shù)（數(shù)值大，因沒(méi)有約束模型的RSS?。?Lur =L(,) 其中和分別是無(wú)約

12、束模型的 b（參數(shù)集合）和s 2 的極大似然估計(jì)。計(jì)算約束模型的極大似然函數(shù)(數(shù)值小，因約束模型的RSS大) Lr =L(,)其中和分別是約束模型的b和s 2 的極大似然估計(jì)。定義似然比（LR）統(tǒng)計(jì)量為 括號(hào)內(nèi)是兩個(gè)似然函數(shù)之比（似然比檢驗(yàn)由此而得名）?？梢宰C明在零假設(shè)：約束條件成立條件下 LR c 2(m) ，其中m表示約束條件個(gè)數(shù)。判別用樣本計(jì)算LR統(tǒng)計(jì)量，并與臨界值相比若LR < c 2a (m) , 則接受零假設(shè)，約束條件成立。若LR > c 2a (m) , 則拒絕零假設(shè)，約束條件不成立。2、WALD檢驗(yàn)（1）思想原理：測(cè)量無(wú)約束估計(jì)量與約束估計(jì)量之間的距離。如果約束是有

13、效的，那么在沒(méi)有約束情況下估計(jì)出來(lái)的估計(jì)量應(yīng)該漸進(jìn)地滿足約束條件，因?yàn)镸LE是一致的。例如：要檢驗(yàn)。進(jìn)行無(wú)約束估計(jì)，得到無(wú)約束估計(jì)量。以無(wú)約束估計(jì)量為基礎(chǔ)可以構(gòu)造一個(gè)Wald統(tǒng)計(jì)量（具體形式參見(jiàn)Greene），這個(gè)統(tǒng)計(jì)量也服從卡方分布；優(yōu)點(diǎn)：是只需估計(jì)無(wú)約束模型。當(dāng)約束模型的估計(jì)很困難時(shí)，此方法尤其適用。W檢驗(yàn)由沃爾德（Wald 1943）提出，適用于線性與非線性約束條件的檢驗(yàn)。（2）一個(gè)簡(jiǎn)單例子比如對(duì)如下模型： yt = b1 x1t + b2 x2t + b3 x3t + vt 檢驗(yàn)線性約束條件b2 = b3是否成立。分析，計(jì)算無(wú)約束估計(jì)量：HoH1W檢驗(yàn)只需對(duì)無(wú)約束模型進(jìn)行估計(jì)（因?yàn)閷?duì)約

14、束估計(jì)量和來(lái)說(shuō)，必然有-= 0）。如果約束條件成立，則無(wú)約束估計(jì)量-應(yīng)該近似為零。如果約束條件不成立，則無(wú)約束估計(jì)量-應(yīng)該顯著地不為零。關(guān)鍵是要找到一個(gè)準(zhǔn)則，從而判斷什么是顯著地不為零。首先需要知道（-）的抽樣分布。依據(jù)經(jīng)典回歸的假定條件，（-）服從均值為（b2-b3），方差為Var(-) 的正態(tài)分布。通常Var(-) 是未知的，使用的是Var(-) 的樣本估計(jì)量，定義W統(tǒng)計(jì)量為， W1 = N(0, 1)在約束條件成立條件下，W漸進(jìn)服從N(0, 1) 分布。等價(jià)的： N(0, 1)（3）Wald檢驗(yàn)的一般形式多個(gè)約束條件的情形。f(b )= 0, 其中f(b) 表示由約束條件組成的列向量。用

15、表示施加約束條件后對(duì)參數(shù)集合的估計(jì)。若把代入上式，則上式一定成立。表示未施加約束條件時(shí)參數(shù)的估計(jì)。當(dāng)把無(wú)約束估計(jì)值代入上式時(shí)，通常上式不會(huì)成立。W統(tǒng)計(jì)量定義如下， W = f()' Var( f() ) -1 f() 其中f()是用代替b 后的f(b )表達(dá)式，Var(f() 是f()的估計(jì)的方差協(xié)方差矩陣。在約束條件成立條件下，W = f()' Var( f() ) 1 f() 漸近服從 c 2(m) 分布。 W = f()' Var( f() ) -1 f() c 2(m) .其中m表示被檢驗(yàn)的約束條件的個(gè)數(shù)（4）WALD檢驗(yàn)步驟H0：約束條件成立H1：約束條件不成

16、立計(jì)算非約束模型的參數(shù)估計(jì)把無(wú)約束模型的參數(shù)估計(jì)帶入約束條件，并計(jì)算WALD統(tǒng)計(jì)量W = f()' Var( f() ) -1 f() 在H0成立時(shí)，上述統(tǒng)計(jì)量服從自由度為m(約束條件的個(gè)數(shù))的卡方分布判別用樣本計(jì)算WALD統(tǒng)計(jì)量，并與臨界值相比若WALD < c 2a (m) , 則接受零假設(shè)，約束條件成立。若WALD > c 2a (m) , 則拒絕零假設(shè)，約束條件不成立。3.LM乘數(shù)檢驗(yàn)。（1）拉格朗日乘數(shù)檢驗(yàn)的思想回顧：求有約束條件的極值時(shí)：用 langrange方法。 利用拉格朗日乘子：. 為拉格朗日乘子向量。如果，說(shuō)明此約束不緊，（加上這個(gè)約束條件不會(huì)使似然函數(shù)

17、最大值下降很多，說(shuō)明原本這個(gè)約束就接近自然成立，因此約束條件很可能成立。）如果，說(shuō)明這個(gè)約束條件“緊”的，（加上這個(gè)約束條件會(huì)使似然函數(shù)最大值下降很多，說(shuō)明原本這個(gè)約束條件很可能不成立，因此約束條件很可能不成立）。問(wèn)題轉(zhuǎn)化為檢驗(yàn)是否接近于0根據(jù)一階條件（對(duì)求導(dǎo)），可知（2）一個(gè)簡(jiǎn)單的LM檢驗(yàn)例子考慮有約束條件的對(duì)數(shù)似然函數(shù)最大值問(wèn)題。兩個(gè)待檢驗(yàn)的約束條件：f1(b) = 0和f2(b) = 0。為求這兩個(gè)約束條件下的極大似然估計(jì)量，應(yīng)按拉格朗日乘數(shù)法則建立如下函數(shù)， logL* = logL + l1 f1 (b) + l2 f2 (b) , (19)其中l(wèi)1，l2為拉格朗日乘數(shù)。按照前面的分

18、析，如果約束條件成立，參數(shù)l1,l2應(yīng)該和0無(wú)顯著差異。即：l1=l2=0利用一階條件，計(jì)算由約束條件下的極值：¶ logL*/¶ bj = 0, 即有約束條件的極值：= + l1 + l2 = 0, " j 由上式得無(wú)約束條件的極值： = - l1 - l2, " j （注意：上式左邊，是無(wú)約束模型求極值的表達(dá)式。）約束條件成立，有約束條件極值，應(yīng)該與無(wú)約束條件極值一樣， =0=- l1 - l2,因此，問(wèn)題轉(zhuǎn)化為，檢驗(yàn)l1,l2是否為0。若，l1=l2=0，約束條件滿足，若l1，l2 顯著地不為零，則拒絕約束條件。 但是，直接檢驗(yàn)拉格朗日乘數(shù)向量比較困難，實(shí)際應(yīng)用中，有一個(gè)簡(jiǎn)單公式，是通過(guò)一個(gè)輔助回歸式計(jì)算LM統(tǒng)計(jì)量的值。（3）拉格朗日乘子檢驗(yàn)：H0：約束條件成立H1：約束條件不成立考慮有約束模型的對(duì)數(shù)似然函數(shù)最大化問(wèn)題： 根據(jù)一階條件，計(jì)算最優(yōu)的拉格朗日橙子向量，（及對(duì)數(shù)似然函數(shù)在的梯度向量）。構(gòu)造LM統(tǒng)計(jì)量為在H0成立時(shí)，上述統(tǒng)計(jì)量服從自由度為k(約束條件的個(gè)數(shù))的卡方分布判別用樣本計(jì)算LM統(tǒng)計(jì)量，并與臨界值相比若LM < c 2a (k) , 則接受零假設(shè)，約束條件成立。若LM > c 2a (k) , 則拒絕零假設(shè)，約束條件不成立。 4、三個(gè)檢驗(yàn)的關(guān)系（1）聯(lián)系