大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)課件

1、大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) 極大似然估計(jì)極大似然估計(jì)與與W,LR,LMW,LR,LM檢驗(yàn)檢驗(yàn)大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)極大似然估計(jì)法我們從簡(jiǎn)單線性模型開始分析 對(duì)于每一個(gè)都是服從均值 為，方差為 的正態(tài)分布，其概率密度函數(shù)可以表示為 似然函數(shù)是密度函數(shù)在所有各觀測(cè)處取值的乘積，在簡(jiǎn)單線性模型下表示為：第一部分：極大似然估計(jì)2222212212)(exp21)().()(),.,(iiNNNXYYPYPYPYYYL)(21exp21)(22iiiXYYpiiiiXYX2大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)22221)ln(2)2ln(2lniii

2、XYNNL 極大似然估計(jì)的目標(biāo)是尋找最可能生成樣本觀測(cè) 的參數(shù) 的值。于是可以通過尋找使上述似然函數(shù)達(dá)到最大的參數(shù) 值來實(shí)現(xiàn)。對(duì)似然函數(shù)求對(duì)得到對(duì)數(shù)似然函數(shù)：當(dāng)對(duì)數(shù)似然函數(shù)達(dá)到最大時(shí)，似然函數(shù)也達(dá)到最大。將對(duì)數(shù)似然函數(shù)分別對(duì)三個(gè)未知參數(shù)求偏導(dǎo)，令它們等于零，并求解：NYY,1nkllll21大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) 通過求偏導(dǎo)得到三個(gè)方程求解得出： 可以看出，得到的結(jié)果與最小二乘法估計(jì)量完全一樣， 和 是最優(yōu)線性無偏估計(jì)量，但是， 卻是有偏估計(jì)量。因此需要調(diào)整分母為N-2NXYXXYYXXXYiiiii22a 2大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)線性模型的ML

3、估計(jì)的一般形式假設(shè)一般模型為: 其中 服從正態(tài)分布且滿足基本線性回歸模型的所有其他假設(shè)條件。對(duì)于Y和相應(yīng)的所有X的N個(gè)觀測(cè)中的每一個(gè)觀測(cè)，給定X和Y的密度函數(shù)為：N個(gè)觀測(cè)的對(duì)數(shù)似然函數(shù)為：（所有求和都是對(duì)觀測(cè)i=1,2,N進(jìn)行）pkXXfY,2, 112112212,21exp21, pkiiiiiXXfYXYfpkiiiiiXXfYNNXYfL,21ln22ln2,1122大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) 同樣的，將上式對(duì)每一個(gè) 求偏導(dǎo)，令它們等于零并求解，可以得到關(guān)于p+1個(gè)未知數(shù)和p+1個(gè)非線性方程的聯(lián)立方程組，如果這些方程是線性，求解每一個(gè)參數(shù)的極大似然估計(jì)就很容易，但是

4、，如果方程不是線性的，求解過程就比較復(fù)雜，需要用到數(shù)值方法。2和大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)線性模型的ML估計(jì)量的導(dǎo)出（向量形式） 對(duì)線性模型： u的多元正態(tài)密度為 則y關(guān)于x的多元條件密度為 這里是由u 中元素關(guān)于y中元素的偏導(dǎo)數(shù)組成的矩陣轉(zhuǎn)換成行列式的絕對(duì)值。這里矩陣為恒等矩陣。因此，對(duì)數(shù)似然函數(shù)為：uXy),0(2INu )(21(22221)(uuneufyuufXyf)()|(大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) 未知參數(shù)向量有 k+1個(gè)元素，即： 取對(duì)數(shù)似然函數(shù)的偏導(dǎo)數(shù)，得： uunnufXyfl2221ln22ln2ln)|(ln XyXynn2221

5、ln22ln22,大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) 令這些偏導(dǎo)數(shù)為零，則可以得到諸MLE為XXyXl21 XyXynl422212nXyXyyXXX21大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)最大似然估計(jì)量的性質(zhì)第二部分大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) 最大似然估計(jì)量的主要性質(zhì)是大樣本性或漸近性。這些性質(zhì)在一般條件下都成立： 一致性（Consistency） 漸近正態(tài)性(Asymptotic normality) 漸近有效性(Asymptotic efficiency) 不變性(Invariance) 得分的均值為零，方差為最大似然估計(jì)量的性質(zhì))(I大似然估計(jì)

6、與W、LR、LM三種檢驗(yàn)(OVER)1.一致性（Consistency）)lim(p大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) N（ ， ） 這表明 的近似分布是正態(tài)的，其均值為，方差為矩陣 的逆。 是信息矩陣(information matrix)，可以用兩種等價(jià)的方法來定義它2.漸近正態(tài)性(Asymptotic normality)a)(1I)(I)(I)()(2lEllEI大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) 實(shí)踐中，計(jì)算第二個(gè)表達(dá)式通常要簡(jiǎn)單得多，當(dāng)是一個(gè)k維向量時(shí)， 表示 k個(gè)偏導(dǎo)數(shù)組成的列向量，即 這個(gè)得分（或斜率）向量中的每一個(gè)元素本身就是的函數(shù)，因此可以求它關(guān)于中

7、每個(gè)元素的偏導(dǎo)數(shù)。l大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)3.漸近有效性(Asymptotic efficiency) 若 是單一參數(shù)的最大似然估計(jì)量，那么前一個(gè)性質(zhì)意味著對(duì)某一個(gè)有限常數(shù) 有： 如果 表示的其它任何的一致、漸近正態(tài)估計(jì)量，那么 是正態(tài)有限分布的，其方差大于或等于 。MLE是所有一致、漸近正態(tài)估計(jì)量中方差最小的一個(gè)。2n2), 0()(2Nnd大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) 漸近方差（asymptotic variance）指的是有限分布的方差。因而 的漸近方差是 。不過這個(gè)術(shù)語也可用來描述未知有限樣本分布的漸近近似分布的方差。因此，與此相當(dāng)?shù)谋硎鰹?漸

8、近方差 是 /n 。當(dāng)是一個(gè)參數(shù)向量， 是MLE時(shí)，對(duì)某一正定矩陣V,有 若 表示其它任何一致，漸近正態(tài)估計(jì)量的方差矩陣，那么 -V是一個(gè)半正定矩陣2n2), 0()(VNndVV大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)4.不變性(Invariance) 如果 是的MLE，g( ) 是的連續(xù)函數(shù)，則g( )是g( )的MLE大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)5.得分的均值為零，方差為 為表明其均值為零，我們注意到，在y的所有可能取值范圍內(nèi)對(duì)聯(lián)合密度積分得到的值為1，即 等式兩邊關(guān)于求導(dǎo)，得)(I1.);,.,(.121Ldydydyyyyfnn0.dyL大似然估計(jì)與W、LR、

9、LM三種檢驗(yàn)(OVER) 但是 =0 因此S的方差為LdylsE.)( dyL.)()()()var(IllEs sEs大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)第三部分W、 LR 、LM三種檢驗(yàn)的基本思想大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)問題的一般性描述問題的一般性描述 對(duì)于多元回歸模型的一般表達(dá)式： 當(dāng)回歸系數(shù)存在線性約束 時(shí)，如何檢驗(yàn)？ ikikiiiuXXXY33221032),(gk大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) 設(shè)模型為： 其中， 。 定理： 的拒絕域?yàn)椋?其中： ， 同時(shí) 也等價(jià)于 。111TkkTTXYTT,NiidI01,:HKKJqR10KJ

10、 kT,JFJsFuTTTuqRRXXRqR112kTRSSsu2kTRSSJRSSRSSUUR0HF大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)三種檢驗(yàn)的基本思想三種檢驗(yàn)的基本思想 在檢驗(yàn)回歸模型中某些參數(shù)是否存在約束時(shí)，通常采用三種等價(jià)的檢驗(yàn)：似然比檢驗(yàn)、沃爾德檢驗(yàn)、拉格朗日乘數(shù)檢驗(yàn)。 下面分別對(duì)這三種檢驗(yàn)的基本思想進(jìn)行討論。大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) 設(shè)有模型： 其中： 是 的向量； （高斯白噪聲向量），是非奇異陣（ 只存在同期相關(guān)）。 設(shè) ， 其中 ，或是 的線性函數(shù)或是非線性函數(shù)，但要求 是可微連續(xù)。 在無約束條件下，對(duì)數(shù)似然函數(shù)記為 ， 有約束條件下，對(duì)數(shù)似然

11、函數(shù)記為 。 tXY1ktttY1n),(iidNt0t 0c:H0 0c:H1 c cRLlnLln大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)沃爾德檢驗(yàn)（沃爾德檢驗(yàn)（Wald Test） 基本思路 設(shè) 成立，且 為連續(xù)。若 為無約束條件下 的ML估計(jì)量，依據(jù)ML估計(jì)量的性質(zhì)，有 （或者 ）且： 。 又依據(jù)不變性，有：cp limp I0,1Nn 0cc 0c:H0大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)因此， 一方面： 故在成立時(shí)有：（其中：成立）； ccMLEn21 T)(,Nn*MLE*cIcc1210 JcncMLETMLE21 0c T*1*cIc大似然估計(jì)與W、LR、LM

12、三種檢驗(yàn)(OVER) 另一方面： 由于 為 的一致性估計(jì)量，當(dāng) 成立時(shí)， 應(yīng)當(dāng)在 附近。這樣，若 的絕對(duì)值過大，則拒絕 。沃爾德是通過 來建立檢驗(yàn)統(tǒng)計(jì)量的。 0c c0 c0H c大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) 對(duì)于回歸模型的參數(shù)約束而言，可以是線性約束也可以是非線性約束。 設(shè) ， 采用ML估計(jì)，有： 0c:H0 0c:H1120XX,NTaML大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) 則： 故當(dāng) 成立時(shí)，有： 0c:H0 MLMLTTMLaMLXX,NMLcccc10000MLMLTMLVarWccc rXXaMLMLMLTTMLTMLML2100cccc大似然估計(jì)與W

13、、LR、LM三種檢驗(yàn)(OVER)定理：Wald檢驗(yàn)統(tǒng)計(jì)量的分布 Wald檢驗(yàn)統(tǒng)計(jì)量為： 其中， 是無約束條件下的參數(shù)估計(jì)向量。 在 和大樣本條件下，W遵從自由度等于約束個(gè)數(shù)的卡方分布。其中，約束個(gè)數(shù)是指約束方程 的個(gè)數(shù)。 qcqcqcVarWT q c:H0 0q- c大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)似然比檢驗(yàn)似然比檢驗(yàn) 基本思想： 設(shè)總體的密度函數(shù)（或分布列為 ， 為未知參數(shù)， ，現(xiàn)考慮如下的檢驗(yàn)問題： ， （1） 其中 與 是非空子集，且 與 不相交，下面為方便起見，討論 與 之并為 的情況。 )( fx; 00 :H11 :H010101大似然估計(jì)與W、LR、LM三種檢驗(yàn)(

14、OVER) 設(shè) 是來自 的樣本，記其似然函數(shù)為 ， 與 分別是 的參數(shù)空間 與 上的極大似然估計(jì)，似然函數(shù)在 與 上的極大值分別記為 與 ，即 和 ，記其比值為： （2）000)(L0)(L )(Lmax)(L00)(Lmax)(L)(L)(L)X,X,X(n021nX,X,X21X)(L 大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) 其中， 是一個(gè)統(tǒng)計(jì)量，由于范圍越大L的最大值不會(huì)減少，故總有 ，這意味著 。由于似然函數(shù)可以看成是給定樣本后， 出現(xiàn)可能性的一種度量。 因而，當(dāng) 為真時(shí)， 應(yīng)取較大的值；當(dāng) 不真時(shí)， 應(yīng)取值較小。故將（2）式作為檢驗(yàn)問題（1）式的檢驗(yàn)統(tǒng)計(jì)量時(shí)，拒絕域應(yīng)?。?其

15、中c應(yīng)滿足如下條件，使 ， 且盡可能接近 。 )(L)(L0100H0H)(L0)(L0cW cP0大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) 設(shè) 的密度函數(shù)為 ， 為 階的未知參數(shù)向量 ， ， 。 分為三種情形討論 1 ， ； 2 ， ； 3 ， ； tY)(fx;1ktttXYT ,t21iidt00:H01:H 00cc:H 01cc:H 0c:H0 0c:H1大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)（1）簡(jiǎn)單假設(shè)情形： ， 則有：當(dāng) 成立時(shí)，有： ， 且 的拒絕域?yàn)椋?。 00:H01:H0H)k()(Lln)(Lln2020H)k()(Lln)(Lln202大似然估計(jì)與W、

16、LR、LM三種檢驗(yàn)(OVER) ， 其中： 是 的向量， 與 是一一對(duì)應(yīng)， 連續(xù)。 由于 為 的極大似然估計(jì)， 則： ，可得： 因此， 。 （2）復(fù)合假設(shè)情形： 00cc:H 01cc:H c1r ccd)(d I10,N(Td） )(cTT*cc *T*dcc,NI10)rk()(Lln)(Llna202大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)（3）一般情形 ， 則有檢驗(yàn)統(tǒng)計(jì)量 0c:H0 0c:H1)r()(Lln)(LlnaR22大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)拉格郎日乘數(shù)檢驗(yàn)拉格郎日乘數(shù)檢驗(yàn) LM檢驗(yàn)法是從有限制條件模型限定的原假設(shè)出發(fā),檢驗(yàn)向備擇假設(shè)方向的變化能否

17、顯著地提高有限制條件模型的解釋能力。它以有條件極大化技術(shù)為基礎(chǔ)，其中拉格郎日乘數(shù)是用來估計(jì)限制條件對(duì)參數(shù)極大似然估計(jì)的影響程度。 目標(biāo)：在限制條件 等價(jià)于求 極大。的極大下求)(lnLR)()(lnRL大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) 基本思想 由于在非限制條件下， 滿足 即 在 處為0。若 成立，則 也在0附近?？紤]到 和 均為的一致性估計(jì)、有約束條件下的對(duì)數(shù)似然函數(shù)為 0Lln Lln 0c:H0RRLlnR cLlnLlnR 0cLlnLlnRR cLln因而，有 0000:H:Hc大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) 若 成立，則 ；則可依據(jù) 構(gòu)造檢驗(yàn)統(tǒng)計(jì)量，得

18、到給定 顯著水平條件下 的拒絕域。 定理： 故有拉格朗日乘數(shù)檢驗(yàn)： 0c:H00LlnRLlnR0H rLlnLlnLMaRRRTRR21I大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) 注意：RTRRRRRLlnELlnVarI2 rLlnLlnVarLlnLMaRRRRTRR21 rLlnLlnELlnLMaRRTRRRTRR212大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) 簡(jiǎn)單形式：LM=N （r）， 其中r為限制條件個(gè)數(shù)，N為樣本容量，20R2220RR 是回歸方程的大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)第四部分Wald檢驗(yàn)、似然比檢驗(yàn)和拉格朗日乘數(shù)檢驗(yàn)的比較大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER) Wald檢驗(yàn)最廣義的形式與似然比檢驗(yàn)和拉格朗日乘數(shù)檢驗(yàn)都有很密切的關(guān)系，以為它也是以有條件參數(shù)估計(jì)與無條件參數(shù)估計(jì)之差為基礎(chǔ)的。對(duì)于線性回歸模型的特殊情形，Wald檢驗(yàn)簡(jiǎn)化為F檢驗(yàn)： 其中 是無條件模型的 ， 是有條件模型的 。在下面的更加特殊的情形，無條件模型是一元線性回歸模型且q=1，Wald檢驗(yàn)統(tǒng)計(jì)量更進(jìn)一步)/()1 (/ )(222,KNRqRRFURRURKNq2URR2R2RR2R大似然估計(jì)與W、LR、LM三種檢驗(yàn)(OVER)簡(jiǎn)化為W=在同