最小方差無偏估計(jì)UMVUE

1、 第六章 第三節(jié)最小方差無偏估計(jì)最小方差無偏估計(jì) 一、Rao-Blackwell定理 二、最小方差無偏估計(jì) 三、 Cramer-Rao不等式優(yōu)良的無偏估計(jì)都是充分統(tǒng)計(jì)量的函數(shù)優(yōu)良的無偏估計(jì)都是充分統(tǒng)計(jì)量的函數(shù). .將之應(yīng)用在參數(shù)估計(jì)中可得將之應(yīng)用在參數(shù)估計(jì)中可得:( ),( ( )()EYVarYVar X其中等號(hào)成立的充要條件為其中等號(hào)成立的充要條件為X與與 (Y)幾乎處處相等幾乎處處相等.定理定理1:設(shè)設(shè)X和和Y是兩個(gè)是兩個(gè)r.v.,EX=,VarX0,令令( )(|)yE X Yy則有則有1(,)nTT xx1(,),|),nxxET令(則是樣本是樣本, 是是的充分統(tǒng)計(jì)量的充分統(tǒng)計(jì)量,1

2、,nxx定理定理2: 設(shè)總體的概率函數(shù)為設(shè)總體的概率函數(shù)為p(x;), VarVar也是 的無偏估計(jì),且對(duì)對(duì)的任一無偏估計(jì)的任一無偏估計(jì) 一、Rao-Blackwell 定理注注:定理定理2表明表明: 若無偏估計(jì)不是充分統(tǒng)計(jì)量的函數(shù)若無偏估計(jì)不是充分統(tǒng)計(jì)量的函數(shù),則將之對(duì)充分則將之對(duì)充分統(tǒng)計(jì)量求條件期望可得一個(gè)新的無偏估計(jì)統(tǒng)計(jì)量求條件期望可得一個(gè)新的無偏估計(jì),且它為充分統(tǒng)計(jì)量的函數(shù)且它為充分統(tǒng)計(jì)量的函數(shù)且方差會(huì)減小且方差會(huì)減小. 即即, 考慮點(diǎn)估計(jì)只需在充分統(tǒng)計(jì)量的函考慮點(diǎn)估計(jì)只需在充分統(tǒng)計(jì)量的函數(shù)中進(jìn)行數(shù)中進(jìn)行, 這就是這就是 充分性原則充分性原則.11(|),niitETttx( )=其中

3、令令=p2 , 則則1211,11 ,0,xxelse為為的無偏估計(jì)的無偏估計(jì).因?yàn)橐驗(yàn)?是充分統(tǒng)計(jì)量是充分統(tǒng)計(jì)量 ,由定理由定理2, 從而可令從而可令1niiTx可得可得(1)( )(1)t ttn n=故故 為為的無偏估計(jì)的無偏估計(jì).且且1( )()VarVar例例1.1.設(shè)設(shè)1(,)nxx為來自為來自b(1,p) 的樣本的樣本, 求求p2的的U.E()xTnx或?yàn)闉閜 的充分統(tǒng)計(jì)量的充分統(tǒng)計(jì)量解：解：前已求過前已求過:進(jìn)一步改進(jìn)：進(jìn)一步改進(jìn)：1(|)( ),ETT=(1)(1)T Tn n=二、最小方差無偏估計(jì)定義定義:,( )( ),.VarVarUMVUE設(shè) 是 的一個(gè)無偏估計(jì)量 若

4、對(duì)于 的任一方差存在的無偏估計(jì)量 都有則稱 是的一致最小方差無偏估計(jì) 記為注：注： 一致最小方差無偏估計(jì)是一種最優(yōu)估計(jì)一致最小方差無偏估計(jì)是一種最優(yōu)估計(jì).由定理由定理2, 只要它存在只要它存在.它一定是充分統(tǒng)計(jì)量的函數(shù)它一定是充分統(tǒng)計(jì)量的函數(shù).一般地一般地,若依賴若依賴于充分統(tǒng)計(jì)量的無偏估計(jì)只有一個(gè)于充分統(tǒng)計(jì)量的無偏估計(jì)只有一個(gè),它一定是它一定是UMVUE.Problem： 無偏估計(jì)的方差是否可以任意小無偏估計(jì)的方差是否可以任意小? ? 如果不能任意小如果不能任意小, ,那么它的下界是什么那么它的下界是什么? ?( , )0,Cov 1(,)nxx是總體是總體X的樣本的樣本,1,nxx定理定理

5、3: (UMVUE準(zhǔn)則準(zhǔn)則) 設(shè)設(shè)如果對(duì)任一個(gè)滿足如果對(duì)任一個(gè)滿足 Var是是的任一無偏估計(jì)的任一無偏估計(jì),11(,)0(,),nnExxxx的都有.UMVUE則 是 的例例2:2: 設(shè)設(shè)1,nxx為來自為來自Exp(1/) 的樣本的樣本,則則1niiTx為為 的充分統(tǒng)計(jì)量的充分統(tǒng)計(jì)量,證明證明:為為的的UMVUE.Txn反之亦成立.2ln( ; )(4)()xpE存在1 1、 Fisher信息量的信息量的定義定義. .(2) |( ; )0;Sx p x支撐與 無關(guān)( ;)(3)( ;)( ;)p xp xp xdxdx存 在 且 對(duì)中 一 切有三、羅三、羅- -克拉美（克拉美（Cramer

6、Rao ）不等式）不等式(1)(1) 是實(shí)數(shù)軸上的一個(gè)開區(qū)間是實(shí)數(shù)軸上的一個(gè)開區(qū)間; ; 設(shè)設(shè)總體總體X 的概率函數(shù)為的概率函數(shù)為p(x; ), , ,且滿足條件且滿足條件: :2ln( ; )( )()defp xIE Fi則稱sh 為總體er分布的信息量.正則條件 (1) (1)I()越大越大,總體分布中包含未知參數(shù)的信息越多?？傮w分布中包含未知參數(shù)的信息越多。( ; ),0,1,2.!xp xexx 例例3:3:設(shè)設(shè)總體為總體為Poisson分布，即分布，即1( ).I則 注：注：1( ; )exp,0,0.xp xx 例例4:4: 設(shè)設(shè)總體為指數(shù)分布總體為指數(shù)分布Exp(1/)，即，即

7、21( ).I則 (2) I( )的另一表達(dá)式為的另一表達(dá)式為2222ln ( ; )( ; )( )(),(p xp xIE存在,滿足正則條件)注：注：常見分布的信息量常見分布的信息量 I( )公式公式 兩點(diǎn)分布兩點(diǎn)分布X b(1,p)b(1,p)1()(1),0,1xxP Xxppx1()(1)I ppp泊松分布泊松分布( ),0.XP ( ),XExp 指數(shù)分布指數(shù)分布( ,1),XN正態(tài)分布正態(tài)分布2( ,),XN 1( )I2( )I( )1I2(0,),XN241()2I22410102(,)I 設(shè)設(shè)總體總體X 的概率函數(shù)為的概率函數(shù)為p(x ; ), , , 滿足上面定義滿足上面

8、定義中的條件；中的條件；x1,.,xn 是來自總體是來自總體X的一個(gè)樣本的一個(gè)樣本, , T(x1,.,xn )是是g( )的一個(gè)無偏估計(jì)的一個(gè)無偏估計(jì). .且對(duì)中一切有( )( )gg存在,2、定理、定理4 (Cramer-Rao不等式不等式):1211( )(,)(; )nninigT x xxp xdxdx的微分可在積分號(hào)下進(jìn)行，即的微分可在積分號(hào)下進(jìn)行，即121111211(;)ln(;)( )(,)(,)(;)nnniinniiniingT xxxdxdxpT xxxdxdxp xxp x則有則有 特別地對(duì)特別地對(duì)的無偏估計(jì)有的無偏估計(jì)有2( )( )( )gVar TnI1( )(

9、 )Var TnI上述不等式的右端稱為上述不等式的右端稱為C-R下界下界, I( ) 為為Fisher信息量信息量.注注:(1) 定理對(duì)離散型總體也適用定理對(duì)離散型總體也適用.只需改積分號(hào)為求和號(hào)。只需改積分號(hào)為求和號(hào)。 (2) 在定理在定理4條件下條件下, 若若g( ) 的無偏估計(jì)量的無偏估計(jì)量T 的方差的方差VarT達(dá)到下界達(dá)到下界, 則則T必為必為g( ) 的最小方差無偏估計(jì)的最小方差無偏估計(jì). 但但是它不一定存在是它不一定存在, 也就是說也就是說, C-R不等式有時(shí)給出不等式有時(shí)給出的下界過小的下界過小.(3) 當(dāng)?shù)忍?hào)成立時(shí)當(dāng)?shù)忍?hào)成立時(shí), T 為達(dá)到方差下界的無偏估計(jì)為達(dá)到方差下界的無

10、偏估計(jì), 此時(shí)稱此時(shí)稱T 為為g()的的有效估計(jì)有效估計(jì)。 有效估計(jì)一定是有效估計(jì)一定是UMVUE.（反之不真）（反之不真）3. 有效估計(jì)有效估計(jì)定義定義:,設(shè)是的 任 一 無 偏 估 計(jì) 量 稱1( )( ).( )defnIeVar為 估 計(jì) 量效 率的0( )1e:顯然 的任一無偏估計(jì)量 的效率滿足注定義定義:( )1,.e如果 的無偏估計(jì)量 的效率則為 的有效估計(jì)稱lim ( )1.ne如果則稱 為 的漸近有效估計(jì)注注:,.,.如果 是 的有效估計(jì) 則它也是一致最小方差無偏估計(jì)反之 卻不一定成立(1),( )( );TE Tg驗(yàn)證 是g(的無偏估計(jì) 即(2);VarT計(jì)算2(3)( )

11、;( ):( ; )ln( ; );ln( ; ):;ln( ; ):( )( );IIIXp xp xp xIIp xIIIIEI計(jì)算而計(jì)算又可分為下面幾個(gè)步驟對(duì)總體 的密度函數(shù)或分布列函數(shù)求對(duì)數(shù)求利用或其等價(jià)公式計(jì)算2( )(4):;( )gnI求方差下界綜上綜上, 求證求證T是是g( )的有效估計(jì)的步驟為的有效估計(jì)的步驟為:2( )( )gVarTnI比較與例例5.5. 設(shè)總體設(shè)總體 XExp(1/),密度函數(shù)為密度函數(shù)為10,( ; )00 xexp xx),(21nxxx為為 X 的一個(gè)樣本值的一個(gè)樣本值.求求 的的最大似然估計(jì)量最大似然估計(jì)量, 并判斷它是否為達(dá)到方并判斷它是否為達(dá)

12、到方差下界的無偏估計(jì)差下界的無偏估計(jì),即有效估計(jì)即有效估計(jì).0為參數(shù)為參數(shù)解解: 由似然函數(shù)由似然函數(shù)niixneL11)(niixnL1ln)(ln21)(lnddniixnL0令11niix xn經(jīng)檢驗(yàn)知經(jīng)檢驗(yàn)知 的最大似然估計(jì)為的最大似然估計(jì)為11niixxn所以它是所以它是 的無偏估計(jì)量的無偏估計(jì)量,且且2( )Varn而而ln( , )ln,xp x 故故 是達(dá)到方差下界的無偏估計(jì)是達(dá)到方差下界的無偏估計(jì).x2221ln( , )dxp xd 2221( )ln(, )XIEp XE2121( )nIn( )Var xE12 (, ),1:.nXb N p x xxXpxpN設(shè)總體為

13、總體 的一個(gè)樣本試證是例的有效估計(jì)6(1)( ; )defxxNxNXP XxC ppP x p總體 的分證布:為明ln( ; )lnln()ln(1)xNP x pCxpNxp22ln(; ),( )1dP X pXNXI pEEdppp所以222221()(1)(1)Var XE XNppppp22(1)(1)(1)NppNpppp11( )()()E pEXE XNN又1()NpE XpNN211( )()( )Var pVarxVar xNN21()(1)Var XppnNnN所以1( )( )Var pnI p1 ppxN即是 的有效估計(jì).C-R下界為下界為1(1)( )ppnI p

14、nN12( ,)( )(0),:nx xxPx 是例7的一個(gè)樣本證明是 的有效估計(jì),.( ):)xExEXxU EVar XVar xnn因?yàn)樽C明是樣本均值 故是 的:( ; )!xXP Xxep xx總體 的分布律為ln( ; )lnln !p xxx2222ln(; )()1( )1dp XXE XIEEd1,( )nIn故1, ( ),( )Var xnI可見.,x所以 是 的有效估計(jì)例例8. 設(shè)設(shè)x1 ,.xn 為取自總體為正態(tài)分布為取自總體為正態(tài)分布N(,2)的樣本的樣本, 驗(yàn)證驗(yàn)證 因此因此, 是是的有效估計(jì)的有效估計(jì).x解：解：已證過已證過 為為U.E, 下求下求的的C-R下界下

15、界,由于由于2221,2,22xlnp xln 22221( ,)2xp xe 2224211XX 21nn 2VarXVarVar xnnx而而 的的C-R下界為下界為是是 的有效估計(jì)的有效估計(jì)因此因此2,dlnp xxdx2212222( ,)2xp xe22221()( ,)(2)22xlnp xln 22224( ,)1()22lnp xx 2224622( ,)()1()2lnp xx 22464641()11()222XVarX 4212()nn因此因此:解解: 由于由于 所以所以2的的C-R下界為下界為: 例例9.(接前例接前例)設(shè)設(shè)x1 ,.xn 取自正態(tài)分布總體取自正態(tài)分布總

16、體N(,2) ,若若未知，討論未知，討論2的無偏估計(jì)的無偏估計(jì)是否為有效估計(jì)是否為有效估計(jì). 222111niiSxxn2211()1niiSxxn由于由于 2221(1)nSn 其期望為其期望為n-1 , 方差為方差為2(n-1）所以所以 22S即即不是不是 2的有效估計(jì)，但為的有效估計(jì)，但為 2 2的的漸近有效估計(jì)漸近有效估計(jì). .4212nn224222111Var Snnn,而而2的的C-R下界為下界為 注注1: 由由P308第四題知第四題知 其方差大于其方差大于C-R下界下界, 即有時(shí)即有時(shí)C-R下界過小下界過小.22S是是 2的的UMVUE.UMVUE.2:若若已知已知,2422121()12( ),.niniiixnVarxnn 211niixn 此時(shí)此時(shí) 為為2 2的有效估計(jì)的有效估計(jì). .注注3對(duì)于對(duì)于 的的C-R下界為下界為: 22()g222242()1/(2 )/22gnnn 當(dāng)已知當(dāng)已知=0時(shí)時(shí),易證易證的無偏估計(jì)為的無偏估計(jì)為21( /2)12(1)/2)niinnxnn可證可證, 這是這是的的UMVUE,其方差大于其方差大于C-R下界下界.因此所有因此所有的無偏估計(jì)的方差都大于其的無偏估計(jì)的方差都大于其C-R下界下界,即即C-R下界過小下界過小.(P307