4-一致最小方差無偏估計

1、0)(lim nnP定義定義 設(shè)設(shè) 是總體參數(shù)是總體參數(shù) )(21nnnX,X,X 則稱則稱n是總體參數(shù)是總體參數(shù) 的一致的一致(或相合或相合)估計量估計量.的估計量的估計量. 若對于任意的若對于任意的 , 當當n 時時, n依概率收斂于依概率收斂于 , 即即,0相合估計量僅在樣本容量 n 足夠大時,才顯示其優(yōu)越性.4、相合性、相合性-估計的大樣本性質(zhì)估計的大樣本性質(zhì)最最基基本本要要求求。被被認認為為是是對對估估計計的的一一個個不不可可取取的的。所所以以相相合合性性的的估估計計量量是是估估計計的的足足夠夠精精確確，這這樣樣也也無無法法把把論論我我們們收收集集多多少少資資料料，有有的的性性質(zhì)質(zhì)。

2、若若不不然然，不不是是好好的的估估計計量量應(yīng)應(yīng)具具的的偏偏差差應(yīng)應(yīng)愈愈來來愈愈小小，這這與與的的增增加加，估估計計量量著著注注：大大量量實實踐踐證證明明，隨隨 n關(guān)于相合性的兩個常用結(jié)論關(guān)于相合性的兩個常用結(jié)論 1. 樣本樣本 k 階原點矩是總體階原點矩是總體 k 階原點矩的相合估計階原點矩的相合估計. 是是 的相合估計的相合估計.n 由大數(shù)定律證明由大數(shù)定律證明用切比雪夫不用切比雪夫不 等式證明等式證明2. 設(shè)設(shè) 是是 的無偏估計的無偏估計 量量, 且且 , 則則0)Var( nnlim n 若若的的一一個個估估計計量量，是是設(shè)設(shè)定定理理 )(21nnnx,xx ,Ennnn0)Var(li

3、m)(lim .n的的相相合合估估計計是是則則 證證明明：由由切切比比雪雪夫夫不不等等式式有有對對任任意意的的,0 ).Var(4)2(2nnn/|E|P 另另一一方方面面，由由Enn )(lim可可知知，充充分分大大時時有有當當n. 2/|En 就就有有注注意意到到此此時時如如果果,/|E|nn2 , |E|E|nnnn 故故 ,|/|E|nnn 2 ,|/|E|nnn 2由由此此即即有有2)E()(/|P|Pnnn ).(n0)Var(42 n 例例4 4 0001)(x,xe;xfXx 0為常數(shù)為常數(shù)則則 是是 的無偏、相合估計的無偏、相合估計.X證證 )Var( Xlimn所以所以 是

4、是 的相合估計的相合估計, 證畢證畢.X02 nlimn XE的的樣樣本本，來來自自總總體體為為設(shè)設(shè)例例)(0,51 UXXn是是相相合合估估計計。并并證證明明的的求求MLE,MLE 的的相相合合估估計計，分分別別是是，若若定定理理knkn 11的的連連續(xù)續(xù)函函數(shù)數(shù)，則則，是是，kkg 11)( .gnkn的的相相合合估估計計是是， )(1 .)()()(是是連連續(xù)續(xù)函函數(shù)數(shù)的的相相合合估估計計，其其中中是是的的相相合合估估計計，則則是是若若定定理理xfffnn 推推廣廣矩法得到的估計量一般為相合估計量矩法得到的估計量一般為相合估計量相相合合估估計計樣樣本本均均值值是是總總體體均均值值的的注注

5、：相相合合估估計計樣樣本本方方差差是是總總體體方方差差的的差差的的相相合合估估計計樣樣本本標標準準差差是是總總體體標標準準所以,X比21nX,X,Xminn更有效.00, 01);(xxexfx0為常數(shù)為常數(shù)引例引例 設(shè)總體設(shè)總體 X 的密度函數(shù)為的密度函數(shù)為且且 ，221)Var( nX,X,XminnnX2)Var( 6.3 最小方差無偏估計最小方差無偏估計的無偏估計，的無偏估計，都是都是與與 21nX,X,XminnX.無無偏偏估估計計量量的的比比較較問問題題在在上上例例中中有有效效性性解解決決了了最最好好的的無無偏偏估估計計量量？方方差差越越小小越越好好，有有沒沒有有既既然然一一個個無

6、無偏偏估估計計量量的的問問題題1、Rao-Blackwell 定理定理.)(幾幾乎乎處處處處相相等等和和要要條條件件是是其其中中等等號號成成立立的的充充分分必必YX 定理定理1 1定定義義是是兩兩個個隨隨機機變變量量，和和設(shè)設(shè)0.)Var( X,EXYX ) blackwell-(Rao定定理理),|()(yYXEy 則則有有),Var()(Var(,)(XYYE )|()(yYXEy dxyxxh)|( dxypyxpxY)(),(證證明明：.r.vYX都都是是連連續(xù)續(xù)和和設(shè)設(shè))(y|xhXyY的的條條件件密密度度下下給給定定 ),(yxpYX的聯(lián)合密度為的聯(lián)合密度為和和設(shè)設(shè)定理定理2 2的

7、的充充分分統(tǒng)統(tǒng)計計量量，是是是是其其樣樣本本，設(shè)設(shè)總總體體概概率率密密度度函函數(shù)數(shù)是是 )(),;(2121nnX,X,XTTX,X,Xxp 令令的的任任一一無無偏偏估估計計則則對對,X,X,Xn)(21 的的無無偏偏估估計計，且且也也是是則則 TE),|( )Var()Var( .了了無無偏偏估估計計的的方方差差的的無無偏偏估估計計，從從而而降降低低新新條條件件期期望望可可以以得得到到一一個個則則將將其其對對充充分分統(tǒng)統(tǒng)計計量量求求數(shù)數(shù)，計計不不是是充充分分統(tǒng)統(tǒng)計計量量的的函函注注：定定理理說說明明若若無無偏偏估估.則稱為充分性原則則稱為充分性原則常將該原常將該原化統(tǒng)計推斷的程序，通化統(tǒng)計推

8、斷的程序，通統(tǒng)計量進行，這可以簡統(tǒng)計量進行，這可以簡充分充分任何統(tǒng)計推斷可以基于任何統(tǒng)計推斷可以基于在充分統(tǒng)計量存在時，在充分統(tǒng)計量存在時，統(tǒng)計的一個基本原則：統(tǒng)計的一個基本原則：.p.pXpbX,X,Xn的無偏估計的無偏估計求求的充分統(tǒng)計量的充分統(tǒng)計量是是的樣本，則的樣本，則是來自是來自設(shè)設(shè)例例221)(1,1 構(gòu)造估計構(gòu)造估計 .0,1;1,1,211其他其他XX ppXXPE 1)1,()(211 )|(1tTE )|1(1tTP niiXT1)()1,1,(21tTPtTXXP )(2)1,1,(321tTPtXXXPnii 解解)(2)1,1,(321tTPtXXXPnii tntt

9、ntpptnpptnpp )-(1)-(1222 tntn221)(1)( nntt1)(1)(11 nnXXniinii 新新的的估估計計)Var()Var(,)(1 E 且且2、最小方差無偏估計最小方差無偏估計，在在參參數(shù)數(shù)的的無無偏偏估估計計個個計計，如如果果對對另另外外任任意意一一的的一一個個無無偏偏估估是是對對于于參參數(shù)數(shù)估估計計問問題題，設(shè)設(shè) 定義定義1 1上上都都有有空空間間 )(Var)(Var .,UMVUE簡簡記記為為計計的的一一致致最最小小方方差差無無偏偏估估是是則則稱稱 1)(2)UMVUE(1)2121 UUPU,U.無無偏偏估估計計，則則同同為為最最小小方方差差若若

10、存存在在必必唯唯一一，即即若若的的函函數(shù)數(shù)統(tǒng)統(tǒng)計計量量存存在在，則則它它一一定定是是充充分分若若注注：EstimatorUnbiasedVarianceMinimunUniform定理定理3 3.)Var()(,),(21 的的一一個個無無偏偏估估計計，是是樣樣本本是是來來自自某某總總體體的的一一個個設(shè)設(shè)XXXXXn，都都有有的的對對任任意意一一個個滿滿足足)(0)(XXE ,0,),(Cov 的的充充要要條條件件是是的的是是則則UMVUE 的的一一個個準準則則判判斷斷UMVUE00, 01);(xxexfx0為常數(shù)為常數(shù)例例 設(shè)總體設(shè)總體 X 的密度函數(shù)為的密度函數(shù)為UMVUE.的的是是證證

11、明明 X充充分分性性原原則則.數(shù)數(shù)一一定定是是充充分分統(tǒng)統(tǒng)計計量量的的函函不不一一定定存存在在，若若存存在在則則、任任一一參參數(shù)數(shù)的的UMVUE1.的的函函數(shù)數(shù)中中尋尋找找只只需需要要在在充充分分統(tǒng)統(tǒng)計計量量、考考慮慮參參數(shù)數(shù)的的估估計計時時，23、Cramer-Rao 不等式不等式定義定義2 2下下列列條條件件：滿滿足足設(shè)設(shè)總總體體概概率率密密度度函函數(shù)數(shù)是是 ),;(xp；是是直直線線上上的的一一個個開開區(qū)區(qū)間間參參數(shù)數(shù)空空間間 (1)無無關(guān)關(guān)；與與支支撐撐集集 0);(:(2) xpxS都都存存在在；對對一一切切導導數(shù)數(shù) );(3)xp換換次次序序，即即，積積分分與與微微分分運運算算可可

12、交交對對);(4) xp dxxpdxxp);();( 存存在在，則則稱稱期期望望2);(ln(5) XpE 2);(ln)I( XpE .(Fisher)信信息息量量為為總總體體分分布布的的費費希希爾爾.(5)-(1)RC稱稱為為正正則則條條件件正正則則分分布布族族，稱稱該該分分布布族族為為 亦亦存存在在，且且進進一一步步有有若若22);(5) xp 22);(ln)( XpEI證證明明 22);(lnXpExxpxpxpd );();();(1 xxpxpd );();(ln22 dxxpdxxp);();(22 則則xxpxpxpxpxpxpd );();();(1);();();(12

13、22 xxpxpxpxpxpxpd );();();(1);();();(1222 xxpxxpxpxpd);(d );();();(1222 xxpxxpxpd);(d );();(ln222 )();(2 IXplnE 22);(ln)( XpEI.P信信息息量量計計算算設(shè)設(shè)總總體體為為泊泊松松分分布布例例Fisher),( 解解的的分分布布列列為為)( P,x,xxpx10e!);( ，且且可可以以看看出出正正則則條條件件滿滿足足,xxxp) !(lnln);(ln .xx;p1)(ln 于于是是.XEI 1)(2 .Exp信信息息量量計計算算設(shè)設(shè)總總體體為為指指數(shù)數(shù)分分布布例例Fish

14、er),1( 總總體體的的密密度度函函數(shù)數(shù)為為解解.,x,xxp00exp1);( 且且可可以以驗驗證證正正則則條條件件滿滿足足 ,xxxp221);(ln 于于是是.XXEI24221)Var()( 定理定理4 4) Rao-(Cramer不不等等式式是是來來自自該該總總體體，設(shè)設(shè)正正則則條條件件滿滿足足，nX,XX21的的任任一一個個無無偏偏是是的的樣樣本本，)(),(21 gX,XXTTn ，對對存存在在，且且對對估估計計， )()(ggnniindxdx;xpx,xxTg1121)(),()( 行行，即即的的微微分分可可在在積積分分號號下下進進nniindxdx;xpx,xxTg112

15、1)(),()( .求和等式成立求和等式成立對離散總體，積分改為對離散總體，積分改為nniiniindxdx;xp;xplnx,xxT11121)()(),( )I()(g)Var(2 n/T 則則有有不不等等式式，上上式式稱稱為為Rao-Cramer.n/下下界界下下界界，簡簡稱稱無無偏偏估估計計的的方方差差的的稱稱為為RCRC)I()(g2 -1)()Var( nI ，有有的的無無偏偏估估計計特特別別對對.)g(),T(TR-C1的的有有效效估估計計是是稱稱不不等等式式中中等等號號成成立立，則則若若 nXX 則則樣樣本本的的分分布布相相應(yīng)應(yīng)的的為為取取自自總總體體分分布布若若樣樣本本注注：

16、),;(),(1)1 xpXXXn n1i1);();,( inxpxxp niinxpxxp11);(ln);,(ln 且且)();(ln);,(lnE)(211 nIxpExxpIniinX 則則.,n比比例例的的增增加加樣樣本本包包含含的的信信息息量量也也成成的的增增加加所所以以隨隨著著樣樣本本量量.,方方差差的的下下界界越越小小估估計計多多樣樣本本包包含含參參數(shù)數(shù)的的信信息息越越不不等等式式表表明明R-(2)C.FisherXXTXXTnn信信息息量量相相同同的的包包含含參參數(shù)數(shù)，與與樣樣本本的的充充分分統(tǒng)統(tǒng)計計量量，則則是是，若若統(tǒng)統(tǒng)計計量量 11)(3)UMVUE.10)(1);(

17、-1得得求求設(shè)設(shè)總總體體分分布布列列為為例例 ,x,xpxx UMVUE.),1(得得求求設(shè)設(shè)總總體體分分布布為為例例 Exp回回顧顧)I()(g)Var(2 n/TRC 不不等等式式下下界界，可可看看下下例例：計計不不一一定定能能達達到到估估；但但一一致致最最小小方方差差無無偏偏一一致致最最小小方方差差無無偏偏估估計計下下界界，則則一一定定是是等等于于注注：若若無無偏偏估估計計的的方方差差RCRC .,N下下界界的的信信息息量量及及計計算算滿滿足足正正則則條條件件，設(shè)設(shè)總總體體為為例例R-CFisher),(02 解解由由于于,xxp/- 2221222exp)(2);( 注注意意到到,X(

18、1)222 故故22222);(ln)( XpEI224221-2 XE)/Var(41224X ,421 令令,g22)( 下下界界為為的的則則RC ,n/n/nI2)2()2(1)()(g242222 的的無無偏偏估估計計為為.Xnnn/ nii 1211)/2)()2(2n.下下界界都都大大于于其其的的無無偏偏估估計計的的方方差差下下界界，這這表表明明所所有有，且且其其方方差差大大于于的的可可以以證證明明，這這是是R-CRCUMVUE 定理定理5 5區(qū)區(qū)間間，假假定定為為非非退退化化有有密密度度函函數(shù)數(shù)設(shè)設(shè)總總體體 ,),;( xpX;ln,ln,ln,(1)3322都都存存在在對對所所有有偏偏導導數(shù)數(shù)對對任任意意的的 pppx有有,(2) ),(1xFp ),(222xFp ),(ln333xFp 滿滿足足其其中中函函數(shù)數(shù))(),(),(321xF