應用數(shù)理統(tǒng)計2.2 估計量的評判準則

1、1 22 估計量的評價準則估計量的評價準則 由例由例2.3和例和例2.10的結果看出，對均勻分布的結果看出，對均勻分布 總體參數(shù)的估計不一樣，哪個好？總體參數(shù)的估計不一樣，哪個好？ 例例2.12 若總體若總體X ( ), 則未知參數(shù)則未知參數(shù) 的矩估計量為的矩估計量為 , X n i i XX n 1 2 )( 1 或或 即使用同一方法得出的估計量也不同。即使用同一方法得出的估計量也不同。 i ni i ni XbXa 11 max ,min n i n i XX n Xb XX n Xa 1 2 1 2 )( 3 ,)( 3 2 2.2.1無偏性無偏性 定義定義2.1： 如果如果 ，則稱估計

2、量為無偏估計量；，則稱估計量為無偏估計量； 如果如果 記作記作 ，則稱估計量為漸進無，則稱估計量為漸進無 偏估計量。其中偏估計量。其中 稱作偏差。稱作偏差。 ) (E 0|),.,( (|lim 21 n n XXXE 0)(lim b n )(b X 2 S n i i XX n S n n S 1 222 * )( 1 1 1 可以驗證可以驗證 是總體均值的無偏估計是總體均值的無偏估計例例2.13； 但但 不是總體方差的無偏估計，是漸進無偏不是總體方差的無偏估計，是漸進無偏 的。的。 而而 是無偏的是無偏的例例2.14。 3 評述： 無偏的概率意義，即反復使用，整體平均下，估無偏的概率意義

3、，即反復使用，整體平均下，估 計準確。計準確。 其局限性，若僅有一次或導彈命中精度或系統(tǒng)誤其局限性，若僅有一次或導彈命中精度或系統(tǒng)誤 差等情形，就不能說明問題了。差等情形，就不能說明問題了。 設總體設總體X的數(shù)學期望的數(shù)學期望 與方差與方差 2存在存在, , X1, X2,.,Xn為總體為總體X 的樣本的樣本, , 證明：證明： n i ii Xc 1 2 nicc i n i i , 2 , 1, 0, 1 1 也是也是 的無偏估計量的無偏估計量; ; , ,其中其中 4 2.2.2 最小方差性和有效性最小方差性和有效性 定義定義2.2 如果如果 是是 的無偏估的無偏估 計量，且對于其任意無

4、偏估計量計量，且對于其任意無偏估計量 ，均有，均有， 對一切對一切 （參數(shù)空間），則稱（參數(shù)空間），則稱T為最小方差為最小方差 的無偏估計量（或最優(yōu)無偏估計量）。的無偏估計量（或最優(yōu)無偏估計量）。 ),.,( 21n XXXTT )(g T )()(TDTD 用用 估計估計時，僅具有無偏性是不夠的我們時，僅具有無偏性是不夠的我們 希望希望 的取值能集中于的取值能集中于附近附近, ,而且密集的程度而且密集的程度 越高越好方差是描述隨機變量取值的集中程越高越好方差是描述隨機變量取值的集中程 度的，度的，所以所以無偏估計無偏估計以方差小者為好以方差小者為好, 這就引進了有這就引進了有 效性這一效性這

5、一標準標準. . 5 設總體設總體X的數(shù)學期望的數(shù)學期望 , ,方差方差 2 2存在，存在，X1 1, ,X2 2是是X的樣本，的樣本， 證明估計證明估計 時時, , 211 2 1 2 1 XX 212 4 3 4 1 XX )()( 21 DD 由定義知由定義知 較較 有效有效 1 2 又因為又因為 2 21211 2 1 )( 4 1 )( 4 1 ) 2 1 2 1 ()()(XDXDXXDXDD 2 21212 8 5 )( 16 9 )( 16 1 ) 4 3 4 1 ()(XDXDXXDD 所以所以 均為均為 的無偏估計，的無偏估計， 21 ,因為因為 較較有效有效. . 6 在

6、實際應用中，找出最小方差的估計量不容易，在實際應用中，找出最小方差的估計量不容易， 若在一類分布和估計中找出所有無偏估計中方差若在一類分布和估計中找出所有無偏估計中方差 的一個下界，則當某一估計量達到或接近即認為的一個下界，則當某一估計量達到或接近即認為 可行了。可行了。 下方差下界存在？下方差下界存在？ 什么條件什么條件即有無下界即有無下界那么能夠小到什么程度那么能夠小到什么程度 量的方差越小越好，量的方差越小越好，我們自然希望無偏估計我們自然希望無偏估計 ? 勞不等式克拉美 一個方差下界的下面我們就來討論建立 ,: ),;(, 21 為為已已知知常常數(shù)數(shù)其其中中的的母母體體的的一一個個子子

7、樣樣 為為取取自自具具有有概概率率函函數(shù)數(shù)設設 baba xfXXX n 的一的一是是又又且可設且可設)(),(., 21 gXXXTTba n 且滿足正則條件個無偏估計, ;0);(:)1(無關無關與與集合集合 xfx dx xf dxxf xf g );( );( , );( )()2(且對一切且對一切存在存在與與 41-42 p 信息量Fisher n n i in nnn dXdXXfXXXT dXdXXfXfXXXTg 1 1 21 1121 );(),( );();(),()( )( )( )(: 2 nI g XTD 則有 )( 1 )(:,)( nI XTDg即為時特殊地，當

8、勞下界克拉美 21 ) ),(ln ()( Xf EI令 聯(lián)合概率密度聯(lián)合概率密度 nnn dXdXXfXfXXTXTEg 111 );();(),()()( : 由數(shù)學期望的定義 不等式不等式：主要應用：主要應用SchwarzCauchy 證明證明 DDEEE 2 )( ,)(),()( 21 的一個無偏估計是記 gXXXTXT n , );(ln);(ln 1 n i i Xfxf 記 ii ii dXXf XfXf E );( );(ln );(ln i i dX Xf );( 0 ii dXXf);( 1 n i i Xf EE 1 0) );(ln ( 則 );(ln );(ln )

9、( 1 n i i Xf D xf DD );(ln 1 Xf nD )(獨立同分布獨立同分布 ) );(ln () );(ln ( 2121 Xf E Xf En 0 );(ln i Xf E 21 ) );(ln ( Xf nE )()( nID ，得，得由由 DDEEE 2 )( )( )()( );(ln )( )( 2 2 nI gXT xf E D EEE D n i i Xf EE 1 0) );(ln ( 21 ) ),(ln ()( Xf EI令 dx xf XTg );( )()( 由于 dxxfXTXTEg);()()()( 0);( );( , 1);( dxxfdx

10、xf dxxf 則由于 )g(2)(-1)( dx xf gXTg );( )()()( )( )( )( )()( );(ln 2 2 nI g nI gXT xf E D :注注 . 1稱為正規(guī)估計稱為正規(guī)估計滿足正則條件的估計量滿足正則條件的估計量 類的方差下界類的方差下界 無偏估計無偏估計不等式的下界僅是正規(guī)不等式的下界僅是正規(guī)CramerRao . 2 方便，我們可以證明方便，我們可以證明為了計算信息量為了計算信息量)( I 信息量信息量Fisher. 32 1 ) ),(ln ()( Xf EI ) ),(ln ()( 2 1 2 Xf EI令令 )( )( 2 nI g D 13

11、 是是漸漸近近有有效效的的。則則稱稱是是有有效效的的；若若稱稱 時時，的的效效率率等等于于又又當當不不等等式式，顯顯然然由由的的效效率率 的的無無偏偏估估計計量量為為稱稱定定義義 TeT TeRC Tg nIXTD g e n n n n , 1lim 1).1( )( )()( )( 3 . 2 2 設總體設總體XN( , 2), , , 2均未知，又設均未知，又設X1, X2,.,Xn 為總體為總體X 的樣本的樣本, , 則則 的無偏估計的無偏估計 是有效的是有效的, 2 的無偏的無偏 估計估計 是漸近有效的。是漸近有效的。 X 2 * S 例例2.162.16 若總體若總體X ( ),

12、考慮未知參數(shù)考慮未知參數(shù) 的矩估計量為的矩估計量為 的有效性。的有效性。X 14 2.2.3 其它幾個準則其它幾個準則 （一）最小均方誤差準則（一）最小均方誤差準則 前述的最小方差性（有效性）只對無偏估計前述的最小方差性（有效性）只對無偏估計 而言，對有偏估計量無意義。而言，對有偏估計量無意義。 為使為使 與與 盡量接近，考慮盡量接近，考慮 稱稱均方誤差均方誤差 由由 得到的估計量稱作得到的估計量稱作最小均方誤差估計量。最小均方誤差估計量。 對于無偏估計，均方誤差最小和方差最小是對于無偏估計，均方誤差最小和方差最小是 一致的。一致的。 2 ) () ( EMse ) (min Mse 15 （

13、二）相合性（相合估計量）相合性（相合估計量） 定義定義2.4 設設 是是 的估計量的估計量， （即依概率收斂于即依概率收斂于）， 則稱則稱T是相合統(tǒng)計量是相合統(tǒng)計量。 ),.,( 21n XXXTT )(g 0| )(),.,(|lim, 0 21 gXXXTP n n 實際應用中，要求樣本信息量（即實際應用中，要求樣本信息量（即n）較大，）較大， 但給出了一種保證，即只要能夠獲取足夠的信息，但給出了一種保證，即只要能夠獲取足夠的信息， 就一定能得到足夠精確的估計。就一定能得到足夠精確的估計。 必必然然是是相相合合的的。是是有有效效的的，則則、若若 是是相相合合的的。時時，的的方方差差趨趨于于

14、當當 貝貝雪雪夫夫不不等等式式、對對于于無無偏偏估估計計，由由切切 TT TXXXT XXXTD gXXXTP n n n 2 0),( ),( | )(),(| 1 21 2 21 21 16 設總體設總體X 的數(shù)學期望的數(shù)學期望與方差與方差2 2存在，存在， 是是X的樣本，證明用的樣本，證明用 估計估計時，時，n 是是 一致估計量一致估計量 n XXX, 21 n i inn X n X 1 1 由大數(shù)定理可知，對于任意的由大數(shù)定理可知，對于任意的 ，有，有 所以所以 1)(lim in n XEXP 0 1lim n n P 由極大似然法得到的估計量，在一定條件下也具有一致性由極大似然法

15、得到的估計量，在一定條件下也具有一致性, , 這里就不再討論了這里就不再討論了 17 設正態(tài)總體設正態(tài)總體X 的數(shù)學期望的數(shù)學期望 與方差與方差 存在，存在， ( )( )是是X 的樣本，試在形如的樣本，試在形如S2 (0)的統(tǒng)計量中確定的統(tǒng)計量中確定 2 2的最小均方誤差估計的最小均方誤差估計. . 解解: : 2 n XXX, 21 2 222222 2 22222 2224 2 24 2 11 11 ( 12(1) 1 ESE S nn E S nn n D S n nn nn 2224 ,E SD S 2 n12(n1) nn 18 2 22224 2 12(1) 1 nn ES nn 要使上式最小，利用一元二次式知識可知：要使上式最小，利用一元