C-R不等式和貝葉斯估計(數(shù)理統(tǒng)計必考)

1、第六章 參數(shù)估計6.2 點估計的評價標準6.3 最小方差無偏估計6.4 貝葉斯估計一般常用 表示參數(shù)，參數(shù) 所有可能取值組成的集合稱為參數(shù)空間，常用表示。參數(shù)估計問題就是根據(jù)樣本對上述各種未知參數(shù)作出估計。參數(shù)估計的形式有兩種：點估計與區(qū)間估計。設(shè) x1, x2, xn 是來自總體 X 的一個樣本，我們用一個統(tǒng)計量 的取值作為 的估計值， 稱為 的點估計（量），簡稱估計。在這里如何構(gòu)造統(tǒng)計量 并沒有明確的規(guī)定，只要它滿足一定的合理性即可。這就涉及到兩個問題：1(,)nxx 其一 是如何給出估計，即估計的方法問題； 其二 是如何對不同的估計進行評價，即估 計的好壞判斷標準。6.2.1 相合性 我

2、們知道，點估計是一個統(tǒng)計量，因此它是一個隨機變量，在樣本量一定的條件下，我們不可能要求它完全等同于參數(shù)的真實取值。但如果我們有足夠的觀測值，根據(jù)格里紋科定理，隨著樣本量的不斷增大，經(jīng)驗分布函數(shù)逼近真實分布函數(shù)，因此完全可以要求估計量隨著樣本量的不斷增大而逼近參數(shù)真值，這就是相合性，嚴格定義如下。 定義6.2.1 設(shè) 為未知參數(shù)， 是 的一個估計量，n 是樣本容量，若對任何一個0，有 (6.2.1) 則稱 為 參數(shù)的相合估計。 1( ,)nnnxxlim(|)0nnPn 相合性被認為是對估計的一個最基本要求, 如果一個估計量, 在樣本量不斷增大時，它都不能把被估參數(shù)估計到任意指定的精度, 那么這

3、個估計是很值得懷疑的。 通常, 不滿足相合性要求的估計一般不予考慮。證明估計的相合性一般可應(yīng)用大數(shù)定律或直接由定義來證. 若把依賴于樣本量n的估計量 看作一個隨機變量序列,相合性就是 依概率收斂于 ,所以證明估計的相合性可應(yīng)用依概率收斂的性質(zhì)及各種大數(shù)定律。nn在判斷估計的相合性時下述兩個定理是很有用的。定理6.2.1 設(shè) 是 的一個估計量，若 則 是 的相合估計，1(,)nnnxxlim(),lim()0nnnnEVarn1,nnk1(,)nnnkg定理6.2.2 若 分別是1, , k 的相合估 計， =g(1 , , k) 是1, , k 的連續(xù)函數(shù)，則 是 的相合估計。例6.2.2 設(shè)

4、 x1, x2 , , xn 是來自均勻總體U(0, )的樣本，證明 的極大似然估計是相合估計。證明：在例6.1.7中我們已經(jīng)給出 的極大似然估計是 x(n)。由次序統(tǒng)計量的分布，我們知道 x(n) 的分布密度函數(shù)為 p(y)=nyn-1/ n, y 1， 比 有效。這表明用全部數(shù)據(jù)的平均估計總體均值要比只使用部分數(shù)據(jù)更有效。 11x2x2212Var(),Var()/n21例6.2.7 均勻總體U(0, )中 的極大似然估計是x(n)，由于 ，所以x(n)不是 的無偏估計，而是的漸近無偏估計。經(jīng)過修偏后可以得到 的一個無偏估計： 。且 另一方面，由矩法我們可以得到 的另一個無偏估計 ，且 由

5、此，當(dāng)n1時， 比 有效。( )1nnExn1( )1nnxn22221( )211Var( )Var()(1) (2)(2)nnnnxnnnnn n22x22244Var()4Var( )Var()123xXnnn12 無偏估計不一定比有偏估計更優(yōu)。 評價一個點估計的好壞一般可以用：點估計值 與參數(shù)真值 的距離平方的期望，這就是下式給出的均方誤差 均方誤差是評價點估計的最一般的標準。我們希望估計的均方誤差越小越好。 2()()MSEE 注意到 ，因此 (1) 若 是 的無偏估計，則 ， 這說明用方差考察無偏估計有效性是合理的。 (2) 當(dāng) 不是 的無偏估計時，就要看其均方 誤差 。 下面的例

6、子說明：在均方誤差的含義下有些有偏 估計優(yōu)于無偏估計。 2( )Var( )()MSEE( )MSE( )Var( )MSE例6.2.8 對均勻總體U(0, )，由 的極大似然估計得到的無偏估計是 ，它的均方誤差 現(xiàn)我們考慮的形如 的估計，其均方差為 用求導(dǎo)的方法不難求出當(dāng) 時上述均方誤差達到最小，且其均方誤差 所以在均方誤差的標準下，有偏估計 優(yōu)于無偏估計 。 ( )(1)/nnxn2( )Var( )(2)MSEn n( )nx22222()1(1) (2)1nnMSEnnn0(2)/(1)nn2202()( )(1)(2)MSEMSEnn n06.3 最小方差無偏估計6.3.1 Rao-

7、Blackwell定理 以下定理說明：好的無偏估計都是充分統(tǒng)計量的函數(shù)。 定理6.3.2 設(shè)總體概率函數(shù)是 p(x, )， x1, x2 , , xn 是其樣本，T=T(x1, x2 , , xn )是 的充分統(tǒng)計量，則 對 的任一無偏估計 ，令 ， 則 也是 的無偏估計，且 1( ,)nxx( | )ETVar( )Var( ) 定理6.3.2說明：如果無偏估計不是充分統(tǒng)計 量的函數(shù)，則將之對充分統(tǒng)計量求條件期 望可以得到一個新的無偏估計，該估計的 方差比原來的估計的方差要小，從而降低 了無偏估計的方差。換言之，考慮 的估 計問題只需要在基于充分統(tǒng)計量的函數(shù)中 進行即可，該說法對所有的統(tǒng)計推

8、斷問題 都是正確的，這便是所謂的充分性原則。 例6.3.1 設(shè) x1, x2 , , xn 是來自b(1, p)的樣本，則 是p 的充分統(tǒng)計量。為估計 =p2，可令 由于 ，所以 是 的無偏估計。這個只使用了兩個觀測值的估計并不好.下面我們用Rao-Blackwell定理對之加以改進：求 關(guān)于充分統(tǒng)計量 的條件期望，得Tnx12111,10 xx， 其它112( )(1,1)EP xxp p 111niiTx12(1)(|)/2(1)nnt tETtttn n 定義6.3.1 對參數(shù)估計問題，設(shè) 是 的一個無 偏估計，如果對另外任意一個 的無偏估計 ， 在參數(shù)空間上都有 則稱 是 的一致最小方

9、差無偏估計，簡記為 UMVUE。如果UMVUE存在，則它一定是充分 統(tǒng)計量的函數(shù)。Var ( )Var ( ) 定理6.3.3 設(shè) x=(x1, x2 , , xn) 是來自某總體的一個樣本， 是 的一個無偏估計， 如果對任意一個滿足E(x)=0的(x)，都有 則 是 的UMVUE。()xVar( ). Cov ( , )0, 關(guān)于UMVUE，有如下一個判斷準則。 例6.3.2 設(shè) x1,x2 ,xn 是來自指數(shù)分布Exp(1/ )的樣本，則T = x1+xn 是 的充分統(tǒng)計量，而 是 的無偏估計。設(shè) =(x1 , x2 , , xn)是0的任一無偏估計，則 兩端對 求導(dǎo)得 這說明 ，從而 ，

10、由定理6.3.3，它是 的UMVUE。 /xT n()/1100( ,)dd0inxxnnxxexx ()/11200( ,)dd0inxxnnnxxxexx ()0E xCov( , )()( )( )0 xE xE xE定義6.3.2 設(shè)總體的概率函數(shù) P(x, ), 滿足下列條件： (1) 參數(shù)空間是直線上的一個開區(qū)間； (2) 支撐 S=x: P(x, )0與 無關(guān)； (3) 導(dǎo)數(shù) 對一切 都存在； (4) 對P(x, )，積分與微分運算可交換次序； (5) 期望 存在；則稱 為總體分布的費希爾(Fisher) 信息量。 ( ; )p x2ln( ; )Ep x2( )ln ( ; )

11、IEp x 費希爾信息量是數(shù)理統(tǒng)計學(xué)中一個基本概念，很多的統(tǒng)計結(jié)果都與費希爾信息量有關(guān)。如極大似然估計的漸近方差，無偏估計的方差的下界等都與費希爾信息量I( )有關(guān)。I( )的種種性質(zhì)顯示，“I( )越大”可被解釋為總體分布中包含未知參數(shù) 的信息越多。例6.3.3 設(shè)總體為泊松分布P()分布，則 于是ln( ; )lnln( !)p xxxln( ; )1xp x21( )XIE例6.3.4 設(shè)總體為指數(shù)分布，其密度函數(shù)為 可以驗證定義6.3.2的條件滿足，且 于是1( ; )exp,0, 0 xp xx221ln( ; )xxp x 2242Var( )1( )xxIE定理6.3.4（Cra

12、mer-Rao不等式） 設(shè)定義6.3.2的條件滿足，x1, x2 , , xn 是來自該總體的樣本，T=T(x1, x2 , , xn )是g( )的任 一個無偏估計， 存在，且對 中一切 ，微分可在積分號下進行，則有 ()()gg2Var( ) ( )( )TgnI 上式稱為克拉美-羅（C-R）不等式; g()2/(nI( )稱為g( )的無偏估計的方差 的C-R下界，簡稱g( )的C-R下界。 特別，對 的無偏估計 ,有 ;1Var( )( ( )nI 如果等號成立，則稱 T=T(x1, , xn) 是 g( )的有效估計，有效估計一定是UMVUE。例6.3.5 設(shè)總體分布列為p(x, )

13、= x(1- )1-x, x=0,1，它滿足定義6.3.2的所有條件，可以算得該分布的費希爾信息量為 ，若 x1, x2, , xn 是該總體的樣本，則 的C-R下界為(nI( )-1= (1- )/n。因為 是 的無偏估計，且其方差等于 (1- )/n，達到C-R 下界，所以 是 的有效估計，它也是 的UMVUE。 1()(1)Ixx例6.3.6 設(shè)總體為指數(shù)分布Exp(1/ )，它滿足定義6.3.2的所有條件，例6.3.4中已經(jīng)算出該分布的費希爾信息量為I( ) = -2，若x1, x2, , xn 是樣本，則 的C-R下界為(nI( )-1=2/n。而 是 的無偏估計，且其方差等于2/n

14、，達到了C-R下界，所以， 是 的有效估計，它也是的UMVUE。xx能達到C-R下界的無偏估計不多:例6.3.7 設(shè)總體為N(0, 2 )，滿足定義6.3.2的條件，且費希爾信息量為 ，令 , 則 的C-R下界為 , 而 的UMVUE為 其方差大于C-R下界。這表明所有 的無偏估計的方差都大于其C-R下界。 241()2I22()g2222()()2gnIn21( /2)12(1)/2)niinnxnn定理6.3.5 設(shè)總體X有密度函數(shù) p(x; )， ， 為非退化區(qū)間，假定 (1) 對任意的x，偏導(dǎo)數(shù) ， 和 對所有 都存在； (2) , 有 ， 其中函數(shù)F1(x) , F2(x), F3(

15、x)可積.ln p22ln p33ln p2312323ln( ),( ),( )pppF xF xF x (3) , 若 x1, x2 , , xn 是來自該總體的樣本，則存在未知參數(shù) 的極大似然估計 ，且 具有相合性和漸近正態(tài)性: 1,( )nNnI2ln0( )( ; )dpIp xx1(,)nnnxxn6.4.1 統(tǒng)計推斷的基礎(chǔ) 經(jīng)典學(xué)派的觀點：統(tǒng)計推斷是根據(jù)樣本信息對總體分布或總體的特征數(shù)進行推斷，這里用到兩種信息：總體信息和樣本信息；貝葉斯學(xué)派的觀點：除了上述兩種信息以外，統(tǒng)計推斷還應(yīng)該使用第三種信息：先驗信息。 （1）總體信息:總體分布提供的信息。（2）樣本信息:抽取樣本所得觀測

16、值提供的信息。（3）先驗信息:人們在試驗之前對要做的問題在經(jīng) 驗上和資料上總是有所了解的，這些信息對 統(tǒng)計推斷是有益的。先驗信息即是抽樣（試 驗）之前有關(guān)統(tǒng)計問題的一些信息。一般說 來，先驗信息來源于經(jīng)驗和歷史資料。先驗 信息在日常生活和工作中是很重要的。 基于上述三種信息進行統(tǒng)計推斷的統(tǒng)計學(xué)稱為貝葉斯統(tǒng)計學(xué)。它與經(jīng)典統(tǒng)計學(xué)的差別就在于是否利用先驗信息。貝葉斯統(tǒng)計在重視使用總體信息和樣本信息的同時，還注意先驗信息的收集、挖掘和加工，使它數(shù)量化，形成先驗分布，參加到統(tǒng)計推斷中來，以提高統(tǒng)計推斷的質(zhì)量。忽視先驗信息的利用，有時是一種浪費，有時還會導(dǎo)出不合理的結(jié)論。 貝葉斯學(xué)派的基本觀點：任一未知量

17、 都可看作隨機變量，可用一個概率分布去描述，這個分布稱為先驗分布；在獲得樣本之后，總體分布、樣本與先驗分布通過貝葉斯公式結(jié)合起來得到一個關(guān)于未知量 新的分布后驗分布；任何關(guān)于 的統(tǒng)計推斷都應(yīng)該基于 的后驗分布進行。 總體依賴于參數(shù) 的概率函數(shù)在貝葉斯統(tǒng)計中記為P (x | )，它表示在隨機變量取某個給定值時總體的條件概率函數(shù)； 根據(jù)參數(shù) 的先驗信息可確定先驗分布( )； 從貝葉斯觀點看，樣本 x1, x2 , , xn 的產(chǎn)生分兩步進行:首先從先驗分布( )產(chǎn)生一個樣本0，然后從P (x |0)中產(chǎn)生一組樣本。這時樣本的聯(lián)合條件概率函數(shù)為 ，這個分布綜合了總體信息和樣本信息； 1001(,|)

18、(|)nniip xxp x0 是未知的，它是按先驗分布()產(chǎn)生的。為把先驗信息綜合進去，不能只考慮0，對的其它值發(fā)生的可能性也要加以考慮，故要用( )進行綜合。這樣一來，樣本x1 , , xn和參數(shù) 的聯(lián)合分布為: h(x1, x2 , , xn, ) = p(x1, x2 , , xn )( )， 這個聯(lián)合分布把總體信息、樣本信息和先驗信息三種可用信息都綜合進去了；在沒有樣本信息時，人們只能依據(jù)先驗分布對 作出推斷。在有了樣本觀察值 x1, x2 , , xn 之后，則應(yīng)依據(jù) h(x1, x2 , , xn , )對 作出推斷。由于 h(x1,x2 ,xn , ) =( x1,x2 ,xn

19、 )m(x1,x2 ,xn)， 其中 是x1, x2 , , xn 的邊際概率函數(shù)，它與 無關(guān)，不含 的任何信息。因此能用來對 作出推斷的僅是條件分布( x1, x2 , , xn)，它的計算公式是 111(,)(, )(,| ) ( )nnnm xxh xxdp xxd 11111( , )( ,| ) ( )( |,)( ,)( ,| ) ( )nnnnnh xxp xxxxm xxp xxd 這個條件分布稱為 的后驗分布后驗分布，它集中了總體、樣本和先驗中有關(guān) 的一切信息。 后驗分布( x1, x2 , , xn )的計算公式就是用密度函數(shù)表示的貝葉斯公式。它是用總體和樣本對先驗分布()

20、作調(diào)整的結(jié)果，貝葉斯統(tǒng)計的一切推斷都基于后驗分布進行。 6.4.3 貝葉斯估計 基于后驗分布( x1, x2 , , xn )對 所作的貝葉斯估計有多種，常用有如下三種：使用后驗分布的密度函數(shù)最大值作為 的點估計，稱為最大后驗估計；使用后驗分布的中位數(shù)作為 的點估計，稱為后驗中位數(shù)估計；使用后驗分布的均值作為 的點估計，稱為后驗期望估計。 用得最多的是后驗期望估計，它一般也簡稱為貝葉斯估計，記為 。 B例6.4.2 設(shè)某事件A在一次試驗中發(fā)生的概率為，為估計，對試驗進行了n次獨立觀測，其中事件A發(fā)生了X次，顯然 X b(n, )，即 假若我們在試驗前對事件A沒有什么了解，從而對其發(fā)生的概率 也

21、沒有任何信息。在這種場合，貝葉斯本人建議采用“同等無知”的原則使用區(qū)間（0,1）上的均勻分布U(0,1)作為 的先驗分布，因為它?。?,1）上的每一點的機會均等。貝葉斯的這個建議被后人稱為貝葉斯假設(shè)。 (| )(1),0,1,xn xnP Xxxnx 由此即可利用貝葉斯公式求出 的后驗分布。具體如下：先寫出X和 的聯(lián)合分布 然后求X的邊際分布 最后求出 的后驗分布 最后的結(jié)果說明X Be(x+1,n-x+1)，其后驗期望估計為 (6.4.4)( , )(1),0,1, ,01xn xnh xxnx(1) (1)(1)(2)xnxnxnxdxn (1) 1(1) 1( , )(2)( | )(1),01( )(1) (1)xn xh xnxm xxn x 1( | )2BxExn某些場合，貝葉斯估計要比極大似然估計更合理一點。比如: “抽檢3個全是合格品”與“抽檢10個全是合格品”，后者的質(zhì)量比前者更信得過。這種差別在不合格品率的極大似然估計中反映不出來（兩者都為0），而用貝葉斯估計兩者分別是 0.2 和 0.83。由此可以看到，在這些極端情況下，貝葉斯估計比極大似然估計更符合人們的理念。例6