概率論與數(shù)理統(tǒng)計(jì)課件ppt第六章

1、6.1 點(diǎn)估計(jì)的幾種方法6.2 點(diǎn)估計(jì)的評(píng)價(jià)標(biāo)準(zhǔn)6.3 最小方差無偏估計(jì)6.4 貝葉斯估計(jì)6.5 區(qū)間估計(jì) 一般常用 表示參數(shù)，參數(shù) 所有可能取值組成的集合稱為參數(shù)空間，常用表示。參數(shù)估計(jì)問題就是根據(jù)樣本對(duì)上述各種未知參數(shù)作出估計(jì)。參數(shù)估計(jì)的形式有兩種：點(diǎn)估計(jì)與區(qū)間估計(jì)。設(shè) x1, x2, xn 是來自總體 X 的一個(gè)樣本，我們用一個(gè)統(tǒng)計(jì)量 的取值作為 的估計(jì)值， 稱為 的點(diǎn)估計(jì)（量），簡(jiǎn)稱估計(jì)。在這里如何構(gòu)造統(tǒng)計(jì)量 并沒有明確的規(guī)定，只要它滿足一定的合理性即可。這就涉及到兩個(gè)問題：1(,)nxx 其一 是如何給出估計(jì)，即估計(jì)的方法問題； 其二 是如何對(duì)不同的估計(jì)進(jìn)行評(píng)價(jià)，即估 計(jì)的好壞判斷標(biāo)

2、準(zhǔn)。6.1.1 替換原理和矩法估計(jì) 一、矩法估計(jì) 替換原理是指用樣本矩及其函數(shù)去替換相應(yīng)的總體矩及其函數(shù)，譬如： 用樣本均值估計(jì)總體均值E(X)，即 ； 用樣本方差估計(jì)總體方差Var(X)，即 用樣本的 p 分位數(shù)估計(jì)總體的 p 分位數(shù)， 用樣本中位數(shù)估計(jì)總體中位數(shù)。 ()E Xx2Var()nXs例6.1.1 對(duì)某型號(hào)的20輛汽車記錄其每加侖汽油的行駛里程(km)，觀測(cè)數(shù)據(jù)如下： 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9 經(jīng)計(jì)算有 由此

3、給出總體均值、方差和中位數(shù)的估計(jì)分別為: 28.695, 0.9185 和 28.6。 矩法估計(jì)的實(shí)質(zhì)是用經(jīng)驗(yàn)分布函數(shù)去替換總體分布，其理論基礎(chǔ)是格里紋科定理。20.528.695,0.9185,28.6nxsm 設(shè)總體具有已知的概率函數(shù) P(x, 1, , k)， x1, x2 , , xn 是樣本，假定總體的k階原點(diǎn)矩k存在，若1, , k 能夠表示成 1, , k 的函數(shù)j = j(1, ,k)，則可給出諸j 的矩法估計(jì)為 其中1( ,),1, ,jjkaajk11njjiiaxn例6.1.2 設(shè)總體服從指數(shù)分布，由于EX=1/， 即 =1/ EX，故 的矩法估計(jì)為 另外，由于Var(X

4、)=1/2，其反函數(shù)為 因此，從替換原理來看，的矩法估計(jì)也可取為 s 為樣本標(biāo)準(zhǔn)差。這說明矩估計(jì)可能是不唯一的，這是矩法估計(jì)的一個(gè)缺點(diǎn)，此時(shí)通常應(yīng)該盡量采用低階矩給出未知參數(shù)的估計(jì)。1/ x1/ Var( )X11/s例6.1.3 x1, x2, , xn是來自(a,b)上的均勻分布U(a,b)的樣本，a與b均是未知參數(shù)，這里k=2，由于 不難推出 由此即可得到a, b的矩估計(jì)：2(),Var(),212abbaEXX3Var(),3Var(),aEXXbEXX3 ,3axsbxs定義6.1.1 設(shè)總體的概率函數(shù)為P(x; )，是參數(shù)可能取值的參數(shù)空間，x1, x2 , , xn 是樣本，將樣

5、本的聯(lián)合概率函數(shù)看成 的函數(shù)，用L( ; x1, x2, , xn) 表示，簡(jiǎn)記為L(zhǎng)( )， 稱為樣本的似然函數(shù)。112( )( ;,)(; )(; )(; )nnLLxxp xp xp x 如果某統(tǒng)計(jì)量 滿足 則稱 是 的極(最)大似然估計(jì)，簡(jiǎn)記為MLE（Maximum Likelihood Estimate）。 1( , )nxx ( )max( )LL人們通常更習(xí)慣于由對(duì)數(shù)似然函數(shù)lnL( )出發(fā)尋找 的極大似然估計(jì)。當(dāng)L( )是可微函數(shù)時(shí)，求導(dǎo)是求極大似然估計(jì)最常用的方法，對(duì)lnL( )求導(dǎo)更加簡(jiǎn)單些。例6.1.6 設(shè)一個(gè)試驗(yàn)有三種可能結(jié)果，其發(fā)生概率分別為 現(xiàn)做了n次試驗(yàn)，觀測(cè)到三種

6、結(jié)果發(fā)生的次數(shù)分別為 n1 , n2 , n3 (n1+ n2+ n3 = n)，則似然函數(shù)為 其對(duì)數(shù)似然函數(shù)為22123,2 (1),(1)ppp123212322222( )() 2 (1) (1) 2(1)nnnnnnnnL12322ln ( )(2)ln(2)ln(1)ln2Lnnnnn將之關(guān)于 求導(dǎo)，并令其為0得到似然方程解之，得由于所以 是極大值點(diǎn)。12322201nnnn1212123222()2nnnnnnnn21232222ln ( )220(1)Lnnnn 例6.1.7 對(duì)正態(tài)總體N(, 2)，=(, 2)是二維參數(shù)，設(shè)有樣本 x1, x2 , , xn，則似然函數(shù)及其對(duì)數(shù)

7、分別為 22212/222122221()1( ,)exp221(2)exp()21ln ( ,)()lnln(2 )222niinniiniixLxnnLx 將 lnL(, 2) 分別關(guān)于兩個(gè)分量求偏導(dǎo)并令其為0, 即得到似然方程組 (6.1.9) (6.1.10)221ln ( ,)1()0niiLx 222421ln ( ,)1()022niiLnx 解此方程組，由(6.1.9)可得 的極大似然估計(jì)為 將之代入(6.1.10)，得出 2的極大似然估計(jì) 利用二階導(dǎo)函數(shù)矩陣的非正定性可以說明上述估計(jì)使得似然函數(shù)取極大值。 11niixxn2221*1()niixxsn 雖然求導(dǎo)函數(shù)是求極大似

8、然估計(jì)最常用的方法，但并不是在所有場(chǎng)合求導(dǎo)都是有效的。 例6.1.8 設(shè) x1, x2 , , xn 是來自均勻總體 U(0, )的樣本，試求 的極大似然估計(jì)。 解 似然函數(shù) 要使L( )達(dá)到最大，首先一點(diǎn)是示性函數(shù)取值應(yīng)該為1，其次是1/n盡可能大。由于1/n是的單調(diào)減函數(shù)，所以 的取值應(yīng)盡可能小，但示性函數(shù)為1決定了 不能小于x( (n) )，由此給出的極大似然估計(jì)： 。 ( )0111( )innxxnniLII ( )nx 極大似然估計(jì)有一個(gè)簡(jiǎn)單而有用的性質(zhì)：如果 是 的極大似然估計(jì)，則對(duì)任一函數(shù) g( )，其極大似然估計(jì)為 。該性質(zhì)稱為極大似然估計(jì)的不變性，從而使一些復(fù)雜結(jié)構(gòu)的參數(shù)的

9、極大似然估計(jì)的獲得變得容易了。 ( )g 例6.1.9 設(shè) x1 , x2 , , xn是來自正態(tài)總體N( , 2) 的樣本，則和 2的極大似然估計(jì)為 ，于是由不變性可得如下參數(shù)的極大似然估計(jì)，它們是: 22*, xs*s 標(biāo)準(zhǔn)差 的MLE是 ；概率 的MLE是 ；0.90*xs u3(3)P X*3xs總體0.90分位數(shù) x0.90= + u0.90 的MLE是 ，其中u0.90為標(biāo)準(zhǔn)正態(tài)分布的0.90分位數(shù)。6.2.1 相合性 我們知道，點(diǎn)估計(jì)是一個(gè)統(tǒng)計(jì)量，因此它是一個(gè)隨機(jī)變量，在樣本量一定的條件下，我們不可能要求它完全等同于參數(shù)的真實(shí)取值。但如果我們有足夠的觀測(cè)值，根據(jù)格里紋科定理，隨著

10、樣本量的不斷增大，經(jīng)驗(yàn)分布函數(shù)逼近真實(shí)分布函數(shù)，因此完全可以要求估計(jì)量隨著樣本量的不斷增大而逼近參數(shù)真值，這就是相合性，嚴(yán)格定義如下。 定義6.2.1 設(shè) 為未知參數(shù)， 是 的一個(gè)估計(jì)量，n 是樣本容量，若對(duì)任何一個(gè)0，有 (6.2.1) 則稱 為 參數(shù)的相合估計(jì)。 1( ,)nnnxxlim(|)0nnPn 相合性被認(rèn)為是對(duì)估計(jì)的一個(gè)最基本要求, 如果一個(gè)估計(jì)量, 在樣本量不斷增大時(shí)，它都不能把被估參數(shù)估計(jì)到任意指定的精度, 那么這個(gè)估計(jì)是很值得懷疑的。 通常, 不滿足相合性要求的估計(jì)一般不予考慮。證明估計(jì)的相合性一般可應(yīng)用大數(shù)定律或直接由定義來證. 若把依賴于樣本量n的估計(jì)量 看作一個(gè)隨機(jī)

11、變量序列,相合性就是 依概率收斂于 ,所以證明估計(jì)的相合性可應(yīng)用依概率收斂的性質(zhì)及各種大數(shù)定律。nn在判斷估計(jì)的相合性時(shí)下述兩個(gè)定理是很有用的。定理6.2.1 設(shè) 是 的一個(gè)估計(jì)量，若 則 是 的相合估計(jì)，1(,)nnnxxlim(),lim()0nnnnEVarn1,nnk1(,)nnnkg定理6.2.2 若 分別是1, , k 的相合估 計(jì)， =g(1 , , k) 是1, , k 的連續(xù)函數(shù)，則 是 的相合估計(jì)。例6.2.2 設(shè) x1, x2 , , xn 是來自均勻總體U(0, )的樣本，證明 的極大似然估計(jì)是相合估計(jì)。證明：在例6.1.7中我們已經(jīng)給出 的極大似然估計(jì)是 x(n)。由

12、次序統(tǒng)計(jì)量的分布，我們知道 x(n) 的分布密度函數(shù)為 p(y)=nyn-1/ n, y 1， 比 有效。這表明用全部數(shù)據(jù)的平均估計(jì)總體均值要比只使用部分?jǐn)?shù)據(jù)更有效。 11x2x2212Var(),Var()/n21例6.2.7 均勻總體U(0, )中 的極大似然估計(jì)是x(n)，由于 ，所以x(n)不是 的無偏估計(jì)，而是的漸近無偏估計(jì)。經(jīng)過修偏后可以得到 的一個(gè)無偏估計(jì)： 。且 另一方面，由矩法我們可以得到 的另一個(gè)無偏估計(jì) ，且 由此，當(dāng)n1時(shí)， 比 有效。( )1nnExn1( )1nnxn22221( )211Var( )Var()(1) (2)(2)nnnnxnnnnn n22x222

13、44Var()4Var( )Var()123xXnnn12 無偏估計(jì)不一定比有偏估計(jì)更優(yōu)。 評(píng)價(jià)一個(gè)點(diǎn)估計(jì)的好壞一般可以用：點(diǎn)估計(jì)值 與參數(shù)真值 的距離平方的期望，這就是下式給出的均方誤差 均方誤差是評(píng)價(jià)點(diǎn)估計(jì)的最一般的標(biāo)準(zhǔn)。我們希望估計(jì)的均方誤差越小越好。 2()()MSEE 注意到 ，因此 (1) 若 是 的無偏估計(jì)，則 ， 這說明用方差考察無偏估計(jì)有效性是合理的。 (2) 當(dāng) 不是 的無偏估計(jì)時(shí)，就要看其均方 誤差 。 下面的例子說明：在均方誤差的含義下有些有偏 估計(jì)優(yōu)于無偏估計(jì)。 2( )Var( )()MSEE( )MSE( )Var( )MSE例6.2.8 對(duì)均勻總體U(0, )，

14、由 的極大似然估計(jì)得到的無偏估計(jì)是 ，它的均方誤差 現(xiàn)我們考慮的形如 的估計(jì)，其均方差為 用求導(dǎo)的方法不難求出當(dāng) 時(shí)上述均方誤差達(dá)到最小，且其均方誤差 所以在均方誤差的標(biāo)準(zhǔn)下，有偏估計(jì) 優(yōu)于無偏估計(jì) 。 ( )(1)/nnxn2( )Var( )(2)MSEn n( )nx22222()1(1) (2)1nnMSEnnn0(2)/(1)nn2202()( )(1)(2)MSEMSEnn n06.3.1 Rao-Blackwell定理 以下定理說明：好的無偏估計(jì)都是充分統(tǒng)計(jì)量的函數(shù)。 定理6.3.2 設(shè)總體概率函數(shù)是 p(x, )， x1, x2 , , xn 是其樣本，T=T(x1, x2 ,

15、 , xn )是 的充分統(tǒng)計(jì)量，則 對(duì) 的任一無偏估計(jì) ，令 ， 則 也是 的無偏估計(jì)，且 1( ,)nxx( | )ETVar( )Var( ) 定理6.3.2說明：如果無偏估計(jì)不是充分統(tǒng)計(jì) 量的函數(shù)，則將之對(duì)充分統(tǒng)計(jì)量求條件期 望可以得到一個(gè)新的無偏估計(jì)，該估計(jì)的 方差比原來的估計(jì)的方差要小，從而降低 了無偏估計(jì)的方差。換言之，考慮 的估 計(jì)問題只需要在基于充分統(tǒng)計(jì)量的函數(shù)中 進(jìn)行即可，該說法對(duì)所有的統(tǒng)計(jì)推斷問題 都是正確的，這便是所謂的充分性原則。 例6.3.1 設(shè) x1, x2 , , xn 是來自b(1, p)的樣本，則 是p 的充分統(tǒng)計(jì)量。為估計(jì) =p2，可令 由于 ，所以 是 的

16、無偏估計(jì)。這個(gè)只使用了兩個(gè)觀測(cè)值的估計(jì)并不好.下面我們用Rao-Blackwell定理對(duì)之加以改進(jìn)：求 關(guān)于充分統(tǒng)計(jì)量 的條件期望，得Tnx12111,10 xx， 其它112( )(1,1)EP xxp p 111niiTx12(1)(|)/2(1)nnt tETtttn n 定義6.3.1 對(duì)參數(shù)估計(jì)問題，設(shè) 是 的一個(gè)無 偏估計(jì)，如果對(duì)另外任意一個(gè) 的無偏估計(jì) ， 在參數(shù)空間上都有 則稱 是 的一致最小方差無偏估計(jì)，簡(jiǎn)記為 UMVUE。如果UMVUE存在，則它一定是充分 統(tǒng)計(jì)量的函數(shù)。Var ( )Var ( ) 定理6.3.3 設(shè) x=(x1, x2 , , xn) 是來自某總體的一個(gè)

17、樣本， 是 的一個(gè)無偏估計(jì)， 如果對(duì)任意一個(gè)滿足E(x)=0的(x)，都有 則 是 的UMVUE。()xVar( ). Cov ( , )0, 關(guān)于UMVUE，有如下一個(gè)判斷準(zhǔn)則。 例6.3.2 設(shè) x1,x2 ,xn 是來自指數(shù)分布Exp(1/ )的樣本，則T = x1+xn 是 的充分統(tǒng)計(jì)量，而 是 的無偏估計(jì)。設(shè) =(x1 , x2 , , xn)是0的任一無偏估計(jì)，則 兩端對(duì) 求導(dǎo)得 這說明 ，從而 ，由定理6.3.3，它是 的UMVUE。 /xT n()/1100( ,)dd0inxxnnxxexx ()/11200( ,)dd0inxxnnnxxxexx ()0E xCov( ,

18、)()( )( )0 xE xE xE定義6.3.2 設(shè)總體的概率函數(shù) P(x, ), 滿足下列條件： (1) 參數(shù)空間是直線上的一個(gè)開區(qū)間； (2) 支撐 S=x: P(x, )0與 無關(guān)； (3) 導(dǎo)數(shù) 對(duì)一切 都存在； (4) 對(duì)P(x, )，積分與微分運(yùn)算可交換次序； (5) 期望 存在；則稱 為總體分布的費(fèi)希爾(Fisher) 信息量。 ( ; )p x2ln( ; )Ep x2( )ln ( ; )IEp x 費(fèi)希爾信息量是數(shù)理統(tǒng)計(jì)學(xué)中一個(gè)基本概念，很多的統(tǒng)計(jì)結(jié)果都與費(fèi)希爾信息量有關(guān)。如極大似然估計(jì)的漸近方差，無偏估計(jì)的方差的下界等都與費(fèi)希爾信息量I( )有關(guān)。I( )的種種性質(zhì)顯

19、示，“I( )越大”可被解釋為總體分布中包含未知參數(shù) 的信息越多。例6.3.3 設(shè)總體為泊松分布P()分布，則 于是ln( ; )lnln( !)p xxxln( ; )1xp x21( )XIE例6.3.4 設(shè)總體為指數(shù)分布，其密度函數(shù)為 可以驗(yàn)證定義6.3.2的條件滿足，且 于是1( ; )exp,0, 0 xp xx221ln( ; )xxp x 2242Var( )1( )xxIE定理6.3.4（Cramer-Rao不等式） 設(shè)定義6.3.2的條件滿足，x1, x2 , , xn 是來自該總體的樣本，T=T(x1, x2 , , xn )是g( )的任 一個(gè)無偏估計(jì)， 存在，且對(duì) 中一

20、切 ，微分可在積分號(hào)下進(jìn)行，則有 ()()gg2Var( ) ( )( )TgnI 上式稱為克拉美-羅（C-R）不等式; g()2/(nI( )稱為g( )的無偏估計(jì)的方差 的C-R下界，簡(jiǎn)稱g( )的C-R下界。 特別，對(duì) 的無偏估計(jì) ,有 ;1Var( )( ( )nI 如果等號(hào)成立，則稱 T=T(x1, , xn) 是 g( )的有效估計(jì)，有效估計(jì)一定是UMVUE。例6.3.5 設(shè)總體分布列為p(x, )= x(1- )1-x, x=0,1，它滿足定義6.3.2的所有條件，可以算得該分布的費(fèi)希爾信息量為 ，若 x1, x2, , xn 是該總體的樣本，則 的C-R下界為(nI( )-1=

21、 (1- )/n。因?yàn)?是 的無偏估計(jì)，且其方差等于 (1- )/n，達(dá)到C-R 下界，所以 是 的有效估計(jì)，它也是 的UMVUE。 1()(1)Ixx例6.3.6 設(shè)總體為指數(shù)分布Exp(1/ )，它滿足定義6.3.2的所有條件，例6.3.4中已經(jīng)算出該分布的費(fèi)希爾信息量為I( ) = -2，若x1, x2, , xn 是樣本，則 的C-R下界為(nI( )-1=2/n。而 是 的無偏估計(jì)，且其方差等于2/n，達(dá)到了C-R下界，所以， 是 的有效估計(jì)，它也是的UMVUE。xx能達(dá)到C-R下界的無偏估計(jì)不多:例6.3.7 設(shè)總體為N(0, 2 )，滿足定義6.3.2的條件，且費(fèi)希爾信息量為 ，

22、令 , 則 的C-R下界為 , 而 的UMVUE為 其方差大于C-R下界。這表明所有 的無偏估計(jì)的方差都大于其C-R下界。 241()2I22()g2222()()2gnIn21( /2)12(1)/2)niinnxnn定理6.3.5 設(shè)總體X有密度函數(shù) p(x; )， ， 為非退化區(qū)間，假定 (1) 對(duì)任意的x，偏導(dǎo)數(shù) ， 和 對(duì)所有 都存在； (2) , 有 ， 其中函數(shù)F1(x) , F2(x), F3(x)可積.ln p22ln p33ln p2312323ln( ),( ),( )pppF xF xF x (3) , 若 x1, x2 , , xn 是來自該總體的樣本，則存在未知參數(shù)

23、 的極大似然估計(jì) ，且 具有相合性和漸近正態(tài)性: 1,( )nNnI2ln0( )( ; )dpIp xx1(,)nnnxxn6.4.1 統(tǒng)計(jì)推斷的基礎(chǔ) 經(jīng)典學(xué)派的觀點(diǎn)：統(tǒng)計(jì)推斷是根據(jù)樣本信息對(duì)總體分布或總體的特征數(shù)進(jìn)行推斷，這里用到兩種信息：總體信息和樣本信息；貝葉斯學(xué)派的觀點(diǎn)：除了上述兩種信息以外，統(tǒng)計(jì)推斷還應(yīng)該使用第三種信息：先驗(yàn)信息。 （1）總體信息:總體分布提供的信息。（2）樣本信息:抽取樣本所得觀測(cè)值提供的信息。（3）先驗(yàn)信息:人們?cè)谠囼?yàn)之前對(duì)要做的問題在經(jīng) 驗(yàn)上和資料上總是有所了解的，這些信息對(duì) 統(tǒng)計(jì)推斷是有益的。先驗(yàn)信息即是抽樣（試 驗(yàn)）之前有關(guān)統(tǒng)計(jì)問題的一些信息。一般說 來，

24、先驗(yàn)信息來源于經(jīng)驗(yàn)和歷史資料。先驗(yàn) 信息在日常生活和工作中是很重要的。 基于上述三種信息進(jìn)行統(tǒng)計(jì)推斷的統(tǒng)計(jì)學(xué)稱為貝葉斯統(tǒng)計(jì)學(xué)。它與經(jīng)典統(tǒng)計(jì)學(xué)的差別就在于是否利用先驗(yàn)信息。貝葉斯統(tǒng)計(jì)在重視使用總體信息和樣本信息的同時(shí)，還注意先驗(yàn)信息的收集、挖掘和加工，使它數(shù)量化，形成先驗(yàn)分布，參加到統(tǒng)計(jì)推斷中來，以提高統(tǒng)計(jì)推斷的質(zhì)量。忽視先驗(yàn)信息的利用，有時(shí)是一種浪費(fèi)，有時(shí)還會(huì)導(dǎo)出不合理的結(jié)論。 貝葉斯學(xué)派的基本觀點(diǎn)：任一未知量 都可看作隨機(jī)變量，可用一個(gè)概率分布去描述，這個(gè)分布稱為先驗(yàn)分布；在獲得樣本之后，總體分布、樣本與先驗(yàn)分布通過貝葉斯公式結(jié)合起來得到一個(gè)關(guān)于未知量 新的分布后驗(yàn)分布；任何關(guān)于 的統(tǒng)計(jì)推斷

25、都應(yīng)該基于 的后驗(yàn)分布進(jìn)行。 總體依賴于參數(shù) 的概率函數(shù)在貝葉斯統(tǒng)計(jì)中記為P (x | )，它表示在隨機(jī)變量取某個(gè)給定值時(shí)總體的條件概率函數(shù)； 根據(jù)參數(shù) 的先驗(yàn)信息可確定先驗(yàn)分布( )； 從貝葉斯觀點(diǎn)看，樣本 x1, x2 , , xn 的產(chǎn)生分兩步進(jìn)行:首先從先驗(yàn)分布( )產(chǎn)生一個(gè)樣本0，然后從P (x |0)中產(chǎn)生一組樣本。這時(shí)樣本的聯(lián)合條件概率函數(shù)為 ，這個(gè)分布綜合了總體信息和樣本信息； 1001( ,|)(|)nniip xxp x0 是未知的，它是按先驗(yàn)分布()產(chǎn)生的。為把先驗(yàn)信息綜合進(jìn)去，不能只考慮0，對(duì)的其它值發(fā)生的可能性也要加以考慮，故要用( )進(jìn)行綜合。這樣一來，樣本x1 ,

26、 , xn和參數(shù) 的聯(lián)合分布為: h(x1, x2 , , xn, ) = p(x1, x2 , , xn )( )， 這個(gè)聯(lián)合分布把總體信息、樣本信息和先驗(yàn)信息三種可用信息都綜合進(jìn)去了；在沒有樣本信息時(shí)，人們只能依據(jù)先驗(yàn)分布對(duì) 作出推斷。在有了樣本觀察值 x1, x2 , , xn 之后，則應(yīng)依據(jù) h(x1, x2 , , xn , )對(duì) 作出推斷。由于 h(x1,x2 ,xn , ) =( x1,x2 ,xn )m(x1,x2 ,xn)， 其中 是x1, x2 , , xn 的邊際概率函數(shù)，它與 無關(guān)，不含 的任何信息。因此能用來對(duì) 作出推斷的僅是條件分布( x1, x2 , , xn)，

27、它的計(jì)算公式是 111(,)(, )(,| ) ( )nnnm xxh xxdp xxd 11111( , )( ,| ) ( )( |,)( ,)( ,| ) ( )nnnnnh xxp xxxxm xxp xxd 這個(gè)條件分布稱為 的后驗(yàn)分布后驗(yàn)分布，它集中了總體、樣本和先驗(yàn)中有關(guān) 的一切信息。 后驗(yàn)分布( x1, x2 , , xn )的計(jì)算公式就是用密度函數(shù)表示的貝葉斯公式。它是用總體和樣本對(duì)先驗(yàn)分布()作調(diào)整的結(jié)果，貝葉斯統(tǒng)計(jì)的一切推斷都基于后驗(yàn)分布進(jìn)行。 6.4.3 貝葉斯估計(jì) 基于后驗(yàn)分布( x1, x2 , , xn )對(duì) 所作的貝葉斯估計(jì)有多種，常用有如下三種：使用后驗(yàn)分布的

28、密度函數(shù)最大值作為 的點(diǎn)估計(jì)，稱為最大后驗(yàn)估計(jì)；使用后驗(yàn)分布的中位數(shù)作為 的點(diǎn)估計(jì)，稱為后驗(yàn)中位數(shù)估計(jì)；使用后驗(yàn)分布的均值作為 的點(diǎn)估計(jì)，稱為后驗(yàn)期望估計(jì)。 用得最多的是后驗(yàn)期望估計(jì)，它一般也簡(jiǎn)稱為貝葉斯估計(jì)，記為 。 B例6.4.2 設(shè)某事件A在一次試驗(yàn)中發(fā)生的概率為，為估計(jì)，對(duì)試驗(yàn)進(jìn)行了n次獨(dú)立觀測(cè)，其中事件A發(fā)生了X次，顯然 X b(n, )，即 假若我們?cè)谠囼?yàn)前對(duì)事件A沒有什么了解，從而對(duì)其發(fā)生的概率 也沒有任何信息。在這種場(chǎng)合，貝葉斯本人建議采用“同等無知”的原則使用區(qū)間（0,1）上的均勻分布U(0,1)作為 的先驗(yàn)分布，因?yàn)樗。?,1）上的每一點(diǎn)的機(jī)會(huì)均等。貝葉斯的這個(gè)建議被后人

29、稱為貝葉斯假設(shè)。 (| )(1),0,1,xn xnP Xxxnx 由此即可利用貝葉斯公式求出 的后驗(yàn)分布。具體如下：先寫出X和 的聯(lián)合分布 然后求X的邊際分布 最后求出 的后驗(yàn)分布 最后的結(jié)果說明X Be(x+1,n-x+1)，其后驗(yàn)期望估計(jì)為 (6.4.4)( , )(1),0,1, ,01xn xnh xxnx(1) (1)(1)(2)xnxnxnxdxn (1) 1(1) 1( , )(2)( | )(1),01( )(1) (1)xn xh xnxm xxn x 1( | )2BxExn某些場(chǎng)合，貝葉斯估計(jì)要比極大似然估計(jì)更合理一點(diǎn)。比如: “抽檢3個(gè)全是合格品”與“抽檢10個(gè)全是合

30、格品”，后者的質(zhì)量比前者更信得過。這種差別在不合格品率的極大似然估計(jì)中反映不出來（兩者都為0），而用貝葉斯估計(jì)兩者分別是 0.2 和 0.83。由此可以看到，在這些極端情況下，貝葉斯估計(jì)比極大似然估計(jì)更符合人們的理念。例6.4.3 設(shè)x1, x2 , , xn是來自正態(tài)分布N(,02)的一個(gè)樣本，其中02已知， 未知，假設(shè) 的先驗(yàn)分布亦為正態(tài)分布N(, 2)，其中先驗(yàn)均值和先驗(yàn)方差 2均已知，試求 的貝葉斯估計(jì)。解：樣本x的分布和 的先驗(yàn)分布分別為2/22021021/2221( | )(2)exp()21( )(2)exp()2nniip xx 由此可以寫出x與 的聯(lián)合分布其中 ， 。若記則

31、有222211220212( , )exp2niinn xxhkx 11niixxn(1)/2110(2 )nnk 2212222220001,niixnnxABC212211( ,)exp22(/)1exp(/)2/2hkABCB AkCBAAx 注意到A,B,C均與 無關(guān)，由此容易算得樣本的邊際密度函數(shù) 應(yīng)用貝葉斯公式即可得到后驗(yàn)分布 這說明在樣本給定后， 的后驗(yàn)分布為 N(B/A,1/A)，即 21/211( )( , )exp(/ ) (2 / )2m xh xdkCBAA1/22( , )1( | )(2 / )exp(/ )( )2/h xxAB Am xA 2202222001|

32、,nxxNnn 后驗(yàn)均值即為其貝葉斯估計(jì)： 它是樣本均值 與先驗(yàn)均值 的加權(quán)平均。220222200/1/1/1/nxnnx 若后驗(yàn)分布(x)與()屬于同一個(gè)分布族，則稱該分布族是 的共軛先驗(yàn)分布(族)。二項(xiàng)分布b(n, )中的成功概率 的共軛先驗(yàn)分布是貝塔分布Be(a,b)；泊松分布P()中的均值 的共軛先驗(yàn)分布是伽瑪分布Ga(,)；在方差已知時(shí)，正態(tài)均值 的共軛先驗(yàn)分布是正態(tài)分布N(, 2);在均值已知時(shí)，正態(tài)方差 2的共軛先驗(yàn)分布是倒伽瑪分布IGa(,)。 6.5.1 區(qū)間估計(jì)的概念 定義6.5.1 設(shè) 是總體的一個(gè)參數(shù)，其參數(shù)空間為，x1, x2 , , xn是來自該總體的樣本，對(duì)給定

33、的一個(gè) (0 1)，若有兩個(gè)統(tǒng)計(jì)量 和 ，若對(duì)任意的，有 （6.5.1）1( ,)LLnxx1( ,)UUnxx()1,LUP 則稱隨機(jī)區(qū)間 為 的置信水平為1- 的置信區(qū)間，或簡(jiǎn)稱 是 的1-置信區(qū)間. 和 分別稱為 的（雙側(cè)）置信下限和置信上限. ,LU 這里置信水平1- - 的含義是指在大量使用該置信區(qū)間時(shí)，至少有100(1-)%的區(qū)間含有 。 ,LULU例6.5.1 設(shè)x1, x2 , , x10是來自N(, 2)的樣本，則 的置信水平為1- 的置信區(qū)間為 其中， ,s 分別為樣本均值和樣本標(biāo)準(zhǔn)差。這個(gè)置信區(qū)間的由來將在6.5.3節(jié)中說明，這里用它來說明置信區(qū)間的含義。 若取 =0.1

34、0，則t0.95(9)=1.8331，上式化為1212(9)10,(9)10 xtsxts0.5797 ,0.5797xsxsx 現(xiàn)假定 =15, 2 =4，則我們可以用隨機(jī)模擬方法由N(15,4)產(chǎn)生一個(gè)容量為10的樣本，如下即是這樣一個(gè)樣本：14.85 13.01 13.50 14.93 16.97 13.80 17.9533 13.37 16.29 12.38 由該樣本可以算得 從而得到 的一個(gè)區(qū)間估計(jì)為 該區(qū)間包含 的真值-15?，F(xiàn)重復(fù)這樣的方法 100次，可以得到100個(gè)樣本，也就得到100個(gè)區(qū) 間，我們將這100個(gè)區(qū)間畫在圖6.5.1上。 14.7053,1.8438xs14.70

35、53 0.5797 1.8438, 14.7053 0.5797 1.8438 13.6427, 15.7679 由圖6.5.1可以看出，這100個(gè)區(qū)間中有91個(gè)包含參數(shù)真值15，另外9個(gè)不包含參數(shù)真值。 圖6.5.1 的置信水平為0.90的置信區(qū)間 取=0.50，我們也可以給出100個(gè)這樣的區(qū)間，見圖6.5.2?？梢钥闯?，這100個(gè)區(qū)間中有50個(gè)包含參數(shù)真值15，另外50個(gè)不包含參數(shù)真值。 圖6.5.2 的置信水平為0.50的置信區(qū)間 定義6.5.2 沿用定義6.5.1的記號(hào)，如對(duì)給定的 (0 1)，對(duì)任意的，有 （6.5.2） 稱 為 的1- 同等置信區(qū)間。 同等置信區(qū)間是把給定的置信水平

36、1- 用足了。常在總體為連續(xù)分布場(chǎng)合下可以實(shí)現(xiàn)。 ()1LUP ,LU定義 若對(duì)給定的 (0 1)和任意的，有 ，則稱 為 的置信水平為1- 的（單側(cè)）置信下限。假如等號(hào)對(duì)一切成立，則稱 為 的1- 同等置信下限。若對(duì)給定的 (0 1)和任意的，有 ,則稱 為 的置信水平為1- 的（單側(cè)）置信上限。若等號(hào)對(duì)一切成立，則稱 為1- 同等置信上限。 單側(cè)置信限是置信區(qū)間的特殊情形。因此，尋求置信區(qū)間的方法可以用來尋找單側(cè)置信限。 LLUU()1LP ()1UP 構(gòu)造未知參數(shù) 的置信區(qū)間的最常用的方法是樞軸量法，其步驟可以概括為如下三步：1. 設(shè)法構(gòu)造一個(gè)樣本和 的函數(shù) G=G(x1, x2 , ,

37、 xn, ) 使得G的分布不依賴于未知參數(shù)。一般稱具有這種性質(zhì)的G為樞軸量。 2. 適當(dāng)?shù)剡x擇兩個(gè)常數(shù)c,d，使對(duì)給定的 (0 1) 有P(cGd)=1- 3. 假如能將cG d 進(jìn)行不等式等價(jià)變形化為 則 ， 是 的1- 同等置信區(qū)間。 LULU關(guān)于置信區(qū)間的構(gòu)造有兩點(diǎn)說明： 滿足置信度要求的c與d通常不唯一。若有可能，應(yīng)選平均長(zhǎng)度 達(dá)到最短的c與d，這在G的分布為對(duì)稱分布場(chǎng)合通常容易實(shí)現(xiàn)。 實(shí)際中，選平均長(zhǎng)度 盡可能短的c與d，這往往很難實(shí)現(xiàn)，因此，常這樣選擇 c與d，使得兩個(gè)尾部概率各為 /2，即P(Gd)= /2，這樣的置信區(qū)間稱為等尾置信區(qū)間。這是在G的分布為偏態(tài)分布場(chǎng)合常采用的方法

38、。 ULEULE例6.5.2 設(shè)x1, x2 , , xn是來自均勻總體U(0, )的一個(gè)樣本，試對(duì)給定的 (0 1)給出 的1- 同等置信區(qū)間。 解:（1）取x(n)作為樞軸量，其密度函數(shù)為p(y; )= nyn ， 0y 1； （2）x(n) / 的分布函數(shù)為F(y)=yn, 0y 1，故P(cx(n)/ d)= d n-cn， 因此我們可以適當(dāng)?shù)剡x擇c和d滿足d n-cn=1-（3）利用不等式變形可容易地給出 的1-同等置信區(qū)間為x(n) /d，x(n) /c，該區(qū)間的平均長(zhǎng)度為 。不難看出，在0cd1及dn-cn=1- 的條件下，當(dāng)d=1, c= 時(shí)， 取得最小值，這說明 是 的置信水

39、平1- 為最短置信區(qū)間。 ( )11nExcdn11cd( )( ),nnnxx一、一、 已知時(shí)已知時(shí) 的置信區(qū)間的置信區(qū)間 在這種情況下，樞軸量可選為 ，c和d應(yīng)滿足P(cGd)=(d)-(c)= 1-，經(jīng)過不等式變形可得 該區(qū)間長(zhǎng)度為 。當(dāng)d=-c=u1-/2時(shí)，d-c達(dá)到最小，由此給出了的同等置信區(qū)間為 ， 。 （6.5.8） 這是一個(gè)以 為中心，半徑為 的對(duì)稱區(qū)間，常將之表示為 。(0,1)xGNn1Pxdnxcn ()/dcn12xun12xunx12un12xun例6.5.3 用天平秤某物體的重量9次，得平均值為 （克），已知天平秤量結(jié)果為正態(tài)分布，其標(biāo)準(zhǔn)差為0.1克。試求該物體重

40、量的0.95置信區(qū)間。解：此處1- =0.95， =0.05，查表知u0.975=1.96，于是該物體重量 的0.95置信區(qū)間為 ， 從而該物體重量的0.95置信區(qū)間為 15.3347，15.4653。 15.4x 1215.4 1.96 0.1 9 15.4 0.0653x un例6.5.4 設(shè)總體為正態(tài)分布N(,1)，為得到 的置信水平為0.95的置信區(qū)間長(zhǎng)度不超過1.2，樣本容量應(yīng)為多大？解：由題設(shè)條件知 的0.95置信區(qū)間為 其區(qū)間長(zhǎng)度為 ，它僅依賴于樣本容量n而與樣本具體取值無關(guān)?，F(xiàn)要求 ，立即有n(2/1.2)2u21-/2.現(xiàn)1- = 0.95，故u1-/2=1.96，從而n(5

41、/3)2 1.962 = 10.6711。即樣本容量至少為11時(shí)才能使得 的置信水平為0.95的置信區(qū)間長(zhǎng)度不超過1.2。 122 un1221.2un1212/,/xunxun二、 2未知時(shí) 的置信區(qū)間 這時(shí)可用t 統(tǒng)計(jì)量，因?yàn)?，因此 t 可以用來作為樞軸量。完全類似于上一小節(jié)，可得到 的1-置信區(qū)間為 此處 是 2的無偏估計(jì)。 () (1)n xtt ns1212(1),(1)x tnsnx tnsn221()1isxxn例6.5.5 假設(shè)輪胎的壽命服從正態(tài)分布。為估計(jì)某種輪胎的平均壽命，現(xiàn)隨機(jī)地抽12只輪胎試用，測(cè)得它們的壽命（單位：萬公里）如下：4.68 4.85 4.32 4.85

42、 4.61 5.025.20 4.60 4.58 4.72 4.38 4.70 此處正態(tài)總體標(biāo)準(zhǔn)差未知，可使用t分布求均值的置信區(qū)間。經(jīng)計(jì)算有 =4.7092，s2=0.0615。取 =0.05，查表知t0.975(11)=2.2010，于是平均壽命的0.95置信區(qū)間為（單位：萬公里）x4.70922.20100.0615/ 124.5516, 4.8668 在實(shí)際問題中，由于輪胎的壽命越長(zhǎng)越好，因此可以只求平均壽命的置信下限，也即構(gòu)造單邊的置信下限。由于 由不等式變形可知 的1-置信下限為 將t0.95(11)=1.7959代入計(jì)算可得平均壽命 的0.95置信下限為4.5806（萬公里）。

43、()( (1)1n xP tns 1(1)xtnsn 取樞軸量 ，由于 2分布是偏態(tài)分布，尋找平均長(zhǎng)度最短區(qū)間很難實(shí)現(xiàn)，一般都用等尾置信區(qū)間：采用 2的兩個(gè)分位數(shù) 2 /2(n-1) 和21- /2(n-1)，在 2分布兩側(cè)各截面積為/2的部分， 使得 由此給出 2的1-置信區(qū)間為 222(1)1nsGn222/ 21/ 2211nsP2222121211 ,11nsnnsn例6.5.6 某廠生產(chǎn)的零件重量服從正態(tài)分布N(, 2)，現(xiàn)從該廠生產(chǎn)的零件中抽取9個(gè)，測(cè)得其重量為（單位：克）45.3 45.4 45.1 45.3 45.5 45.7 45.4 45.3 45.6 試求總體標(biāo)準(zhǔn)差 的0

44、.95置信區(qū)間。解：由數(shù)據(jù)可算得 s2 =0.0325，(n-1)s2=80325=0.26. 查表知 2 0.025(8) =2.1797，20.975(8)=17.5345， 代入可得 2的0.95置信區(qū)間為 從而 的0.95置信區(qū)間為: 0.1218，0.3454。 0.260.26,0.0148,0.119317.53452.1797 在樣本容量充分大時(shí)，可以用漸近分布來構(gòu)造近似的置信區(qū)間。一個(gè)典型的例子是關(guān)于比例p 的置信區(qū)間。 設(shè)x1, xn是來自b(1, p)的樣本,有 對(duì)給定 ， ，通過變形，可得到置信區(qū)間為 其中記= u21-/2，實(shí)用中通常略去/n項(xiàng)，于是可將置信區(qū)間近似為

45、(0,1)(1)/xpuNppn121(1)xpPuppn 22221(1)1(1),242411xxxxxxnnnnnnnn22(1)(1),xxxxxuxunn例6.5.7 對(duì)某事件A作120次觀察，A發(fā)生36次。試給出事件A發(fā)生概率p 的0.95置信區(qū)間。解：此處n=120， =36/120=0.3 而u0.975=1.96，于是p的0.95（雙側(cè)）置信下限和上限分別為 故所求的置信區(qū)間為 0.218，0.382x0.3 0.70.3 1.960.218120Lp0.3 0.70.3 1.960.382120Up例6.5.8 某傳媒公司欲調(diào)查電視臺(tái)某綜藝節(jié)目收視率p，為使得 p 的1-置

46、信區(qū)間長(zhǎng)度不超過d0，問應(yīng)調(diào)查多少用戶？ 解：這是關(guān)于二點(diǎn)分布比例p的置信區(qū)間問題，由（6.5.11）知，1-的置信區(qū)間長(zhǎng)度為 這是一個(gè)隨機(jī)變量，但由于 ，所以對(duì)任意的觀測(cè)值有 。這也就是說p的1-的置信區(qū)間長(zhǎng)度不會(huì)超過 ?，F(xiàn)要求p的的置信區(qū)間長(zhǎng)度不超過d0，只需要 即可，從而 （6.5.12）1221uxxn0,1x 2(1) 0.50.25xx12un120und2120und 這是一類常見的尋求樣本量的問題。比如，若取d0=0.04， =0.05，則 。 這表明，要使綜藝節(jié)目收視率p的0.95置信區(qū)間的長(zhǎng)度不超過0.04，則需要對(duì)2401個(gè)用戶作調(diào)查。 220.9751.9624010.040.04un 設(shè)x1 , , xm是來自N(1, 12)的樣本，y1 , , yn是來自N(2, 22)的樣本，且兩個(gè)樣本相互獨(dú)立。 與 分別是它們的樣本均值， 和 分別是它們的樣本方差。下面討論兩個(gè)均值差和