第7章參數(shù)估計

1、第第7章章 參數(shù)估計參數(shù)估計參數(shù)估參數(shù)估計問題計問題假設(shè)檢假設(shè)檢驗問題驗問題點點 估估 計計區(qū)間估區(qū)間估 計計統(tǒng)計統(tǒng)計推斷推斷 DE基本基本問題問題什么是參數(shù)估計？什么是參數(shù)估計？參數(shù)是刻畫總體某方面的概率特性的數(shù)量參數(shù)是刻畫總體某方面的概率特性的數(shù)量.當這個數(shù)量是未知的時候，從總體抽出一個當這個數(shù)量是未知的時候，從總體抽出一個樣本，用某種方法對這個未知參數(shù)進行估計樣本，用某種方法對這個未知參數(shù)進行估計就是參數(shù)估計就是參數(shù)估計.例如，例如，X N ( , 2), 點估計點估計區(qū)間估計區(qū)間估計若若 , 2未知，通過構(gòu)造樣本的函數(shù)未知，通過構(gòu)造樣本的函數(shù), 給出它給出它們的估計值或取值范圍就是參數(shù)

2、估計的內(nèi)容們的估計值或取值范圍就是參數(shù)估計的內(nèi)容.)1 . 0,(2 N（假定身高服從正態(tài)分布（假定身高服從正態(tài)分布 ） 設(shè)這設(shè)這5個數(shù)是個數(shù)是:1.65 1.67 1.68 1.78 1.69 估計估計 為為1.68，這是這是點估計點估計.這是這是區(qū)間估計區(qū)間估計.估計估計在區(qū)間在區(qū)間1.57, 1.84內(nèi)，內(nèi)，假如我們要估計某隊男生的平均身高假如我們要估計某隊男生的平均身高. 現(xiàn)從該總體選取容量為現(xiàn)從該總體選取容量為5的樣本，我們的樣本，我們的任務(wù)是要根據(jù)選出的樣本（的任務(wù)是要根據(jù)選出的樣本（5個數(shù)）求出個數(shù)）求出總體均值總體均值 的估計的估計. 而全部信息就由這而全部信息就由這5個個數(shù)組

3、成數(shù)組成 .參數(shù)估計的類型參數(shù)估計的類型點估計點估計 估計未知參數(shù)的值估計未知參數(shù)的值區(qū)間估計區(qū)間估計 估計未知參數(shù)的取值范圍，估計未知參數(shù)的取值范圍， 使得這個范圍包含未知參數(shù)使得這個范圍包含未知參數(shù) 真值的概率為給定的值真值的概率為給定的值. .矩估計法一極大似然估計二 .1. 估計量估計量：用于估計總體參數(shù)的隨機變量 如樣本均值，樣本方差等 例如: 樣本均值就是總體均值 的一個估計量 參數(shù)用 表示，估計量用 表示2. 估計值估計值：估計參數(shù)時計算出來的統(tǒng)計量的具體值 如果樣本均值 x =80，則80就是的估計值估計量與估計值估計量與估計值, 0 , 1 Xn11 ()nPiikXXpnn

4、n kp), 1 (pbXpX12,nXXXp pXXn2 (), ()E XD Xn1010,980,975,1050,1100,990,1020,1150,1210,9602( ,)XN X10 X10111044.510iix( ),XF x,F,12,nXXXX12(,),nXXX12(,)nxxx12(,)nXXX12(,)nxxx12(,)nXXXn 其基本思想是其基本思想是用樣本矩估計總體矩用樣本矩估計總體矩 . 理論依據(jù)理論依據(jù): 或格列汶科定理或格列汶科定理矩估計法矩估計法是基于一種簡單的是基于一種簡單的“替替換換”思想建立起來的一種估計思想建立起來的一種估計方法方法 .是英

5、國統(tǒng)計學家是英國統(tǒng)計學家K.皮爾遜皮爾遜最早提出的最早提出的 .大數(shù)定律大數(shù)定律記總體記總體k階矩為階矩為)(kkXE 樣本樣本k階矩為階矩為11nkkiiAXn記總體記總體k階中心矩為階中心矩為kkXEXE)( 樣本樣本k階中心矩為階中心矩為11()nkkiiBXXnn12(,) (1,2, )kiik 1212( ,),kkXF x 12,nXXXX() (1,2, )iiE Xik11() () (1,2, )nPiiijijAXE Xnikn () (1,2, )iiiAE Xik12()( ,)iikiE Xx dF x 1121122212(,)(,) (,)kkkkkAAA 11

6、21122212(,)(,)(,)kkkkkAAA 12,k 1112221212(,)(,)(,)kkkkkA AAA AAA AA12(,)k 12(,)k 12,k 12,nXXX( ) (0)X 11(), niiE XXXnX,X12,nXXX ( ) (0)XE11(), niiE XXXn,XXX()E X( , ) (01)XB m ppnXXX,21pmpXE)(11niiXXnXmppXpm,m p,m p()E XX2()D X12,nXXX2, 2, 2211()niiXXXn2, X221nSSn2S2211()niiXXn22( ,) ,XN 22211, ()ni

7、iXSXXn22 ()/2() /12a bXb aS , a b 2 2 3a bXb aS 12,nXXX( , ) ()XU a bab, a b2 ( )()/2, ( )() /12E Xa bD Xb a 33 , aXSbXS2211()niiSSXXn(a)bX ab a , b1 minii nX 1 maxiinX 解解: dxxxXE ) 1()(10121) 1(110 dxx由矩法由矩法,21 X樣本矩樣本矩總體矩總體矩從中解得從中解得21,1XX的矩估計的矩估計.即為即為數(shù)學期望數(shù)學期望是一階是一階原點矩原點矩 設(shè)總體設(shè)總體X的概率密度為的概率密度為(1),01(

8、)0,xxf x其它是未知參數(shù)是未知參數(shù),其中其中1 X1,X2,Xn是取自是取自X的樣本的樣本,求參數(shù)求參數(shù) 的矩估計的矩估計.解解:由密度函數(shù)知由密度函數(shù)知 設(shè)設(shè)X1,X2,Xn是取自總體是取自總體X的一個樣本的一個樣本()1,( ),0,xexXf x 為未知參數(shù)其它 其中其中 0,求求 的矩估計的矩估計. , X具有均值為具有均值為 的指數(shù)分布的指數(shù)分布故故 E(X- )= 2 D(X- )=即即 E(X)= 2 D(X)=X211()niiXXn解得解得211()niiXXn令令X niiXXn122)(1 用樣本矩估計用樣本矩估計總體矩總體矩即即 E(X)= 2 D(X)=2)(1

9、11) (xxf； 是在總體類型已知條件下使用的一種是在總體類型已知條件下使用的一種參數(shù)估計方法參數(shù)估計方法 . 它首先是由德國數(shù)學家它首先是由德國數(shù)學家高斯高斯在在1821年提出的年提出的 , 然而，這個方法常歸功于然而，這個方法常歸功于英國統(tǒng)計學家英國統(tǒng)計學家費歇費歇 (Fisher). 費歇費歇在在1922年重新發(fā)現(xiàn)了年重新發(fā)現(xiàn)了 這一方法，并首先研究了這這一方法，并首先研究了這 種方法的一些性質(zhì)種方法的一些性質(zhì) . 極大似然法的基本思想極大似然法的基本思想 先看一個簡單例子：先看一個簡單例子：一只野兔從前方竄過一只野兔從前方竄過 .是誰打中的呢？是誰打中的呢？某位同學與一位獵人一某位同

10、學與一位獵人一起外出打獵起外出打獵 .如果要你推測，如果要你推測，你會如何想呢你會如何想呢?只聽一聲槍響，野兔應(yīng)聲倒下只聽一聲槍響，野兔應(yīng)聲倒下 . 你就會想，只發(fā)一槍便打中你就會想，只發(fā)一槍便打中,獵人命中的獵人命中的概率一般大于這位同學命中的概率概率一般大于這位同學命中的概率. 看來這看來這一槍是獵人射中的一槍是獵人射中的 . 這個例子所作的推斷用到了這個例子所作的推斷用到了小概率原理小概率原理.小概率原理：小概率原理：一個概率非常小的一個事件一個概率非常小的一個事件在一次試驗中幾乎是不可能發(fā)生的；也就在一次試驗中幾乎是不可能發(fā)生的；也就是說，如果一個事件在一次試驗中居然發(fā)是說，如果一個事

11、件在一次試驗中居然發(fā)生了，那么這個事件發(fā)生的概率不可能很生了，那么這個事件發(fā)生的概率不可能很小，而應(yīng)認為其概率會盡可能地大小，而應(yīng)認為其概率會盡可能地大極大似然估計方法是利極大似然估計方法是利用小概率原理來建立對用小概率原理來建立對未知參數(shù)的估計量未知參數(shù)的估計量. 設(shè)總體，現(xiàn)從中抽取一個樣本觀設(shè)總體，現(xiàn)從中抽取一個樣本觀察值（察值（500,300,600,400,700),試估計試估計 的值的值解解:設(shè)為樣本，在一次試驗中事件設(shè)為樣本，在一次試驗中事件發(fā)生了，而發(fā)生了，而( )XP125(,)XXX1255003007005007005500,300,700500!300!700!500!7

12、00!P XXXeeee 由小概率原理，這個概率不會太小，應(yīng)盡由小概率原理，這個概率不會太小，應(yīng)盡可能大，即求這個概率的最大值它是可能大，即求這個概率的最大值它是的函數(shù)的函數(shù), ,問題轉(zhuǎn)化為求問題轉(zhuǎn)化為求使得這個函數(shù)達使得這個函數(shù)達到最大到最大, ,我們稱這個函數(shù)為似然函數(shù)我們稱這個函數(shù)為似然函數(shù), ,簡記簡記為為L(L().).利用求導可得到當利用求導可得到當 =500時，這時，這個函數(shù)即概率達到最大因此，我們有理個函數(shù)即概率達到最大因此，我們有理由認為參數(shù)為由認為參數(shù)為500.這就是極大似然估計這就是極大似然估計 極大似然估計原理極大似然估計原理： 當給定樣本值當給定樣本值x1,x2,xn

13、時，定義時，定義似似然函數(shù)然函數(shù)為：為： 設(shè)設(shè)X1,X2,Xn是取自總體是取自總體X的一個樣本，的一個樣本，樣本的聯(lián)合密度樣本的聯(lián)合密度(連續(xù)型）或聯(lián)合概率函數(shù)連續(xù)型）或聯(lián)合概率函數(shù)(離散型離散型)為為 f (x1,x2,xn; ) . )( Lf (x1,x2,xn; ) 似然函數(shù)：似然函數(shù)：)(max)( LL 極大似然估計法就是用使極大似然估計法就是用使 達到最達到最 大值的大值的 去估計去估計 . )( L 稱稱 為為 的極大似然估計的極大似然估計. 看作參數(shù)看作參數(shù) 的函數(shù)，它可作為的函數(shù)，它可作為 將以多將以多大可能產(chǎn)生樣本值大可能產(chǎn)生樣本值x1,x2,xn的一種度量的一種度量 .

14、)( L )( L f (x1,x2,xn; ) 12,nXXX( ,)Xf x；12( )max ( ,)nLLX XX121( )( , ,)(, )nniiLLX XXf X12(, ,)nX XX)(L12(, ,)nX XXMLE .niXieL11)(1 , 0,( , (0) 0 , 0,xexf xx）( ),XEXPniiXne11Xnne)(L)(lnL0d)(dln2XnnL.X12,nXXXMLE.11ln(,)0, 1,2,kiLik ；12,nX XX12( ,)kXf x 12121(,)( ,)nkikiLf X ；11,k MLE1112221212 (,)(

15、,)(,)nnkknXXXXXXXXX兩點說明：兩點說明：1、求似然函數(shù)、求似然函數(shù)L( ) 的最大值點，可以應(yīng)的最大值點，可以應(yīng)用微積分中的技巧。由于用微積分中的技巧。由于ln(x)是是x的增函的增函數(shù)，數(shù)，lnL( )與與L( )在在 的同一值處達到的同一值處達到它的最大值，假定它的最大值，假定 是一實數(shù)，且是一實數(shù)，且lnL( )是是 的一個可微函數(shù)。通過求解所謂的一個可微函數(shù)。通過求解所謂“似似然方程然方程”： 可以得到可以得到 的的MLE . 0)(lndLd 若若 是向量，上述方程必須用似然方程是向量，上述方程必須用似然方程組代替組代替 .2、用上述求導方法求參數(shù)的、用上述求導方法

16、求參數(shù)的MLE有時有時行不通，這時要用極大似然原則來求行不通，這時要用極大似然原則來求 .,220,3 X123 設(shè)總體 的概率分布律為：21-3其中,未知 現(xiàn)得到樣本觀測值2，3，2，1，3，求 的矩估計與極大似然估計。36 1 解：矩估計1kkE Xx p352223 (1 32) 2.2X 再由 0.32可得 12(3)52(3)5X 2 極大似然估計( )(2)(1 32)(2) (1 32)L32116(23 )ln ( )ln163ln2ln(23 )L ln( )36023dLd0.4 設(shè)設(shè)x1,x2, xn是取自總體體是取自總體體 XB(1, p) 的一個子的一個子樣，求參數(shù)樣

17、，求參數(shù)p的極大似然估計的極大似然估計.1:()(1)(0,1)xxXP Xxppx： 的概率函數(shù)為解解)1 , 0()1(),;(:)1(111 inixxnxppxxpLii似然函數(shù)似然函數(shù) niiniixnxpp11)1()1ln()(ln)(ln)2(11pxnpxLniinii 011)(1)(ln11 pxnpxdpLdniinii令令11(3)nLiipxxn 注注本書中，當似然函數(shù)的駐點唯一時，不必驗證該駐點是否為極大值點，可直接把駐點作為所求參數(shù)的極大似然估計練習練習求下列常見分布中參數(shù)的極大似然估計泊松分布泊松分布(),0,1,2,0!xP Xxexx niixnexxxx

18、Li121!),;(:)1( 似然函數(shù)似然函數(shù),!211 nnxexxxnii niiniinxxL11) !ln(ln)(ln)2( 0ln1 nxdLdnii 令令xnxnii 1)3( 指數(shù)分布指數(shù)分布)0, 0(,);( xexfx nixniexxxL121),;(:)1( 似然函數(shù)似然函數(shù) niixne1 niixnL1lnln)2( 0ln,1 niixndLd 令令x1)3( 數(shù)的函數(shù)，數(shù)的函數(shù)，是這些未知參是這些未知參的情形，這時似然函數(shù)的情形，這時似然函數(shù)參數(shù)參數(shù)于分布中含多個未知于分布中含多個未知極大似然估計法也適用極大似然估計法也適用k 1達到極大的達到極大的數(shù)數(shù)同樣，

19、我們把使似然函同樣，我們把使似然函L，即滿足，即滿足的值的值kk 11 );(max);(11111nknkxxLxxLk 的的稱作稱作k 1極大似然估計極大似然估計11( ;),kkf x若關(guān)于的偏導數(shù)都存在，分別令 0, 01kLL . 0ln, 0ln1kLL 或或似然方程組似然方程組對數(shù)似然方程組對數(shù)似然方程組ii 似然估計似然估計的極大的極大到各未知參數(shù)到各未知參數(shù)解上述方程組，即可得解上述方程組，即可得 設(shè)總體設(shè)總體 X N ( , 2), x1, x2, xn 是是 X的樣的樣本值本值, 求求 , 2 的極大似然估計的極大似然估計.解解),;,(221nxxxLniixnne12

20、22)(222)()2(1)ln(2)2ln(22)(ln2122nnxLnii222)(121ixniexxnniimle11niimlexxn122)(1 , 2 的極大似然估計量分別為11,niiXXn212)(1BXXnnii似然似然方程方程組為組為0)(1ln12niixL0)(2)()(21ln)(212222nxLnii( , )XU a b12,nX XX, ()a b abniabbaL11),(1)(1)( )(1) ()0 (,)()0nnnLn baaaXXbLn bab (1)( )(), ,nnbaaXXb(1)( )11min, max niii ni nXXXX

21、 ., max ( , )a bL a b(1)( ),min()na XXbba(1)( ), naXbX( )(1)max , minnXba Xab.max ,min11iniiniXbXa,a b( ),min,maxiniabbaLa ba XX bXX(1)直觀上, 越大越小的值越小,從而的值就越大.因此的極大似然估計為= 設(shè)設(shè)X1,X2,Xn是取自總體是取自總體X的一個樣本的一個樣本()1,( ),0,xexXf x 為未知參數(shù)其它其中其中 0,求求 的極大似然估計的極大似然估計., 其它, 0min,11)(1 ixnxenii對數(shù)似然函數(shù)為對數(shù)似然函數(shù)為niixnL1)(1l

22、n),(ln 解：似然函數(shù)為解：似然函數(shù)為其它，, 01),(1)(niixxeLi i=1,2,n11niixn nL),(ln=0 (2)由由(1)得得21ln ( , )1()niiLnx =0 (1)對對 分別求偏導并令其為分別求偏導并令其為0,對數(shù)似然函數(shù)為對數(shù)似然函數(shù)為niixnL1)(1ln),(ln 用求導方法無法最終確定用求導方法無法最終確定用極大似然原則來求用極大似然原則來求 .、 , 是是*1minii nx 對對, 0),(,min Lxi其它, 0min,1),(1)(12 ixxeLnii故使故使 達到最大的達到最大的 即即 的的MLE， ( , )L ,*11ni

23、ixn于是于是 取其它值時，取其它值時，. 0),( L 即即 為為 的的MLE .*, 且是且是 的增函數(shù)的增函數(shù) 設(shè) X U ( a , a + ), x1, x2, xn 是 X的一個樣本, 求 a 的極大似然估計值.解解 由上例可知, 當2121maxminaxxa時, L 取最大值 1, 即2121minmaxxax顯然, a 的極大似然估計值可能不存在, 也可能不惟一. 無偏性 一.有效性 二.一致性 三. 對于同一個未知參數(shù)對于同一個未知參數(shù), ,不同的方法得不同的方法得到的估計量可能不同到的估計量可能不同, ,于是提出問題于是提出問題應(yīng)該選用哪一種估計量應(yīng)該選用哪一種估計量?

24、?用何標準來評價一個估計量的好壞用何標準來評價一個估計量的好壞? ?常用常用標準標準(1) 無偏性無偏性(3) 一致性一致性(2) 有效性有效性)(E 定義定義 設(shè)設(shè) ),(21nXXX是總體是總體X 的樣的樣本本是是總體總體參數(shù)參數(shù) 的估計量的估計量),(21nXXX則稱則稱是是 的無偏估計量的無偏估計量. . 存在存在, ,)(E都有都有且對于任意且對于任意 無偏性無偏性若若 是是 的無偏估計量的無偏估計量, ,則盡管則盡管 的值的值隨樣本的值的不同而變化隨樣本的值的不同而變化, ,但平均來說它但平均來說它會等于會等于的真值的真值. .lim( )nE 定義定義 設(shè)設(shè) 為為參數(shù)參數(shù) 的的)

25、,(21nXXX成立成立, ,則稱則稱是是 的一個漸近無偏估計量的一個漸近無偏估計量. . 漸近無偏估計量漸近無偏估計量一個有偏估計量一個有偏估計量,若對任意的若對任意的, ,都有都有: :),(21nXXX是總體是總體X 的樣本的樣本,證明證明: 不論不論 X 服從什么分布服從什么分布,nikikXnA11是是k的無偏估計量的無偏估計量.證證nikinikikXEnXnEAE11)(1)1()(例例1 1 設(shè)總體設(shè)總體X 的的 k 階階矩矩)(kkXE存在存在因而因而niXEkki, 2 , 1)(由于由于kknn1特別地 樣本二階原點矩樣本二階原點矩niiXnA1221 是總體是總體是總體

26、期望是總體期望 E( X ) 的的X樣本均值樣本均值無偏估計量無偏估計量的無偏的無偏)(22XE二階原點矩二階原點矩估計量估計量例例2 2 設(shè)總體設(shè)總體 X 的期望的期望 與方差存在與方差存在, X 的的),(21nXXX樣本為樣本為 (n 1) . (1) 是是 D( X )的漸近無偏估量的漸近無偏估量; niinXXnS122)(1(2) 是是 D( X ) 的無偏估計量的無偏估計量. niiXXnS122)(11證證212121)(1XXnXXnniinii前已證前已證證明證明2)()(,)()(XDXDXEXEiinXDXEXE2)(,)()()()(1)(121212XEXEnXXn

27、Eniinii因而因而)()(2222n221nnSn故 是的漸近無偏估計.212)(11niiXXnE故故2S故 是的無偏估計.0,設(shè)總體服從上的均勻分布考察考察 的矩估計和極大似然估計的無偏性的矩估計和極大似然估計的無偏性解解: : 的矩估計和極大似然估計分別為的矩估計和極大似然估計分別為2,max()MMLEiXX()2 ()2()22MEE XE X 的矩估計是無偏的的矩估計是無偏的. .記記max()MLEiZX1, 0( )0,nnZnzzfz其它例例3 3 101nMLEnnznEzdzn故故 的極大似然估計不是無偏的的極大似然估計不是無偏的. .注注: :取取1*MLEnn則則

28、 * *是是 的無偏估計的無偏估計. .例例4 設(shè)總體設(shè)總體 X 的密度函數(shù)為的密度函數(shù)為00, 01);(xxexfx0為常數(shù)為常數(shù)),(21nXXX為為 X 的一個樣本的一個樣本證明證明X與與,min21nXXXn都是都是的無偏的無偏估計量估計量證證 ()XEE X故故)()(XEXE是是 的無偏估計量的無偏估計量.X,min21nXXXZ令令000)(zenzzfnzZ即即( )ZEE Znn0100zeznz)(nZE故故 nZ 是是 的無偏估計量的無偏估計量.)()()(121zXPzXPzXPnniizXP1)(1 (1),(1)(21zXzXzXPzFnZ例例5 5 設(shè)設(shè)),(2

29、1mXXX是總體是總體 X 的一個樣本的一個樣本 ,XB(n , p) n 1 , 求求 p 2 的無偏估計量的無偏估計量. 解解 由于樣本矩是總體矩的無偏估計量由于樣本矩是總體矩的無偏估計量以及數(shù)學期望的線性性質(zhì)以及數(shù)學期望的線性性質(zhì), 只要將未知只要將未知參數(shù)表示成總體矩的線性函數(shù)參數(shù)表示成總體矩的線性函數(shù), 然后用樣然后用樣本矩作為總體矩的估計量本矩作為總體矩的估計量, 這樣得到的未這樣得到的未知參數(shù)的估計量即為無偏估計量知參數(shù)的估計量即為無偏估計量. npXEX)(令令)1 ()()(12212pnpnpXEXmmiiXXmnnpmii122211因此因此, p 2 的無偏估計量為的無

30、偏估計量為) 1() 1(11nnXXmmiii故故XXmpnnmii12221)(1)()(21DD則稱則稱 比比 更有效更有效,如果對如果對 的一切無的一切無偏估計量偏估計量 , 均有均有12定義定義 設(shè)設(shè)參數(shù)參數(shù) 的無偏估計量的無偏估計量 和和 滿足滿足 有效性有效性2*1( )()DD則稱則稱 為為 的最優(yōu)估計量的最優(yōu)估計量.12 設(shè)設(shè)參數(shù)參數(shù) 的無偏估計量的無偏估計量 和和 滿足滿足 2 設(shè)設(shè)參數(shù)參數(shù) 的無偏估計量的無偏估計量 和和 滿足滿足 2例例6 6 設(shè)總體設(shè)總體 X，且，且 E( X )= , D( X )= 2 ),(21nXXX為總體為總體 X 的一個樣本的一個樣本證明證

31、明iniiXc11是是 的無偏估計量的無偏估計量(2) 證明證明X比比iniiXc11更有效更有效證證 (1) niiiniicXEcE111)()(. 11niic., 2 , 11ninci(1) 設(shè)常數(shù)設(shè)常數(shù)(2) niiiniicXDcD122121)()(而而ncnii112)(1) (12DnDniinjijiniicnccc1212212)(結(jié)論結(jié)論算術(shù)均值比加權(quán)均值更有效算術(shù)均值比加權(quán)均值更有效. .2211112nniiijiiij ncccc 例如例如 X N( , 2 ) , ( X 1 ,X 2 ) 是一樣本是一樣本.213212211212143413132XXXXX

32、X都是都是 的的無偏估計量無偏估計量由上例知由上例知3最有效最有效.例例7 (續(xù)例續(xù)例4) 試證試證 當當 n 1 時時 的無偏估計量的無偏估計量 較較 有效有效 .1min(,)nXZXX 證證 2,D X 221111()()nniiiiD XDXD Xnnn故有故有 22,D Zn 而而故有故有 2.D nZ 當當 n 1 時時 , (),D nZD X XnZ故故 較較 有效有效 .lim()0nP 定義定義 設(shè)設(shè) 是總體參數(shù)是總體參數(shù) ),(21nXXX則稱則稱是總體參數(shù)是總體參數(shù) 的一致的一致(或相合或相合)估計量估計量.的估計量的估計量. 若若相合性相合性(一致性）一致性）依概率

33、收斂于依概率收斂于 , 即即,0 相合性相合性被認為是對估計的一個最基本要求被認為是對估計的一個最基本要求, , 如如果一個估計量果一個估計量, , 在樣本量不斷增大時，都不能在樣本量不斷增大時，都不能把被估參數(shù)估計到任意指定的精度把被估參數(shù)估計到任意指定的精度, , 那么這個那么這個估計是值得懷疑的。通常估計是值得懷疑的。通常, ,不滿足相合性要求不滿足相合性要求的估計一般不予考慮。證明估計的相合性一般的估計一般不予考慮。證明估計的相合性一般可應(yīng)用可應(yīng)用大數(shù)定律大數(shù)定律或直接由定義來證。或直接由定義來證。若把依賴于樣本量若把依賴于樣本量n的估計量的估計量 看作一個隨機變看作一個隨機變量序列量

34、序列,相合性就是相合性就是 依概率收斂依概率收斂于于 ,所以證明所以證明估計的相合性可應(yīng)用依概率收斂的性質(zhì)及各種估計的相合性可應(yīng)用依概率收斂的性質(zhì)及各種大數(shù)定律。大數(shù)定律。關(guān)于相合性的兩個常用結(jié)論關(guān)于相合性的兩個常用結(jié)論 1. 樣本樣本 k 階矩是總體階矩是總體 k 階矩的一致性估計量階矩的一致性估計量. 是是 的一致估計量的一致估計量.由大數(shù)定律證由大數(shù)定律證明明用切貝雪夫用切貝雪夫不不 等式證明等式證明矩法和極大似然估計得到的估計量矩法和極大似然估計得到的估計量一般為一致估計量一般為一致估計量.2. 設(shè)設(shè) 是是 的無偏估計的無偏估計 量量, 且且 , 則則0)(limDn在判斷估計的相合性

35、時下述兩個定理非常有用。在判斷估計的相合性時下述兩個定理非常有用。定理定理1 設(shè)設(shè) 是是 的一個估計量，若的一個估計量，若 則則 是是 的相合估計。的相合估計。1( ,)nnnxxlim(),lim()0nnnnEVarn1,nnk定理定理2 若若 分別是分別是1, , k 的相合估的相合估 計，計， =g(1 , , k) 是是1, , k 的連續(xù)函數(shù)，則的連續(xù)函數(shù)，則 是是 的相合估計。的相合估計。1(,)nnnkg例例800, 01);(xxexfXx0為常數(shù)為常數(shù)則則 是是 的無偏、有效、一致估計量的無偏、有效、一致估計量.X證證 由前例知由前例知 是是 的無偏、有效估計量的無偏、有效

36、估計量.X)(limXDn0lim2nn所以所以 是是 的一致估計量的一致估計量, 證畢證畢.X一、單個正態(tài)總體的均值與方差的區(qū)間估計一、單個正態(tài)總體的均值與方差的區(qū)間估計二、兩個正態(tài)總體的均值差與方差比的區(qū)間估計二、兩個正態(tài)總體的均值差與方差比的區(qū)間估計p 矩估計與極大似然估計，都是一種點估計。矩估計與極大似然估計，都是一種點估計。p點估計的兩個缺陷點估計的兩個缺陷: (1)(1)不能說明估計值與真值的偏差到底有多大不能說明估計值與真值的偏差到底有多大( (精確性精確性);); (2) (2)不能說明這個估計有多大的可信度不能說明這個估計有多大的可信度( (可靠可靠性性);); p區(qū)間估計是

37、指用一個區(qū)間估計是指用一個(隨機隨機) 區(qū)間去做未知參數(shù)區(qū)間去做未知參數(shù) 的估計，可以解決這兩個不足的估計，可以解決這兩個不足 。點估計與區(qū)間估計點估計與區(qū)間估計: :例例: :設(shè)有一批電子元件的壽命設(shè)有一批電子元件的壽命XN(a，），），現(xiàn)從中抽取容量為的一組樣本，算得其樣本現(xiàn)從中抽取容量為的一組樣本，算得其樣本均值為小時，試估計均值為小時，試估計a 解：由點估計解：由點估計,a的估計值為的估計值為 . 實際上實際上a的值是非真是的值是非真是000呢？顯然，不同的呢？顯然，不同的抽樣，可得到不同的抽樣，可得到不同的 值，故值，故000與與a會有差會有差異這種差異有多大呢？異這種差異有多大呢？

38、 我們從另一個角度考慮我們從另一個角度考慮5000a a/ 21( ,)(0,1)1(01),1XXN anXaUNnXaPn由于a= 是一個隨機變量,它有自己的分布因此, 于是對給定的一個正數(shù)有 z=1-/2/2/2110.051.96,4999.12.880.95P XXnnP即 zaz=1- 如果取有Z于是有 a95%的把握認為a在區(qū)間(4999.12 , 5000.88) 內(nèi).5000= 這就是說,我們有這樣一種方式的估計稱為區(qū)間估計.?2/z為什么要取2211.96 ( 1.96) 3.92zz -2-1120.10.20.30.42z21z取 = 0.05/ 2/ 211XaPnX

39、aPnz=1-z=23311.84 ( 2.13) 3.97zz -2-1120.10.20.30.432z31z/ 21/ 2ZZ 在保持面積不變的條件下在保持面積不變的條件下, 以對稱區(qū)間的長度為最短以對稱區(qū)間的長度為最短 .12122X,(0 1),(,),(,),1,1,)1.:,nnXXXXXX 1212121設(shè)總體 的分布中含有未知參數(shù)是任意給定的正數(shù)如果能從樣本出發(fā)確定出兩個統(tǒng)計量使得 P成立 我們稱為,區(qū)間(為參數(shù) 的置信度為的定義置信度或置信概率分別稱為置信下限和置置信區(qū)間信上限. 置信度為置信度為 0.950.95 是指是指 100 100 組樣本值所得置信區(qū)組樣本值所得置

40、信區(qū)間的間的實現(xiàn)實現(xiàn)中中, ,約有約有9595個能覆蓋個能覆蓋 . . 要求要求 以很大的可能被包含在置信區(qū)間內(nèi)以很大的可能被包含在置信區(qū)間內(nèi), ,就是就是說說 , , 概率概率 要盡可能大要盡可能大, ,即要求估計盡量即要求估計盡量可靠可靠. .置信度即可靠度置信度即可靠度. . 區(qū)間的寬度反映了估計的精度區(qū)間的寬度反映了估計的精度. .顯然顯然, ,區(qū)間越小區(qū)間越小, ,精度越高精度越高. . 區(qū)間估計中的精確性與可靠性是相互矛盾的區(qū)間估計中的精確性與可靠性是相互矛盾的. .當樣本容量一定時當樣本容量一定時, ,提高估計的可靠度，將降低提高估計的可靠度，將降低估計的精度，相反，提高估計的精

41、度，將降低估計的精度，相反，提高估計的精度，將降低估計的可靠度估計的可靠度. . 在實際使用中在實際使用中, ,總是在保證一定的可靠度的情況總是在保證一定的可靠度的情況下盡可能地提高其精度下盡可能地提高其精度. .1P 12區(qū)間估計的步驟區(qū)間估計的步驟22211,)TP TTT 111(1)選取一個合適的隨機變量 ,這個隨機變量一方面包括了待估參數(shù) ,另一方面,它的分布是已知的;(2)根據(jù)實際需要,選取合適的置信度1- ;(3)根據(jù)相應(yīng)分布的分位數(shù)概念,寫出如下形式的概率表達式 (4)將上式表達式變形為P(5)寫出參數(shù) 的置信區(qū)間( X , S 2 分別是其樣本分別是其樣本均值和樣本方差均值和

42、樣本方差, X N( ( , 2/ /n), ), 求參數(shù)求參數(shù) 、 2 的置信水平為的置信水平為1- - 的置信區(qū)間的置信區(qū)間. 設(shè)設(shè) X1, , Xn 是總體是總體 X N( ( , 2) )的樣本的樣本, nXU/ 確定未知參數(shù)的確定未知參數(shù)的估計量及其函數(shù)的分布估計量及其函數(shù)的分布 是是 的無偏估計量的無偏估計量, 由分布求分位數(shù)由分布求分位數(shù) Z / 2即得置信區(qū)間即得置信區(qū)間( (一一) ) 單個正態(tài)總體置信區(qū)間的求法單個正態(tài)總體置信區(qū)間的求法( (1) )已知方差已知方差 2 時時 故可用故可用 X 作為作為 EX 的一個估計量的一個估計量, niiXnX11 N( (0, 1)

43、, ), 對給定的置信度對給定的置信度 1- - , ,/2/2/2|/XZXZXZnnn/2|(|),ZP U 由由Z / 2確確定置信區(qū)間定置信區(qū)間/2/2(,) ,ZZXXnn 有了分布就可求出有了分布就可求出U 取值于任意區(qū)間的概率取值于任意區(qū)間的概率簡記為簡記為 2XZn由抽樣分布定理知由抽樣分布定理知 1. 均值均值 的置信區(qū)間的置信區(qū)間 故不能采用已知方差故不能采用已知方差的均值估計方法的均值估計方法 由于由于 與與 有關(guān)有關(guān), 但其解決的思路一致但其解決的思路一致. nSX 由于由于 S 2是是 2 的無偏估計量的無偏估計量, 查查 t 分布表確定分布表確定 / /2 分位數(shù)分

44、位數(shù)令令 ， 1)1(| 2ntTP T = ( (2) ) 未知方差未知方差/2/2(,)ZZXXnnnXU/ 用用 分布的分位數(shù)求分布的分位數(shù)求 的置信區(qū)間的置信區(qū)間. 故可用故可用 S 替代替代 的估計量的估計量: S t( (n- -1), ), ) )( ()1(, ) 1(22 ntnSXntnSX 即為即為 的置信度為的置信度為 1- - 的區(qū)間估計的區(qū)間估計. ) 1() 1(22 ntnSXntnSX 2 時時 由抽樣分布定理知由抽樣分布定理知 實用價值更大實用價值更大 ! )1(|2/ ntnSX t / 2( (n - -1), ), , )1()1(222 nSn (

45、(2) ) 未知時未知時 1)1()1(222221nnP,)1()1()1()1(22122222 nSnnSn 所以所以 2的置信水平為的置信水平為1- - 的區(qū)間估計為的區(qū)間估計為因為因為 2 的無偏估計為的無偏估計為 S 2 , 2. 方差方差 2 的的置信區(qū)間的求法置信區(qū)間的求法 由抽樣分布定理知由抽樣分布定理知 2 = 由由確定確定 2 分布的分布的 /2 分位數(shù)分位數(shù).)1()1(,)1()1(2212222 nSnnSn 找一個含找一個含 與與S, 但不含但不含 , 且分布已知的統(tǒng)計量且分布已知的統(tǒng)計量 為了計算簡單為了計算簡單, ,在概率密度不對稱的情形下在概率密度不對稱的情

46、形下, ,如如 2 分布分布, ,F 分布分布, ,習慣上仍取習慣上仍取對稱的分位點對稱的分位點來計算未知參數(shù)的置信區(qū)間來計算未知參數(shù)的置信區(qū)間. . 并不是最短的置信區(qū)間并不是最短的置信區(qū)間 /2 /2)1()1()1(2222221 nSnn , )1(22 n , )1(221 n ),90%.(1)0.01;(2) 222 隨機地從一批釘子中抽取6枚,測得長度為2.14 2.10 2.15 2.10 2.13 2.12并設(shè)總體XN( ,試求下列情況下 的的置信區(qū)間未知;例例1 1 0000.11.645,6,XnXXnnn 2200.05解:容易求出 x=2.123, (1) =已知時

47、,選取 U=N(0,1) 置信區(qū)間為( Z ,Z )這里,Z代入得 的90%的置信區(qū)間為(2.056, 2.190) (5)2.015,XtSnSSXXnn220.05 (2) 未知時,選取 T=(n-1) 置信區(qū)間為( t (n-1),t (n-1)這里,t代入得 的90%的置信區(qū)間為(2.106, 2.140)例例2 2 某工廠生產(chǎn)一批滾珠, 其直徑 X 服從解解 (1)6/06. 0,(NX)01. 0 ,(N即)1 , 0(1 . 0NX96. 1025. 02 zz正態(tài)分布 N( 2), 現(xiàn)從某天的產(chǎn)品中隨機 (1) 若 2=0.06, 求 的置信區(qū)間 (2) 若 2未知,求 的置信

48、區(qū)間 (3) 求方差 2的置信區(qū)間.抽取 6 件, 測得直徑為15.1 , 14.8 , 15.2 , 14.9 , 14.6 , 15.1置信度均為0.95由給定數(shù)據(jù)算得95.146161iixx由公式 得 的置信區(qū)間為)15.15,75.14()1 . 096. 195.14, 1 . 096. 195.14(2) 取)5(6tSXT5706. 2) 5(025. 0t查表由給定數(shù)據(jù)算得95.14x226. 0.051. 0)6(5126122sxxsii)187.15,71.14() 5(6),5(6(025. 0025. 0tsxtsx由公式 得 的置信區(qū)間為(3) 取)5(5222S

49、K 831. 0)5(,833.12)5(209752025. 0)3069. 0,0199. 0() 5 (5,) 5 (5(2975. 022025. 02ss查表得.051. 02s由公式 得 的置信區(qū)間為 設(shè)設(shè) X1, , Xm分別是總體分別是總體 X N( ( 1 1 , 1 12) )的樣本的樣本, Y1, , Yn分別分別是總體是總體 Y N( ( 2 2 , 2 22) )的樣本的樣本, X , Y 分別是總體分別是總體 X 和和 Y 的樣本均值的樣本均值, 求參數(shù)求參數(shù) 1- - 2 和和 12/ / 22 的的置信水平為置信水平為 1- - 的置信區(qū)間的置信區(qū)間. 由于由于

50、X , Y 分別是分別是 1, , 2 的無偏估計量的無偏估計量, 即得置信區(qū)間即得置信區(qū)間( (二二) ) 兩個正態(tài)總體兩個正態(tài)總體( (1) )已知方差已知方差 12, , 22 時時 故可用故可用 X - -Y 作為作為 1- - 2 的一個估計量的一個估計量, N( (0, 1), ), 對給定的置信度對給定的置信度 1- - , ,nuYXmuYXuU222/21212/2/| ,21)(2/ u令令查正態(tài)分布表可得查正態(tài)分布表可得 u / 2 , 由抽樣分布定理知由抽樣分布定理知 1. 均值均值 1- - 2 的置信區(qū)間的置信區(qū)間 SX2 , SY2分別是總體分別是總體 X 和和

51、Y 的樣本方差的樣本方差, 置信區(qū)間的求法置信區(qū)間的求法 nmYXU222121)( ),(222/212/nuYXmuYX 設(shè)設(shè) X1, , Xm分別是總體分別是總體 X N( ( 1 1 , 1 12) )的樣本的樣本, Y1, , Yn分別分別是總體是總體 Y N( ( 2 2 , 2 22) )的樣本的樣本, X , Y 分別是總體分別是總體 X 和和 Y 的樣本均值的樣本均值, 求參數(shù)求參數(shù) 1- - 2 和和 12/ / 22 的的置信水平為置信水平為 1- - 的置信區(qū)間的置信區(qū)間. 即得置信區(qū)間即得置信區(qū)間( (二二) ) 兩個正態(tài)總體置信區(qū)間的求法兩個正態(tài)總體置信區(qū)間的求法

52、( (2) )未知方差未知方差 12, , 22 , 但但 12 = 22 = 2時時 仍用仍用 X - - Y 作為作為 1- - 2 的一個估計量的一個估計量, t( (n+ +m- -2), ), 對給定的置信度對給定的置信度 1- - , ,1111)2(|2/212/2/nmStYXnmStYXmntT 查查 t 分布表可得分布表可得 由抽樣分布定理知由抽樣分布定理知 1. 均值差均值差 1- - 2 的置信區(qū)間的置信區(qū)間 SX2 , SY2分別是總體分別是總體 X 和和 Y 的樣本方差的樣本方差, nmSYXT11)(21 2)1()1(22 nmSnSmYX)1111(2/2/n

53、mStYXnmStYX ，t / 2( (n+ +m- -2),), 設(shè)同上設(shè)同上, 求參數(shù)求參數(shù) 12/ / 22 的置信水平為的置信水平為 1- - 的置信區(qū)間的置信區(qū)間. 即得即得 12/ / 22 的置信區(qū)間的置信區(qū)間 ( (二二) ) 兩個正態(tài)總體置信區(qū)間的求法兩個正態(tài)總體置信區(qū)間的求法 ( (2) )未知未知 1 , 2 時時 F( (m- -1, n- -1), ), 對給定的置信度對給定的置信度 1- - , ,) 11(1) 11(1) 1, 1(|2/12222212/222/n,mFSSn,mFSSnmFFYXYX查查 F 分布表可得分位數(shù)分布表可得分位數(shù)由抽樣分布定理知

54、由抽樣分布定理知 2. 方差比方差比 12/ / 22 的置信區(qū)間的置信區(qū)間 222212 YXSSF ) 11(1,) 11(1(2/1222/22n,mFSSn,mFSSYXYXF / 2( (m- -1, n- -1),), F1- - / 2( (m- -1, n- -1), ), 主要根據(jù)主要根據(jù)抽樣分布抽樣分布Th( (二二) )兩個總體兩個總體 由由 的概率分布和置信水平的概率分布和置信水平 1- - , 確定其相應(yīng)的確定其相應(yīng)的分位數(shù)分位數(shù) x / /2 ; 小結(jié)小結(jié)正態(tài)總體置信區(qū)間的求法正態(tài)總體置信區(qū)間的求法 ( (一一) )單個總體單個總體均值均值 已知方差已知方差 2 均

55、值差均值差 1- - 2 已知方差已知方差 12, , 22 方差方差 2 未知方差未知方差 2 . ),( 解得解得所求的置信區(qū)間所求的置信區(qū)間 根據(jù)未知參數(shù)的無偏估計量根據(jù)未知參數(shù)的無偏估計量, 確定其某個估計量確定其某個估計量 ; 由不等式由不等式 ,| x 已知均值已知均值 未知均值未知均值 未知方差未知方差 12, , 22 方差比方差比 12/ / 22 已知均值已知均值 1, 2 未知均值未知均值 1, 2 但相等但相等! ! ; ),(2nNX . ) 1(1222 nSn )1( ntnSX ; )1,0 ()()(21222121NnmYX ，)1, 1(222212 nm

56、FSSYX , )2()11()(2121 nmtnmSYX 例例3為比較為比較, 兩種型號步槍子彈的槍口速度兩種型號步槍子彈的槍口速度,隨機地取隨機地取型子彈型子彈10發(fā)發(fā), 得到槍口速度的平均值為得到槍口速度的平均值為),s/m(5001 x),s/m(10. 1 1 s標準差標準差隨機地取隨機地取型子彈型子彈20發(fā)發(fā), 得槍口速度平均值為得槍口速度平均值為),s/m(4962 x),s/m(20. 1 2 s標準差標準差假設(shè)兩總體都可認為近似假設(shè)兩總體都可認為近似地服從正態(tài)分布地服從正態(tài)分布,且由生產(chǎn)過程可認為它們的方差且由生產(chǎn)過程可認為它們的方差相等相等, 求兩總體均值差求兩總體均值差

57、 .950 21的置的置的置信度為的置信度為 信區(qū)間信區(qū)間.解解 由題意由題意, 兩總體樣本獨立且方差相等兩總體樣本獨立且方差相等(但未知但未知), 0.025,2 ,20,1021 nn,28221 nn : )1( 分布表可知分布表可知查查 nt,0484. 2)28(025. 0 t,2820. 11910. 19 222 ws,1688. 12 wwSs .950 21的置信區(qū)間的置信區(qū)間的一個置信度為的一個置信度為于是得于是得 201101)28(025. 021tSxxw),93. 04( ).93. 4,07. 3( 即所求置信區(qū)間為即所求置信區(qū)間為解解,181 n,132 n例

58、例4 研究由機器研究由機器 A 和機器和機器 B 生產(chǎn)的鋼管內(nèi)徑生產(chǎn)的鋼管內(nèi)徑, 隨隨機抽取機器機抽取機器 A 生產(chǎn)的管子生產(chǎn)的管子 18 只只, 測得樣本方差為測得樣本方差為均未知均未知, 求方差比求方差比 .900 的置的置的置信度為的置信度為區(qū)間區(qū)間.設(shè)兩樣本相互獨設(shè)兩樣本相互獨);mm(34. 0 221 s).mm(29. 0 222 s抽取機器抽取機器B生產(chǎn)的管子生產(chǎn)的管子 13 只只, 測測得樣本方差為得樣本方差為立立,且設(shè)由機器且設(shè)由機器 A 和機器和機器 B 生產(chǎn)的鋼管內(nèi)徑分別服生產(chǎn)的鋼管內(nèi)徑分別服從正態(tài)分布從正態(tài)分布),(),(222211 NN)2 , 1(,2 iii

59、2221 信信,10. 0 ),mm(34. 0 221 s),mm(29. 0 222 s,59. 2)12,17()1, 1(05. 0212/ FnnF )12,17()12,17(95. 02/1FF ,38. 21)17,12(105. 0 F .900 2221的置信區(qū)間的置信區(qū)間的一個置信度為的一個置信度為于是得于是得 38. 229. 034. 0,59. 2129. 034. 0 .79. 2,45. 0 一、置信區(qū)間公式置信區(qū)間是置信區(qū)間是的的的置信度為的置信度為則則為未知參數(shù)為未知參數(shù)其中其中的分布律為的分布律為的總體的總體分布分布它來自它來自的大樣本的大樣本設(shè)有一容量設(shè)

60、有一容量 1, 1, 0,)1();( ,)10(,501ppxpppxfXXnxx,24,2422 aacbbaacbb, 22/ zna 其中其中),2(22/ zXnb .2Xnc 推導過程如下推導過程如下:因為因為(01)分布的均值和方差分別為分布的均值和方差分別為),1(,2ppp , , 21是一個樣本是一個樣本設(shè)設(shè)nXXX因為容量因為容量n較大較大,由由中心極限定理中心極限定理知知)1()1(1pnpnpXnpnpnpXnii , )1 , 0( 分布分布近似地服從近似地服從 N,1)1(2/2/ zpnpnpXnzP2/2/)1( zpnpnpXnz 不等式不等式, 0)2()