6-1點估計ppt課件

1、總體總體樣本樣本統(tǒng)計量統(tǒng)計量描述描述作出推斷作出推斷研究統(tǒng)計量的性質(zhì)和評價一個統(tǒng)計推斷的優(yōu)良性，完全取決于其抽樣分布研究統(tǒng)計量的性質(zhì)和評價一個統(tǒng)計推斷的優(yōu)良性，完全取決于其抽樣分布的性質(zhì)的性質(zhì).隨機抽樣隨機抽樣參數(shù)估計問題參數(shù)估計問題假設(shè)檢驗問題假設(shè)檢驗問題點點 估估 計計區(qū)間估區(qū)間估 計計統(tǒng)計統(tǒng)計推斷推斷 的的基本基本問題問題什么是參數(shù)估計？什么是參數(shù)估計？參數(shù)是刻畫總體某方面概率特性的數(shù)量參數(shù)是刻畫總體某方面概率特性的數(shù)量. .參數(shù)的類型有參數(shù)的類型有: :1 1、分布中所含的未知參數(shù)、分布中所含的未知參數(shù). 例如，例如，X N ( , 2), 若若 , 2未知未知, 通過構(gòu)造統(tǒng)計量通過構(gòu)

2、造統(tǒng)計量, 給出給出它們的估計值或取值范圍就是參數(shù)估計它們的估計值或取值范圍就是參數(shù)估計的內(nèi)容的內(nèi)容.區(qū)間估計區(qū)間估計參數(shù)估計的兩種參數(shù)估計的兩種類型類型點估計點估計3 3、分布的各種特征數(shù)、分布的各種特征數(shù)2 2、分布中所含的未知參數(shù)、分布中所含的未知參數(shù)的函數(shù)的函數(shù)g(g().).例如：例如：EX，VarX, 分布中位數(shù)等。分布中位數(shù)等。 例如：例如：X N ( , 2), 其中其中 , 2未知，未知，對于某定值對于某定值a ,要估計要估計()()aP Xa 即為即為 , 的函數(shù)。的函數(shù)。 一般地，用一般地，用（可以是向量）來表示參數(shù)，它的所有可能取值組成的集合稱為（可以是向量）來表示參數(shù)

3、，它的所有可能取值組成的集合稱為參數(shù)參數(shù)空間空間，用，用表示表示。 參數(shù)估計問題是利用從總體抽樣得到的樣本參數(shù)估計問題是利用從總體抽樣得到的樣本, 通過通過估計量估計量來估計上述各種參數(shù)。來估計上述各種參數(shù)。估計估計量量就是估計總體參數(shù)的統(tǒng)計量就是估計總體參數(shù)的統(tǒng)計量.第一節(jié)第一節(jié) 參數(shù)的點估計參數(shù)的點估計一、替換原理與矩法估計一、替換原理與矩法估計二、最大似然估計二、最大似然估計 參數(shù)的點估計參數(shù)的點估計是指是指: :對未知參數(shù)對未知參數(shù)選用一個統(tǒng)計量選用一個統(tǒng)計量 的取值作為的取值作為的估計值的估計值, 就是就是的點估計的點估計( (量量),),簡稱估計簡稱估計. . 好的估計量好的估計量

4、體現(xiàn)好的統(tǒng)計思想體現(xiàn)好的統(tǒng)計思想. .12(,)n x xx 用樣本均值用樣本均值 來估計總體均值來估計總體均值 EX ; ;x 用樣本方差用樣本方差 ( (或或S2) )來估計總體方差來估計總體方差VarX ;*2S一、替換原理與矩法估計一、替換原理與矩法估計1、矩法估計（、矩法估計（Moment Estimation)替換原理替換原理:用樣本矩代替總體矩；用樣本矩的函數(shù)代替總體矩的函數(shù)。用樣本矩代替總體矩；用樣本矩的函數(shù)代替總體矩的函數(shù)。如：無論總體分布如何如：無論總體分布如何, 都可以都可以 用樣本的用樣本的 p 分位數(shù)來估計總體的分位數(shù)來估計總體的 p 分位數(shù)分位數(shù) ;矩法估計的思想矩

5、法估計的思想：實質(zhì)是根據(jù)格里汶科定理實質(zhì)是根據(jù)格里汶科定理, ,可用樣本經(jīng)驗分布函數(shù)代替總體分布函數(shù)可用樣本經(jīng)驗分布函數(shù)代替總體分布函數(shù). .利用替換原理而獲得的估計量稱為利用替換原理而獲得的估計量稱為矩估計矩估計( (量量).). 用事件用事件A出現(xiàn)的頻率來估計事件出現(xiàn)的頻率來估計事件A發(fā)生的概率發(fā)生的概率. .PkkxEX 11 ()()nPkkiiXXE XEXn 進而有 等等；更具體地說是根據(jù)大數(shù)定律更具體地說是根據(jù)大數(shù)定律, , 有有 例例1 某型號的某型號的20輛汽車記錄其每輛汽車記錄其每5L汽油的行駛路程（公里）如下汽油的行駛路程（公里）如下:經(jīng)計算可得：經(jīng)計算可得：29.8，2

6、7.6，28.3，27.9 ，30.1，28.7，29.9，28.0, 27.9，28.7，28.4，27.2，29.5，28.5，28.0，30.0，29.1，29.8，29.6，26. 9*20.528.695;0.9185;28.6xSm由矩法估計得總體的均值、方差和中位數(shù)點估計分別為：由矩法估計得總體的均值、方差和中位數(shù)點估計分別為：28.695; 0.9185; 28.62. 概率函數(shù)已知時未知參數(shù)的矩法估計概率函數(shù)已知時未知參數(shù)的矩法估計 矩估計法是英國統(tǒng)計學(xué)家矩估計法是英國統(tǒng)計學(xué)家K K. .皮爾遜最早提出來的皮爾遜最早提出來的 . .在總體分布已知時在總體分布已知時, ,且有關(guān)

7、各階且有關(guān)各階矩存在的條件下矩存在的條件下, , 用用“總體矩等于樣本矩總體矩等于樣本矩”列出矩方程組，解之可得矩估計列出矩方程組，解之可得矩估計。設(shè)總體設(shè)總體X具有已知的概率函數(shù)具有已知的概率函數(shù)212( ;,), (,)kkp x 1 1未未知知12,k 12,kx1,x2,.xn 是來自是來自 X 的樣本，假定總體的的樣本，假定總體的k 階矩存在，那么它的階矩存在，那么它的 前前 k 階矩階矩 都存在。都存在。 若若 能夠表示為能夠表示為 的函數(shù)，即由的函數(shù)，即由12,ki=1,2, ,k12(,)iik 這這 k 個方程中解出個方程中解出j=1,2,k12(,)jjk 進一步要估計進一

8、步要估計 的函數(shù)的函數(shù)12,k 12(,)kg 12(,)kg 則直接可得其矩法估計則直接可得其矩法估計例例1 1 設(shè)總體設(shè)總體 X Exp( ), x1, x2, xn為總體的樣本為總體的樣本, 求未知參數(shù)求未知參數(shù) 的矩法估計量的矩法估計量.解解( )1/ ,E X1/.EX則則故故1/ . xj=1,2,k那么用諸那么用諸 的估計量的估計量 ai 分別代替上式中的諸分別代替上式中的諸 , ii12(,)jjk a aa j即可得諸即可得諸 的矩估計量的矩估計量 ：矩估計量的觀察值稱為矩估計值矩估計量的觀察值稱為矩估計值 .注：由于注：由于 由替換原理由替換原理的矩估計也可取為的矩估計也可

9、取為 ，s*為樣本標準差為樣本標準差 . 因此矩估計不唯一因此矩估計不唯一, ,一般采一般采 用低階矩作為未知參數(shù)的矩估計用低階矩作為未知參數(shù)的矩估計。21/,VarX*1/s例例2 2 設(shè)總體 X U (a, b), a, b 未知, x1,xn為取自該總體的樣本，求參數(shù) a, b 的 矩法估計量.解解: 1()E X 2ab 22()E X 2()12ba 2()()Var XE X 2()4ab 即即 1221212()abba 解得解得于是于是 a , b 的矩估計量為的矩估計量為 21213()a 21213()b21*3()3,niiaxxxnxS 21*3()3niibxxxnx

10、S 樣本矩表示樣本矩表示總體矩表示總體矩表示解解: 1()E X 22()E X 2()()Var XE X 例例3 設(shè)總體設(shè)總體 X 的均值的均值 和方差和方差 都存在都存在 , 未知未知 . 是來自是來自 X 的樣本的樣本 , 試求試求 的矩估計量的矩估計量 .1,nxx2(0) 2, 2, 22解得解得1ax1 2221于是于是 的矩估計量為的矩估計量為 2, 22222111niiaaxxn 2*211()niixxsn 樣本矩表示樣本矩表示總體矩表示總體矩表示注：該例表明無論總體注：該例表明無論總體X服從什么分布，只要總體的二階矩存在，則樣本均值服從什么分布，只要總體的二階矩存在，則

11、樣本均值就是總體均值的矩估計，樣本方差就是總體方差的矩估計就是總體均值的矩估計，樣本方差就是總體方差的矩估計.例例4. 已知總體已知總體12111NXNNN ，其中，其中N為未知參數(shù)，求為未知參數(shù)，求N的矩估計的矩估計.3. 總體分布為一般情形總體分布為一般情形(包括分布未知包括分布未知)時的矩法估計方法時的矩法估計方法用樣本均值用樣本均值 來估計總體均值來估計總體均值 EX . .x 用樣本方差用樣本方差 來估計總體方差來估計總體方差 VarX . .*2S 用樣本的用樣本的 p 分位數(shù)來估計總體的分位數(shù)來估計總體的 p 分位數(shù)。分位數(shù)。 用事件用事件A出現(xiàn)的頻率來估計事件出現(xiàn)的頻率來估計事

12、件A發(fā)生的概率發(fā)生的概率. .例例5. 設(shè)總體為設(shè)總體為N(,1)，現(xiàn)對該總體觀測，現(xiàn)對該總體觀測n次，發(fā)現(xiàn)有次，發(fā)現(xiàn)有k次觀測值為正，使用頻率替次觀測值為正，使用頻率替換方法求換方法求的估計值的估計值.優(yōu)點是簡單易行優(yōu)點是簡單易行,并不需要事先知道總體的分布形式并不需要事先知道總體的分布形式 .缺點缺點（1）要求總體相應(yīng)原點矩必須存在，對于不存在原點矩的總體如）要求總體相應(yīng)原點矩必須存在，對于不存在原點矩的總體如Cauchy分布，則不分布，則不能用矩估計。能用矩估計。 （2）當總體類型已知時，沒有充分利用分布提供的信息）當總體類型已知時，沒有充分利用分布提供的信息 . 矩法的優(yōu)缺點：矩法的優(yōu)

13、缺點： 相比較，下面的最大似然估計則充分利用了總體分布所提供的信息。故一般較矩相比較，下面的最大似然估計則充分利用了總體分布所提供的信息。故一般較矩法估計優(yōu)法估計優(yōu). 二二. 最大似然估計最大似然估計 它是在總體類型已知條件下使用的一種參數(shù)估計方法它是在總體類型已知條件下使用的一種參數(shù)估計方法 . .由德國數(shù)學(xué)家由德國數(shù)學(xué)家高斯在高斯在18211821年提出的年提出的 . .然而然而, ,費歇在費歇在19121912年重新發(fā)現(xiàn)了這一方法，并首先研年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì)究了這種方法的一些性質(zhì) . .Fisher例例6 : 有兩外形相同的箱子有兩外形相同的箱子,各裝各

14、裝100個球個球 一箱一箱 99個白球個白球 1 個紅球個紅球 一箱一箱 1 個白球個白球 99個紅球個紅球現(xiàn)從兩箱中任取一箱現(xiàn)從兩箱中任取一箱, 并從箱中任取一球并從箱中任取一球,結(jié)果所取得的球是白球結(jié)果所取得的球是白球.答答: : 第一箱第一箱. .問問: : 所取的球來自哪一箱？所取的球來自哪一箱？ 這個例子所作的推斷已經(jīng)體現(xiàn)了最大似然法的基本思想（即這個例子所作的推斷已經(jīng)體現(xiàn)了最大似然法的基本思想（即最大似然原理最大似然原理：在一次隨機：在一次隨機試驗中某一事件已經(jīng)發(fā)生試驗中某一事件已經(jīng)發(fā)生, 則認為試驗條件有利于該事件的發(fā)生）則認為試驗條件有利于該事件的發(fā)生）. 下例說明如何求最大似

15、然估計下例說明如何求最大似然估計例例7. 設(shè)設(shè)X1,X2,Xn是取自總體是取自總體 Xb(1, p) 的一個樣本，求參數(shù)的一個樣本，求參數(shù)p(可以是產(chǎn)品的不合格可以是產(chǎn)品的不合格率率)的最大似然估計量的最大似然估計量.nixxiipp11)1 (011iXpp似然函數(shù)似然函數(shù)解：抽取一個樣本值解：抽取一個樣本值x1, x2, xn, 這些觀測值發(fā)生的概率為這些觀測值發(fā)生的概率為1122( )(,; )nnL pP Xx XxXx p11(1)nniiiixnxpp顯然顯然p 的不同取值，對應(yīng)的觀測值發(fā)生的概率不同，由最大似然原理，應(yīng)選擇使得的不同取值，對應(yīng)的觀測值發(fā)生的概率不同，由最大似然原理

16、，應(yīng)選擇使得P(X1=x1,Xn=xn)最大的最大的p值，即為值，即為p的最大似然估計值的最大似然估計值.注：對于連續(xù)型總體，可用聯(lián)合密度代替注：對于連續(xù)型總體，可用聯(lián)合密度代替P(X1=x1,Xn=xn).)1ln()()ln()(ln11pxnpxpLniinii對數(shù)似然函數(shù)為對數(shù)似然函數(shù)為11()(1)nniiiixnxL ppp對對p求導(dǎo)并令其為求導(dǎo)并令其為0，)(111)(ln11niiniixnpxpdppLd=0得得xxnpnii11即為即為 p 的最大似然估計的最大似然估計 .222211ln ( )11 ()0(1)nniiiidL pxnxdppp檢驗ln()0dL pdp

17、 欲求似然函數(shù)欲求似然函數(shù)L(p) 的最大值點，可以應(yīng)用微積分中的技巧。通過求解下的最大值點，可以應(yīng)用微積分中的技巧。通過求解下面的方程求得面的方程求得. 利用最大似然原理而獲得的關(guān)于未知參數(shù)的估計稱為最大似然估計。利用最大似然原理而獲得的關(guān)于未知參數(shù)的估計稱為最大似然估計。為為似然函數(shù)似然函數(shù) 定義定義：設(shè)：設(shè)x1,x2,xn是取自總體是取自總體X的一個樣本，樣本的聯(lián)合概率函數(shù)為的一個樣本，樣本的聯(lián)合概率函數(shù)為 p (x1,x2, ,xn ; ) .)( L p(x1, x2 , xn; ) 當當 x1, x2 , xn 為樣本的觀察值時，為樣本的觀察值時，( )sup ( )LL如果某個統(tǒng)

18、計量如果某個統(tǒng)計量 滿足滿足 1(,)nxx則稱則稱 為為 的的最大似然估計最大似然估計 . 記為記為MLE.注注1：求：求MLE時，只須在支撐上考慮時，只須在支撐上考慮. x : p(x ;)0叫做叫做支撐支撐.注注2 : 若若是是k維向量維向量, 則構(gòu)造則構(gòu)造k個統(tǒng)計量分別為相應(yīng)參數(shù)分量的個統(tǒng)計量分別為相應(yīng)參數(shù)分量的MLE.稱稱注意似然函數(shù)與注意似然函數(shù)與聯(lián)合概率函數(shù)的聯(lián)合概率函數(shù)的區(qū)別區(qū)別求求MLE的方法：的方法： 1、微分法、微分法求似然函數(shù)求似然函數(shù)L( ) 的最大值點，可以應(yīng)用微積分中的技巧。由于的最大值點，可以應(yīng)用微積分中的技巧。由于lnx是是 x 的增函的增函數(shù)數(shù), lnL(

19、)與與L( )在在 的同一值處達到它的最大值的同一值處達到它的最大值. 假定假定 是一實數(shù)，且是一實數(shù)，且lnL( )是是 的一個可微函數(shù)。通過求解方程：的一個可微函數(shù)。通過求解方程：可以得到可以得到 的的MLE . 0)(lndLd 若若 是向量，上述方程必須用方程組代替是向量，上述方程必須用方程組代替 . 2、用定義直接求、用定義直接求當用上述求導(dǎo)方法求參數(shù)的當用上述求導(dǎo)方法求參數(shù)的MLE有時行不通有時行不通(如似然函數(shù)不連續(xù)如似然函數(shù)不連續(xù))，這時要用最大，這時要用最大似然原理似然原理(即定義即定義)來求來求.例例8 . 設(shè)總體設(shè)總體 X P ( ) , 未知未知 . 是來自是來自 X

20、的樣本值的樣本值 , 試求試求 的最大似然估計量的最大似然估計量 .1,nxx例例9 設(shè)總體設(shè)總體 X N( ) , 未知未知 . 是來自是來自 X 的樣本值的樣本值 , 試求試求 的最大似然估計量的最大似然估計量 .1,nxx2, 2, 2, 似然函數(shù)為似然函數(shù)為 解：解：X 的概率密度為的概率密度為 22()21( ),2xp xex222()211(,)2ixniL e 2222211(2 )()exp() 2nnniix 于是于是222211( ,)ln(2 )ln()222niinnlnL x 令令211()0niilnLxn 2222211()022()niinlnLx 11nii

21、xxn 222*11()niixxsn 解得解得經(jīng)檢驗知它們就是經(jīng)檢驗知它們就是 的最大似然估計的最大似然估計2, 222211( ,)ln(2 )ln()222niinnlnL x 注注: 對于正態(tài)總體對于正態(tài)總體,2 2的矩估計與的矩估計與MLE是相同的是相同的. .但對于其它很多分布但對于其它很多分布, ,它們并不一樣它們并不一樣. .例例10 設(shè)設(shè)x1,x2,xn是取自總體是取自總體XU(0,)的一個樣本的一個樣本1,0( )00,xXp x為未知參數(shù)其它求求的最大似然估計和矩估計的最大似然估計和矩估計.(1)( )1( ), 0nnLxx 故故的最大似然估計為的最大似然估計為( )n

22、x另一方面另一方面,由于由于EX=/2, 故故矩估計為矩估計為2x兩者不同兩者不同!用求導(dǎo)方法無法最終確定用求導(dǎo)方法無法最終確定用定義直接來求用定義直接來求 .要使要使L()達到最大，達到最大，應(yīng)最小，但它小不過應(yīng)最小，但它小不過x(n) ，解解: 當當x1,x2,xn為樣本值時，似然函數(shù)為為樣本值時，似然函數(shù)為例例1111 設(shè)設(shè) X U (a,b), x1, x2, xn 是是 X 的一個的一個樣本值樣本值, 求求 a , b 的最大似然估計的最大似然估計.解解X 的密度函數(shù)為的密度函數(shù)為1,( ; , )0,axbp x a bba其它似然函數(shù)為似然函數(shù)為(1)( )1( , ),()nn

23、L a baxxbba似然函數(shù)只有當似然函數(shù)只有當 b -a 最小最小 時才能獲得最大值時才能獲得最大值, 且且 a 越大越大, b 越小越小, L 越大越大.取取(1)( ),naxbx則對滿足則對滿足(1)( )naxxb的一切的一切 a 0,求求 的最大似然估計和矩估計的最大似然估計和矩估計. ,()11( , )inxiiLex ，,i=1,2,n11()(1)1,niixnex解解: (1) 當當x1,x2,xn為樣本值時，似然函數(shù)為為樣本值時，似然函數(shù)為對數(shù)似然函數(shù)為對數(shù)似然函數(shù)為niixnL1)(1ln),(ln 用求導(dǎo)方法無法最終確定用求導(dǎo)方法無法最終確定用定義直接來求用定義直

24、接來求 .、 , niixn11 nL),(ln0 niixnL12)(1),(ln =0 令令(1)x而而(1)( ,),Lx 且是是故使故使 達到最大的達到最大的 即即 的的MLE ),( L , (1)11niixxxn于是于是 即即 分別為分別為 的的MLE ., ,由上式解得由上式解得(2) 由密度函數(shù)知由密度函數(shù)知 X具有均值為具有均值為 的指數(shù)分布的指數(shù)分布Exp(1/) 即即 EX= 2 VarX= E(X- ) = 2 Var(X- )= 故故解得解得x2*11()niixxsn211()niixxn也就是也就是 EX= 2 VarX=()Var X ()()E XVar X的矩估計量為的矩估計量為于是于是, 例例1414 設(shè)設(shè)X Ga(,1), x1, x2, xn 是是 X 的一個樣本值的一個樣本值, 求求 的最大似然估計的最大似然估計.11,0()( ;)0,xxexp xx0*xs最大似然估計的性質(zhì)最大似然估