參數(shù)的點(diǎn)估計(jì)PPT課件

1、 總體樣本統(tǒng)計(jì)量描述作出推斷隨機(jī)抽樣第1頁(yè)/共41頁(yè) 現(xiàn)在我們來(lái)介紹一類重要的統(tǒng)計(jì)推斷問(wèn)題 參數(shù)估計(jì)問(wèn)題是利用從總體抽樣得到的信息來(lái)估計(jì)總體的某些參數(shù)或者參數(shù)的某些函數(shù). 參數(shù)估計(jì)估計(jì)廢品率估計(jì)新生兒的體重估計(jì)湖中魚數(shù) 估計(jì)降雨量在參數(shù)估計(jì)問(wèn)題中，假定總體分布形式已知，未知的僅僅是一個(gè)或幾個(gè)參數(shù).第2頁(yè)/共41頁(yè)這類問(wèn)題稱為參數(shù)估計(jì).參數(shù)估計(jì)問(wèn)題的一般提法X1,X2,Xn要依據(jù)該樣本對(duì)參數(shù) 作出估計(jì), 或估計(jì) 的某個(gè)已知函數(shù) .)( g現(xiàn)從該總體抽樣，得樣本 設(shè)有一個(gè)統(tǒng)計(jì)總體 , 總體的分布函數(shù)為F( x, ) ，其中 為未知參數(shù) ( 可以是向量) . 第3頁(yè)/共41頁(yè)參數(shù)估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)在

2、要求的精度范圍內(nèi)在要求的精度范圍內(nèi)指出參數(shù)所在的區(qū)間指出參數(shù)所在的區(qū)間用某一統(tǒng)計(jì)值用某一統(tǒng)計(jì)值作為參數(shù)的近似作為參數(shù)的近似第4頁(yè)/共41頁(yè))1 . 0,(2 N（假定身高服從正態(tài)分布 ） 設(shè)這5個(gè)數(shù)是:1.65 1.67 1.68 1.78 1.69 估計(jì) 為1.68， 這是點(diǎn)估計(jì).這是區(qū)間估計(jì).估計(jì) 在區(qū)間 1.57, 1.84 內(nèi)，例如我們要估計(jì)某隊(duì)男生的平均身高. 現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個(gè)數(shù)）求出總體均值 的估計(jì). 而全部信息就由這5個(gè)數(shù)組成 . 第5頁(yè)/共41頁(yè)尋求估計(jì)量的方法尋求估計(jì)量的方法1. 矩估計(jì)法2. 極大似然法3. 最小二乘法4. 貝

3、葉斯方法 這里我們主要介紹前面兩種方法 .第6頁(yè)/共41頁(yè)1. 矩估計(jì)法 矩估計(jì)法是英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出來(lái)的 .由辛欽定理 ,若總體 的數(shù)學(xué)期望 有限, E X X則有11niiXXn ()PE X 11nkkiiAXn ()(1,2,)PkkE Xk 12(,)kg A AA12(,)Pkg 其中 為連續(xù)函數(shù) .g第7頁(yè)/共41頁(yè) 這表明 , 當(dāng)樣本容量很大時(shí) , 在統(tǒng)計(jì)上 , 可以用 用樣本矩去估計(jì)總體矩 . 這一事實(shí)導(dǎo)出矩估計(jì)法.定義 用樣本原點(diǎn)矩估計(jì)相應(yīng)的總體原點(diǎn)矩 , 又用樣本原點(diǎn)矩的連續(xù)函數(shù)估計(jì)相應(yīng)的總體原點(diǎn)矩的連續(xù)函數(shù), 這種參數(shù)點(diǎn)估計(jì)法稱為矩估計(jì)法 . 理論依據(jù): 大

4、數(shù)定律矩估計(jì)法的具體做法如下 設(shè)總體的分布函數(shù)中含有k個(gè)未知參數(shù) , 那么它的前k階矩 ,一般12,k 12,k 第8頁(yè)/共41頁(yè)都是這 k 個(gè)參數(shù)的函數(shù),記為：從這 k 個(gè)方程中解出i=1,2, ,k12(,)iik j=1,2,k12(,)jjk 那么用諸 的估計(jì)量 Ai 分別代替上式中的諸 , iij=1,2,k12(,)jjkA AA j即可得諸 的矩估計(jì)量 ：矩估計(jì)量的觀察值稱為矩估計(jì)值 .第9頁(yè)/共41頁(yè) 例2 設(shè)總體 X 在 a , b 上服從均勻分布 , a , b 未知 . 是來(lái)自 X 的樣本 , 試求 a , b 的矩估計(jì)量 .1,nXX解 1E X 2ab 22E X 2

5、()12ba 2()()D XE X2()4ab 第10頁(yè)/共41頁(yè)即 1221212()abba 解得于是 a , b 的矩估計(jì)量為 21213()a21213()b213() ,niiaXXXn 213()niibXXXn 樣本矩總體矩第11頁(yè)/共41頁(yè)解 1E X 22E X 2()()D XE X 例3 設(shè)總體 X 的均值 和方差 都存在 , 未知 . 是來(lái)自 X 的樣本 , 試求 的矩估計(jì)量 .1,nXX2(0) 2, 2, 22第12頁(yè)/共41頁(yè)解得1AX1 2221于是 的矩估計(jì)量為 2, 22222111niiAAXXn 211()niiXXn 樣本矩總體矩第13頁(yè)/共41頁(yè)設(shè)

6、總體設(shè)總體 X 服從泊松分布，參數(shù)服從泊松分布，參數(shù)未知，未知，12(,)nX XX是來(lái)自總體的一個(gè)樣本，求參數(shù)是來(lái)自總體的一個(gè)樣本，求參數(shù)的矩的矩估計(jì)量估計(jì)量. 解 ()()E XD X從而得到方程 12111(X)niiniiXnXn或所以的矩估計(jì)量為 122,BX4例第14頁(yè)/共41頁(yè)休息一會(huì)。第15頁(yè)/共41頁(yè) 2. 最大似然法 它是在總體類型已知條件下使用的一種參數(shù)估計(jì)方法 . 它首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的 . GaussFisher 然而,這個(gè)方法常歸功于英國(guó)統(tǒng)計(jì)學(xué)家費(fèi)歇 . 費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì) .第16頁(yè)/共41頁(yè)最大

7、似然法的直觀想法：如果一個(gè)試驗(yàn)有多種可能結(jié)果，現(xiàn)在進(jìn)行一次試驗(yàn)，發(fā)現(xiàn)事件A發(fā)生了，于是我們認(rèn)為事件A發(fā)生的可能性似乎比其它事件發(fā)生的可能性要大。第17頁(yè)/共41頁(yè) 最大似然估計(jì)原理： 當(dāng)給定樣本X1,X2,Xn時(shí)，定義似然函數(shù)為： 設(shè)X1,X2,Xn是取自總體X的一個(gè)樣本，樣本的聯(lián)合密度(連續(xù)型）或聯(lián)合分布律 (離散型)為 f (x1,x2, ,xn ; ) . )( Lf (x1, x2 , xn; ) 這里 x1, x2 , xn 是樣本的觀察值 .第18頁(yè)/共41頁(yè) 似然函數(shù)：)(max)( LL 最大似然估計(jì)法就是用使 達(dá)到最大值的 去估計(jì) . )( L 稱 為 的最大似然估計(jì)值 .

8、看作參數(shù) 的函數(shù)，它可作為 將以多大可能產(chǎn)生樣本值 x1, x2, ,xn 的一種度量 .)( L )( L f (x1,x2, xn; ) 而相應(yīng)的統(tǒng)計(jì)量稱為 的最大似然估計(jì)量 .1(,)n XX第19頁(yè)/共41頁(yè)兩點(diǎn)說(shuō)明： 1、求似然函數(shù)L( ) 的最大值點(diǎn)，可以應(yīng)用微積分中的技巧。由于ln(x)是 x 的增函數(shù), lnL( )與L( )在 的同一值處達(dá)到它的最大值，假定 是一實(shí)數(shù)，且lnL( )是 的一個(gè)可微函數(shù)。通過(guò)求解方程： 可以得到 的MLE . 0)(lndLd 若 是向量，上述方程必須用方程組代替 . 2、用上述求導(dǎo)方法求參數(shù)的MLE有時(shí)行不通，這時(shí)要用最大似然原則來(lái)求 .第2

9、0頁(yè)/共41頁(yè) 下面舉例說(shuō)明如何求最大似然估計(jì)L(p)= f (x1, x2, xn; p ) 例5 設(shè)X1,X2,Xn是取自總體 XB(1, p) 的一個(gè)樣本，求參數(shù)p的最大似然估計(jì)量.nixxiipp11)1 (解：似然函數(shù)為: ppXi110第21頁(yè)/共41頁(yè))1ln()()ln()(ln11pxnpxpLniinii對(duì)數(shù)似然函數(shù)為：niiniixnxpppL11)1()(niiniixnxpp11)1 (第22頁(yè)/共41頁(yè)對(duì)p求導(dǎo)并令其為0，)(111)(ln11niiniixnpxpdppLd=0得xxnpnii11即為 p 的最大似然估計(jì)值 .從而 p 的最大似然估計(jì)量為 111(

10、,)nniip XXXXn 第23頁(yè)/共41頁(yè) (4) 在最大值點(diǎn)的表達(dá)式中, 用樣本值代入就得參數(shù)的最大似然估計(jì)值 .求最大似然估計(jì)(MLE)的一般步驟是： (1) 由總體分布導(dǎo)出樣本的聯(lián)合分布率(或聯(lián)合密度); (2) 把樣本聯(lián)合分布率 ( 或聯(lián)合密度 ) 中自變 量看成已知常數(shù),而把參數(shù) 看作自變量,得到似然 函數(shù)L( ); (3) 求似然函數(shù)L( ) 的最大值點(diǎn)(常常轉(zhuǎn)化為求ln L( )的最大值點(diǎn)) ，即 的MLE; 第24頁(yè)/共41頁(yè) 例6 設(shè)總體 X N( ) , 未知 . 是來(lái)自 X 的樣本值 , 試求 的最大似然估計(jì)量 .1,nxx2, 2, 2, 似然函數(shù)為 解X 的概率密

11、度為 xexfx,21)(222)( 222()211( ,)2ixniL e 第25頁(yè)/共41頁(yè)222()211( ,)2ixniL e 2222211(2 )()exp() 2nnniix 于是22211ln(2 )ln()222niinnLnLx 令211()0niiLnLxn 2222211()022()niinLnLx 第26頁(yè)/共41頁(yè)11niixxn 2211()niixxn 解得的最大似然估計(jì)量為2, ,X 2211()niiXXn 第27頁(yè)/共41頁(yè)解：似然函數(shù)為例7 設(shè)X1,X2,Xn是取自總體X的一個(gè)樣本為未知參數(shù)其它 , 0,1)()(xexfXx其中 0,求 的最大似

12、然估計(jì). ,其它，, 01),(1)(niixxeLi i=1,2,n第28頁(yè)/共41頁(yè)其它, 0min,11)(1 ixnxenii對(duì)數(shù)似然函數(shù)為niixnL1)(1ln),(ln 解：似然函數(shù)為其它，, 01),(1)(niixxeLi i=1,2,n第29頁(yè)/共41頁(yè)niixn11 nL),(ln=0 (2)由(1)得niixnL12)(1),(ln =0 (1)對(duì) 分別求偏導(dǎo)并令其為0,對(duì)數(shù)似然函數(shù)為niixnL1)(1ln),(ln 若用求導(dǎo)方法無(wú)法最終確定用最大似然原則來(lái)求 .、 , 第30頁(yè)/共41頁(yè)inix1*min 是故使 達(dá)到最大的 即 的MLE ),( L , niixn

13、1*1 于是即 為 的MLE .*, ,對(duì), 0),(,min Lxi且是 的增函數(shù) 其它, 0min,1),(1)(1ixnxeLnii第31頁(yè)/共41頁(yè)三、三、 例1 設(shè)總體X的概率密度為其它, 010,) 1()(xxxf 其中 是未知參數(shù) , X1 , X2 , , Xn 是取自 X 的樣本,1 求參數(shù) 的矩估計(jì).第32頁(yè)/共41頁(yè)解 樣本矩總體矩解得11211 的矩估計(jì)量為 故211XX 1E X 10(1)x x dx 110(1)xdx 12 第33頁(yè)/共41頁(yè)解 由密度函數(shù)知例 2 設(shè)X1,X2,Xn是取自總體 X 的一個(gè)樣本為未知參數(shù)其它 , 0,1)()(xexfXx其中

14、0 , 求 的矩估計(jì). , X具有均值為 的指數(shù)分布 即E(X- ) = 2 D(X- )= E(X)= 2 D(X)= 故第34頁(yè)/共41頁(yè)解得 X niiXXn12)(1 niiXXn12)(1也就是 E(X)= 2 D(X)=()D X ()()E XD X的矩估計(jì)量為于是, 第35頁(yè)/共41頁(yè)例3 設(shè)X1,X2,Xn是取自總體X的一個(gè)樣本(0, ),0XU求參數(shù) 的最大似然估計(jì)量。第36頁(yè)/共41頁(yè)解 似然函數(shù)為niixL11)( 11)( niinx) 10(ix對(duì)數(shù)似然函數(shù)為niixnL1ln) 1(ln)(ln ni 1例4 設(shè)X1,X2,Xn是取自總體X的一個(gè)樣本其它, 010,)(1xxxfX 求 的最大似然估計(jì)值. 其中 0,第37頁(yè)/共41頁(yè)niixndLd1ln)(