最大似然估計法實(shí)用教案

1、會計學(xué)1最大似然估計最大似然估計(gj)法法第一頁，共22頁。 極大極大(j d)似然法的基本思想似然法的基本思想 先看一個簡單先看一個簡單(jindn)例子：例子：一只野兔一只野兔(yt)從前方竄從前方竄過過 .是誰打中的呢？是誰打中的呢？某位同學(xué)與一位獵人一起某位同學(xué)與一位獵人一起外出打獵外出打獵 .如果要你推測，如果要你推測，你會如何想呢你會如何想呢?只聽一聲槍響，野兔應(yīng)聲倒下只聽一聲槍響，野兔應(yīng)聲倒下 .第1頁/共22頁第二頁，共22頁。選擇選擇(xunz)一個參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大概率一個參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大概率第2頁/共22頁第三頁，共22頁。 極大似然估計極大似然估計(gj

2、)原理：原理： 當(dāng)給定樣本當(dāng)給定樣本X1,X2,Xn時，定義時，定義(dngy)似然函數(shù)為：似然函數(shù)為： 設(shè)設(shè)X1,X2,Xn是取自總體是取自總體X的一個樣本的一個樣本，樣本的聯(lián)合密度，樣本的聯(lián)合密度(連續(xù)型）或聯(lián)合概率函連續(xù)型）或聯(lián)合概率函數(shù)數(shù)(離散型離散型)為為 f (X1,X2,Xn; ) . )( Lf (X1,X2,Xn; ) 第3頁/共22頁第四頁，共22頁。 似然函數(shù)似然函數(shù)(hnsh)：)(max)( LL 極大似然估計法就是用使極大似然估計法就是用使 達(dá)到最達(dá)到最 大值的大值的 去估計去估計 . )( L 稱稱 為為 的極大似然估計（的極大似然估計（MLE）. )( Lf (

3、X1,X2,Xn; ) 看作參數(shù)看作參數(shù) 的函數(shù)，它可作為的函數(shù)，它可作為 將以多將以多大可能產(chǎn)生樣本值大可能產(chǎn)生樣本值X1,X2,Xn的一種度量的一種度量 .)( L 第4頁/共22頁第五頁，共22頁。極大極大(j d)似然估似然估計法計法可能取值的范圍?？赡苋≈档姆秶?。是是為待估參數(shù)，為待估參數(shù)，的形式為已知，的形式為已知，屬離散型，其分布律屬離散型，其分布律若總體若總體 ),;().1(xpxXPX的的聯(lián)聯(lián)合合分分布布律律：的的樣樣本本；則則是是來來自自設(shè)設(shè)nnXXXXX,11 niixp1);( 的的一一個個樣樣本本值值；是是又又設(shè)設(shè)nnXXxx,11發(fā)生的概率為：發(fā)生的概率為：事件事

4、件的概率，亦即的概率，亦即取取易知樣本易知樣本,1111nnnnxXxXxxXX 第5頁/共22頁第六頁，共22頁。)1 . 1(., );();,()(11 niinxpxxLL。似似然然函函數(shù)數(shù)稱稱為為樣樣本本的的的的函函數(shù)數(shù)。它它是是)( L使得：使得：即取即取的估計值，的估計值，作為，作為達(dá)到最大的參數(shù)達(dá)到最大的參數(shù)挑選使概率挑選使概率定定由極大似然估計法：固由極大似然估計法：固 );,(;, 11nnxxLxx)2 . 1();,(max);,(11 nnxxLxxL 。極大似然估計值極大似然估計值的的稱其為參數(shù)稱其為參數(shù)有關(guān)，記為有關(guān)，記為與與 );,(,11nnxxxx。極極大大

5、似似然然估估計計量量的的稱稱為為參參數(shù)數(shù) ),(1nXX 第6頁/共22頁第七頁，共22頁。;),;().2(為待估參數(shù)為待估參數(shù)的形式已知，的形式已知，屬連續(xù)型，其概率密度屬連續(xù)型，其概率密度若總體若總體 xfX的的聯(lián)聯(lián)合合密密度度：則則nXX,1 niixf1);( 似為：似為：維立方體）內(nèi)的概率近維立方體）內(nèi)的概率近的的的鄰域（邊長分別為的鄰域（邊長分別為落在落在機(jī)點(diǎn)機(jī)點(diǎn)的一個樣本值，則隨的一個樣本值，則隨是相應(yīng)是相應(yīng)設(shè)設(shè)ndxdxxxXXXXxxnnnnn,),(),(,11111)3 . 1( );(1iniidxxf 取到最大值。取到最大值。，使概率，使概率的估計值的估計值我們?nèi)∥?/p>

6、們?nèi)?3 . 1( 第7頁/共22頁第八頁，共22頁。而變，故只需考慮：而變，故只需考慮：不隨不隨但但 iidx)4 . 1( , );();,()(11 niinxfxxLL 。似似然然函函數(shù)數(shù)稱稱為為樣樣本本的的的的最最大大值值，這這里里)( L);,(max);,( 11 nnxxLxxL 若若。極極大大似似然然估估計計值值的的為為則則稱稱 ),(1nxx 。極極大大似似然然估估計計量量的的為為稱稱 ),(1nXX . 0)( );(),;( ddLxfxp可由下式求得：可由下式求得：可微，故可微，故關(guān)于關(guān)于一般，一般，第8頁/共22頁第九頁，共22頁。(1.5) . 0)(ln )(l

7、n)( LddLL也可從下述方程解得：也可從下述方程解得：大似然估計大似然估計的極的極處取到極值，因此處取到極值，因此在同一在同一與與又因又因個個參參數(shù)數(shù)，若若母母體體的的分分布布中中包包含含多多., 1, 0ln., 1, 0kiLkiLii 或或即可令即可令的的極極大大似似然然估估計計值值。個個方方程程組組求求得得解解kk ,1第9頁/共22頁第十頁，共22頁。例例1、設(shè)一批產(chǎn)品、設(shè)一批產(chǎn)品(chnpn)中有次品和正品。為了中有次品和正品。為了估計次品率估計次品率P，從這批產(chǎn)品，從這批產(chǎn)品(chnpn)中抽取容量為中抽取容量為n的樣本的樣本X1, X2, ,Xn, 則有則有PXi =0=1

8、-p PXi =1=p的的分分布布律律為為：iXnixpppxfixxiii, 2 , 1; 1 , 0,)1(;1 對于樣本對于樣本(yngbn)一次觀測值一次觀測值x1, x2, ,xn ，似然函數(shù)為，似然函數(shù)為,)1()1(),(1111;1 niiniiiixnxxxninpppppxxL第10頁/共22頁第十一頁，共22頁?，F(xiàn)抽取一容量現(xiàn)抽取一容量(rngling)為為10的樣本，其的樣本，其觀測值為觀測值為（x1, x2, ,xn ）=（1，1，0， ，0）對這一樣對這一樣(yyng)本觀測值，似然函數(shù)為本觀測值，似然函數(shù)為,)1(),(82;1pppxxLn 0),(;1 pxx

9、Ldpdn由微分由微分(wi fn)法，可令法，可令得得0)1(8)1(2728 pppp2 . 0 , , ppp得得并記為并記為解出解出第11頁/共22頁第十二頁，共22頁。求參數(shù)的最大似然估計求參數(shù)的最大似然估計(gj)(gj)的步驟：的步驟： ),;( ),;,(),(12121121 nikiknkxfxxLL （1 1）寫出似然函數(shù)）寫出似然函數(shù)(hnsh)(hnsh)（2 2）取對數(shù)）取對數(shù)(du sh)(du sh) nikikxfL12121),;(ln ),(ln 第12頁/共22頁第十三頁，共22頁。（3 3）將對數(shù)似然函數(shù)對各參數(shù)）將對數(shù)似然函數(shù)對各參數(shù)(cnsh)(c

10、nsh)求求偏導(dǎo)數(shù)并令其為零，得對數(shù)似然方程組。若偏導(dǎo)數(shù)并令其為零，得對數(shù)似然方程組。若總體分布中只有一個未知參數(shù)總體分布中只有一個未知參數(shù)(cnsh)(cnsh)，則為一個方程，稱對數(shù)似然方程。則為一個方程，稱對數(shù)似然方程。（4 4）從方程組中解出）從方程組中解出 1 1， 2 2， k k，并記為，并記為 ),(),(),(1122111nkknnXXXXXX 第13頁/共22頁第十四頁，共22頁。的的一一個個樣樣本本，是是來來自自設(shè)設(shè)例例XXXpBXn,);, 1(. 21試求參數(shù)試求參數(shù)(cnsh)p(cnsh)p的極大似然估計量。的極大似然估計量。的的分分布布律律為為：是是一一個個樣

11、樣本本值值。解解：設(shè)設(shè)Xxxn,1; 1 , 0,)1(1 xppxXPxx故似然函數(shù)故似然函數(shù)(hnsh)(hnsh)為為,)1()1()(1111 niiniiiixnxxxnipppppL).1ln()(ln)()(ln11pxnpxpLniinii 而而. 01)(ln11 pxnpxpLdpdniinii令令p206第14頁/共22頁第十五頁，共22頁。xxpnii 1n1p 的極大似然估計值的極大似然估計值解得解得XXpnii 1n1p 的極大似然估計量為的極大似然估計量為第15頁/共22頁第十六頁，共22頁。的一個樣本值，的一個樣本值，是來自是來自為未知參數(shù)，為未知參數(shù)，設(shè)設(shè)例例

12、XxxNXn,);,(. 3122 的的極極大大似似然然估估計計量量。求求：2, 的概率密度為：的概率密度為：解：解：X)(21exp21),;(222 xxf似然函數(shù)似然函數(shù)(hnsh)為：為： niixL1222)(21exp21),( niixnnL1222)(21)ln(2)2ln(2ln p207第16頁/共22頁第十七頁，共22頁。 0)()(212n-01 0ln0ln21222122 niiniixnxLL即：即：令令 0)(n02121 niiniixnx整理得整理得第17頁/共22頁第十八頁，共22頁。 niixn11 解得：解得： niiXXn122)(1 XXnnii

13、11 代入，解得代入，解得將將X 第18頁/共22頁第十九頁，共22頁。是是一一個個樣樣本本值值，未未知知，設(shè)設(shè)例例nxxUX,;, 0. 41 的極大似然估計量。的極大似然估計量。求求 其它其它 , 0n),1,2,(i ;0 ,1);,(21 innxxxxL解：似然函數(shù)解：似然函數(shù)(hnsh)為為 其它其它 , 0n),1,2,(i ;max ,1 inx當(dāng)當(dāng)L0時，有時，有l(wèi)nL=-nln p210第19頁/共22頁第二十頁，共22頁。對對 求導(dǎo)，并令其為零，得求導(dǎo)，并令其為零，得0 n對數(shù)似然函數(shù)無解，只能應(yīng)用最大似然法基本對數(shù)似然函數(shù)無解，只能應(yīng)用最大似然法基本思想，選擇思想，選擇的最小可能的最小可能(knng)值，使最大值，使最大似然函數(shù)達(dá)到最大。似然函數(shù)達(dá)到最大。max1ixni 即即第20頁/共22頁第