參數(shù)估計(jì)極大似然法

1、極大似然估計(jì)法 極大似然原理的直觀想法是:一個(gè)隨機(jī)試驗(yàn)如有若干個(gè)可能的結(jié)果A,B,C,.若在一次試驗(yàn)中,結(jié)果A出現(xiàn), 則一般認(rèn)為A出現(xiàn)的概率最大,也即試驗(yàn)條件對(duì)A出現(xiàn)有利.或者說在試驗(yàn)的很多可能條件中，認(rèn)為應(yīng)該是使事件A發(fā)生的概率為最大的那種條件存在. 極大似然估計(jì)的基本思想1例：假若一個(gè)盒子里有許多白球和紅球,而且已知它們的數(shù)目之比是3:1,但不知是白球多還是紅球多.設(shè)隨機(jī)地在盒子中取一球?yàn)榘浊虻母怕适莗.如果有放回地從盒子里取3個(gè)球,那么白球數(shù)目X服從二項(xiàng)分布如果樣本中白球數(shù)為0,則應(yīng)估計(jì)p=1/4,而不估計(jì)p=3/4.因?yàn)榫哂蠿=0的樣本來自p=1/4的總體的可能性比來自p=3/4的總體

2、的可能性要大.一般當(dāng)X=0,1時(shí),應(yīng)估計(jì)p=1/4;而當(dāng)X=2,3時(shí),應(yīng)估計(jì)p=3/4.2極大似然估計(jì)法的思想：設(shè)總體X的密度函數(shù)為f(x,)，為未知參數(shù)，則樣本（X1,X2,Xn）的聯(lián)合密度函數(shù)為令 參數(shù)的估計(jì)量 ，使得樣本（X1,X2,Xn）落在觀測值 的鄰域內(nèi)的概率L()達(dá)到最大，即則稱 為參數(shù)的極大似然估計(jì)值。 3令4求極大似然估計(jì)的一般步驟歸納如下： 5 例:設(shè)隨機(jī)變量X服從泊松分布:其中0是一未知參數(shù),求的極大似然估計(jì).解 設(shè)(x1,x2,xn)是樣本 (X1,X2,Xn)的一組觀測值.于是似然函數(shù)兩邊取對(duì)數(shù)得6從而得出的極大似然估計(jì)量為 解這一方程得7解 總體X服從參數(shù)為的指數(shù)分

3、布，則有 所以似然函數(shù)為 8取對(duì)數(shù) 令 解得的極大似然估計(jì)值為 極大似然估計(jì)量為 9例:設(shè)(X1,X2,Xn)是來自正態(tài)總體N(,2)的一個(gè)樣本,其中,2是未知參數(shù),參數(shù)空間=- 0.求與2的極大似然估計(jì).解 正態(tài)分布的似 然函數(shù)為兩邊取對(duì)數(shù)得10由微積分知識(shí)易驗(yàn)證以上所求為與2的極大似然估計(jì).分別求關(guān)于與2的偏導(dǎo)數(shù),得似然方程組解這一方程組得11例:設(shè)總體X具有均勻分布,其概率密度函數(shù)為求未知參數(shù)的極大似然估計(jì).解 設(shè) (X1,X2,Xn)是來自總體X的一個(gè)樣本.似然函數(shù)為 要使L(; x1,x2,xn)達(dá)到最大,就要使達(dá)到最小,由于所以的極大似然估計(jì)值為：參數(shù)的極大似然估計(jì)量為：12例 假設(shè)（X1，X2，Xn）是取自正態(tài)總體N(,2)的樣本，求和2的極大似然估計(jì)量。解 構(gòu)造似然函數(shù) 取對(duì)數(shù) 13求偏導(dǎo)數(shù)，并令其為0 解得 所以，2的極大似然估計(jì)量為 與矩估計(jì)量 相同14例 設(shè)總體 X N (, 2), x1, x2, xn 是 X 的樣