極大似然估計法

1、概率論與數(shù)理統(tǒng)計典型教案教學(xué)內(nèi)容：極大似然估計法 教學(xué)目的：通過本節(jié)內(nèi)容的教學(xué)，使學(xué)生：1、明確極大似然估計法是在總體分布類型已知的情況下的一種常用 的參數(shù)估計方法；2、理解極大似然思想；3、掌握求極大似然估計值的一般步驟，會求常見分布參數(shù)的極大似 然估計值.教學(xué)重點(diǎn)：1、對極大似然思想闡述；2、極大似然估計值的求解.教學(xué)難點(diǎn)：對不能通過求導(dǎo)方法獲得極大似然估計的值的確定.教學(xué)時數(shù)：2學(xué)時.教學(xué)過程：引例：某位同學(xué)與一位獵人一起外出打獵，一只野兔從前方竄過.只 聽一聲槍響，野兔應(yīng)聲到下，如果要你推測，這一發(fā)命中的子彈是誰打 的？你就會想，只發(fā)一槍便打中，由于獵人命中的概率一般大于這位同 學(xué)命中

2、的概率，看來這一槍是獵人射中的.這個例子所作的推斷就體現(xiàn)了極大似然法的基本思想.一、極大似然思想一般地說，事件A與參數(shù)9 e0有關(guān)，。取值不同，則尸(A)也不同.若A發(fā)生了，則認(rèn)為此時的9值就是9的估計值.這就是極大似然思想.看 一例子：例1、設(shè)袋中裝有許多黑、白球，不同顏色球的數(shù)量比為3:1, 試設(shè)計一種方法，估計任取一球?yàn)楹谇虻母怕蔖 .分析：易知P的值無非是1/4或3/4.為估計P的值，現(xiàn)從袋中有放回地任取3只球，用X表示其中的黑球數(shù)，則Xb(3,P) .按極大似然 估計思想，對P的取值進(jìn)行估計.解：對P的不同取值，X取k = 0,1,2,3的概率可列表如下：X0123P=1427 /

3、/6427/ .,64964/64P = 34,%496427 / .6427 / ,，64 ,I 蚪,k = 0,1 故根據(jù)極大似然思想即知：P = E4I 丸,k = 2,3在上面的例子中，P是分布中的參數(shù)，它只能取兩個值：1/4或3/4, 需要通過抽樣來決定分布中參數(shù)究竟是1/4還是3/4.在給定了樣本觀測 值后去計算該樣本出現(xiàn)的概率，這一概率依賴于P的值，為此需要用1/4、 3/4分別去計算此概率，在相對比較之下，哪個概率大，則P就最象那個.二、似然函數(shù)與極大似然估計1、離散分布場合：設(shè)總體X是離散型隨機(jī)變量，其概率函數(shù)為p(x;0 )，其中0是未知 TOC o 1-5 h z 參數(shù).

4、設(shè)X ,X，,X為取自總體X的樣本.X ,X，,X的聯(lián)合概率函 12n12n數(shù)為Hp(X.;9 )，這里，0是常量，X,X ,，X是變量.i=1若我們已知樣本取的值是X , X，,X，則事件12 nX = x ,X = x，,X = x 發(fā)生的概率為Hp(x ;0) .這一概率隨0的 1122n nii=1值而變化.從直觀上來看，既然樣本值X ,X，,X出現(xiàn)了，它們出現(xiàn)的 12 n概率相對來說應(yīng)比較大，應(yīng)使Hp(x0)取比較大的值.換句話說，0應(yīng) i=1使樣本值X ,x，,x的出現(xiàn)具有最大的概率.將上式看作0的函數(shù)，并用 12 nL(0)表示，就有：L(0) = L(x ,x，x ;0)= n

5、 p( x ；6)(i)12 nii=1稱L(9)為似然函數(shù).極大似然估計法就是在參數(shù)0的可能取值范圍0內(nèi)，-一 人一 ,.選取使L(0)達(dá)到最大的參數(shù)值0 ,作為參數(shù)0的估計值.即取0，使 TOC o 1-5 h z L(0) = L(x ,x，x ;0) = maxL(x ,x，x ;0)(2)1 2 n0e01 2 n因此，求總體參數(shù)0的極大似然估計值的問題就是求似然函數(shù)L(0 )的最大值問題.這可通過解下面的方程竺以=0(3)d0來解決.因?yàn)閘nL是L的增函數(shù)，所以lnL與L在0的同一值處取得最大值.我們稱l (0) = ln L(0)為對數(shù)似然函數(shù).因此，常將方程(3)寫成:d 血

6、L(0) = (4)d0方程(4)稱為似然方程.解方程(3)或(4)得到希就是參數(shù)0的 極大似然估計值.如果方程(4)有唯一解，又能驗(yàn)證它是一個極大值點(diǎn)，則它必是 所求的極大似然估計值.有時，直接用(4)式行不通，這時必須回到 原始定義(2)進(jìn)行求解.2、連續(xù)分布場合：設(shè)總體X是連續(xù)離散型隨機(jī)變量，其概率密度函數(shù)為f (x;0 )，若取得樣本觀察值為x , x，,x，則因?yàn)殡S機(jī)點(diǎn)(X , X，,X )取值為 12 n12n(x ,x , .,x )時聯(lián)合密度函數(shù)值為Hf (x ;0 ) .所以，按極大似然法，應(yīng) 12nii=1選擇0的值使此概率達(dá)到最大.我們?nèi)∷迫缓瘮?shù)為L(0) = H f (

7、x ;0)，再按前述方法求參數(shù)0的極大似然估計值. i i=1三、求極大似然估計的方法1、可通過求導(dǎo)獲得極大似然估計：當(dāng)函數(shù)關(guān)于參數(shù)可導(dǎo)時，常可通過求導(dǎo)方法來獲得似然函數(shù)極大值 對應(yīng)的參數(shù)值.例2、設(shè)某工序生產(chǎn)的產(chǎn)品的不合格率為p，抽個產(chǎn)品作檢驗(yàn)， 發(fā)現(xiàn)有T個不合格，試求p的極大似然估計.分析：設(shè)X是抽查一個產(chǎn)品時的不合格品個數(shù)，則X服從參數(shù)為p 的二點(diǎn)分布b(1,p) .抽查n個產(chǎn)品，則得樣本X 1,X2,X，其觀察值為 x ,x，,x，假如樣本有T個不合格，即表示X ,x，,x中有T個取值為12 n12 n1，n - T個取值為0.按離散分布場合方法，求p的極大似然估計.解：(1)寫出似然

8、函數(shù)：L(p) = Flpx(1 - P)1-xii=1對L( p)取對數(shù)，得對數(shù)似然函數(shù)l (p):l(p) = Xx Inp + (1 - x )ln(1 - p) = nln(1 - p) + Xx Inp -ln(1 - p)i = 1i = 1由于l(p)對p的導(dǎo)數(shù)存在，故將l(p)對p求導(dǎo)，令其為0，得似然方程：些=-二+ Xx (1 +工)=-二+ Xx = 0 dp 1 - p = i p 1 - p 1 - p p (1 - p) = i1解似然方程得：p = 1X x = xi=1經(jīng)驗(yàn)證，在p = x時，到少 0,這表明p = x可使似然函數(shù)dp 2達(dá)到最大上述過程對任一樣

9、本觀測值都成立，故用樣本代替觀察值便得p的極大似然估計為：p = XT .將觀察值代入，可得p的極大似然估計值為：p = x = 一，其中n5T =乙 x .i=1若總體X的分布中含有多個未知參數(shù)6 ,6 ,.,6時，似然函數(shù)L是 12 k這些參數(shù)的多元函數(shù)L（。尸.,。.代替方程（3）,我們有方程組竺四=0（i = 1,2,k），由這個方程組解得66 ,66 ,66分別是參數(shù)361 2 ki6 ,6 ,.,6 的極大似然估計值12 k例3、設(shè)某機(jī)床加工的軸的直徑與圖紙規(guī)定的中心尺寸的偏差服從N（四,。2），其中日q2未知.為估計日,c2，從中隨機(jī)抽取n = 100根軸，測得其偏差為x ,x

10、,.,x .試求四,C2的極大似然估計. 12100分析：顯然，該問題是求解含有多個（兩個）未知參數(shù)的極大似然估計問題.通過建立關(guān)于未知參數(shù)四Q 2的似然方程組，從而進(jìn)行求解.解：（1）寫出似然函數(shù)：L（日,c 2） = Hi=11_（Xe 2c 22kcn=（2 兀c 2）_ 2 eX （x* ）2_ 7=12c 2（2）寫出對數(shù)似然函數(shù):一n 一 _1 t2l（p,c2） = 一ln（2愈 2）U （x 旦）22c 2ii=1（3）將l （日,C2）分別對日、c 2求偏導(dǎo)，并令它們都為0,得似然方二 （X * ）2 =0 mb 2ii=1db 2初（四,。2）_ n +上 ）2 = 02b

11、 2 2b 4ii=1解似然方程組得:o 1 b 2 = （X 一 X）2n ii=1經(jīng)驗(yàn)證H,b 2使l(H,b 2)達(dá)到極大，上述過程對一切樣本觀察值成立，故用樣本代替觀察值，便 得H,b 2的極大似然估計分別為:.1 日 一H = X , b 2 = （X 一 X ）2 = S 2 .n i=12、不可通過求導(dǎo)方法獲得極大似然估計：當(dāng)似然函數(shù)的非零區(qū)域與未知參數(shù)有關(guān)時，通常無法通過解似然方 程來獲得參數(shù)的極大似然估計，這時可從定義(2)出發(fā)直接求(9)的 極大值點(diǎn).例4、設(shè)總體X服從均勻分布U(0,9)，從中獲得容量為n的樣本X ,X，,X，其觀測值為X ,X，,X，試求9的極大似然估計

12、.12n12 n分析：當(dāng)寫出其似然函數(shù)(9)時，我們會發(fā)現(xiàn)(9)的非零區(qū)域與9有 關(guān)，因而無法用求導(dǎo)方法來獲得9的極大似然估計，從而轉(zhuǎn)向定義(2) 直接求L(9)的極大值.解：寫出似然函數(shù)：L(9) = |9 -n X(1)%)展10,其它場合為使L(9 )達(dá)到極大，就必須使9盡可能小，但是9不能小于、)，因而0取X(n)時使L(e)達(dá)到極大，故0的極大似然估計為：0 = X .(n)進(jìn)一步，可討論估計0的無偏性：由于總體XU(0,0)，其密度函數(shù)與分布函數(shù)分別為：,0 x 0 0 ,0,其它0, X 0 TOC o 1-5 h z F(x) = J-X,0vx0為：p = nF(y)-1 p

13、(y) = ,0 y 0，人未知.現(xiàn)從中抽取了 n個元件測得其失效時間為X , X , , X，試求人及平均壽命的極大似然估計.12 n分析：可先求人的極大似然估計，由于元件的平均壽命即為X的期 望值，在指數(shù)分布場合，有E(X)=上，它是人的函數(shù)，故可用極大似然 力 估計的不變原則，求其極大似然估計.5L 解：(1)寫出似然函數(shù)：L(k) =Tf Xe漁=X/i=1(2)取對數(shù)得對數(shù)似然函數(shù)：l(X) = nlnX-xXxii=1(3)將l(X)求導(dǎo)得似然方程為：噤=?- =0i=1 人解似然方程得：X =i i=1經(jīng)驗(yàn)證，X能使I(X)達(dá)到最大，由于上述過程對一切樣本觀察值成1立，故X的極大似然估計為：X = 一；X根據(jù)極大似然估計的不變原則，元件的平均壽命的極大似然估計為:E (X) = - = X .力五、小結(jié)1、極大似然估計