極大似然估計(jì)

本文格式為Word版，下載可任意編輯——極大似然估計(jì)極大似然估計(jì)（maximumlikelihoodestimination）

極大似然估計(jì)法是求點(diǎn)估計(jì)的一種方法，最早由高斯提出，后來(lái)費(fèi)歇爾（Fisher）在1912年重新提出。它屬于數(shù)理統(tǒng)計(jì)的范疇。大學(xué)期間我們都學(xué)過(guò)概率論和數(shù)理統(tǒng)計(jì)這門課程。概率論和數(shù)理統(tǒng)計(jì)是互逆的過(guò)程。概率論可以看成是由因推果，數(shù)理統(tǒng)計(jì)則是由果溯因。用兩個(gè)簡(jiǎn)單的例子來(lái)說(shuō)明它們之間的區(qū)別。由因推果（概率論）

例1：設(shè)有一枚骰子，2面標(biāo)記的是“正〞，4面標(biāo)記的是“反〞。共投擲10次，問(wèn)：5次“正〞面朝上的概率？解：記“正面〞朝上為事件A，正面朝上的次數(shù)為x。

有題意可知:PA=3。

115

Px=5=??10()5?(1?)10?5

33更一般的有：

例2:設(shè)有一枚骰子，其中“正面〞所占的比例為ω。共投擲n次，問(wèn)：k次“正〞面朝上的概率？

解：記“正面〞朝上為事件A，正面朝上的次數(shù)為x。有題意可知:PA=ω。

??

Px=k=????(ω)???(1?ω)?????

例3：設(shè)有一枚骰子，做了n次試驗(yàn)，其中k次“正面〞朝上。問(wèn)：這枚骰子中，“正面〞所占的比例ω是多少？

在例2中，由于我們對(duì)骰子模型了解的很透徹，即知道這類試驗(yàn)中ω的具體數(shù)值。因此可以預(yù)計(jì)某一事件發(fā)生的概率。在例3中，我們并不能完全了解模型確切參數(shù)。我們需要通過(guò)試驗(yàn)結(jié)果來(lái)估計(jì)模型參數(shù)。也就是由果溯因。總結(jié)來(lái)看如下：例2已知ω求事件發(fā)生的k次的概率。例3已知事件發(fā)生了k次估計(jì)ω。由于事件發(fā)生的概率越大，就越簡(jiǎn)單發(fā)生。所以例3可理解為：ω是多大時(shí)，k次“正面〞朝上發(fā)生的概率最大？

計(jì)算的時(shí)候，對(duì)表達(dá)式求最大值，得到參數(shù)值估計(jì)值。這就是極大似然估計(jì)方法的原理：用使概率達(dá)到最大的那個(gè)ω來(lái)估計(jì)未知參數(shù)ω。

這也把一個(gè)參數(shù)估計(jì)問(wèn)題轉(zhuǎn)化為一個(gè)最優(yōu)化問(wèn)題。

此外，我們甚至不知道一個(gè)系統(tǒng)的模型是什么。因此在參數(shù)估計(jì)前，先依照一定的原則選擇系統(tǒng)模型，再估計(jì)模型中的參數(shù)。本文為了簡(jiǎn)單，模型設(shè)定為伯努利

1

模型。

以上是對(duì)極大似然估計(jì)方法理論上的介紹，接下來(lái)介紹計(jì)算方法。

為了表述規(guī)范，引入概率密度函數(shù)：fkn,ω=Px=k通過(guò)調(diào)換“試驗(yàn)結(jié)果k〞與“模型參數(shù)ω〞的位置有

似然函數(shù)：Lωn,k=fkn,ω

通過(guò)例4介紹概率密度函數(shù)與似然函數(shù)之間的區(qū)別：例4.1設(shè)有一枚骰子，1面標(biāo)記的是“正〞，4面標(biāo)記的是“反〞。共投擲10次，設(shè)“正面〞的次數(shù)為k，求k的概率密度函數(shù)。解：

??

fkn=10,ω=0.2=??10(0.2)???0.810???,??=0,1…10

概率分布圖如下：

從圖中可以看出，“正面〞次數(shù)為2的概率最大。它是關(guān)于k的函數(shù)。

例4.2設(shè)有一枚骰子。共投擲10次，“正面〞的次數(shù)為2，求“正面〞所占的比例，即ω的值。

2

Lωn=10,k=2=f2n=10,ω=??10(ω)2?1?ω8似然函數(shù)：

因此概率密度函數(shù)是指在參數(shù)已知的狀況下，隨機(jī)變量的概率分布狀況。

似然函數(shù)是指在隨機(jī)變量已知的狀況下，參數(shù)取值的概率分布狀況。

例5：設(shè)有一枚骰子，做了10次試驗(yàn)，其中3次“正面〞朝上。問(wèn)：這枚骰子中，“正面〞所占的比例是多少？

3

解：Lω10,3=f310,ω=??10(ω)3?(1?ω)7（1）

我們根據(jù)極大似然估計(jì)方法的原理：用使概率達(dá)到最大的那個(gè)ω來(lái)估計(jì)未知參數(shù)ω

對(duì)于簡(jiǎn)單的連續(xù)函數(shù)，求最大值的方法為：函數(shù)表達(dá)式一階導(dǎo)數(shù)等于0，二階導(dǎo)數(shù)小于0。

為了計(jì)算簡(jiǎn)單，對(duì)上式兩邊取對(duì)數(shù)：

3

Ln（L）=Ln(??10)+3????(ω)+7????(1?ω)

（2）

一階條件：

將（2）式對(duì)ω求偏導(dǎo)數(shù)（導(dǎo)數(shù)）：

??Ln（L）????

=??+1???=??(1???)（3）

373?10??

令（3）式為0，解得??=0.3二階條件：

??2Ln（L）????2|??=0.3=???2?

37（1???）

2|??=0.30的估計(jì)值，。

解：求出“正面〞朝上的概率密度函數(shù)：

??

f????n,ω=??????(ω1?????2??)?????(1?ω1?????2??)???????

似然函數(shù)：

LnLωn,x=Lnfxn,ω

=Lnf??1n,ω+Lnf??2n,ω+?Lnf??6n,ω

6

=?????????ω1?????2????+????????????1?ω1?????2????+????(??????)

??=1

??

對(duì)于這樣一個(gè)繁雜的非線性約束優(yōu)化問(wèn)題，利用求導(dǎo)的方式不再可行?？山柚鷐atlab進(jìn)行計(jì)算。代碼如下：Objfun.m:

functionf=objfun(x)

f=-(94*log(x(1)*exp(-x(2)*1))+6*log(1-(x(1)*exp(-x(2)*1)))+...77*log(x(1)*exp(-x(2)*3))+23*log(1-(x(1)*exp(-x(2)*3)))+...40*log(x(1)*exp(-x(2)*6))+60*log(1-(x(1)*exp(-x(2)*6)))+...26*log(x(1)*exp(-x(2)*9))+74*log(1-(x(1)*exp(-x(2)*9)))+...24*log(x(1)*exp(-x(2)*12))+76*log(1-(x(1)*exp(-x(2)*12)))+...16*log(x(1)*exp(-x(2)*18))+84*log(1-(x(1)*exp(-x(2)*18))));end

sample5.m

x0=[0.1,0.1];%給定初值lb=[0,0];%給定下限ub=[];%給定上限

[x,fval]=