數(shù)理統(tǒng)計(jì)課件：極大似然估計(jì)

極大似然估計(jì)3.3.1

極大似然估計(jì)的基本思想3.3.2極大似然估計(jì)的定義和若干例子極大似然估計(jì)方法首先是由德國數(shù)學(xué)家高斯在1821年提出的.GaussFisher然而，這個(gè)方法常歸功于英國統(tǒng)計(jì)學(xué)家費(fèi)歇(Fisher).Fisher在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).3.3.1極大似然估計(jì)的基本思想引例3.3.1某位同學(xué)與一位獵人一起外出打獵.一只野兔從前方竄過.如果要你推測，只聽一聲槍響，野兔應(yīng)聲倒下.是誰打中的呢？你會如何想呢?分析：因?yàn)橹话l(fā)一槍便打中，獵人命中的概率一般大于這位同學(xué)命中的概率.令X為打一槍的中彈數(shù)，則X~B(1,p),p未知.設(shè)想我們事先知道p只有兩種可能:p=0.9或p=0.1兩人中有一人打搶，估計(jì)這一槍是誰打的，即估計(jì)總體參數(shù)

p的值.其數(shù)學(xué)模型為當(dāng)兔子中彈，即{X=1}發(fā)生了若p=0.9，則P{X=1}=0.9若p=0.1，則P{X=1}=0.1當(dāng)兔子不中彈，即{X=0}發(fā)生了若p=0.9，則P{X=0}=0.1

若p=0.1，則P{X=0}=0.9現(xiàn)有樣本觀察值x=1,什么樣的參數(shù)使該樣本觀察值出現(xiàn)的可能性最大呢？根據(jù)樣本觀察值，選擇參數(shù)p的估計(jì)，使得樣本在該樣本觀察值附近出現(xiàn)的可能性最大.極大似然估計(jì)法的基本思想：獵人同學(xué)一槍打中哪個(gè)概率大？獵人命中的概率一般大于這位同學(xué)命中的概率,看來這一槍是獵人射中的.這個(gè)例子確定的基本想法是:當(dāng)試驗(yàn)中得到一個(gè)結(jié)果(上例中指兔子被一槍打中)時(shí),哪個(gè)p值使這個(gè)結(jié)果的出現(xiàn)具有最大概率就應(yīng)該取哪個(gè)值作為p的估計(jì)值.它用到“概率最大的事件最可能出現(xiàn)”的直觀想法.說明：雖然參數(shù)p可取參數(shù)空間

中的所有值，但在給定樣本觀察值x1,x2,…,xn后，不同的p值對應(yīng)樣本X1,X2,…,Xn取x1,x2,…,xn的鄰域的概率大小也不同，既然在一次試驗(yàn)中觀察到X1,X2,…,Xn取值x1,x2,…,xn，因此有理由認(rèn)為X1,X2,…,Xn落入x1,x2,…,xn的鄰域中的概率較其它地方大.哪一個(gè)參數(shù)使得X1,X2,…,Xn落入x1,x2,…,xn的鄰域中的概率最大，這個(gè)參數(shù)就是最可能的參數(shù)，我們用它作為參數(shù)的估計(jì)值，這就是極大似然原理.設(shè)總體X為離散型，其分布列為一極大似然估計(jì)的定義3.3.2極大似然估計(jì)的定義和例子其中

為待估參數(shù)，Θ為參數(shù)空間.設(shè)X1,X2,…,Xn

是來自總體X

的樣本，則樣本X1,X2,…,Xn的聯(lián)合分布列為設(shè)x1,x2,…,xn是樣本X1,X2,…,Xn

的一個(gè)觀察值，則樣本X1,X2,…,Xn

取x1,x2,…,xn的概率為這一概率隨θ的取值而變化，它是θ

的函數(shù)，稱為樣本的似然函數(shù).

似然的字面含義是看起來像，下面利用樣本觀察值確定參數(shù)看起來最像的值，這就是統(tǒng)計(jì)上的似然原理.已經(jīng)得到了觀察值x1,x2,…,xn，它是哪一個(gè)θ

所確定的總體(或分布)產(chǎn)生的?尋找最可能的！也就是產(chǎn)生這個(gè)樣本的概率最大的，即求使得稱為θ

的極大似然估計(jì)量.稱為θ

的極大似然估計(jì)值.設(shè)總體X為連續(xù)型，其密度函數(shù)為f(x,

),其中

為待估參數(shù)，Θ為參數(shù)空間.設(shè)X1,X2,…,Xn

是來自總體X

的樣本，則樣本X1,X2,…,Xn的聯(lián)合密度函數(shù)為設(shè)x1,x2,…,xn是樣本X1,X2,…,Xn

的一個(gè)觀察值，則樣本X1,X2,…,Xn

落在x1,x2,…,xn的鄰域內(nèi)的概率為這一概率隨θ的取值而變化，它是θ

的函數(shù)，取θ的估計(jì)值使得上式達(dá)到最大，但是不隨θ取值的變化而改變，故只需考慮的極大值，L(θ)稱為樣本的似然函數(shù).

若稱為θ

的極大似然估計(jì)量.稱為θ

的極大似然估計(jì)值.定義3.3.1(似然函數(shù))設(shè)總體X的密度函數(shù)(或分布列)為f(x,

),其中未知參數(shù)=(

1,2,…,k)ΘRk

,X1,X2,…,Xn

是來自總體X的樣本，則樣本X1,X2,…,Xn

的聯(lián)合密度函數(shù)(或聯(lián)合分布列)為若已知樣本觀察值，稱為樣本的似然函數(shù).

稱為樣本的對數(shù)似然函數(shù).

注：似然函數(shù)和聯(lián)合密度函數(shù)(或聯(lián)合分布列)是同一表達(dá)式，但是表示兩種不同含義.當(dāng)

固定時(shí)，將其看成定義在樣本空間χ

上的函數(shù)，稱為聯(lián)合密度函數(shù)(或聯(lián)合分布列).當(dāng)x固定時(shí)，將其看成定義在參數(shù)空間Θ

上的函數(shù)，稱為似然函數(shù).這是兩個(gè)不同的概念.似然函數(shù)意味著：給定數(shù)據(jù)x，L(

)是以參數(shù)

標(biāo)記的總體分布產(chǎn)生這個(gè)數(shù)據(jù)的可能性度量.例3.3.1設(shè)罐子里有許多黑球和紅球.假定已知它們的比例是1:3，但不知道是黑球多還是紅球多.也就是抽出一個(gè)黑球的概率或者是1/4或者是3/4.如果有放回的從罐子中抽n個(gè)球，要根據(jù)抽樣數(shù)據(jù)，估計(jì)抽到黑球的概率是多少.解:將此問題建立統(tǒng)計(jì)模型令Xi表示第i次抽球的結(jié)果，即記每次抽樣中抽到黑球的概率為p，此處，p只取可能的兩個(gè)值p1=1/4和p2=3/4之一.

因此分布族為要根據(jù)抽樣結(jié)果對p

做出估計(jì)，即

p取值為1/4還是3/4?

或說樣本來自總體B(n,

p1)

還是B(n,

p2)

?注：因?yàn)槭浅浞纸y(tǒng)計(jì)量，我們用替代了樣本.當(dāng)

X=(X1,X2,…,Xn)給定時(shí)，似然函數(shù)為為簡單計(jì)，取n=3當(dāng)x=0，1，2，3時(shí)似然函數(shù)取值如下表所示由上表可見當(dāng)x=0，1時(shí)，L(1/4,x)

>

L(3/4,x)

當(dāng)x=2，3時(shí)，L(3/4,x)

>

L(1/4,x)

因此得出結(jié)論：當(dāng)x=0，1時(shí)，L(1/4,x)

>

L(3/4,x)

當(dāng)x=2，3時(shí)，L(3/4,x)

>

L(1/4,x)

估計(jì)抽到的黑球概率為

估計(jì)抽到的黑球概率為

則

p的取值應(yīng)使這個(gè)事件發(fā)生的概率最大.對于不同的p,L(p)不同，見下圖發(fā)生了，現(xiàn)經(jīng)過一次試驗(yàn)，事件定義3.3.2(極大似然估計(jì))如果似然函數(shù)L(θ,x1,x2,…,xn

)在處達(dá)到極大值，即在不引起混淆的情況下，統(tǒng)稱為極大似然估計(jì)(MaximumLikelihoodEstimator簡記為MLE).稱為θ

的極大似然估計(jì)值.與x1,x2,…,xn

有關(guān)，記為稱為θ

的極大似然估計(jì)量.1.用微積分中求極值的方法若似然函數(shù)L(θ,x1,x2,xn)關(guān)于

θ=

(θ1,

θ2,θk)各分量的偏導(dǎo)數(shù)都存在，則

=(

1,

2,

,

k)的極大似然估計(jì)可由下述方程組求得二極大似然估計(jì)的求法該方程組稱為似然方程組.又因?yàn)長(

)與lnL(

)在同一

處取得極值，因此

=(

1,

2,

,

k)的極大似然估計(jì)也可由下述方程組解得該方程組稱為對數(shù)似然方程組,利用對數(shù)似然方程組求解更方便.求極大似然估計(jì)(MLE)的一般步驟是：(1)由總體分布導(dǎo)出樣本的聯(lián)合密度函數(shù)(或聯(lián)合分布列)；(2)把樣本的聯(lián)合密度函數(shù)(或聯(lián)合分布列)中自變量看作已知常數(shù)，

而把參數(shù)

看作自變量，得到似然函數(shù)L(

)；(3)求似然函數(shù)L(

)的極大值點(diǎn)(常常轉(zhuǎn)化為求對數(shù)似然函數(shù)的極大

值點(diǎn))，得θ的極大似然估計(jì).因此，求極大似然估計(jì)首先求似然方程的解但是，此解是否一定是

的極大似然估計(jì)？滿足似然方程，只是極大似然估計(jì)的必要條件，而非充分條件.一般只有滿足下列條件：(1)似然方程的極大值在參數(shù)空間Θ

內(nèi)部達(dá)到.(2)似然方程只有唯一解，則似然方程的解必為極大似然估計(jì).因此求出似然方程的解后，要驗(yàn)證它為

的極大似然估計(jì)，有時(shí)并非易事.但是，對樣本分布族是指數(shù)族的場合，有非常滿意的結(jié)果.設(shè)X1,X2,…,Xn

是從指數(shù)族中抽取的樣本，其中指數(shù)族的自然形式為其中Θ為自然參數(shù)空間，Θ0為Θ的內(nèi)點(diǎn)集.似然函數(shù)為對數(shù)似然函數(shù)為因此，若樣本分布族為指數(shù)族，只要似然方程的解屬于自然參數(shù)空間的內(nèi)點(diǎn)集，則解必為??的極大似然估計(jì).定理3.3.1若對任何樣本X1,X2,…,Xn，方程組在Θ0內(nèi)有解，則解必唯一且為

的極大似然估計(jì).如二項(xiàng)分布族，Poisson分布族，幾何分布族，正態(tài)分布族，Gamma分布族等都是指數(shù)族，定理的條件都成立.因此似然方程的解就是有關(guān)參數(shù)的極大似然估計(jì).常見的分布族2從定義出發(fā)求當(dāng)似然函數(shù)L(

,x)對參數(shù)

不可微時(shí)，甚至不連續(xù)時(shí)，似然方程一般沒有意義，不能采用微積分極值方法，此時(shí)，需要從定義出發(fā)，直接求似然函數(shù)的極值點(diǎn)進(jìn)一步得到參數(shù)

的極大似然估計(jì).極大似然估計(jì)的不變性設(shè)總體X的分布類型已知，其密度函數(shù)(或分布列)為f(x,

)，

=(

1,

2,

,

k)為未知參數(shù)，參數(shù)

=(

1,

2,

,

k)的已知函數(shù)為g(

1,

2,

,

k)，函數(shù)g具有單值反函數(shù).若分別為

1,

2,

,

k的極大似然估計(jì).則為g(

1,

2,

,

k)的極大似然估計(jì).

例3.3.2設(shè)X1,X2

,…,Xn是來自總體X的樣本，且X~B(1,p),其中0<p<1是未知參數(shù)，x1,x2,…,xn是樣本的一個(gè)觀察值，求參數(shù)p的極大似然估計(jì).解：X的分布列為似然函數(shù)為三極大似然估計(jì)的例題對數(shù)似然函數(shù)為對p求導(dǎo)并令導(dǎo)函數(shù)為0，得到對數(shù)似然方程似然函數(shù)對數(shù)似然方程解方程得p的極大似然估計(jì)值為極大似然估計(jì)量為注：兩點(diǎn)分布中參數(shù)p的極大似然估計(jì)與矩估計(jì)一致.似然函數(shù)為：

對數(shù)似然函數(shù)為：

解:X的分布列為例3.3.3設(shè)X1,X2

,…,Xn是來自總體X的樣本，且X~P(

),其中

>0是未知參數(shù)，x1,x2,…,xn是樣本的一個(gè)觀察值，求參數(shù)

和g(

)=e-的極大似然估計(jì).解得

的極大似然估計(jì)值為的極大似然估計(jì)為對

求導(dǎo)并令導(dǎo)數(shù)為零，得對數(shù)似然方程為

的極大似然估計(jì)量為注：泊松分布中參數(shù)

的極大似然估計(jì)與矩估計(jì)一致.解：

似然函數(shù)為例3.3.4設(shè)X1,X2,…,Xn是來自總體X的樣本，且總體X的密度函數(shù)為其中

>?1是未知參數(shù)，x1,x2,…,xn是樣本的一個(gè)觀察值，求參數(shù)

的極大似然估計(jì).對數(shù)似然函數(shù)為：

解得

的極大似然估計(jì)值為對

求導(dǎo)并令導(dǎo)數(shù)為零，得對數(shù)似然方程為

的極大似然估計(jì)量為解：

似然函數(shù)為例3.3.5設(shè)X1,X2,…,Xn是來自指數(shù)分布總體X的樣本，且X的密度函數(shù)為其中

>0是未知參數(shù)，x1,x2,…,xn是樣本的一個(gè)觀察值，求參數(shù)

的極大似然估計(jì).對數(shù)似然函數(shù)為：

解得

的極大似然估計(jì)值為

對

求導(dǎo)并令導(dǎo)數(shù)為零，得對數(shù)似然方程為

的極大似然估計(jì)量為例3.3.6

設(shè)X1,X2

,…,Xn是來自總體X的樣本，且X~N(μ,σ2),其中μ,σ2為未知參數(shù)，，x1,x2,…,xn是樣本的觀察值，

求參數(shù)μ，σ2

，μ

/

σ2及σ

的極大似然估計(jì).解：X的密度函數(shù)為似然函數(shù)為對數(shù)似然函數(shù)為對μ,

σ2分別求偏導(dǎo)并令導(dǎo)數(shù)為0，得到對數(shù)似然方程組解得μ,

σ2的極大似然估計(jì)值為μ,

σ2的極大似然估計(jì)量為注：正態(tài)分布中參數(shù)的極大似然估計(jì)與矩估計(jì)一致.由極大似然估計(jì)的不變性，可得μ

/

σ2及σ

的極大似然估計(jì)為解：X的密度函數(shù)為似然函數(shù)為例3.3.7設(shè)X1,X2,…,Xn是來自總體X的樣本，且X~U[θ1,θ2]，其中θ1<θ2

是未知參數(shù)，x1,…,xn是樣本的一個(gè)觀察值.

求參數(shù)θ1,θ2的極大似然估計(jì).對數(shù)似然方程組為對數(shù)似然函數(shù)為不能求解設(shè)因?yàn)?，?≤x1,···,xn≤θ2，等價(jià)于θ1≤x(1),x(n)≤θ2，我們用定義法求參數(shù)θ1,θ2的極大似然估計(jì).因此，似然函數(shù)為因此，

1越大、

2越小，似然函數(shù)L越大.

1,

2的取值范圍對于滿足θ1≤x(1),x(n)≤θ2，的任意θ1,θ2有即在時(shí)，取極大值故θ1,θ2的極大似然估計(jì)值為：θ1,θ2的極大似然估計(jì)量為：

1,

2

的矩估計(jì)為注：均勻分布中參數(shù)的極大似然估計(jì)與矩估計(jì)不同.設(shè)x(n)=max(x1,···,xn)X的密度函數(shù)為：因?yàn)椋?≤x1,···,xn≤θ，等價(jià)于0≤x(n)≤θ，解:例3.3.8設(shè)X1,X2,…,Xn是來自總體X的樣本，且X~U[0,θ]，其中θ>0是未知參數(shù)，x1,…,xn是樣本的一個(gè)觀察值.

求參數(shù)θ的極大似然估計(jì).因此，似然函數(shù)為對于滿足0≤x(n)≤θ，的任意θ有即L(

)在

=x(n)

時(shí)，取極大值故θ的極大似然估計(jì)為設(shè)x(1)=min(x1,···,xn)，x(n)=max(x1,···,xn)，X的密度函數(shù)為：因?yàn)?，θ≤x1,···,xn≤θ+1，等價(jià)于，x(n)－1≤θ≤x(1)，解:例3.3.9設(shè)X1,X2,…,Xn是來自總體X的樣本，且X~U