極大似然法課件

極大似然法1.極大似然估計法的發(fā)展2.極大似然法的思想

3.似然函數(shù)與極大似然估計4.似然估計基本原理5.系統(tǒng)參數(shù)的極大似然估計6.約束條件和松弛算法

7.幾種參數(shù)估計方法的比較8.求極大似然估計的一般步驟9.極大似然估計的不變性10.極大似然估計法的應(yīng)用高斯，偉大的數(shù)學(xué)家，在1809年提出了極大似然法的基本思想，指出根據(jù)概率論的方法，能夠得到由觀測數(shù)據(jù)來確定參數(shù)的一般方法。R.A.費希爾，著名的統(tǒng)計學(xué)家，則在1912年首次提出將極大似然法作為一種參數(shù)估計法。以后極大似然法逐步完整為一種普遍的參數(shù)估計方法。極大似然估計法的發(fā)展觀測數(shù)據(jù)概率論未知參數(shù)極大似然法的思想引例：某位同學(xué)與一位獵人一起外出打獵，一只野兔從前方竄過．只聽一聲槍響，野兔應(yīng)聲到下，如果要你推測，這一發(fā)命中的子彈是誰打的？你就會想，只發(fā)一槍便打中，由于獵人命中的概率一般大于這位同學(xué)命中的概率，看來這一槍是獵人射中的．這個例子所作的推斷就體現(xiàn)了極大似然法的基本思想極大似然法的思想一般地說，事件與參數(shù)有關(guān)，取值不同，則也不同．若發(fā)生了，則認(rèn)為此時的值就是的估計值．這就是極大似然思想．下面看一例子：設(shè)袋中裝有許多黑、白球，不同顏色球的數(shù)量比為3:1，試設(shè)計一種方法，估計任取一球為黑球的概率極大似然法的思想故根據(jù)極大似然思想即知：在上面的例子中，是分布中的參數(shù)，它只能取兩個值：1/4或3/4，需要通過抽樣來決定分布中參數(shù)究竟是1/4還是3/4．在給定了樣本觀測值后去計算該樣本出現(xiàn)的概率，這一概率依賴于的值，為此需要用1/4、3/4分別去計算此概率，在相對比較之下，哪個概率大，則就最像哪個．極大似然法的思想似然函數(shù)與極大似然估計

1、離散分布場合：設(shè)總體是離散型隨機(jī)變量，其概率函數(shù)為其中是未知參數(shù)．設(shè)為取自總體的樣本．的聯(lián)合概率函數(shù)為這里，是常量，是變量．似然函數(shù)與極大似然估計

若我們已知樣本取的值是，則事件發(fā)生的概率為

這一概率隨的值而變化．應(yīng)使樣本值的出現(xiàn)具有最大的概率．將上式看作的函數(shù)，并用表示，就有：

稱為似然函數(shù)．求總體參數(shù)的極大似然估計值的問題就是求似然函數(shù)的最大值問題．似然函數(shù)與極大似然估計

２、連續(xù)分布場合：設(shè)總體是連續(xù)離散型隨機(jī)變量，其概率密度函數(shù)為，若取得樣本觀察值為，則因為隨機(jī)點取值為時聯(lián)合密度函數(shù)值為。所以，按極大似然法，應(yīng)選擇的值使此概率達(dá)到最大．我們?nèi)∷迫缓瘮?shù)為再按前述方法求參數(shù)的極大似然估計值．似然函數(shù)與極大似然估計

極大似然函數(shù)極大似然估計，是以極大似然函數(shù)為基礎(chǔ)。所謂“似然函數(shù)”，就是構(gòu)造一個以觀察數(shù)據(jù)和待估計參數(shù)為自變量的函數(shù)。它是觀測數(shù)據(jù)和待估計參數(shù)的聯(lián)合概率密度函數(shù)。如果我們對未知參數(shù)的估計越接近參數(shù)的真正值，那么在該估計下的觀測數(shù)據(jù)出現(xiàn)的可能性也越大，即條件概率密度越大。因此，極大似然估計的實質(zhì)，在于對未知參數(shù)進(jìn)行良好的估計，使似然函數(shù)取得最大值。極大似然函數(shù)極大似然函數(shù)是一個以觀察數(shù)據(jù)和待估計參數(shù)為自變量的函數(shù)優(yōu)點：無論在白噪聲干擾或有色噪聲干擾下，都有良好的統(tǒng)計特性。缺點：最終要歸結(jié)為是似然函數(shù)值為最大的最優(yōu)化問題，這就往往得不到解析解，只能采用數(shù)值解法，所以計算工作量較大。似然估計基本原理p=白球數(shù)/球總數(shù)似然估計基本原理似然估計基本原理似然估計基本原理似然估計基本原理似然估計基本原理系統(tǒng)參數(shù)的極大似然估計系統(tǒng)參數(shù)的極大似然估計系統(tǒng)參數(shù)的極大似然估計系統(tǒng)參數(shù)的極大似然估計約束條件和松弛算法約束條件和松弛算法約束條件和松弛算法約束條件和松弛算法約束條件和松弛算法約束條件和松弛算法幾種參數(shù)估計方法的比較幾種參數(shù)估計方法的比較1、由總體分布導(dǎo)出樣本的聯(lián)合概率函數(shù)（或聯(lián)合密度）；2、把樣本聯(lián)合概率函數(shù)（或聯(lián)合密度）中自變量看成已知常數(shù)，而把參數(shù)看作自變量，得到似然函數(shù)

3、求似然函數(shù)的最大值點（常轉(zhuǎn)化為求對數(shù)似然函數(shù)的最大值點）；4、在最大值點的表達(dá)式中，用樣本值代入就得參數(shù)的極大似然估計值．求極大似然估計的一般步驟求未知參數(shù)的某種函數(shù)的極大似然估計可用極大似然估計的不變原則，證明從略．定理（不變原則）設(shè)是的極大似然估計，是的連續(xù)函數(shù)，則的極大似然估計為例5、設(shè)某元件失效時間服從參數(shù)為的指數(shù)分布，其密度函數(shù)為，未知．現(xiàn)從中抽取了個元件測得其失效時間為，試求及平均壽命的極大似然估計．極大似然估計的不變性

分析：可先求的極大似然估計，由于元件的平均壽命即為的期望值，在指數(shù)分布場合，有，它是的函數(shù)，故可用極大似然估計的不變原則，求其極大似然估計．解：（１）寫出似然函數(shù)：

（２）取對數(shù)得對數(shù)似然函數(shù)：

（３）將對求導(dǎo)得似然方程為：

（４）解似然方程得：極大似然估計的不變性

經(jīng)驗證，能使達(dá)到最大，由于上述過程對一切樣本觀察值成立，故的極大似然估計為：根據(jù)極大似然估計的不變原則，元件的平均壽命的極大似然估計為：．極大似然估計的不變性

極大似然估計法的應(yīng)用A型信息準(zhǔn)則極大似然估計法的應(yīng)用極大似然估計法的應(yīng)用極大似然估計法的應(yīng)用極大似然估計法的應(yīng)用線性模型結(jié)構(gòu)的辨識線性模型結(jié)構(gòu)的辨識線性模型結(jié)構(gòu)的辨識線性模型結(jié)構(gòu)的辨識線性模型結(jié)構(gòu)的辨識線性模型結(jié)構(gòu)的辨識赤池提出A型信息準(zhǔn)則（AIC)可表示為其中，是極大似然函數(shù)，是參數(shù)的極大似然估計，

K是系統(tǒng)模型中的獨立參數(shù)個數(shù)。對于不同的模型階次假設(shè)，AIC(K)的典型曲線如下圖所示。該圖說明，當(dāng)給定的系統(tǒng)獨立參數(shù)的個數(shù)遠(yuǎn)離其真值時，AIC(K)中

的數(shù)值較大，在A