最大似然估計-詳細(xì)解讀

最大似然估計-詳細(xì)解讀

最大似然估計(重定向自最大似然法)最大似然估計（MaximumLikelihood，ML）目錄1最大似然估計概述2最大似然估計的原理2.1注意3最大似然估計的例子3.1離散分布，離散有限參數(shù)空間3.2離散分布，連續(xù)參數(shù)空間3.3連續(xù)分布，連續(xù)參數(shù)空間4性質(zhì)4.1泛函不變性（Functionalinvariance）4.2漸近線行為4.3偏差5最大似然估計的一般求解步驟[1]6Reference最大似然估計概述最大似然估計是一種統(tǒng)計方法，它用來求一個樣本集的相關(guān)概率密度函數(shù)的參數(shù)。這個方法最早是遺傳學(xué)家以及統(tǒng)計學(xué)家羅納德·費雪爵士在1912年至1922年間開始使用的。“似然”是對likelihood的一種較為貼近文言文的翻譯，“似然”用現(xiàn)代的中文來說即“可能性”。故而，若稱之為“最大可能性估計”則更加通俗易懂。最大似然法明確地使用概率模型，其目標(biāo)是尋找能夠以較高概率產(chǎn)生觀察數(shù)據(jù)的系統(tǒng)發(fā)生樹。最大似然法是一類完全基于統(tǒng)計的系統(tǒng)發(fā)生樹重建方法的代表。該方法在每組序列比對中考慮了每個核苷酸替換的概率。例如，轉(zhuǎn)換出現(xiàn)的概率大約是顛換的三倍。在一個三條序列的比對中，如果發(fā)現(xiàn)其中有一列為一個C，一個T和一個G，我們有理由認(rèn)為，C和T所在的序列之間的關(guān)系很有可能更接近。由于被研究序列的共同祖先序列是未知的，概率的計算變得復(fù)雜；又由于可能在一個位點或多個位點發(fā)生多次替換，并且不是所有的位點都是相互獨立，概率計算的復(fù)雜度進(jìn)一步加大。盡管如此，還是能用客觀標(biāo)準(zhǔn)來計算每個位點的概率，計算表示序列關(guān)系的每棵可能的樹的概率。然后，根據(jù)定義，概率總和最大的那棵樹最有可能是反映真實情況的系統(tǒng)發(fā)生樹。最大似然估計的原理給定一個概率分布D，假定其概率密度函數(shù)（連續(xù)分布）或概率聚集函數(shù)（離散分布）為fD，以及一個分布參數(shù)θ，我們可以從這個分布中抽出一個具有n個值的采樣，通過利用fD，我們就能計算出其概率：但是，我們可能不知道θ的值，盡管我們知道這些采樣數(shù)據(jù)來自于分布D。那么我們?nèi)绾尾拍芄烙嫵靓饶兀恳粋€自然的想法是從這個分布中抽出一個具有n個值的采樣X1,X2,...,Xn，然后用這些采樣數(shù)據(jù)來估計θ.一旦我們獲得，我們就能從中找到一個關(guān)于θ的估計。最大似然估計會尋找關(guān)于θ的最可能的值（即，在所有可能的θ取值中，尋找一個值使這個采樣的“可能性”最大化）。這種方法正好同一些其他的估計方法不同，如θ的非偏估計，非偏估計未必會輸出一個最可能的值，而是會輸出一個既不高估也不低估的θ值。要在數(shù)學(xué)上實現(xiàn)最大似然估計法，我們首先要定義可能性:并且在θ的所有取值上，使這個[[函數(shù)最大化。這個使可能性最大的值即被稱為θ的最大似然估計。注意這里的可能性是指不變時，關(guān)于θ的一個函數(shù)。最大似然估計函數(shù)不一定是惟一的，甚至不一定存在。最大似然估計的例子離散分布，離散有限參數(shù)空間考慮一個拋硬幣的例子。假設(shè)這個硬幣正面跟反面輕重不同。我們把這個硬幣拋80次（即，我們獲取一個采樣并把正面的次數(shù)記下來，正面記為H，反面記為T）。并把拋出一個正面的概率記為p，拋出一個反面的概率記為1?p（因此，這里的p即相當(dāng)于上邊的θ）。假設(shè)我們拋出了49個正面，31個反面，即49次H，31次T。假設(shè)這個硬幣是我們從一個裝了三個硬幣的盒子里頭取出的。這三個硬幣拋出正面的概率分別為p=1/3,p=1/2,p=2/3.這些硬幣沒有標(biāo)記，所以我們無法知道哪個是哪個。使用最大似然估計，通過這些試驗數(shù)據(jù)（即采樣數(shù)據(jù)），我們可以計算出哪個硬幣的可能性最大。這個可能性函數(shù)取以下三個值中的一個：我們可以看到當(dāng)時，可能性函數(shù)取得最大值。這就是p的最大似然估計.離散分布，連續(xù)參數(shù)空間現(xiàn)在假設(shè)例子1中的盒子中有無數(shù)個硬幣，對于中的任何一個p，都有一個拋出正面概率為p的硬幣對應(yīng)，我們來求其可能性函數(shù)的最大值：其中.我們可以使用微分法來求最值。方程兩邊同時對p取微分，并使其為零。在不同比例參數(shù)值下一個二項式過程的可能性曲線t=3,n=10；其最大似然估計值發(fā)生在其眾數(shù)(數(shù)學(xué))并在曲線的最大值處。其解為p=0,p=1，以及p=49/80.使可能性最大的解顯然是p=49/80（因為p=0和p=1這兩個解會使可能性為零）。因此我們說最大似然估計值為.這個結(jié)果很容易一般化。只需要用一個字母t代替49用以表達(dá)伯努利試驗中的被觀察數(shù)據(jù)（即樣本）的'成功'次數(shù)，用另一個字母n代表伯努利試驗的次數(shù)即可。使用完全同樣的方法即可以得到最大似然估計值:對于任何成功次數(shù)為t，試驗總數(shù)為n的伯努利試驗。連續(xù)分布，連續(xù)參數(shù)空間最常見的連續(xù)概率分布是正態(tài)分布，其概率密度函數(shù)如下：其n個正態(tài)隨機變量的采樣的對應(yīng)密度函數(shù)（假設(shè)其獨立并服從同一分布）為：或：,這個分布有兩個參數(shù)：μ,σ2.有人可能會擔(dān)心兩個參數(shù)與上邊的討論的例子不同，上邊的例子都只是在一個參數(shù)上對可能性進(jìn)行最大化。實際上，在兩個參數(shù)上的求最大值的方法也差不多：只需要分別把可能性在兩個參數(shù)上最大化即可。當(dāng)然這比一個參數(shù)麻煩一些，但是一點也不復(fù)雜。使用上邊例子同樣的符號，我們有θ=(μ,σ2).最大化一個似然函數(shù)同最大化它的自然對數(shù)是等價的。因為自然對數(shù)log是一個連續(xù)且在似然函數(shù)的值域內(nèi)嚴(yán)格遞增的函數(shù)。[注意：可能性函數(shù)（似然函數(shù)）的自然對數(shù)跟信息熵以及Fisher信息聯(lián)系緊密。求對數(shù)通常能夠一定程度上簡化運算，比如在這個例子中可以看到：這個方程的解是.這的確是這個函數(shù)的最大值，因為它是μ里頭惟一的拐點并且二階導(dǎo)數(shù)嚴(yán)格小于零。同理，我們對σ求導(dǎo)，并使其為零。這個方程的解是.因此，其關(guān)于θ=(μ,σ2)的最大似然估計為：.性質(zhì)泛函不變性（Functionalinvariance）如果是θ的一個最大似然估計，那么α=g(θ)的最大似然估計是.函數(shù)g無需是一個——映射。漸近線行為最大似然估計函數(shù)在采樣樣本總數(shù)趨于無窮的時候達(dá)到最小方差（其證明可見于Cramer-Raolowerbound）。當(dāng)最大似然估計非偏時，等價的，在極限的情況下我們可以稱其有最小的均方差。對于獨立的觀察來說，最大似然估計函數(shù)經(jīng)常趨于正態(tài)分布。偏差最大似然估計的非偏估計偏差是非常重要的?？紤]這樣一個例子，標(biāo)有1到n的n張票放在一個盒子中。從盒子中隨機抽取票。如果n是未知的話，那么n的最大似然估計值就是抽出的票上標(biāo)有的n，盡管其期望值的只有(n+1)/2.為了估計出最高的n值，我們能確定的只能是n值不小于抽出來的票上的值。最大似然估計的一般求解步驟[1]基于對似然函數(shù)L(θ)形式(一般為連乘式且各因式>0)的考慮，求θ的最大似然估計的一般步驟如下：(1)寫出似然函數(shù)(總體X為離散型時)或(總體X為連續(xù)型時)(2)對似然函數(shù)兩邊取對數(shù)有或(3)對lnL\theta求導(dǎo)數(shù)并令之為0：此方程為對數(shù)似然方程。解對數(shù)似然方程所得，即為未知參數(shù)的最大似然估計值。例1設(shè)總體X~N(μ，σ2),μ，σ2為未知參數(shù)，X1,X2...,Xn是來自總體X的樣本，X1,X2...,Xn是對應(yīng)的樣本值，求μ與σ2的最大似然估計值。解