2023年最大似然估計(jì)學(xué)習(xí)總結(jié)概率論大作業(yè)

最大似然估計(jì)學(xué)習(xí)總結(jié)航天學(xué)院探測制導(dǎo)與控制技術(shù)楊若眉摘要：最大似然估計(jì)是一種記錄方法，它用來求一個樣本集的相關(guān)概?率密度函數(shù)的參數(shù)。最大似然法明確地使用概率模型，其目的是尋找可以以較高概率產(chǎn)生觀測數(shù)據(jù)的系統(tǒng)發(fā)生樹。最大似然法是一類完全基于記錄的系統(tǒng)發(fā)生樹重建方法的代表。關(guān)鍵詞：最大似然估計(jì)；離散：連續(xù)；概率密度最大似然估計(jì)是一種記錄方法，它用來求一個樣本集的相關(guān)概率密度函數(shù)的參數(shù)。這個方法最早是遺傳學(xué)家以及記錄學(xué)家羅納德?費(fèi)雪爵士在192023至192023間開始使用的。“似然”是對likelihood的一種較為貼近文言文的翻譯，“似然”用現(xiàn)代的中文來說即“也許性”。故而，若稱之為“最大也許性估計(jì)”則更加通俗易懂。最大似然法明確地使用概率模型，其目的是尋找可以以較高概率產(chǎn)生觀測數(shù)據(jù)的系統(tǒng)發(fā)生樹。最大似然法是一類完全基于記錄的系統(tǒng)發(fā)生樹重建方法的代表。該方法在每組序列比對中考慮了每個核甘酸替換的概率。最大似然法是要解決這樣一個問題：給定一組數(shù)據(jù)和一個參數(shù)待定的模型,如何擬定模型的參數(shù)，使得這個擬定參數(shù)后的模型在所有模型中產(chǎn)生一知數(shù)據(jù)的概率最大。通俗一點(diǎn)講，就是在什么情況下最有也許發(fā)生已知的事件。舉個例子，假如有一個罐子，里面有黑白兩種顏色的球，數(shù)目多少不知，兩種顏色的比例也不知。我們想知道罐中白球和黑球的比例，但我們不能把罐中的球所有拿出來數(shù)。現(xiàn)在我們可以每次任意從已經(jīng)搖勻的罐中拿一個球出來,記錄球的顏色，然后把拿出來的球再放回罐中。這個過程可以反復(fù)，我們可以用記錄的球的顏色來估計(jì)罐中黑白球的比例。假如在前面的一百次反復(fù)記錄中，有七十次是白球，請問罐中白球所占的比例最有也許是多少？我想很多人立馬有答案：70%。這個答案是對的的。可是為什么呢?（常識嘛!這還要問？!）其實(shí)，在很多常識的背后，都有相應(yīng)的理論支持。在上面的問題中，就有最大似然法的支持例如，轉(zhuǎn)換出現(xiàn)的概率大約是顛換的三倍。在一個三條序列的比對中，假如發(fā)現(xiàn)其中有一列為一個C,一個T和一個G,我們有理由認(rèn)為，C和T所在的序列之間的關(guān)系很有也許更接近。由于被研究序列的共同祖先序列是未知的，概率的計(jì)算變得復(fù)雜;又由于也許在?個位點(diǎn)或多個位點(diǎn)發(fā)生多次替換,并且不是所有的位點(diǎn)都是互相獨(dú)立，概率計(jì)算的復(fù)雜度進(jìn)一步加大。盡管如此，還是能用客觀標(biāo)準(zhǔn)來計(jì)算每個位點(diǎn)的概率，計(jì)算表達(dá)序列關(guān)系的每棵也許的樹的概率。然后，根據(jù)定義，概率總和最大的那棵樹最有也許是反映真實(shí)情況的系統(tǒng)發(fā)生樹。最大似然估計(jì)的原理給定一個概率分布D,假定其概率密度函數(shù)(連續(xù)分布)或概率聚集函數(shù)(離散分布)為fD，以及一個分布參數(shù)0，我們可以從這個分布中抽出一個具有n個值的采樣，通過運(yùn)用fD,我們就能計(jì)算出其概率：P(Xl,X2,...,Xn)=/D(Xb...,Xn|6)但是，我們也許不知道。的值，盡管我們知道這些采樣數(shù)據(jù)來自于分布D。那么我們?nèi)绾尾鸥晒烙?jì)出0呢？一個自然的想法是從這個分布中抽出一個具有n個值的采樣X1,X2,,Xn,然后用這些采樣數(shù)據(jù)來估計(jì)0.一旦我們獲得，我們就能從中找到一個關(guān)于0的估計(jì)。最大似然估計(jì)會尋找關(guān)于0的最也許的值(即,在所有也許的0取值中，尋找一個值使這個采樣的“也許性”最大化)。這種方法正好同一些其他的估計(jì)方法不同，如0的非偏估計(jì)，非偏估計(jì)未必會輸出一個最也許的值，而是會輸出一個既不高估也不低估的。值。要在數(shù)學(xué)上實(shí)現(xiàn)最大似然估計(jì)法，我們一方面要定義也許性：lik(O)=/D(rrb...|0)并且在0的所有取值上，使這個［［函數(shù)最大化。這個使也許性最大的?值即被稱為0的最大似然估計(jì)。注意這里的也許性是指21,22,???,工〃不變時，關(guān)于o的一個函數(shù)。最大似然估計(jì)函數(shù)不一定是惟一的，甚至不一定存在。.作用在已知實(shí)驗(yàn)結(jié)果(即是樣本)的情況下，用來估計(jì)滿足這些樣本分布的參數(shù)，把也許性最大的

那個參數(shù)8作為真實(shí)夕的參數(shù)估計(jì)。.離散型設(shè)%為離散型隨機(jī)變量,6=（/，%，…，6Q為多維參數(shù)向量，假如隨機(jī)變量％1，…，互相獨(dú)立且概率計(jì)算式為P{Xi=/}=P（/；/…，%），則可得概率函數(shù)為〃{%I=%…，Xn=爸i}=/=1口（即61，???，久）,在8=（81，%，…，6。固定期，上式表達(dá)乂=xlt...,Xn=外的概率；當(dāng)…，%n=/已知的時候，它乂變成8=（“，魚，…，久）的函數(shù)，可以把它記為乙⑻，%，…，%）=理=4（的；”…,久；,稱此函數(shù)為似然函數(shù)。似然函數(shù)值的大小意味著該樣本值出現(xiàn)的也許性的大小，既然已經(jīng)得到了樣本值X]=%，???，Xn=4風(fēng)那么它出現(xiàn)的也許性應(yīng)當(dāng)是較大的，即似然函數(shù)的值也應(yīng)當(dāng)是比較大的，因而最大似然估計(jì)就是選擇使-%也，…,%）達(dá)成最大值的那個夕作為真實(shí)小的估計(jì)。.連續(xù)型設(shè)％為連續(xù)型隨機(jī)變量，其概率密度函數(shù)為八/；％，…,%）,%]，…,為從該總體中抽出的樣本同樣的假如Lb—T互相獨(dú)立且同分布,于是樣本的聯(lián)合概率密度為L（%，8z，…,11之"（的；8]…,8。。大體過程同離散型同樣。.關(guān)于概率密度（PDF）我們來考慮個簡樸的情況（〃0七1）,即是參數(shù)和樣本都為1的情況。假設(shè)進(jìn)行?個實(shí)驗(yàn)，實(shí)驗(yàn)次數(shù)定為10次，每次實(shí)驗(yàn)成功率為0.2,那么不成功的概率為0.8,用y來表達(dá)成功的次數(shù)。由于前后的實(shí)驗(yàn)是互相獨(dú)立的，所以可以計(jì)算得到成功的次數(shù)的概率密度為：go.-S(g'其中產(chǎn)[0,10]由于），的取值范圍已定，并且3也為已知,所以圖1顯示了1ygo.-S(g'其中產(chǎn)[0,10]圖2顯示了當(dāng)LE_I時的y值概率情況。圖2回運(yùn)hm率分布圖那么3在［0.1］之間變化而形成的概率密度函數(shù)的集合就形成了一個模型。.最大似然估計(jì)的求法由上面的介紹可以知道,對于圖1這種情況），=2是最有也許發(fā)生的事件。但是在現(xiàn)實(shí)中我們還會面臨此外一種情況：我們已經(jīng)知道了一系列的觀測值和一個感愛好的模型，現(xiàn)在需要找出是哪個PDF（具體來說參數(shù)旬為多少時）產(chǎn)生出來的這些觀測值。要解決這個問題，就需要用到參數(shù)估計(jì)的方法,在最大似然估計(jì)法中，我們對調(diào)PDF中數(shù)據(jù)向量和參數(shù)向量的角色,于是可以得到似然函數(shù)的定義為：L3ly）=f（yIM該函數(shù)可以理解為,在給定了樣本值的情況下，關(guān)于參數(shù)向量但取值情況的函數(shù)。還是以上面的簡樸實(shí)驗(yàn)情況為例，若此時給定），為7,那么可以得到關(guān)于3的似然函數(shù)為：10!—=A=，G=小*=―,一2十（a產(chǎn)IMI］繼續(xù)回顧前面所講，圖1,2是在給定3的情況下，樣本向量），取值概率的分布情況;而圖3是圖1,2橫縱坐標(biāo)軸相互換而成，它所描述的似然函數(shù)圖則指出在給定樣本向量y的情況卜,符合該取值樣本分布的各種參數(shù)向量曲也許性。若相比于32,使得），=7出現(xiàn)的也許性要高，那么理所當(dāng)然的31要比32更加接近了真正的估計(jì)參數(shù)。所以求3的極大似然估計(jì)就歸結(jié)為求似然函數(shù)乙的最大值點(diǎn)。那么切取何值時似然函數(shù)=力最大，這就需要用到高等數(shù)學(xué)中求導(dǎo)的概念，假如是多維參數(shù)向量那么就是求偏導(dǎo)。圖3圖3乙（3愕二7）的似然函數(shù)分布圖重要注意的是多數(shù)情況下，直接對變量進(jìn)行求導(dǎo)反而會使得計(jì)算式子更加的復(fù)雜，此時可以借用對數(shù)函數(shù)。由于對數(shù)函數(shù)是單調(diào)增函數(shù)，所以，…，與43）具有相同的最大值點(diǎn)，而在許多情況下，求‘ogHM的最大值點(diǎn)比較簡樸。于是，我們將求“（3）的最大值點(diǎn)改為求,°gL3）的最大值點(diǎn)。lnL(a\y=7)=bi13!7!3!+7ir,a)+3%(1lnL(a\y=7)=bi13!7!3!+7ir,a)+3%(1維數(shù)為1），并命其等于零,得到方程組：OlnL（u.]y=7:737-10（y=（I。3-S1—61-6）（1—3）一可以求得3=°?7時似然函數(shù)有極值，為了進(jìn)一步判斷該點(diǎn)位最大值而不是最小值，可以繼續(xù)求二階導(dǎo)來判斷函數(shù)的凹凸性，假如口二0?7的二階導(dǎo)為負(fù)數(shù)那么即是最大值，這里再不細(xì)說。還要指出，若函數(shù)〃笳;％，…，%）關(guān)于無，…，熊的導(dǎo)數(shù)不存在，我們就無法得到似然方程組,這時就必須用其它的方法來求最大似然估計(jì)值，例如用有界函數(shù)的增減性去求乂8）的最大值點(diǎn)6.總結(jié)最大似然估計(jì)，只是一種概率論在記錄學(xué)的應(yīng)用，它是參數(shù)估計(jì)的方法之一。說的是已知某個隨機(jī)樣本滿足某種概率分布,但是其中具體的參數(shù)不清楚，參數(shù)估計(jì)就是通過若干次實(shí)驗(yàn)，觀測其結(jié)果，運(yùn)用結(jié)果推出參數(shù)的大約值0最大似然估計(jì)是建立在這樣的思想上：已知某個