《EM算法簡(jiǎn)介分析綜述》8000字

EM算法簡(jiǎn)介分析綜述目錄TOC\o"1-2"\h\u24183EM算法簡(jiǎn)介分析綜述 1297441.1算法概述 1234471.2最大似然估計(jì) 2302981.3Jensen不等式 356041.4EM算法推導(dǎo) 4250361.5EM算法的改進(jìn) 589721.5.1改進(jìn)E步 5192781.5.2改進(jìn)M步 6157951.6算法步驟 10223911.7EM算法估計(jì)GMM參數(shù) 10245801.7.1混合模型 1027541.7.2單高斯模型 10111441.7.3高斯混合模型 111.1算法概述EM(expectation-maximization)算法，即期望最大化算法。最大期望算法是一種利用極大似然估計(jì)求取參數(shù)的優(yōu)化參數(shù)算法。其最大的特點(diǎn)是可以進(jìn)行極大似然的估計(jì)非完整的數(shù)據(jù)集中的參數(shù)，主要應(yīng)用于處理截尾數(shù)據(jù)，殘缺數(shù)據(jù)和一些被污染的數(shù)據(jù)來(lái)說(shuō)是效果突出的。通過(guò)以上描述，我們可以得知EM算法的幾個(gè)優(yōu)點(diǎn)，EM算法本身簡(jiǎn)單，收斂穩(wěn)點(diǎn)，可以估計(jì)非完整數(shù)據(jù)。但是也會(huì)帶來(lái)一些問(wèn)題，比如收斂速度較慢，容易陷入局部最優(yōu)值。EM算法來(lái)源于數(shù)據(jù)統(tǒng)計(jì)領(lǐng)域，其中非常熱門(mén)的領(lǐng)域有極大似然估計(jì)和貝葉斯統(tǒng)計(jì)，從算法上分析來(lái)說(shuō)貝葉斯統(tǒng)計(jì)和極大似然估計(jì)的計(jì)算過(guò)程存在部分相似，比如極大似然函數(shù)估計(jì)在計(jì)算的方法，與貝葉斯的后驗(yàn)概率的計(jì)算是近乎相同的。在學(xué)習(xí)統(tǒng)計(jì)之后，我們可以了解到，貝葉斯是分為兩種的大類的，一種是擁有顯式的后驗(yàn)分布，可以應(yīng)用于似然函數(shù)的計(jì)算；另外一種是數(shù)據(jù)增添的方法，但數(shù)據(jù)處理會(huì)遇到問(wèn)題，數(shù)據(jù)會(huì)存在缺失或者需要計(jì)算的似然函數(shù)非顯性，這時(shí)候就可以應(yīng)用數(shù)據(jù)增添，它可以通過(guò)增加”潛在數(shù)據(jù)”的方式，使我們?nèi)笔У臄?shù)據(jù)得到補(bǔ)充，完成極大化的工作。EM算法就是我們常用的一種數(shù)據(jù)添加法，將在下面詳細(xì)介紹。幾十年前，當(dāng)時(shí)正處于數(shù)據(jù)快速增長(zhǎng)得信息爆炸時(shí)代，這對(duì)處理信息能力提出了巨大挑戰(zhàn)。存在的問(wèn)題不僅信息量大，還有信息不完善的問(wèn)題，面對(duì)這些問(wèn)題，專家學(xué)者們提出了很多方案，但是最終還是EM算法成為了處理這些問(wèn)題的第一選擇。最主要的原因在于EM算法運(yùn)用數(shù)據(jù)增添的方法，通過(guò)引入數(shù)據(jù)，降低問(wèn)題復(fù)雜度，減少了數(shù)據(jù)缺失帶來(lái)的影響，相較于當(dāng)時(shí)流行的神經(jīng)網(wǎng)絡(luò)擬合，填補(bǔ)法，卡爾曼濾波法能夠有效的解決我們的問(wèn)題。這種簡(jiǎn)化策略，為處理信息的效率帶來(lái)了不可忽視的影響。并且這種算法步驟簡(jiǎn)單，可以很可靠的找到最優(yōu)的收斂值，。理解EM算法的作用，首先要理解“潛在數(shù)據(jù)”。“潛在數(shù)據(jù)”是比較難以直接觀測(cè)的數(shù)據(jù)，但包含“潛在數(shù)據(jù)”的數(shù)據(jù)組本身并未缺失。為了方便處理這類問(wèn)題，通常會(huì)添加額外的變量，讓此類問(wèn)題變得更容易處理。下面舉一個(gè)簡(jiǎn)單的例子：假設(shè)數(shù)據(jù)X是已知的觀測(cè)數(shù)據(jù)，數(shù)據(jù)Y是一組缺失的或者為觀測(cè)完全的數(shù)組，Z是由XY聯(lián)合觀測(cè)得到的，即Z=(X，Y)為完全數(shù)據(jù)?？紤]解決這個(gè)問(wèn)題，如果我們從數(shù)據(jù)X出發(fā)，對(duì)其進(jìn)行最大似然估計(jì)，就不得不考慮數(shù)據(jù)缺失帶來(lái)的影響。所以我們應(yīng)該從Y，Z的概率密度入手。EM算法就是利用這個(gè)原理，通過(guò)比較容易獲得的數(shù)據(jù)，繞過(guò)了P(0|X)數(shù)據(jù)不完整的陷阱。盡管有很多好處，我們也應(yīng)該注意到EM算法也存在有以下缺點(diǎn):一、如果數(shù)據(jù)缺失量大，計(jì)算這些缺失數(shù)據(jù)就需要更多時(shí)間，收斂的速度較慢。二、EM算法中的E步的期望顯式的獲得收到制約，有時(shí)候并不能得出E步需要的結(jié)果。三、受制于似然函數(shù)的估計(jì)的局限，在一些較為復(fù)雜情況下，要完成算法中的M步難度較大。1.2最大似然估計(jì)通過(guò)學(xué)習(xí)最大似然估計(jì)問(wèn)題，我們可以了解EM算法的基本思想。舉一個(gè)簡(jiǎn)單的例子，一個(gè)信息處理問(wèn)題可以表述為，已知一個(gè)概率密度函數(shù)p()，其中θ為參數(shù)集。這里假設(shè)概率密度函數(shù)的形式已知，未知的只是參數(shù)。例如，對(duì)于高斯分布，p為高斯概率密度函數(shù)，θ為均值和方差。假定我們已有從分布p中抽取出的長(zhǎng)度為N的數(shù)據(jù)，即X=。如果這些數(shù)據(jù)都是獨(dú)立同分布，其概率密度由下式給出:(1.1)我們稱函數(shù)為似然函數(shù)，或稱是給定數(shù)據(jù)的參數(shù)似然。可將式子似然看作是固定數(shù)據(jù)集X關(guān)于參數(shù)θ的函數(shù)。在極大似然估計(jì)問(wèn)題中，目標(biāo)是得出能最大化的θ。也就是，希望找到滿足下式的。(1.2)為了方便計(jì)算和分析，通常也最大化的對(duì)數(shù)，即log()，稱為對(duì)數(shù)似然，記為。p()的形式?jīng)Q定了極大似然估計(jì)問(wèn)題求解的難易程度。例如，如果p()只是單變量高斯分布，那么θ=，運(yùn)用數(shù)學(xué)知識(shí)，可以對(duì)log()求導(dǎo)并令其等于0，直接可以解出μ和。但是，實(shí)際問(wèn)題往往更復(fù)雜，不能簡(jiǎn)單的取求解，只能借助EM算法及類似方法進(jìn)行簡(jiǎn)化計(jì)算。作為一種基本方法的EM算法，采取的方法是搜尋潛在概率分布參數(shù)的極大似然估計(jì)，以補(bǔ)全不完全數(shù)據(jù)或有缺失數(shù)據(jù)的給定數(shù)據(jù)集。EM算法有兩種主要應(yīng)用場(chǎng)景，第一種是數(shù)據(jù)有缺失值，這種確實(shí)是由于測(cè)量技術(shù)的限制或其他原因而導(dǎo)致。第二種是簡(jiǎn)化似然函數(shù)?？梢约僭O(shè)存在缺失(隱含)的參數(shù)，然后對(duì)于當(dāng)前分析困難的似然函數(shù)進(jìn)行簡(jiǎn)化。這種簡(jiǎn)化的方法在圖形處理應(yīng)用上更為普遍。1.3Jensen不等式先定義凸函數(shù)的概念。假設(shè)一個(gè)定義域?yàn)閷?shí)域的函數(shù)f，如果對(duì)于所有的實(shí)數(shù)x，都有二階導(dǎo)數(shù)f"(x)≥0，則f為凸函數(shù)。對(duì)于向量x，如果其Hessian矩陣(二階偏導(dǎo)數(shù)構(gòu)成的方陣)H是半正定的，即H≥0，則f為凸函數(shù)。如果f"(x)>0或H>0，則稱f為嚴(yán)格凸函數(shù)。Jensen不等式可表述為:如果f為凸函數(shù)，X為隨機(jī)變量，則E[f(X)]≥f(EX)。為簡(jiǎn)化書(shū)寫(xiě)，將f(E[X])簡(jiǎn)寫(xiě)為f(EX)。特別地，如果f為嚴(yán)格凸函數(shù)，則當(dāng)且僅當(dāng)p(x=E[X])=1，即X為常量時(shí)，有E[f(X)]=f(EX)。Jensen不等式用圖來(lái)表示更為清晰。如圖4-1所示，曲線所表示f為凸函數(shù)，X為隨機(jī)變量，x取值為的概率為，取值為的概率為=1-。X的期望E[X]就在和之間且E[X]=，f(EX)位于凸函數(shù)f上，E[f(X)]就在f()和f()連線上，E[f(X)]=?？梢钥吹?，E[f(X)]≥f(EX)成立。圖3-1圖解Jensen不等式上圖的E[f(X)]≥f(EX)可寫(xiě)為：(1.3)可將上式推廣至更一般的形式。如果滿足=1，則(1.4)即(1.5)如果使用g()來(lái)替換，可得:(1.6)將Jensen不等式在凹函數(shù)上進(jìn)行應(yīng)用，凸函數(shù)與不等號(hào)方向相反，即f(EX)]≥E[f(X)。1.4EM算法推導(dǎo)對(duì)于N個(gè)訓(xùn)練樣本，每個(gè)樣本都對(duì)應(yīng)一個(gè)隱含的類別。我們的目標(biāo)是找到隱變量，使得p(x,z)最大，其極大似然估計(jì)為:(1.7)其中，為對(duì)數(shù)似然函數(shù)。由于對(duì)數(shù)log內(nèi)有求和運(yùn)算，并且有隱變量，直接求解似然函數(shù)并不容易。如果能夠確定，求解就變得相對(duì)容易。EM算法適合優(yōu)化含有隱變量的問(wèn)題，基本思路是:既然無(wú)法直接極大化，可以先使用E步驟來(lái)不斷建立的下界，然后用M步驟來(lái)優(yōu)化提升的下界，進(jìn)行重復(fù)迭代。對(duì)于任意的第i個(gè)樣本，用來(lái)表示該樣本的隱變量的某種分布，必須滿足的條件為。這里假設(shè)為離散型，如果為連續(xù)型，那么q應(yīng)為概率密度函數(shù)，我們可以將求和符號(hào)進(jìn)行改寫(xiě)，變?yōu)榉e分符號(hào)。對(duì)數(shù)似然函數(shù)可以表示為:(1.8)其中，上式利用了Jensen不等式。由于log(x)的二階導(dǎo)數(shù)為-1/，小于0，因此為凹函數(shù)，根據(jù)凹函數(shù)的Jensen不等式，有:上述過(guò)程可以看作是對(duì)求下界。分布有多種可能的選擇，需要選擇更好的。假設(shè)О已知，的值就由和p決定，可以通過(guò)迭代計(jì)算擬合這兩個(gè)概率使下界不斷向上提高，以逼近的真實(shí)值。當(dāng)不等式變成等式，迭代過(guò)程終止。說(shuō)明計(jì)算的值能夠等價(jià)于。要讓等式成立，根據(jù)Jensen不等式，需要將隨機(jī)變量變成常數(shù)，即:(1.9)其中，c為常數(shù)。對(duì)不依賴于的常數(shù)c，選擇≈p就能讓上式成立。我們已經(jīng)知道是一種分布，滿足=1，可推出下式:(1.10)這樣，就可以簡(jiǎn)單設(shè)置為給定和參數(shù)θ后的后驗(yàn)分布。至此，我們已經(jīng)知道如何設(shè)置，這就是E步驟，它建立了的下界。下面的M步驟就是在給定后，調(diào)整參數(shù)θ來(lái)極大化的下界。重復(fù)執(zhí)行上述兩個(gè)步驟就是EM算法的核心步驟。1.5EM算法的改進(jìn)通過(guò)對(duì)于EM算法的基礎(chǔ)了解，我們知道了EM算法的最大優(yōu)點(diǎn)就是執(zhí)行夠簡(jiǎn)單，上升的算法穩(wěn)定，可以得到似然函數(shù)最優(yōu)解或者是局部最優(yōu)解。因此，EM算法在工程實(shí)踐中擁有極強(qiáng)可操作性和廣泛地適用性，但是面對(duì)上面提出的三個(gè)主要問(wèn)題，我們希望找到一些解決方法。所以接下來(lái)將介紹一下為了將EM算法應(yīng)用實(shí)踐能力的提升,專家學(xué)者們進(jìn)行了那些研究。對(duì)于EM算法的改進(jìn)將為兩部分,第一部分是介紹E步算法改進(jìn),另一部分是M步算法的改進(jìn)。1.5.1改進(jìn)E步在之前的介紹中，面對(duì)簡(jiǎn)單問(wèn)題，E步所需要求解的問(wèn)題可以直接解決。,但是面對(duì)復(fù)雜問(wèn)題，E步的計(jì)算想要在已知的非完整的數(shù)據(jù)的條件下，對(duì)于”缺失數(shù)據(jù)”求期望，再根據(jù)所求的期望，進(jìn)行似然函數(shù)的估計(jì)。這個(gè)問(wèn)題的重點(diǎn)是在求期望的過(guò)程中對(duì)于非完全數(shù)據(jù)的計(jì)算，因?yàn)樵谶@種情況下顯式是難以通過(guò)期望輕易求取的，這種情況大大限制了算法的適用性。因此就有一些學(xué)者提出了MCEM算法的產(chǎn)生，這個(gè)方法主要利用近似的手段進(jìn)行求解問(wèn)題，下面將詳細(xì)的闡述下這個(gè)算法:在計(jì)算過(guò)程中,第k+1個(gè)E步被下面兩個(gè)步驟取代:E1:構(gòu)成獨(dú)立同分布的缺失數(shù)據(jù)集，從(y|x,)中隨機(jī)抽取個(gè)數(shù),將這m(k)個(gè)作為數(shù)據(jù)的添加，用來(lái)求解問(wèn)題，這樣我們就有一個(gè)新的數(shù)據(jù)集z(j)=(x,)李柏椿.EM算法及其改進(jìn)算法在參數(shù)估計(jì)中的研究[D].2017。李柏椿.EM算法及其改進(jìn)算法在參數(shù)估計(jì)中的研究[D].2017E2:計(jì)算下面的公式:(1.11)計(jì)算上面的兩步驟，利用Monte,Carlo估計(jì)得到的結(jié)論，在M步中對(duì)Q(θ|θ(k))的進(jìn)行極大化求解,從而得到θ(k+1)代替θ(k).MCEM算法的實(shí)踐中有幾個(gè)需要注意的問(wèn)題:一、如何確定m(k),m(k)的選擇很大程度上決定了MCEM算法的結(jié)果精度,想要提升精度，就不得不選擇更多m(k)，舉一個(gè)極端的例子，如果選擇m(k)選擇數(shù)量多到和集合Y一樣，就等同于并未做優(yōu)化，所以m(k)個(gè)數(shù)的選擇成為了算法速度提升的關(guān)鍵點(diǎn)。一般使用的策略是在算法開(kāi)始前選擇較小m(k)，在經(jīng)過(guò)初始判斷后逐漸增大m(k)，直到選取到合適值，這樣的策略更有利于以上兩步優(yōu)化效果的發(fā)揮。二、判斷算法收斂性。根據(jù)上述理論，我們可以看出MCEM算法和EM算法收斂方式不同，通過(guò)MCEM算法得到的θ(k)只能在理想最大值周圍波動(dòng)，不會(huì)像EM算法一樣收斂，隨著迭代的進(jìn)行，這種波動(dòng)也不會(huì)變小張宏?yáng)|.EM算法及其應(yīng)用[D].2017。所以在MCEM算法中，要有好的閾值判定MCEM張宏?yáng)|.EM算法及其應(yīng)用[D].20171.5.2改進(jìn)M步介紹完E步改良后，我們也應(yīng)當(dāng)提升M步效率。回歸到算法本身，EM算法優(yōu)勢(shì)就在于簡(jiǎn)化極大似然估計(jì)，在不完整數(shù)據(jù)的條件下，對(duì)Q(θ|θ(k))進(jìn)行極大化計(jì)算。其原理在于完全數(shù)據(jù)下的似然計(jì)算)與Q(θ|θ(k)基本一致。然而，在比較復(fù)雜情況下,M步的計(jì)算過(guò)程并不容易，對(duì)于Q(θ|θ(k))的求解難度較大。通過(guò)不斷地努力研究，算法工程師提出了多種改進(jìn)策略，以提升M步的效率。第一個(gè)有效的方法是減少M(fèi)步的出現(xiàn)次數(shù)。通過(guò)主動(dòng)選擇在每次M步計(jì)算中提升Q函數(shù)的值，即Q(θ(k+1|θ(k))>Q(θ(k)|θ(k))，而不是極大化Q函數(shù)，這樣可以減少M(fèi)步的迭代?；谶@個(gè)原理提出了GEM算法，GEM算法增大似然函數(shù)的值，將其運(yùn)用于每個(gè)迭代步驟中，但由于缺少函數(shù)增大的數(shù)據(jù)采集完善，所以收斂性難以得到保證。經(jīng)過(guò)不斷研究1993年，Men和Rubin提出了ECM算法，這種算法是GEM算法的一種優(yōu)化提升，有更廣泛的應(yīng)用空間。為了避免出現(xiàn)迭代的M步，ECM算法用來(lái)代替M步的基本思路是進(jìn)行拆分。這種拆分的具體方法是用幾個(gè)簡(jiǎn)單的的條件極大化(CM)步進(jìn)行替代原本的步驟，它用算法設(shè)計(jì)的一個(gè)簡(jiǎn)單的優(yōu)化問(wèn)題代替p求函數(shù)Q的極大化，一次CM循環(huán)包括這一系列初級(jí)的條件極大化步驟，經(jīng)過(guò)這樣的替換之后，ECM算法也就等同于k次CM迭代與E步迭代的組合。上文說(shuō)到的CM循環(huán)的步驟有如下兩步:每個(gè)CM循環(huán)里CM步的個(gè)數(shù)用N表示，迭代次數(shù)從1一直增加到N，對(duì)于第k次迭代過(guò)程的第k次CM循環(huán)，有以下限定：(1.12)θ(k+(s-1)/s)是第k次CM循環(huán)的第n個(gè)CM步得到的值，下一步求函數(shù)Q(θ|θ(k))的最大化。經(jīng)過(guò)S次CM步的循環(huán)計(jì)算后，進(jìn)行下一次EM步循環(huán)的同時(shí)。令θ(k+l)=θ(k+n/N)。因?yàn)槊恳淮蜟M步都增加了函數(shù)Q，Q(θ(k+n/N)|θ(k))>Q(θ(k)|θ(k))，所以顯然ECM算法是GEM的一個(gè)子類。同GEM一樣，為了保證算法的收斂性，需要確保每次的CM步的循環(huán)都是在任意的方向上搜索函數(shù)Q(θ|θ(k))的最大值點(diǎn)。才能使p的原始空間上進(jìn)行極大化應(yīng)用于ECM算法那，最終收斂與一個(gè)穩(wěn)定的極大值點(diǎn)和EM算法一樣，并且有相同的收斂域。脫胎于GEM算法的ECM算法對(duì)于收斂到全局極大點(diǎn)或者局部最優(yōu)值也不能做出保證。與EM算法相似，對(duì)于收斂速度進(jìn)行考慮，ECM算法的全局收斂速度表示如下:(1.13)通過(guò)計(jì)算看出，ECM算法要比EM算法快，主要是因?yàn)榈螖?shù)的減少而在迭代速度方面，EMC與常規(guī)的EM算法迭代速度近乎一樣。但是矩陣()的最大特征值等于迭代算法的收斂率P，由于缺失信息比例越大也會(huì)讓P值相應(yīng)增加，收斂速度因此變慢，因此1-P就是ECM算法的收斂速度。由理論可以看出，我們?nèi)孕枰獜?qiáng)化ECM步驟中的技巧，完成更好的EMC結(jié)構(gòu)構(gòu)建。例如可以對(duì)需要對(duì)限制條件進(jìn)行選擇。根據(jù)上述算法的把θ均勻分割為N個(gè)，寫(xiě)作子向量θ=(,,,…,)。然后在第S個(gè)CM步中，為求函數(shù)Q的極大化，可以固定θ其余的元素。這相當(dāng)于用g(θ)=(,,,…,)作為約束條件。這種方法被稱為條件迭代策略。通過(guò)以上描述，可以總結(jié)ECM算法的優(yōu)點(diǎn):在一定條件下CM循環(huán)通常能簡(jiǎn)化計(jì)算，降低運(yùn)算的代價(jià)。作為ECM的升級(jí)，ECME算法在1994年被Lin和Rubin提出來(lái)，ECME算法簡(jiǎn)化了某些CM步，作為ECM算法的一種升級(jí)方案，在CM步極大化的基礎(chǔ)上，ECME發(fā)展處出全新的特點(diǎn)，對(duì)于對(duì)數(shù)似然函數(shù)的期望Q(θ|θ(k))，在這個(gè)函數(shù)完整數(shù)據(jù)收到約束的情況下進(jìn)行極大似然估計(jì)，并且對(duì)受約束ed實(shí)際似然函數(shù)L(θ|Z)進(jìn)行部分極大化。ECME算法的第k+1次迭代的CM步形式:(1.14)E步和CM步相互交替，經(jīng)過(guò)迭代后計(jì)算得到θ(k+1)，繼續(xù)進(jìn)行下一次E步計(jì)算，循環(huán)往復(fù)直至收斂于極大值。由此可見(jiàn)，這一算法并沒(méi)有失去單調(diào)穩(wěn)定收斂，操作簡(jiǎn)單原理易懂特性，保持著EM，ECM的優(yōu)點(diǎn)。在收斂速度方面，這一算法青出于藍(lán)而勝于藍(lán)，單詞迭代速度更短，迭代次數(shù)更少，迭代收斂所需時(shí)間更短。這一改進(jìn)主要有兩個(gè)原因：一、在ECME算法中的完全數(shù)據(jù)的實(shí)際似然函數(shù)把某些極大化步條件極大化了，這是一種對(duì)于提升單一循環(huán)速度很有效的策略;第二，ECME算法提升了收斂速度，受到約束的數(shù)值進(jìn)行極大化后不再有對(duì)于判決門(mén)限的需求，這樣的計(jì)算方法效率更高。和EM、ECM算法一樣，對(duì)ECME算法的收斂速度，由斜率決定著，這個(gè)斜率所代表的就是θ(k)-θ(k+1)映射在上的導(dǎo)數(shù)。用觀測(cè)數(shù)據(jù)、不完整數(shù)據(jù)、完全數(shù)據(jù)信息陣來(lái)計(jì)算，經(jīng)過(guò)實(shí)驗(yàn)證明，ECME算法的收斂速度在相同條件下確實(shí)比EM,ECM更快，但計(jì)算方法相對(duì)而言比較復(fù)雜;因?yàn)橥耆珨?shù)據(jù)對(duì)數(shù)似然函數(shù)的期望Q(θ|θ(k))，實(shí)際似然函數(shù)L(θ|z)在CM步上極大化，經(jīng)過(guò)極大化的處理，因?yàn)镼函數(shù)是近似的，因此精確度有較大提升?？偟膩?lái)說(shuō)，問(wèn)題比較復(fù)雜時(shí)候，ECME算法能取得較好的成效。AECM算法從另一個(gè)角度入手，它的名稱是期望條件極大化算法，經(jīng)過(guò)對(duì)于ECME的研究，與ECM、ECME算法相同，AECM算法在CM步采用極大化的方法，但ACME會(huì)極大化另外一些不同的值。AECM的迭代也是將一大步分解為循環(huán)組成的，假設(shè)在數(shù)據(jù)無(wú)缺失的情況下，E步：每個(gè)循環(huán)由兩部分進(jìn)行定義，包括完整數(shù)據(jù)組和缺失數(shù)據(jù)組；CM步：由于E步定義要求相互呼應(yīng)的CM計(jì)算式組成。AECM迭代就由重新定義循環(huán)構(gòu)成的集合完整確定下來(lái)，這種算法由著和ECME一樣的優(yōu)點(diǎn)，可以提高計(jì)算效率。PX—EM算法在1998年被提出，這種算法的提出是為了提升EM算法的收斂速度。為了得到更多關(guān)于完全數(shù)據(jù)的信息，修正M步進(jìn)行協(xié)方差的調(diào)整角度出發(fā)進(jìn)行研究。原本在EM算法中，由于參與不同的原因，完全數(shù)據(jù)下p(z|θ)和觀測(cè)數(shù)據(jù)下p(x|θ)也不相同。所以PX—EM算法抓住這一突破口，擴(kuò)充參數(shù)集，引入附加參數(shù)。通過(guò)這樣的方法，如果在數(shù)據(jù)集中參數(shù)為θ，新擴(kuò)展的參數(shù)空間為(，α)，就可以計(jì)算得出與EM算法中是相同維數(shù)的。且如果我們得到(z|θ)=p(z|參數(shù)空間)，即得到原來(lái)的模型，此時(shí)有α與α(θ)相等。在運(yùn)用PX—EM算法時(shí)，有以下三點(diǎn)限制:我們可以使用一種變換R，使得θ=R(,α)，且這種方法是可實(shí)現(xiàn)的。2.當(dāng)α=α(θ)時(shí)，擴(kuò)展我們選擇的模型，使得α的信息不會(huì)出現(xiàn)在已經(jīng)觀測(cè)到的數(shù)據(jù)集X中，即(1.15)選擇模型進(jìn)行擴(kuò)展時(shí)，完全數(shù)據(jù)Z=(X，Y)是可識(shí)別參數(shù)的。從而我們可以的到PX—EM算法迭代模型，它的第k+1次迭代形式。PX—E:(1.16)PX—M步:(1.17)令PX—E,PX—M步不斷地重復(fù),直到收斂.PX—EM算法的每一步都增大p(x|,α)，當(dāng)α=α(0)時(shí)，它等于p(x|)，PX—EM算法的每一輪迭代都增大了有關(guān)的似然函數(shù)p(x|)，與此同時(shí)，也保持了EM算法在收斂特性上的優(yōu)點(diǎn)，PX—EM算法一定會(huì)收斂到一個(gè)穩(wěn)定點(diǎn)。下面需要考慮的是PX—EM算法的收斂速度。在適當(dāng)?shù)淖儞Qθ=R(,α)下，之前提到對(duì)一切a，a’存在p(x|,α)=p(x|)，根據(jù)p(z|,α)，經(jīng)過(guò)計(jì)算，就可以得出已觀測(cè)數(shù)據(jù)和完整數(shù)據(jù)下的信息矩陣△:(1.18)(1.19)(1.20)缺失信息比率為:(1.21)可以看出確實(shí)信息速率比和EM算法收斂類似。缺失信息比例如下:(1.22)由此可見(jiàn)，在矩陣之差為半正定的情況下，PX—EM的缺失信息比例更小。因?yàn)榇_實(shí)比例越大，收斂越慢。我們通過(guò)缺失信息的大小可以判斷,PX—EM算法的收斂速度是要比EM要更優(yōu)。原因也正如上面所說(shuō)，通過(guò)拓展參數(shù)空間的方法增加參數(shù)a，將完全信息量進(jìn)行增加。通過(guò)對(duì)于缺失數(shù)據(jù)的填補(bǔ),減少的缺失信息所占比例,使信息變得更完整，加速算法。最后總結(jié)以下PX—EM的優(yōu)點(diǎn):對(duì)EM算法修改幅度小,設(shè)計(jì)并不復(fù)雜；將有效信息充分利用，拓展完全,可以取得比EM算法更快收斂速度，不影響EM算法的單調(diào)收斂性。1.6算法步驟面對(duì)數(shù)據(jù)殘缺或數(shù)據(jù)不完整的情況，用EM算法可以較為簡(jiǎn)單的求出求極大似然函數(shù)估計(jì)值。常用的EM算法分兩步，即E步（Expectation-step）和M步（Maximizationstep）。E步確定似然函數(shù)，并計(jì)算似然函數(shù)的期望值。M步在E步之后進(jìn)行，通過(guò)M步估計(jì)期望值計(jì)算極大似然函數(shù)參數(shù)。EM算法詳細(xì)描述如下:將分布參數(shù)進(jìn)行初始化；重復(fù)E步驟、M步驟，進(jìn)行門(mén)限進(jìn)行判決，確定是否收斂；E步驟:計(jì)算出隱性變量的后驗(yàn)概率，帶入?yún)?shù)初始值或上一次迭代所得參數(shù)值，作為隱性變量的現(xiàn)估計(jì)值:(1.23)M步驟：將似然函數(shù)最大化，并作為下一次E步的參數(shù)：(1.24)1.7EM算法估計(jì)GMM參數(shù)1.7.1混合模型混合模型（MixtureModel）是一個(gè)含有K個(gè)子分布的概率模型的集合，換句話說(shuō)，觀測(cè)數(shù)據(jù)在總體中的概率分布就是混合模型，K個(gè)子分布組成相互獨(dú)立，共同組成的混合分布。混合模型在觀測(cè)數(shù)據(jù)時(shí)，并不對(duì)子分布的信息做出要求，而是通過(guò)計(jì)算概率觀測(cè)數(shù)據(jù)在總體分布中的分布情況。1.7.2單高斯模型單高斯模型(GaussianModel)當(dāng)樣本數(shù)據(jù)X是一維數(shù)據(jù)時(shí)，例如X={1,3,3,1}。一維高斯分布遵從下方概率密度函數(shù)：(1.25)其中為數(shù)據(jù)標(biāo)準(zhǔn)差，μ為數(shù)據(jù)均值（期望）。如果我們想擬合高緯度的模型，高斯分布遵從下方概率密度函數(shù)：(1.26)其中，μ為數(shù)據(jù)均值（期望），為協(xié)方差（Covariance），D為數(shù)據(jù)維度。1.7.3高斯混合模型高斯混合模型(GMM，Gaussianmixturemodel)就是混合模型和單高斯模型的聯(lián)合應(yīng)用，吸納了二者的優(yōu)點(diǎn)。利用高斯概率密度函數(shù)精確地?cái)M合數(shù)據(jù)，也利用混合模型的特點(diǎn)，包含組合多種不同的高斯概率密度函數(shù)，可以用來(lái)處理復(fù)雜問(wèn)題，是一種精準(zhǔn)量化手段的體現(xiàn)。如果將高斯混合模型看作是K個(gè)單高斯概率密度函數(shù)組合而成的集合，如何選取這K個(gè)單高斯模型的概率，也就是隱變量（Hiddenvariable）。因?yàn)楦咚狗植季邆浔阌谟?jì)算的特點(diǎn)以及極強(qiáng)的擬合能力，所以在這個(gè)混合模型中我