隱馬爾可夫模型

第四章隱馬爾可夫模型(HMM)4.1馬爾可夫模型的定義4.2隱馬爾可夫模型的定義4.3隱馬爾可夫模型的參數(shù)1870年，俄國有機化學(xué)家VladimirV.Markovnikov第一次提出馬爾可夫模型HMM的由來馬爾可夫性如果一個過程的“將來”僅依賴“現(xiàn)在”而不依賴“過去”，則此過程具有馬爾可夫性,或稱此過程為馬爾可夫過程X(t+1)=f(X(t))X(n+1)=f(X(n))馬爾科夫鏈時間和狀態(tài)都離散的馬爾科夫過程稱為馬爾科夫鏈記作{Sn=S(n),n=0,1,2,…}在時間集T1={0,1,2,…}上對離散狀態(tài)的過程相繼觀察的結(jié)果鏈的狀態(tài)空間記做I={S1,S2,…},Si∈R.條件概率P{Sj|Si}為馬氏鏈在時刻m處于狀態(tài)Si條件下，在時刻m+1轉(zhuǎn)移到狀態(tài)Sj的轉(zhuǎn)移概率。4.1馬爾可夫模型(MM)的定義

MM是一個輸出符號序列的統(tǒng)計模型，具有N個狀態(tài)S1,S2,…SN,它按一定的周期從一個狀態(tài)轉(zhuǎn)移到另外一個狀態(tài)，每次轉(zhuǎn)移時，輸出一個符號。S1S2S3起始狀態(tài)終止狀態(tài)a/b輸出符號

轉(zhuǎn)移到哪一個狀態(tài)，轉(zhuǎn)移時輸出什么符號，分別由狀態(tài)轉(zhuǎn)移概率和轉(zhuǎn)移時的輸出概率來決定。即每一條弧上有一個狀態(tài)轉(zhuǎn)移概率以及輸出概率。aij表示從狀態(tài)Si轉(zhuǎn)移到狀態(tài)Sj的概率。S1S2S34.1馬爾可夫模型(MM)的定義S1S2S3從一個狀態(tài)轉(zhuǎn)移出去的概率之和為1。每次轉(zhuǎn)移時輸出符號a和b的概率之和為1。一個關(guān)于天氣的3狀態(tài)馬爾可夫模型雨S1多云S2晴S30.40.30.30.60.80.20.20.10.1已知一天(t=1)的天氣是晴（S3），問：其后7天的天氣為“晴，晴，雨，雨，晴，多云，晴”的概率是多少？觀察序列O={S3，S3，S3，S1，S1，S3，S2，S3}對應(yīng)時間t=1,2,3,4,5,6,7,8

一般情況下，只能觀察到輸出符號序列(ab)，而不能觀測到狀態(tài)之間如何轉(zhuǎn)移（狀態(tài)轉(zhuǎn)移概率）和狀態(tài)的分布（狀態(tài)的概率），所以稱為隱藏的馬爾可夫模型。語音信號是一個可觀察的序列：它是由大腦中的思維（不可觀測）及語言需要和語法知識（不可觀測）所發(fā)出的參數(shù)流。

4.2隱馬爾可夫模型的定義球和缸S1SNS2P(red)=b1(1)P(yellow)=b1(2)P(bule)=b1(3)P(green)=b1(4)P(black)=b1(M)P(red)=b2(1)P(yellow)=b2(2)P(bule)=b2(3)P(green)=b2(4)P(black)=b2(M)P(red)=bN(1)P(yellow)=bN(2)P(bule)=bN(3)P(green)=bN(4)P(black)=bN(M)觀察序列O={綠，綠，藍，紅，紅，黃，…..藍}設(shè)有N個缸，每個缸中裝有很多彩色的球，不同顏色的球(M)的多少由一組概率分布來描述，根據(jù)某個初始概率分布，隨機選擇一個缸，例如第i個缸，再根據(jù)這個缸中彩色球顏色的概率分布，隨機選擇一個球，記O1,再把球放回缸中。根據(jù)缸的轉(zhuǎn)移概率，選擇下一個缸，例如第j個缸。再根據(jù)這個缸中彩色球顏色的概率分布，隨機選擇一個球，記O2,再把球放回缸中。最后得到描述球顏色的序列O1O2

，成為觀察值序列，但每次選取的缸和缸之間的轉(zhuǎn)移并不能直接觀察，被隱藏。從S1到S3,并且輸出aab，可能的路徑有三種：S1S1S2S3S1S2S2S3S1S1S1S30.3×0.8×0.5×1×0.6×0.5=0.0360.5×1×0.4×0.3×0.6×0.5=0.0180.3×0.8×0.3×0.8×0.2×0=0S1S2S3設(shè)觀察到的輸出符號序列是aab。試求aab的輸出概率？

由于是隱HMM模型，不知輸出aab時，到底是經(jīng)過了哪一條不同狀態(tài)組成的路徑，因此，求aab的輸出概率時，將每一種可能路徑的的輸出概率相加得到的總的概率值作為aab的輸出概率值:0.036+0.018+0=0.0541.HM紫M包含澤兩個墻隨機學(xué)過程：（1）馬爾膚可夫飽鏈：一個鼓隨機揀過程閥描述舒的狀唉態(tài)（S1,S2,S3）和餐狀態(tài)進轉(zhuǎn)移驅(qū)序列磁（狀態(tài)府轉(zhuǎn)移蛙序列S1S1S2S3、S1S2S2S3和S1S1S1S3等）；（2）一轎個隨電機過愛程描虎述狀糠態(tài)和挎觀察災(zāi)值之鐵間的鉗統(tǒng)計寨對應(yīng)隙關(guān)系疾（每次懇轉(zhuǎn)移升時輸輪出的據(jù)符號封組成切的符暫號序此列，訓(xùn)如，aa胃b）?？偨Y(jié)轉(zhuǎn)移鄭中輸備出符掌號的而概率矩陣P32.鹽HM之M包含回三個糟概率哄矩陣:每個態(tài)狀態(tài)有存在駛的概患率矩雨陣P1狀態(tài)配之間爸轉(zhuǎn)移的概騎率矩洗陣P23.一個序輸出殘概率:將每棒一種拜可能躺路徑務(wù)的的誓輸出傲概率吳相加綱得到燒的總慰的概斯率值五作為導(dǎo)輸出攤概率資。4.棗3隱馬蜓爾可捏夫模系型的蟻參數(shù)模型爛中狀拖態(tài)的截數(shù)目培。狀皂態(tài)的漂集合每個罵狀態(tài)聰對應(yīng)許的觀致測符貢號數(shù)懸。觀踩測符患號集恒合觀測色符號捉序列販的長倡度，叫觀測防符號掃序列狀態(tài)逼轉(zhuǎn)移距概率挪分布狀態(tài)仔的觀稻測符焰號概豈率分艙布初始熱狀態(tài)撇的概脊率分申布HM蕩M的基滾