模式識(shí)別原理-華中科技大學(xué)圖像識(shí)別與人工智能研究所-圖像分析與智能系統(tǒng)研究室

模式識(shí)別原理華中科技大學(xué)圖像識(shí)別與人工智能研究所圖像分析與智能系統(tǒng)研究室曹治國(guó)1/15/20241HMM的由來(lái)

1870年，俄國(guó)有機(jī)化學(xué)家VladimirV.Markovnikov第一次提出馬爾科夫模型馬爾可夫模型馬爾可夫鏈隱馬爾可夫模型1/15/20242馬爾可夫性如果一個(gè)過(guò)程的“將來(lái)”僅依賴“現(xiàn)在”而不依賴“過(guò)去”，則此過(guò)程具有馬爾可夫性,或稱此過(guò)程為馬爾可夫過(guò)程X(t+1)=f(X(t))1/15/20243馬爾科夫鏈時(shí)間和狀態(tài)都離散的馬爾科夫過(guò)程稱為馬爾科夫鏈記作{Xn=X(n),n=0,1,2,…}在時(shí)間集T1={0,1,2,…}上對(duì)離散狀態(tài)的過(guò)程相繼觀察的結(jié)果鏈的狀態(tài)空間記做I={a1,a2,…},ai∈R.條件概率Pij

(

m,m+n)=P{Xm+n=aj|Xm=ai}為馬氏鏈在時(shí)刻m處于狀態(tài)ai條件下，在時(shí)刻m+n轉(zhuǎn)移到狀態(tài)aj的轉(zhuǎn)移概率。1/15/20244轉(zhuǎn)移概率矩陣(續(xù))

由于鏈在時(shí)刻m從任何一個(gè)狀態(tài)ai出發(fā)，到另一時(shí)刻m+n，必然轉(zhuǎn)移到a1，a2…，諸狀態(tài)中的某一個(gè)，所以有當(dāng)Pij(m,m+n)與m無(wú)關(guān)時(shí)，稱馬爾科夫鏈為齊次馬爾科夫鏈，通常說(shuō)的馬爾科夫鏈都是指齊次馬爾科夫鏈。

1/15/20245轉(zhuǎn)移概率矩陣陰天晴天下雨

晴天陰天下雨晴天0.500.250.25陰天0.3750.250.375下雨0.250.1250.6251/15/20246HiddenMarkovModels1/15/20247HiddenMarkovModels1/15/20248HiddenMarkovModels1/15/20249HiddenMarkovModels1/15/202410HiddenMarkovModels1/15/202411HiddenMarkovModels1/15/202412HiddenMarkovModels1/15/202413HiddenMarkovModels1/15/202414HiddenMarkovModels1/15/202415HiddenMarkovModels1/15/202416HiddenMarkovModels1/15/202417HiddenMarkovModels1/15/202418HiddenMarkovModels1/15/202419HiddenMarkovModels1/15/202420HiddenMarkovModels1/15/202421HiddenMarkovModels1/15/202422HiddenMarkovModels1/15/202423HiddenMarkovModels1/15/202424HiddenMarkovModels1/15/202425HiddenMarkovModels1/15/202426HiddenMarkovModels1/15/202427HiddenMarkovModels1/15/202428HiddenMarkovModels1/15/202429HiddenMarkovModels1/15/202430HMM實(shí)例

ObservedBallSequenceUrn3Urn1Urn2Veil1/15/202431HMM實(shí)例——描述設(shè)有N個(gè)缸，每個(gè)缸中裝有很多彩球，球的顏色由一組概率分布描述。實(shí)驗(yàn)進(jìn)行方式如下根據(jù)初始概率分布，隨機(jī)選擇N個(gè)缸中的一個(gè)開(kāi)始實(shí)驗(yàn)根據(jù)缸中球顏色的概率分布，隨機(jī)選擇一個(gè)球，記球的顏色為O1，并把球放回缸中根據(jù)描述缸的轉(zhuǎn)移的概率分布，隨機(jī)選擇下一口缸，重復(fù)以上步驟。最后得到一個(gè)描述球的顏色的序列O1,O2,…，稱為觀察值序列O。

1/15/202432HMM實(shí)例——約束

在上述實(shí)驗(yàn)中，有幾個(gè)要點(diǎn)需要注意：不能被直接觀察缸間的轉(zhuǎn)移從缸中所選取的球的顏色和缸并不是一一對(duì)應(yīng)的每次選取哪個(gè)缸由一組轉(zhuǎn)移概率決定1/15/202433HMM概念HMM的狀態(tài)是不確定或不可見(jiàn)的，只有通過(guò)觀測(cè)序列的隨機(jī)過(guò)程才能表現(xiàn)出來(lái)觀察到的事件與狀態(tài)并不是一一對(duì)應(yīng)，而是通過(guò)一組概率分布相聯(lián)系

HMM是一個(gè)雙重隨機(jī)過(guò)程，兩個(gè)組成部分：

馬爾可夫鏈：描述狀態(tài)的轉(zhuǎn)移，用轉(zhuǎn)移概率描述。

一般隨機(jī)過(guò)程：描述狀態(tài)與觀察序列間的關(guān)系，用觀察值概率描述。1/15/202434Markov鏈（

,A）隨機(jī)過(guò)程（B）狀態(tài)序列觀察值序列q1,q2,...,qTo1,o2,...,oTHMM的組成示意圖HMM組成1/15/202435HMM的基本要素用模型五元組＝（N,M,π，A，B）用來(lái)描述HMM，或簡(jiǎn)寫(xiě)為=(π，A，B)參數(shù)含義實(shí)例N狀態(tài)數(shù)目缸的數(shù)目M每個(gè)狀態(tài)可能的觀察值數(shù)目彩球顏色數(shù)目A與時(shí)間無(wú)關(guān)的狀態(tài)轉(zhuǎn)移概率矩陣在選定某個(gè)缸的情況下，選擇另一個(gè)缸的概率B給定狀態(tài)下，觀察值概率分布每個(gè)缸中的顏色分布p初始狀態(tài)空間的概率分布初始時(shí)選擇某口缸的概率1/15/202436HiddenMarkovModels1/15/202437HiddenMarkovModels1/15/202438HiddenMarkovModels1/15/202439HiddenMarkovModels1/15/202440HiddenMarkovModels1/15/202441HiddenMarkovModels1/15/202442HiddenMarkovModels1/15/202443HiddenMarkovModels1/15/202444HiddenMarkovModels1/15/202445HiddenMarkovModels1/15/202446HiddenMarkovModels1/15/202447HiddenMarkovModels1/15/202448HiddenMarkovModels1/15/202449HiddenMarkovModels1/15/202450HiddenMarkovModels1/15/202451HiddenMarkovModels1/15/202452HiddenMarkovModels1/15/202453HiddenMarkovModels1/15/202454HiddenMarkovModels1/15/202455HiddenMarkovModels1/15/202456HiddenMarkovModels1/15/202457HiddenMarkovModels1/15/202458HiddenMarkovModels1/15/202459HiddenMarkovModels1/15/202460HiddenMarkovModels1/15/202461HiddenMarkovModels1/15/202462HiddenMarkovModels1/15/202463HiddenMarkovModelsWhat’sViterbiusedfor?ClassicExampleSpeechrecognition:Signal→wordsHMM→observableissignal→HiddenstateispartofwordformationWhatisthemostprobablewordgiventhissignal?UTTERLYGROSSSIMPLIFICATIONInpractice:manylevelsofinference;notonebigjump.1/15/202464HiddenMarkovModels1/15/202465HiddenMarkovModels1/15/202466HiddenMarkovModels1/15/202467HiddenMarkovModels1/15/