鄭州大學(xué)-機器學(xué)習(xí) 隱馬爾可夫模型1

隱馬爾可夫模型

隱馬爾可夫模型HMM隱馬爾可夫模型是可用于標(biāo)注問題的統(tǒng)計學(xué)習(xí)模型描述由隱藏的馬爾可夫鏈隨機生成觀測序列的過程，屬于生成模型。本章首先介紹隱馬爾可夫模型的基本概念。再分別敘述隱馬爾可夫模型的概率計算算法、學(xué)習(xí)算法以及預(yù)測方法。隱馬爾可夫模型在語音識別、自然語言處理、生物信息、模式識別等領(lǐng)域有著廣泛的應(yīng)用。01隱馬爾可夫模型的基本概念假如在一個島上，沒有天氣預(yù)報，只有一片海藻，不能直接觀測到天氣情況（是隱藏的）。沒有直接的天氣信息，但是有間接的信息，海藻的狀態(tài)跟天氣的變換有關(guān)系。我們想通過海藻觀察一下，天氣情況海藻的狀態(tài)：可觀測狀態(tài)天氣情況：隱藏狀態(tài)01隱馬爾可夫模型的基本概念海藻的狀態(tài)：干燥,稍微干的,潮濕的,濕漉漉的—5種天氣情況：晴天、多云、雷雨—3種通過觀察狀態(tài)與隱藏狀態(tài)之間的聯(lián)系，把隱藏狀態(tài)找出來。01隱馬爾可夫模型的基本概念隱馬爾可夫模型的定義隱馬爾可夫模型是關(guān)于時序的概率模型，描述由一個隱藏的馬爾可夫鏈隨機生成不可觀測的狀態(tài)隨機序列，再由各個狀態(tài)生成一個觀測從而產(chǎn)生觀測隨機序列的過程。隱藏的馬爾可夫鏈隨機生成的狀態(tài)序列，稱為狀態(tài)序列。（晴天、多云、晴天、雷雨、多云）每個狀態(tài)生成一個觀測，而由此產(chǎn)生的觀測的隨機序列，稱為觀測序列。（干燥、稍微干的、干燥、濕漉漉的、稍微干的）序列的每一個位置又可以看作是一個時刻。01隱馬爾可夫模型的基本概念

01隱馬爾可夫模型的基本概念

01隱馬爾可夫模型的基本概念

01隱馬爾可夫模型的基本概念

01隱馬爾可夫模型的基本概念狀態(tài)轉(zhuǎn)移概率矩陣A與初始狀態(tài)概率向量π確定了隱藏的馬爾可夫鏈，生成不可觀測的狀態(tài)序列。觀測概率矩陣B確定了如何從狀態(tài)生成觀測，與狀態(tài)序列綜合確定了如何產(chǎn)生觀測序列。01隱馬爾可夫模型的基本概念從定義可知，隱馬爾可夫模型作了兩個基本假設(shè)：(1)齊次馬爾可夫性假設(shè)，即假設(shè)隱藏的馬爾可夫鏈在任意時刻t的狀態(tài)只依賴于其前一時刻的狀態(tài)，與其他時刻的狀態(tài)及觀測無關(guān)，也與時刻t無關(guān)：(2)觀測獨立性假設(shè)，即假設(shè)任意時刻的觀測只依賴于該時刻的馬爾可夫鏈的狀態(tài)，與其他觀測及狀態(tài)無關(guān)：01隱馬爾可夫模型的基本概念隱馬爾可夫模型可以用于標(biāo)注，這時狀態(tài)對應(yīng)著標(biāo)記。標(biāo)注問題是給定觀測的序列預(yù)測其對應(yīng)的標(biāo)記序列。可以假設(shè)標(biāo)注問題的數(shù)據(jù)是由隱馬爾可夫模型生成的。這樣我們可以利用隱馬爾可夫模型的學(xué)習(xí)與預(yù)測算法進行標(biāo)注。01隱馬爾可夫模型的基本概念下面看一個隱馬爾可夫模型的一個例子（盒子和球模型）假設(shè)有4個盒子，每個盒子里都裝有紅、白兩種顏色的球，盒子里的紅、白球數(shù)如下圖所示。01隱馬爾可夫模型的基本概念按照下面的方法抽球，產(chǎn)生一個球的顏色的觀測序列：開始，從4個盒子里以等概率隨機選取1個盒子，從這個盒子里隨機抽出1個球，記錄其顏色后，放回；然后從當(dāng)前盒子隨機轉(zhuǎn)移到下一個盒子，規(guī)則是：如果當(dāng)前盒子是盒子1，那么下一盒子一定是盒子2；如果當(dāng)前盒子是2或3，那么分別以概率0.4和0.6轉(zhuǎn)移到左邊或右邊的盒子；如果當(dāng)前的盒子是4，那么各以0.5的概率停留在盒子4或轉(zhuǎn)移到盒子301隱馬爾可夫模型的基本概念確定轉(zhuǎn)移的盒子后，再從這個盒子里隨機抽出1個球，記錄其顏色，放回；如此下去，重復(fù)進行5次，得到一個球的顏色的觀測序列：O=（紅，紅，白，白，紅）在這個過程中，觀測者只能觀測到球的顏色的序列，觀測不到球是從哪個盒子取出的，即觀測不到盒子的序列01隱馬爾可夫模型的基本概念

01隱馬爾可夫模型的基本概念

01隱馬爾可夫模型的基本概念觀測概率分布為01隱馬爾可夫模型的基本概念

01隱馬爾可夫模型的基本概念

02概率計算算法

02概率計算算法

02概率計算算法

02概率計算算法

02概率計算算法

02概率計算算法02概率計算算法

02概率計算算法

02概率計算算法

02概率計算算法

02概率計算算法

02概率計算算法

02概率計算算法

02概率計算算法紅、白、紅時刻1第一個盒子抽且抽的是紅球=0.2*0.5=0.1第二個盒子抽且抽的是紅球=0.4*0.4=0.16第三個盒子抽且抽的是紅球=0.4*0.7=0.2802概率計算算法

02概率計算算法03學(xué)習(xí)算法隱馬爾科夫模型的學(xué)習(xí)，根據(jù)訓(xùn)練數(shù)據(jù)是包括觀測序列和對應(yīng)的狀態(tài)序列還是只有觀測序列，可以分別由監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)實現(xiàn)。本節(jié)主要介紹監(jiān)督學(xué)習(xí)算法03學(xué)習(xí)算法

03學(xué)習(xí)算法

03學(xué)習(xí)算法04預(yù)測算法隱馬爾可夫模型預(yù)測的兩種算法：近似算法與維特比算法。近似算法近似算法的優(yōu)點是計算簡單，缺點是不能保證預(yù)測的狀態(tài)序列整體是最有可能的狀態(tài)序列04預(yù)測算法維特比算法維特比算法實際是用動態(tài)規(guī)劃解隱馬爾可夫模型預(yù)測問題，即用動態(tài)規(guī)劃求概率最大路徑(最優(yōu)路徑