馬爾科夫模型簡(jiǎn)介

1、第一節(jié)第一節(jié) 馬爾可夫過(guò)程及其概率分布馬爾可夫過(guò)程及其概率分布一、馬爾可夫過(guò)程的概念一、馬爾可夫過(guò)程的概念 二、馬爾可夫過(guò)程的概率分布二、馬爾可夫過(guò)程的概率分布 三、應(yīng)用舉例三、應(yīng)用舉例 四、小結(jié)四、小結(jié)一、馬爾可夫過(guò)程的概念一、馬爾可夫過(guò)程的概念 1. 馬爾可夫性馬爾可夫性(無(wú)后效性無(wú)后效性)所所處處的的狀狀態(tài)態(tài)為為已已知知的的在在時(shí)時(shí)刻刻系系統(tǒng)統(tǒng)過(guò)過(guò)程程或或0)(t所所處處狀狀態(tài)態(tài)的的條條件件分分布布與與過(guò)過(guò)程程在在時(shí)時(shí)刻刻條條件件下下0,tt 特特性性稱稱為為之之前前所所處處的的狀狀態(tài)態(tài)無(wú)無(wú)關(guān)關(guān)的的與與過(guò)過(guò)程程在在時(shí)時(shí)刻刻0t馬爾可夫性馬爾可夫性或或無(wú)后效性無(wú)后效性.即即: 過(guò)程過(guò)程“將

2、來(lái)將來(lái)”的情況與的情況與“過(guò)去過(guò)去”的情況是無(wú)的情況是無(wú)關(guān)的關(guān)的.2. 馬爾可夫過(guò)程的定義馬爾可夫過(guò)程的定義具有馬爾可夫性的隨機(jī)過(guò)程稱為具有馬爾可夫性的隨機(jī)過(guò)程稱為馬爾可夫過(guò)程馬爾可夫過(guò)程.用分布函數(shù)表述馬爾可夫過(guò)程用分布函數(shù)表述馬爾可夫過(guò)程,),(:的的狀狀態(tài)態(tài)空空間間隨隨機(jī)機(jī)過(guò)過(guò)程程設(shè)設(shè)TttXI ,個(gè)數(shù)值個(gè)數(shù)值的任意的任意如果對(duì)時(shí)間如果對(duì)時(shí)間nt, 3,21Ttntttin 恰有恰有)(,)(,)(|)(112211 nnnnxtXxtXxtXxtXP ,)(|)(11RxxtXxtXPnnnnn 下的條件分布函數(shù)下的條件分布函數(shù)在條件在條件iinxtXtX )()(下下的的條條件件分分

3、布布函函數(shù)數(shù)在在條條件件11)()( nnnxtXtX或?qū)懗苫驅(qū)懗?,;,|,(121121|11 nnnnttttttxxxtxFnn),|,(11|1 nnnntttxtxFnn.),(性性具馬爾可夫性或無(wú)后效具馬爾可夫性或無(wú)后效這時(shí)稱過(guò)程這時(shí)稱過(guò)程TttX 并稱此過(guò)程并稱此過(guò)程為為馬爾可夫過(guò)程馬爾可夫過(guò)程.3. 馬爾可夫鏈的定義馬爾可夫鏈的定義 時(shí)間和狀態(tài)都是離散的馬爾可夫過(guò)程稱為時(shí)間和狀態(tài)都是離散的馬爾可夫過(guò)程稱為馬爾馬爾可夫鏈可夫鏈, ., 2 , 1 , 0),( nnXXn簡(jiǎn)記為簡(jiǎn)記為研究時(shí)間和狀態(tài)都是離散的隨機(jī)序列研究時(shí)間和狀態(tài)都是離散的隨機(jī)序列.,(21RaaaIi 狀狀態(tài)態(tài)

4、空空間間為為二、馬爾可夫過(guò)程的概率分布二、馬爾可夫過(guò)程的概率分布, 2, 1 , 0),( nnXXn1. 用分布律描述馬爾可夫性用分布律描述馬爾可夫性;0,21mtttrnr 和和對(duì)對(duì)任任意意的的正正整整數(shù)數(shù),iiTmnmt 有有1122|,rrm njtititimiP XaXa XaXaXa , |imjnmaXaXP . Iai 其其中中稱條件概率稱條件概率 |),(imjnmijaXaXPnmmP nmami 在時(shí)刻在時(shí)刻條件下條件下處于狀態(tài)處于狀態(tài)為馬氏鏈在時(shí)刻為馬氏鏈在時(shí)刻,.的的轉(zhuǎn)轉(zhuǎn)移移概概率率轉(zhuǎn)轉(zhuǎn)移移到到狀狀態(tài)態(tài)ja說(shuō)明說(shuō)明: 轉(zhuǎn)移概率具有特點(diǎn)轉(zhuǎn)移概率具有特點(diǎn) ., 2 ,

5、1, 1),(1 jijinmmP2. 轉(zhuǎn)移概率轉(zhuǎn)移概率由轉(zhuǎn)移概率組成的矩陣由轉(zhuǎn)移概率組成的矩陣),(),(nmmPnmmPij 稱為馬氏鏈的稱為馬氏鏈的轉(zhuǎn)移概率矩陣轉(zhuǎn)移概率矩陣.此矩陣的每一行元此矩陣的每一行元素之和等于素之和等于1.它是隨機(jī)矩陣它是隨機(jī)矩陣.3. 平穩(wěn)性平穩(wěn)性njinmmPij及及時(shí)時(shí)間間間間距距只只與與當(dāng)當(dāng)轉(zhuǎn)轉(zhuǎn)移移概概率率,),( 有關(guān)時(shí)有關(guān)時(shí), 稱轉(zhuǎn)移概率具有平穩(wěn)性稱轉(zhuǎn)移概率具有平穩(wěn)性.同時(shí)也稱此鏈?zhǔn)峭瑫r(shí)也稱此鏈?zhǔn)驱R次的齊次的或或時(shí)齊的時(shí)齊的.),(),(,nPnmmPijij 記記此此時(shí)時(shí) . |)(imjnmijaXaXPnP 稱為馬氏鏈的稱為馬氏鏈的n步轉(zhuǎn)移概率步

6、轉(zhuǎn)移概率.)()(步步轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩陣陣為為nnPnPij 一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率.|()1(1imjmijijaXaXPPp 特別的特別的, 當(dāng)當(dāng) k=1 時(shí)時(shí),一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率矩陣矩陣的的狀狀態(tài)態(tài)1 mX的狀態(tài)的狀態(tài)mXiaaa21jaaa21 ijiijjppppppppp211222111211)1(P 記為記為P)1(P三、應(yīng)用舉例三、應(yīng)用舉例, 0)0(,0),( XttX且且是獨(dú)立增量過(guò)程是獨(dú)立增量過(guò)程設(shè)設(shè).0),(是是一一個(gè)個(gè)馬馬爾爾可可夫夫過(guò)過(guò)程程證證明明 ttX證明證明由獨(dú)立增量過(guò)程的定義知由獨(dú)立增量過(guò)程的定義知,2, 2 , 1,01時(shí)時(shí)當(dāng)當(dāng) njtttn

7、nj.)()()0()(1相相互互獨(dú)獨(dú)立立與與增增量量 nnjtXtXXtX,)(0)0(11 nnxtXX與與根據(jù)條件根據(jù)條件即有即有.)()(1相相互互獨(dú)獨(dú)立立與與 nnjxtXtX例例1.2, 2 , 1),()(相相互互獨(dú)獨(dú)立立與與此此時(shí)時(shí) njtXtXjn是是一一個(gè)個(gè)即即具具有有無(wú)無(wú)后后效效性性這這表表明明0),(,)( ttXtX馬爾可夫過(guò)程馬爾可夫過(guò)程.說(shuō)明說(shuō)明:泊松過(guò)程是時(shí)間連續(xù)狀態(tài)離散的馬氏過(guò)程泊松過(guò)程是時(shí)間連續(xù)狀態(tài)離散的馬氏過(guò)程;維納過(guò)程是時(shí)間狀態(tài)都連續(xù)的馬氏過(guò)程維納過(guò)程是時(shí)間狀態(tài)都連續(xù)的馬氏過(guò)程.設(shè)每一級(jí)的傳真率為設(shè)每一級(jí)的傳真率為 p, 誤碼率為誤碼率為 q=1-p.設(shè)

8、一個(gè)單位時(shí)間傳輸一級(jí)設(shè)一個(gè)單位時(shí)間傳輸一級(jí),只傳輸數(shù)字只傳輸數(shù)字0和和1的串聯(lián)系統(tǒng)的串聯(lián)系統(tǒng) ( 傳輸系統(tǒng)傳輸系統(tǒng))0X11X2X1 nXnnX2如圖如圖:是第一級(jí)的輸入是第一級(jí)的輸入0X)1( nnXn級(jí)的輸出級(jí)的輸出是第是第分析分析:, 2 , 1 , 0,是是一一隨隨機(jī)機(jī)過(guò)過(guò)程程 nXn,1, 0 I狀態(tài)空間狀態(tài)空間例例210 ,為為已已知知時(shí)時(shí)且且當(dāng)當(dāng)IiiXn ,1有有關(guān)關(guān)所所處處的的狀狀態(tài)態(tài)分分布布只只與與iXXnn 而與時(shí)刻而與時(shí)刻 n 以前所處的狀態(tài)無(wú)關(guān)以前所處的狀態(tài)無(wú)關(guān).所以它是一個(gè)馬氏鏈所以它是一個(gè)馬氏鏈, 且是齊次的且是齊次的. 一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率1 , 0,|1

9、ji,ijqijpiXjXPpnnij一步轉(zhuǎn)移概率矩陣一步轉(zhuǎn)移概率矩陣 pqqp10 P10例例3 一維隨機(jī)游動(dòng)一維隨機(jī)游動(dòng).21,5 , 4 , 3 , 2 , 1等時(shí)刻發(fā)生游動(dòng)等時(shí)刻發(fā)生游動(dòng)秒秒秒、秒、并且僅僅在并且僅僅在上作隨機(jī)游動(dòng)上作隨機(jī)游動(dòng)在如圖所示直線的點(diǎn)集在如圖所示直線的點(diǎn)集一隨機(jī)游動(dòng)的質(zhì)點(diǎn)一隨機(jī)游動(dòng)的質(zhì)點(diǎn) I12345游動(dòng)的概率規(guī)則游動(dòng)的概率規(guī)則1/3的概率向左或向右移動(dòng)一格的概率向左或向右移動(dòng)一格, 或以或以1/3的概率留的概率留在原處在原處; 如果如果Q現(xiàn)在位于點(diǎn)現(xiàn)在位于點(diǎn) i (1 i 5),則下一時(shí)刻各以則下一時(shí)刻各以12345以概率以概率1移動(dòng)到移動(dòng)到2(或或4)這一

10、點(diǎn)上這一點(diǎn)上.如果如果Q現(xiàn)在位于現(xiàn)在位于1(或或5)這點(diǎn)上這點(diǎn)上, 則下一時(shí)刻就則下一時(shí)刻就1和和5這兩點(diǎn)稱為這兩點(diǎn)稱為反射壁反射壁.上面這種游動(dòng)稱為上面這種游動(dòng)稱為帶有兩個(gè)帶有兩個(gè)反射壁反射壁的隨機(jī)游動(dòng)的隨機(jī)游動(dòng).12345模擬方法模擬方法:產(chǎn)生均勻分布的隨機(jī)數(shù)序列產(chǎn)生均勻分布的隨機(jī)數(shù)序其中其中1表示左移表示左移;2表示不動(dòng)表示不動(dòng);3表示右移表示右移.理論分析理論分析:.的的位位置置時(shí)時(shí)表表示示時(shí)時(shí)刻刻以以QnXn., 2 , 1 , 0,是一隨機(jī)過(guò)程是一隨機(jī)過(guò)程則則 nXn狀態(tài)空間就是狀態(tài)空間就是I.,為為已已知知時(shí)時(shí)且且當(dāng)當(dāng)IiiXn ,1有有關(guān)關(guān)所所處處的的

11、狀狀態(tài)態(tài)分分布布只只與與iXXnn 而與時(shí)刻而與時(shí)刻 n 以前所處的狀態(tài)無(wú)關(guān)以前所處的狀態(tài)無(wú)關(guān).所以它是一個(gè)馬氏鏈所以它是一個(gè)馬氏鏈, 且是齊次的且是齊次的. 一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率|1iXjXPpnnij . 21, 04, 52, 1, 151, 1, 1,31 jjijiiiiij或或 010003/13/13/10003/13/13/10003/13/13/10001054321P5 4 3 2 1說(shuō)明說(shuō)明:相應(yīng)鏈的轉(zhuǎn)移概率矩陣只須把相應(yīng)鏈的轉(zhuǎn)移概率矩陣只須把P 中第中第1行改為行改為改變游動(dòng)的概率規(guī)則改變游動(dòng)的概率規(guī)則, 就可得到不同方式的就可得到不同方式的隨機(jī)游動(dòng)和相應(yīng)的馬氏鏈隨

12、機(jī)游動(dòng)和相應(yīng)的馬氏鏈. 如果把點(diǎn)如果把點(diǎn) 1 改為改為吸收壁吸收壁, ).0 , 0 , 0 , 0 , 1(一步轉(zhuǎn)移概率矩陣一步轉(zhuǎn)移概率矩陣?55,35,15.1,. )10(,1,0.,21,31,于多少于多少日為雨天的概率各等日為雨天的概率各等月月日為晴天日為晴天月月問(wèn)問(wèn)天天日為晴日為晴月月又已知又已知的一步轉(zhuǎn)移概率矩陣的一步轉(zhuǎn)移概率矩陣試寫出馬氏鏈試寫出馬氏鏈或或天狀態(tài)天狀態(tài)表示第表示第表示雨天狀態(tài)表示雨天狀態(tài)以以表示晴天狀態(tài)表示晴天狀態(tài)以以為逆事件為逆事件任一天晴或雨是互任一天晴或雨是互晴天轉(zhuǎn)雨天的概率為晴天轉(zhuǎn)雨天的概率為雨天轉(zhuǎn)晴天的概率為雨天轉(zhuǎn)晴天的概率為設(shè)任意相繼的兩天中設(shè)任意相

13、繼的兩天中 nXnXnn解解為逆事件且雨天轉(zhuǎn)為逆事件且雨天轉(zhuǎn)由于任一天晴或雨是互由于任一天晴或雨是互轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩陣陣分分別別為為故故一一步步轉(zhuǎn)轉(zhuǎn)移移概概率率和和一一步步,21,31晴晴天天轉(zhuǎn)轉(zhuǎn)雨雨天天的的概概率率為為晴晴天天的的概概率率為為例例4 1, 0,210, 0,211, 1,320, 1,311jijijijiiXjXPnn 323121211010P又由于又由于 181118712712510102P,6003. 03997. 05995. 04005. 010104 P又由于又由于日為雨天的概率為日為雨天的概率為月月日為晴天日為晴天月月故故55,15.5995. 0)4(

14、01 P日為晴天的概率為日為晴天的概率為月月日為晴天日為晴天月月故故35,15,4167. 0125)2(00 P 某計(jì)算機(jī)房的一臺(tái)計(jì)算機(jī)經(jīng)常出故障某計(jì)算機(jī)房的一臺(tái)計(jì)算機(jī)經(jīng)常出故障,研究者研究者每隔每隔15分鐘觀察一次計(jì)算機(jī)運(yùn)行狀態(tài)分鐘觀察一次計(jì)算機(jī)運(yùn)行狀態(tài),收集了收集了24小小時(shí)的數(shù)據(jù)時(shí)的數(shù)據(jù) (共作共作97次觀察次觀察) . 用用1表示正常狀態(tài)表示正常狀態(tài), 用用0表示不正常狀態(tài)表示不正常狀態(tài), 所得的數(shù)據(jù)序列如下所得的數(shù)據(jù)序列如下:1110010011111110011110111111001111111110001101101分析分析,)97, 2, 1(個(gè)時(shí)段的計(jì)算機(jī)狀態(tài)個(gè)時(shí)段的計(jì)算

15、機(jī)狀態(tài)為第為第設(shè)設(shè) nnXn狀態(tài)空間狀態(tài)空間: I=0, 1. 例例511101101101011110111011110111111001101111110011196 次狀態(tài)轉(zhuǎn)移的情況次狀態(tài)轉(zhuǎn)移的情況: ;8, 00次次;18, 01次次因此因此, 一步轉(zhuǎn)移概率可用頻率近似地表示為一步轉(zhuǎn)移概率可用頻率近似地表示為:,26818880|0100 nnXXPp,2618188180|1101 nnXXPp,70185218181|0110 nnXXPp.70525218521|1111 nnXXPp;18, 10 次次.52, 11次次以下研究齊次馬氏鏈的有限維分布以下研究齊次馬氏鏈的有限維分

16、布.:1的的一一維維分分布布馬馬氏氏鏈鏈在在任任意意時(shí)時(shí)刻刻Tn ., 2 , 1,)( jIaaXPnpjjnj特點(diǎn)特點(diǎn): 1. 1)(jjnp, |100 iiijnjnaXPaXaXPaXP ., 2 , 1),()0()(1 iijijjnppnp即即用行向量表示為用行向量表示為)()0()(nPpnp 一維分布由初始分布和一維分布由初始分布和轉(zhuǎn)移概率矩陣決定轉(zhuǎn)移概率矩陣決定 由以上討論知由以上討論知,轉(zhuǎn)移概率決定了馬氏鏈的運(yùn)轉(zhuǎn)移概率決定了馬氏鏈的運(yùn)動(dòng)的統(tǒng)計(jì)規(guī)律動(dòng)的統(tǒng)計(jì)規(guī)律. 因此因此, 確定馬氏鏈的任意確定馬氏鏈的任意n步轉(zhuǎn)步轉(zhuǎn)移概率成為馬氏鏈理論中的重要問(wèn)題之一移概率成為馬氏鏈理論

17、中的重要問(wèn)題之一.四、小結(jié)四、小結(jié)齊次馬氏鏈、平穩(wěn)性的概念齊次馬氏鏈、平穩(wěn)性的概念.一步轉(zhuǎn)移概率矩陣的計(jì)算一步轉(zhuǎn)移概率矩陣的計(jì)算.一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率.|()1(1imjmijijaXaXPPp 一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率矩陣矩陣).()1(nPPij 第二節(jié)第二節(jié) 多步轉(zhuǎn)移概率的確定多步轉(zhuǎn)移概率的確定 一、一、C-K 方程方程三、應(yīng)用舉例三、應(yīng)用舉例 四、小結(jié)四、小結(jié)二、多步轉(zhuǎn)移概率的確定二、多步轉(zhuǎn)移概率的確定一、一、C-K 方程方程, )(1TnnX 設(shè)設(shè)是一齊次馬氏鏈?zhǔn)且积R次馬氏鏈, 則對(duì)任意的則對(duì)任意的有有,1Tvu ., 2, 1,),()()(1 kkjikijjivpuPvuP

18、切普曼切普曼- -柯爾莫哥洛夫方程柯爾莫哥洛夫方程( (簡(jiǎn)稱簡(jiǎn)稱C -K方程方程) )說(shuō)明說(shuō)明C-K 方程基于下列事實(shí)方程基于下列事實(shí):.)(,”轉(zhuǎn)移到狀態(tài)轉(zhuǎn)移到狀態(tài)經(jīng)時(shí)段經(jīng)時(shí)段出發(fā)出發(fā)所處的狀態(tài)所處的狀態(tài)“從時(shí)刻“從時(shí)刻jjiavusXavuas 這一事件可分解成這一事件可分解成:轉(zhuǎn)轉(zhuǎn)移移到到中中間間狀狀態(tài)態(tài)先先經(jīng)經(jīng)時(shí)時(shí)段段出出發(fā)發(fā)“從從uasXi,)( ”等事”等事轉(zhuǎn)移到狀態(tài)轉(zhuǎn)移到狀態(tài)經(jīng)時(shí)段經(jīng)時(shí)段在從在從jkkavaka),2, 1( 件的和事件件的和事件.tosus vus iakaja如下圖所示如下圖所示:證明證明,1TsIak 和和先先固固定定由條件概率定義和乘法定理得由條件概率定義

19、和乘法定理得)(|)(,)(ikjasXausXavusXP )(,)(|)()(|)(ikjikasXausXavusXPasXausXP ).()(vPuPkjik (馬氏性和齊次性馬氏性和齊次性), 2 , 1,)(構(gòu)構(gòu)成成一一劃劃分分”因因事事件件組組“ kausXk所以所以)(|)()(ijijasXavusXPvuP 1)(,)(kjusXavusXP.)(|ikasXa 考慮到馬氏性和齊次性考慮到馬氏性和齊次性, 即得即得 C-K 方程方程.C-K 方程也可寫成矩陣形式方程也可寫成矩陣形式: ).()()(vPuPvuP 二、多步轉(zhuǎn)移概率的確定二、多步轉(zhuǎn)移概率的確定利用利用 C-

20、K 方程我們?nèi)菀状_定方程我們?nèi)菀状_定 n 步轉(zhuǎn)移概率步轉(zhuǎn)移概率.得遞推關(guān)系得遞推關(guān)系: , 1, 1 ,)()()( nvuvPuPvuP令令中中在在),1()1()1()( nPPnPPnP( ).nP nP從而可得從而可得 馬氏鏈的馬氏鏈的n步轉(zhuǎn)移概率是一步轉(zhuǎn)移概率的步轉(zhuǎn)移概率是一步轉(zhuǎn)移概率的 n 次次方方,鏈的有限維分布可由初始分布和一步轉(zhuǎn)移概率鏈的有限維分布可由初始分布和一步轉(zhuǎn)移概率完全確定完全確定.結(jié)論結(jié)論 步步轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩陣陣為為一一馬馬氏氏鏈鏈?zhǔn)鞘蔷呔哂杏腥齻€(gè)個(gè)狀狀態(tài)態(tài)的的齊齊次次設(shè)設(shè),0, nXn.1)2(;1,0)1(:,2,1,0,31)0(2200 XPXXPi

21、iXPpi求求初初始始分分布布,4143041214104143 P解解(1)先求出先求出2步轉(zhuǎn)移概率矩陣步轉(zhuǎn)移概率矩陣:例例1.411691631632116516116585)2(2 PP020,1P XX0|10020 XXPXP)2()0(010pp ,48516531 1(2) (2)p12 XP001111221(0)(2)(0)(2)(0)(2)pppppp.2411)16921165(31 在在 傳輸系統(tǒng)中傳輸系統(tǒng)中,真率與三級(jí)真率與三級(jí)求系統(tǒng)二級(jí)傳輸后的傳求系統(tǒng)二級(jí)傳輸后的傳設(shè)設(shè), 9 . 0)1( p傳輸后的誤碼率傳輸后的誤碼率;,1)0()2(01 XPp設(shè)設(shè)初初始始分分

22、布布.10)0(00 XPp系統(tǒng)經(jīng)系統(tǒng)經(jīng) n 級(jí)傳輸后輸出為級(jí)傳輸后輸出為 1, 問(wèn)原發(fā)字符也是問(wèn)原發(fā)字符也是 1 的的概率是多少概率是多少?例例210 解解先求出先求出 n 步轉(zhuǎn)移概率矩陣步轉(zhuǎn)移概率矩陣.,101 0 pqqpP因?yàn)橐驗(yàn)橛邢喈惖奶卣髦涤邢喈惖奶卣髦祋p 21, 1 所以可將所以可將 P 表示成對(duì)角陣表示成對(duì)角陣,0010021 qp 11)( HHHHPnnn 則則 .)(2121 ,)(2121)(2121 ,)(2121101 0 nnnnqpqpqpqp率與三級(jí)率與三級(jí)系統(tǒng)二級(jí)傳輸后的傳真系統(tǒng)二級(jí)傳輸后的傳真當(dāng)當(dāng), 9 . 0)1( p傳輸后的誤碼率分別為傳輸后的誤碼率

23、分別為:,820. 0)1 . 09 . 0(2121)2()2(20011 PP;244. 0)1 . 09 . 0(2121)2()3(30110 PP(2) 根據(jù)貝葉斯公式根據(jù)貝葉斯公式, 當(dāng)系統(tǒng)經(jīng)當(dāng)系統(tǒng)經(jīng) n 級(jí)傳輸后輸出級(jí)傳輸后輸出為為 1, 原發(fā)字符也是原發(fā)字符也是 1 的概率為的概率為:11|111|1000 nnnXPXXPXPXXP)()0()()0()()0(111010111nPpnPpnPp .)(12(1)(nnqpqp 說(shuō)明說(shuō)明. 1,0 ,11101 0 babbaaPn步轉(zhuǎn)移概率矩陣步轉(zhuǎn)移概率矩陣為為 )()()()(10)(1 0 11100100nPnpnP

24、npPnPn矩陣一般可表示為矩陣一般可表示為: ., 2 , 1 n,)1(1 bbaababaababban對(duì)于只有兩個(gè)狀態(tài)的馬氏鏈對(duì)于只有兩個(gè)狀態(tài)的馬氏鏈, 一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率.1,.2.,1,1,)1( .,為為齊齊次次馬馬爾爾可可夫夫鏈鏈以以分分時(shí)時(shí)比比賽賽結(jié)結(jié)束束兩兩人人中中有有一一個(gè)個(gè)人人得得到到當(dāng)當(dāng)平平局局不不記記分分分分負(fù)負(fù)者者得得分分勝勝者者得得比比賽賽后后設(shè)設(shè)每每局局乙乙勝勝的的概概率率為為的的概概率率為為設(shè)設(shè)每每局局比比賽賽中中甲甲勝勝甲甲乙乙兩兩人人進(jìn)進(jìn)行行某某種種比比賽賽 nXrqprpn.2,1)3(;2)2(;)1(結(jié)束的概率結(jié)束的概率局可以局可以最多再賽最

25、多再賽分的情況下分的情況下問(wèn)在甲獲得問(wèn)在甲獲得步轉(zhuǎn)移概率步轉(zhuǎn)移概率求求寫出狀態(tài)空間寫出狀態(tài)空間例例3解解 .2, 1, 0, 1, 2)1( S 1121012)1(21012)2(prqprqprqP222222222101212 .22221qrprpqprpPqrqrpqprpqqrrpqppr所求所求甲勝甲勝局局再賽再賽分的情況下分的情況下在甲獲得在甲獲得,2,1)3(概率為概率為. )1()2(12rpprppp 21012四、小結(jié)四、小結(jié)切普曼切普曼-柯爾莫哥洛夫方程柯爾莫哥洛夫方程 (簡(jiǎn)稱簡(jiǎn)稱 C K 方程方程) . , 2, 1,),()()(1 kkjikijjivpuPvu

26、P 馬氏鏈的馬氏鏈的n 步轉(zhuǎn)移概率是一步轉(zhuǎn)移概率的步轉(zhuǎn)移概率是一步轉(zhuǎn)移概率的n 次次方方, 鏈的有限維分布可由初始分布和一步移概率完鏈的有限維分布可由初始分布和一步移概率完全確定全確定.由由 C K 方程可得方程可得第三節(jié)第三節(jié) 遍歷性遍歷性 一、遍歷性的概念一、遍歷性的概念三、應(yīng)用舉例三、應(yīng)用舉例 四、小結(jié)四、小結(jié)二、二、( (有限鏈有限鏈) )遍歷性的充分條件遍歷性的充分條件一、遍歷性的概念一、遍歷性的概念對(duì)于一般的兩個(gè)狀態(tài)的馬氏鏈對(duì)于一般的兩個(gè)狀態(tài)的馬氏鏈, 由上節(jié)內(nèi)容可知由上節(jié)內(nèi)容可知,有有極極限限時(shí)時(shí)當(dāng)當(dāng))(,1,0nPbaij .)(lim)(lim01000 babnPnPnn.

27、)(lim)(lim11101 baanPnPnn意義意義對(duì)固定的狀態(tài)對(duì)固定的狀態(tài)j,不管鏈在某一時(shí)刻的什么不管鏈在某一時(shí)刻的什么狀狀態(tài)態(tài) i出發(fā)出發(fā), 通過(guò)長(zhǎng)時(shí)間的轉(zhuǎn)移到達(dá)狀態(tài)通過(guò)長(zhǎng)時(shí)間的轉(zhuǎn)移到達(dá)狀態(tài) j 的概率都趨的概率都趨.近于近于定義定義若對(duì)于所有若對(duì)于所有間為間為設(shè)齊次馬氏鏈的狀態(tài)空設(shè)齊次馬氏鏈的狀態(tài)空, I存存在在極極限限轉(zhuǎn)轉(zhuǎn)移移概概率率的的)(,nPIaaijji )()(liminPjijn不依賴于不依賴于 jjjnnPnP212121)()(或或則稱此鏈具有則稱此鏈具有遍歷性遍歷性.),(, 121為鏈的極限分布為鏈的極限分布則稱則稱若若 jj二、二、( (有限鏈有限鏈) )

28、遍歷性的充分條件遍歷性的充分條件, ,21NaaaI 間間為為設(shè)設(shè)齊齊次次馬馬氏氏鏈鏈的的狀狀態(tài)態(tài)空空,mP如如果果存存在在正正整整數(shù)數(shù)陣陣是是它它的的一一步步轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩都都有有使使對(duì)對(duì)任任意意的的,Iaaji , 2, 1, 0)(NjimPij 滿足條件滿足條件它是方程組它是方程組且有極限分布且有極限分布則此鏈具有遍歷性則此鏈具有遍歷性PN, ),(,21 .1, 01的唯一解的唯一解 Njjj說(shuō)明說(shuō)明步步轉(zhuǎn)轉(zhuǎn)移移概概率率使使數(shù)數(shù)求求證證遍遍歷歷性性即即找找一一正正整整mm,. 1.無(wú)零元無(wú)零元矩陣矩陣mP2. 極限分布轉(zhuǎn)化為了求解方程組極限分布轉(zhuǎn)化為了求解方程組.3. 在定理的條件下馬氏鏈的極限分布是平穩(wěn)分布在定理的條件下馬氏鏈的極限分布是平穩(wěn)分布.,000000 試說(shuō)明帶有兩個(gè)反射壁的隨機(jī)游動(dòng)是遍歷的試說(shuō)明帶有兩個(gè)反射壁的隨機(jī)游動(dòng)是遍歷的, 并求其極限分布并求其極限分布( (平穩(wěn)分布平穩(wěn)分布) ).解解)(的元的元代表轉(zhuǎn)移概率矩陣的正代表轉(zhuǎn)移概率矩陣的正以以 例例12)2(PP 三、應(yīng)用舉例三、應(yīng)用舉例 010003/ 13/ 13/ 10003/ 13/ 13/ 10003/ 13/ 13/ 10001054321P5 4 3 2 1 000000000000)4(4PP. 無(wú)零元無(wú)零元,鏈?zhǔn)潜闅v的鏈?zhǔn)潜闅v的: