馬爾可夫過程

1、第一節(jié)第一節(jié) 馬爾可夫過程及其概率分布馬爾可夫過程及其概率分布一、馬爾可夫過程的概念一、馬爾可夫過程的概念 二、馬爾可夫過程的概率分布二、馬爾可夫過程的概率分布 三、應(yīng)用舉例三、應(yīng)用舉例 四、小結(jié)四、小結(jié)一、馬爾可夫過程的概念一、馬爾可夫過程的概念 1. 馬爾可夫性馬爾可夫性(無后效性無后效性)所所處處的的狀狀態(tài)態(tài)為為已已知知的的在在時時刻刻系系統(tǒng)統(tǒng)過過程程或或0)(t所所處處狀狀態(tài)態(tài)的的條條件件分分布布與與過過程程在在時時刻刻條條件件下下0,tt 特特性性稱稱為為之之前前所所處處的的狀狀態(tài)態(tài)無無關(guān)關(guān)的的與與過過程程在在時時刻刻0t馬爾可夫性馬爾可夫性或或無后效性無后效性.即即: 過程過程“將

2、來將來”的情況與的情況與“過去過去”的情況是無的情況是無關(guān)的關(guān)的.2. 馬爾可夫過程的定義馬爾可夫過程的定義具有馬爾可夫性的隨機(jī)過程稱為具有馬爾可夫性的隨機(jī)過程稱為馬爾可夫過程馬爾可夫過程.用分布函數(shù)表述馬爾可夫過程用分布函數(shù)表述馬爾可夫過程,),(:的的狀狀態(tài)態(tài)空空間間隨隨機(jī)機(jī)過過程程設(shè)設(shè)TttXI ,個個數(shù)數(shù)值值的的任任意意如如果果對對時時間間nt, 3,21Ttntttin 恰有恰有)(,)(,)(|)(112211 nnnnxtXxtXxtXxtXP ,)(|)(11RxxtXxtXPnnnnn 下下的的條條件件分分布布函函數(shù)數(shù)在在條條件件iinxtXtX )()(下下的的條條件件分分

3、布布函函數(shù)數(shù)在在條條件件11)()( nnnxtXtX或?qū)懗苫驅(qū)懗?,;,|,(121121|11 nnnnttttttxxxtxFnn),|,(11|1 nnnntttxtxFnn.),(性性具具馬馬爾爾可可夫夫性性或或無無后后效效這這時時稱稱過過程程TttX 并稱此過程并稱此過程為為馬爾可夫過程馬爾可夫過程.3. 馬爾可夫鏈的定義馬爾可夫鏈的定義 時間和狀態(tài)都是離散的馬爾可夫過程稱為時間和狀態(tài)都是離散的馬爾可夫過程稱為馬爾馬爾可夫鏈可夫鏈, ., 2 , 1 , 0),( nnXXn簡記為簡記為研究時間和狀態(tài)都是離散的隨機(jī)序列研究時間和狀態(tài)都是離散的隨機(jī)序列.,(21RaaaIi 狀狀態(tài)態(tài)

4、空空間間為為二、馬爾可夫過程的概率分布二、馬爾可夫過程的概率分布, 2, 1 , 0),( nnXXn1. 用分布律描述馬爾可夫性用分布律描述馬爾可夫性;0,21mtttrnr 和和對對任任意意的的正正整整數(shù)數(shù),iiTmnmt 有有1122|,rrm njtititimiP XaXa XaXaXa , |imjnmaXaXP . Iai 其其中中稱條件概率稱條件概率 |),(imjnmijaXaXPnmmP nmami 在在時時刻刻條條件件下下處處于于狀狀態(tài)態(tài)為為馬馬氏氏鏈鏈在在時時刻刻,.的的轉(zhuǎn)轉(zhuǎn)移移概概率率轉(zhuǎn)轉(zhuǎn)移移到到狀狀態(tài)態(tài)ja說明說明: 轉(zhuǎn)移概率具有特點(diǎn)轉(zhuǎn)移概率具有特點(diǎn) ., 2 ,

5、1, 1),(1 jijinmmP2. 轉(zhuǎn)移概率轉(zhuǎn)移概率由轉(zhuǎn)移概率組成的矩陣由轉(zhuǎn)移概率組成的矩陣),(),(nmmPnmmPij 稱為馬氏鏈的稱為馬氏鏈的轉(zhuǎn)移概率矩陣轉(zhuǎn)移概率矩陣.此矩陣的每一行元此矩陣的每一行元素之和等于素之和等于1.它是隨機(jī)矩陣它是隨機(jī)矩陣.3. 平穩(wěn)性平穩(wěn)性njinmmPij及及時時間間間間距距只只與與當(dāng)當(dāng)轉(zhuǎn)轉(zhuǎn)移移概概率率,),( 有關(guān)時有關(guān)時, 稱轉(zhuǎn)移概率具有平穩(wěn)性稱轉(zhuǎn)移概率具有平穩(wěn)性.同時也稱此鏈?zhǔn)峭瑫r也稱此鏈?zhǔn)驱R次的齊次的或或時齊的時齊的.),(),(,nPnmmPijij 記記此時此時 . |)(imjnmijaXaXPnP 稱為馬氏鏈的稱為馬氏鏈的n步轉(zhuǎn)移概率步

6、轉(zhuǎn)移概率.)()(步轉(zhuǎn)移概率矩陣步轉(zhuǎn)移概率矩陣為為nnPnPij 一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率.|()1(1imjmijijaXaXPPp 特別的特別的, 當(dāng)當(dāng) k=1 時時,一步轉(zhuǎn)移概率矩陣一步轉(zhuǎn)移概率矩陣的狀態(tài)的狀態(tài)1 mX的狀態(tài)的狀態(tài)mXiaaa21jaaa21 ijiijjppppppppp211222111211)1(P 記為記為P)1(P三、應(yīng)用舉例三、應(yīng)用舉例, 0)0(,0),( XttX且且是是獨(dú)獨(dú)立立增增量量過過程程設(shè)設(shè).0),(是是一一個個馬馬爾爾可可夫夫過過程程證證明明 ttX證明證明由獨(dú)立增量過程的定義知由獨(dú)立增量過程的定義知,2, 2 , 1,01時時當(dāng)當(dāng) njtttn

7、nj.)()()0()(1相互獨(dú)立相互獨(dú)立與與增量增量 nnjtXtXXtX,)(0)0(11 nnxtXX與與根根據(jù)據(jù)條條件件即有即有.)()(1相互獨(dú)立相互獨(dú)立與與 nnjxtXtX例例1.2, 2 , 1),()(相相互互獨(dú)獨(dú)立立與與此此時時 njtXtXjn是是一一個個即即具具有有無無后后效效性性這這表表明明0),(,)( ttXtX馬爾可夫過程馬爾可夫過程.說明說明:泊松過程是時間連續(xù)狀態(tài)離散的馬氏過程泊松過程是時間連續(xù)狀態(tài)離散的馬氏過程;維納過程是時間狀態(tài)都連續(xù)的馬氏過程維納過程是時間狀態(tài)都連續(xù)的馬氏過程.設(shè)每一級的傳真率為設(shè)每一級的傳真率為 p, 誤碼率為誤碼率為 q=1-p.設(shè)

8、一個單位時間傳輸一級設(shè)一個單位時間傳輸一級,只傳輸數(shù)字只傳輸數(shù)字0和和1的串聯(lián)系統(tǒng)的串聯(lián)系統(tǒng) ( 傳輸系統(tǒng)傳輸系統(tǒng))0X11X2X1 nXnnX2如圖如圖:是第一級的輸入是第一級的輸入0X)1( nnXn級的輸出級的輸出是第是第分析分析:, 2 , 1 , 0,是是一一隨隨機(jī)機(jī)過過程程 nXn,1, 0 I狀態(tài)空間狀態(tài)空間例例210 ,為為已已知知時時且且當(dāng)當(dāng)IiiXn ,1有有關(guān)關(guān)所所處處的的狀狀態(tài)態(tài)分分布布只只與與iXXnn 而與時刻而與時刻 n 以前所處的狀態(tài)無關(guān)以前所處的狀態(tài)無關(guān).所以它是一個馬氏鏈所以它是一個馬氏鏈, 且是齊次的且是齊次的. 一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率1 , 0,|1

9、ji,ijqijpiXjXPpnnij一步轉(zhuǎn)移概率矩陣一步轉(zhuǎn)移概率矩陣 pqqp10 P10例例3 一維隨機(jī)游動一維隨機(jī)游動.21,5 , 4 , 3 , 2 , 1等時刻發(fā)生游動等時刻發(fā)生游動秒秒秒、秒、并且僅僅在并且僅僅在上作隨機(jī)游動上作隨機(jī)游動在如圖所示直線的點(diǎn)集在如圖所示直線的點(diǎn)集一隨機(jī)游動的質(zhì)點(diǎn)一隨機(jī)游動的質(zhì)點(diǎn) I12345游動的概率規(guī)則游動的概率規(guī)則1/3的概率向左或向右移動一格的概率向左或向右移動一格, 或以或以1/3的概率留的概率留在原處在原處; 如果如果Q現(xiàn)在位于點(diǎn)現(xiàn)在位于點(diǎn) i (1 i 5),則下一時刻各以則下一時刻各以12345以概率以概率1移動到移動到2(或或4)這一

10、點(diǎn)上這一點(diǎn)上.如果如果Q現(xiàn)在位于現(xiàn)在位于1(或或5)這點(diǎn)上這點(diǎn)上, 則下一時刻就則下一時刻就1和和5這兩點(diǎn)稱為這兩點(diǎn)稱為反射壁反射壁.上面這種游動稱為上面這種游動稱為帶有兩個帶有兩個反射壁反射壁的隨機(jī)游動的隨機(jī)游動.12345模擬方法模擬方法:產(chǎn)生均勻分布的隨機(jī)數(shù)序列產(chǎn)生均勻分布的隨機(jī)數(shù)序其中其中1表示左移表示左移;2表示不動表示不動;3表示右移表示右移.理論分析理論分析:.的位置的位置時時表示時刻表示時刻以以QnXn., 2 , 1 , 0,是是一一隨隨機(jī)機(jī)過過程程則則 nXn狀態(tài)空間就是狀態(tài)空間就是I.,為為已已知知時時且且當(dāng)當(dāng)IiiXn ,1有有關(guān)關(guān)所所處處的的

11、狀狀態(tài)態(tài)分分布布只只與與iXXnn 而與時刻而與時刻 n 以前所處的狀態(tài)無關(guān)以前所處的狀態(tài)無關(guān).所以它是一個馬氏鏈所以它是一個馬氏鏈, 且是齊次的且是齊次的. 一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率|1iXjXPpnnij . 21, 04, 52, 1, 151, 1, 1,31 jjijiiiiij或或 010003/13/13/10003/13/13/10003/13/13/10001054321P5 4 3 2 1說明說明:相應(yīng)鏈的轉(zhuǎn)移概率矩陣只須把相應(yīng)鏈的轉(zhuǎn)移概率矩陣只須把P 中第中第1行改為行改為改變游動的概率規(guī)則改變游動的概率規(guī)則, 就可得到不同方式的就可得到不同方式的隨機(jī)游動和相應(yīng)的馬氏鏈隨

12、機(jī)游動和相應(yīng)的馬氏鏈. 如果把點(diǎn)如果把點(diǎn) 1 改為改為吸收壁吸收壁, ).0 , 0 , 0 , 0 , 1(一步轉(zhuǎn)移概率矩陣一步轉(zhuǎn)移概率矩陣?55,35,15.1,. )10(,1,0.,21,31,于于多多少少日日為為雨雨天天的的概概率率各各等等月月日日為為晴晴天天月月問問天天日日為為晴晴月月又又已已知知的的一一步步轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩陣陣試試寫寫出出馬馬氏氏鏈鏈或或天天狀狀態(tài)態(tài)表表示示第第表表示示雨雨天天狀狀態(tài)態(tài)以以表表示示晴晴天天狀狀態(tài)態(tài)以以為為逆逆事事件件任任一一天天晴晴或或雨雨是是互互晴晴天天轉(zhuǎn)轉(zhuǎn)雨雨天天的的概概率率為為雨雨天天轉(zhuǎn)轉(zhuǎn)晴晴天天的的概概率率為為設(shè)設(shè)任任意意相相繼繼的的兩

13、兩天天中中 nXnXnn解解為逆事件且雨天轉(zhuǎn)為逆事件且雨天轉(zhuǎn)由于任一天晴或雨是互由于任一天晴或雨是互轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩陣陣分分別別為為故故一一步步轉(zhuǎn)轉(zhuǎn)移移概概率率和和一一步步,21,31晴晴天天轉(zhuǎn)轉(zhuǎn)雨雨天天的的概概率率為為晴晴天天的的概概率率為為例例4 1, 0,210, 0,211, 1,320, 1,311jijijijiiXjXPnn 323121211010P又由于又由于 181118712712510102P,6003. 03997. 05995. 04005. 010104 P又又由由于于日日為為雨雨天天的的概概率率為為月月日日為為晴晴天天月月故故55,15.5995. 0)4(

14、01 P日日為為晴晴天天的的概概率率為為月月日日為為晴晴天天月月故故35,15,4167. 0125)2(00 P 某計(jì)算機(jī)房的一臺計(jì)算機(jī)經(jīng)常出故障某計(jì)算機(jī)房的一臺計(jì)算機(jī)經(jīng)常出故障,研究者研究者每隔每隔15分鐘觀察一次計(jì)算機(jī)運(yùn)行狀態(tài)分鐘觀察一次計(jì)算機(jī)運(yùn)行狀態(tài),收集了收集了24小小時的數(shù)據(jù)時的數(shù)據(jù) (共作共作97次觀察次觀察) . 用用1表示正常狀態(tài)表示正常狀態(tài), 用用0表示不正常狀態(tài)表示不正常狀態(tài), 所得的數(shù)據(jù)序列如下所得的數(shù)據(jù)序列如下:1110010011111110011110111111001111111110001101101分析分析,)97, 2, 1(個時段的計(jì)算機(jī)狀態(tài)個時段的計(jì)算

15、機(jī)狀態(tài)為第為第設(shè)設(shè) nnXn狀態(tài)空間狀態(tài)空間: I=0, 1. 例例511101101101011110111011110111111001101111110011196 次狀態(tài)轉(zhuǎn)移的情況次狀態(tài)轉(zhuǎn)移的情況: ;8, 00次次;18, 01次次因此因此, 一步轉(zhuǎn)移概率可用頻率近似地表示為一步轉(zhuǎn)移概率可用頻率近似地表示為:,26818880|0100 nnXXPp,2618188180|1101 nnXXPp,70185218181|0110 nnXXPp.70525218521|1111 nnXXPp;18, 10 次次.52, 11次次以下研究齊次馬氏鏈的有限維分布以下研究齊次馬氏鏈的有限維分

16、布.:1的的一一維維分分布布馬馬氏氏鏈鏈在在任任意意時時刻刻Tn ., 2 , 1,)( jIaaXPnpjjnj特點(diǎn)特點(diǎn): 1. 1)(jjnp, |100 iiijnjnaXPaXaXPaXP ., 2 , 1),()0()(1 iijijjnppnp即即用行向量表示為用行向量表示為)()0()(nPpnp 一維分布由初始分布和一維分布由初始分布和轉(zhuǎn)移概率矩陣決定轉(zhuǎn)移概率矩陣決定 由以上討論知由以上討論知,轉(zhuǎn)移概率決定了馬氏鏈的運(yùn)轉(zhuǎn)移概率決定了馬氏鏈的運(yùn)動的統(tǒng)計(jì)規(guī)律動的統(tǒng)計(jì)規(guī)律. 因此因此, 確定馬氏鏈的任意確定馬氏鏈的任意n步轉(zhuǎn)步轉(zhuǎn)移概率成為馬氏鏈理論中的重要問題之一移概率成為馬氏鏈理論

17、中的重要問題之一.四、小結(jié)四、小結(jié)齊次馬氏鏈、平穩(wěn)性的概念齊次馬氏鏈、平穩(wěn)性的概念.一步轉(zhuǎn)移概率矩陣的計(jì)算一步轉(zhuǎn)移概率矩陣的計(jì)算.一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率.|()1(1imjmijijaXaXPPp 一步轉(zhuǎn)移概率矩陣一步轉(zhuǎn)移概率矩陣).()1(nPPij 第二節(jié)第二節(jié) 多步轉(zhuǎn)移概率的確定多步轉(zhuǎn)移概率的確定 一、一、C-K 方程方程三、應(yīng)用舉例三、應(yīng)用舉例 四、小結(jié)四、小結(jié)二、多步轉(zhuǎn)移概率的確定二、多步轉(zhuǎn)移概率的確定一、一、C-K 方程方程, )(1TnnX 設(shè)設(shè)是一齊次馬氏鏈?zhǔn)且积R次馬氏鏈, 則對任意的則對任意的有有,1Tvu ., 2, 1,),()()(1 kkjikijjivpuPvuP

18、切普曼切普曼- -柯爾莫哥洛夫方程柯爾莫哥洛夫方程( (簡稱簡稱C -K方程方程) )說明說明C-K 方程基于下列事實(shí)方程基于下列事實(shí):.)(,”轉(zhuǎn)轉(zhuǎn)移移到到狀狀態(tài)態(tài)經(jīng)經(jīng)時時段段出出發(fā)發(fā)所所處處的的狀狀態(tài)態(tài)“從從時時刻刻jjiavusXavuas 這一事件可分解成這一事件可分解成:轉(zhuǎn)轉(zhuǎn)移移到到中中間間狀狀態(tài)態(tài)先先經(jīng)經(jīng)時時段段出出發(fā)發(fā)“從從uasXi,)( ”等事”等事轉(zhuǎn)移到狀態(tài)轉(zhuǎn)移到狀態(tài)經(jīng)時段經(jīng)時段在從在從jkkavaka),2, 1( 件的和事件件的和事件.tosus vus iakaja如下圖所示如下圖所示:證明證明,1TsIak 和和先先固固定定由條件概率定義和乘法定理得由條件概率定義和

19、乘法定理得)(|)(,)(ikjasXausXavusXP )(,)(|)()(|)(ikjikasXausXavusXPasXausXP ).()(vPuPkjik (馬氏性和齊次性馬氏性和齊次性), 2 , 1,)(構(gòu)構(gòu)成成一一劃劃分分”因因事事件件組組“ kausXk所以所以)(|)()(ijijasXavusXPvuP 1)(,)(kjusXavusXP.)(|ikasXa 考慮到馬氏性和齊次性考慮到馬氏性和齊次性, 即得即得 C-K 方程方程.C-K 方程也可寫成矩陣形式方程也可寫成矩陣形式: ).()()(vPuPvuP 二、多步轉(zhuǎn)移概率的確定二、多步轉(zhuǎn)移概率的確定利用利用 C-K

20、 方程我們?nèi)菀状_定方程我們?nèi)菀状_定 n 步轉(zhuǎn)移概率步轉(zhuǎn)移概率.得遞推關(guān)系得遞推關(guān)系: , 1, 1 ,)()()( nvuvPuPvuP令令中中在在),1()1()1()( nPPnPPnP( ).nP nP從而可得從而可得 馬氏鏈的馬氏鏈的n步轉(zhuǎn)移概率是一步轉(zhuǎn)移概率的步轉(zhuǎn)移概率是一步轉(zhuǎn)移概率的 n 次次方方,鏈的有限維分布可由初始分布和一步轉(zhuǎn)移概率鏈的有限維分布可由初始分布和一步轉(zhuǎn)移概率完全確定完全確定.結(jié)論結(jié)論 步步轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩陣陣為為一一馬馬氏氏鏈鏈?zhǔn)鞘蔷呔哂杏腥齻€個狀狀態(tài)態(tài)的的齊齊次次設(shè)設(shè),0, nXn.1)2(;1,0)1(:,2,1,0,31)0(2200 XPXXPii

21、XPpi求求初初始始分分布布,4143041214104143 P解解(1)先求出先求出2步轉(zhuǎn)移概率矩陣步轉(zhuǎn)移概率矩陣:例例1.411691631632116516116585)2(2 PP020,1P XX0|10020 XXPXP)2()0(010pp ,48516531 1(2) (2)p12 XP001111221(0)(2)(0)(2)(0)(2)pppppp.2411)16921165(31 在在 傳輸系統(tǒng)中傳輸系統(tǒng)中,真真率率與與三三級級求求系系統(tǒng)統(tǒng)二二級級傳傳輸輸后后的的傳傳設(shè)設(shè), 9 . 0)1( p傳輸后的誤碼率傳輸后的誤碼率;,1)0()2(01 XPp設(shè)設(shè)初初始始分分布

22、布.10)0(00 XPp系統(tǒng)經(jīng)系統(tǒng)經(jīng) n 級傳輸后輸出為級傳輸后輸出為 1, 問原發(fā)字符也是問原發(fā)字符也是 1 的的概率是多少概率是多少?例例210 解解先求出先求出 n 步轉(zhuǎn)移概率矩陣步轉(zhuǎn)移概率矩陣.,101 0 pqqpP因?yàn)橐驗(yàn)橛邢喈惖奶卣髦涤邢喈惖奶卣髦祋p 21, 1 所以可將所以可將 P 表示成對角陣表示成對角陣,0010021 qp 11)( HHHHPnnn 則則 .)(2121 ,)(2121)(2121 ,)(2121101 0 nnnnqpqpqpqp率率與與三三級級系系統(tǒng)統(tǒng)二二級級傳傳輸輸后后的的傳傳真真當(dāng)當(dāng), 9 . 0)1( p傳輸后的誤碼率分別為傳輸后的誤碼率分

23、別為:,820. 0)1 . 09 . 0(2121)2()2(20011 PP;244. 0)1 . 09 . 0(2121)2()3(30110 PP(2) 根據(jù)貝葉斯公式根據(jù)貝葉斯公式, 當(dāng)系統(tǒng)經(jīng)當(dāng)系統(tǒng)經(jīng) n 級傳輸后輸出級傳輸后輸出為為 1, 原發(fā)字符也是原發(fā)字符也是 1 的概率為的概率為:11|111|1000 nnnXPXXPXPXXP)()0()()0()()0(111010111nPpnPpnPp .)(12(1)(nnqpqp 說明說明. 1,0 ,11101 0 babbaaPn步轉(zhuǎn)移概率矩陣步轉(zhuǎn)移概率矩陣為為 )()()()(10)(1 0 11100100nPnpnPn

24、pPnPn矩陣一般可表示為矩陣一般可表示為: ., 2 , 1 n,)1(1 bbaababaababban對于只有兩個狀態(tài)的馬氏鏈對于只有兩個狀態(tài)的馬氏鏈, 一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率.1,.2.,1,1,)1( .,為為齊齊次次馬馬爾爾可可夫夫鏈鏈以以分分時時比比賽賽結(jié)結(jié)束束兩兩人人中中有有一一個個人人得得到到當(dāng)當(dāng)平平局局不不記記分分分分負(fù)負(fù)者者得得分分勝勝者者得得比比賽賽后后設(shè)設(shè)每每局局乙乙勝勝的的概概率率為為的的概概率率為為設(shè)設(shè)每每局局比比賽賽中中甲甲勝勝甲甲乙乙兩兩人人進(jìn)進(jìn)行行某某種種比比賽賽 nXrqprpn.2,1)3(;2)2(;)1(結(jié)結(jié)束束的的概概率率局局可可以以最最多多再再

25、賽賽分分的的情情況況下下問問在在甲甲獲獲得得步步轉(zhuǎn)轉(zhuǎn)移移概概率率求求寫寫出出狀狀態(tài)態(tài)空空間間例例3解解 .2, 1, 0, 1, 2)1( S 1121012)1(21012)2(prqprqprqP222222222101212 .22221qrprpqprpPqrqrpqprpqqrrpqppr所所求求甲甲勝勝局局再再賽賽分分的的情情況況下下在在甲甲獲獲得得,2,1)3(概率為概率為. )1()2(12rpprppp 21012四、小結(jié)四、小結(jié)切普曼切普曼-柯爾莫哥洛夫方程柯爾莫哥洛夫方程 (簡稱簡稱 C K 方程方程) . , 2, 1,),()()(1 kkjikijjivpuPvuP

26、 馬氏鏈的馬氏鏈的n 步轉(zhuǎn)移概率是一步轉(zhuǎn)移概率的步轉(zhuǎn)移概率是一步轉(zhuǎn)移概率的n 次次方方, 鏈的有限維分布可由初始分布和一步移概率完鏈的有限維分布可由初始分布和一步移概率完全確定全確定.由由 C K 方程可得方程可得第三節(jié)第三節(jié) 遍歷性遍歷性 一、遍歷性的概念一、遍歷性的概念三、應(yīng)用舉例三、應(yīng)用舉例 四、小結(jié)四、小結(jié)二、二、( (有限鏈有限鏈) )遍歷性的充分條件遍歷性的充分條件一、遍歷性的概念一、遍歷性的概念對于一般的兩個狀態(tài)的馬氏鏈對于一般的兩個狀態(tài)的馬氏鏈, 由上節(jié)內(nèi)容可知由上節(jié)內(nèi)容可知,有極限有極限時時當(dāng)當(dāng))(,1,0nPbaij .)(lim)(lim01000 babnPnPnn.)

27、(lim)(lim11101 baanPnPnn意義意義對固定的狀態(tài)對固定的狀態(tài)j,不管鏈在某一時刻的什么狀不管鏈在某一時刻的什么狀態(tài)態(tài) i出發(fā)出發(fā), 通過長時間的轉(zhuǎn)移到達(dá)狀態(tài)通過長時間的轉(zhuǎn)移到達(dá)狀態(tài) j 的概率都趨的概率都趨.近于近于定義定義若對于所有若對于所有間為間為設(shè)齊次馬氏鏈的狀態(tài)空設(shè)齊次馬氏鏈的狀態(tài)空, I存存在在極極限限轉(zhuǎn)轉(zhuǎn)移移概概率率的的)(,nPIaaijji )()(liminPjijn不不依依賴賴于于 jjjnnPnP212121)()(或或則稱此鏈具有則稱此鏈具有遍歷性遍歷性.),(, 121為為鏈鏈的的極極限限分分布布則則稱稱若若 jj二、二、( (有限鏈有限鏈) )遍

28、歷性的充分條件遍歷性的充分條件, ,21NaaaI 間間為為設(shè)設(shè)齊齊次次馬馬氏氏鏈鏈的的狀狀態(tài)態(tài)空空,mP如如果果存存在在正正整整數(shù)數(shù)陣陣是是它它的的一一步步轉(zhuǎn)轉(zhuǎn)移移概概率率矩矩都有都有使對任意的使對任意的,Iaaji , 2, 1, 0)(NjimPij 滿滿足足條條件件它它是是方方程程組組且且有有極極限限分分布布則則此此鏈鏈具具有有遍遍歷歷性性PN, ),(,21 .1, 01的的唯唯一一解解 Njjj說明說明步步轉(zhuǎn)轉(zhuǎn)移移概概率率使使數(shù)數(shù)求求證證遍遍歷歷性性即即找找一一正正整整mm,. 1.無無零零元元矩矩陣陣mP2. 極限分布轉(zhuǎn)化為了求解方程組極限分布轉(zhuǎn)化為了求解方程組.3. 在定理的條件下馬氏鏈的極限分布是平穩(wěn)分布在定理的條件下馬氏鏈的極限分布是平穩(wěn)分布.,000000 試說明帶有兩個反射壁的隨機(jī)游動是遍歷的試說明帶有兩個反射壁的隨機(jī)游動是遍歷的, 并求其極限分布并求其極限分布( (平穩(wěn)分布平穩(wěn)分布) ).解解)(的元的元代表轉(zhuǎn)移概率矩陣的正代表轉(zhuǎn)移概率矩陣的正以以 例例12)2(PP 三、應(yīng)用舉例三、應(yīng)用舉例 010003/ 13/ 13/ 10003/ 13/ 13/ 10003/ 13/ 13/ 10001054321P5 4 3 2 1 000000000000)4(4PP. 無零元無零元,鏈?zhǔn)潜闅v的鏈?zhǔn)潜闅v的: