第11講 Markov鏈的狀態(tài)分類

1、1隨機(jī)數(shù)學(xué)隨機(jī)數(shù)學(xué)第第11講講 Markov鏈的狀態(tài)分類鏈的狀態(tài)分類與判別與判別教師教師: 陳陳 萍萍2馬氏鏈馬氏鏈的等價(jià)描述：的等價(jià)描述：1)01011,nnntttNiiiE (3.1.2）2)111:. .,0,|nnnnnnnh RR stE h XnXXE h XE h XX 令=, . . . ,FF3)3 C-K方程方程.()()( )3.1.6m nmnijikkjk Sppp或或 3.1.7m nmnm nPPPP)(1)( ) ;( )(0)(3.1.9)niinn PnP定理定理3.1.411)1,nninttNiiE 101210100 11 2101(,)0nnnnn

2、tttttttttnii ii iiiP Xi XiXiPPP43.2 Markov鏈的狀態(tài)分類與判別鏈的狀態(tài)分類與判別例例3.2.1 設(shè)系統(tǒng)有三種可能狀態(tài)設(shè)系統(tǒng)有三種可能狀態(tài)E= 1, 2, 3. “1”表示表示系統(tǒng)運(yùn)行良好，系統(tǒng)運(yùn)行良好，“2”表示運(yùn)行不正常，表示運(yùn)行不正常，“3”表示系表示系統(tǒng)失效統(tǒng)失效.以以Xn表示系統(tǒng)在時(shí)刻表示系統(tǒng)在時(shí)刻n的狀態(tài)的狀態(tài), 并設(shè)并設(shè)Xn, n0是一是一Markov鏈鏈. 其一步轉(zhuǎn)移概率矩陣為其一步轉(zhuǎn)移概率矩陣為P用有向圖表示為：用有向圖表示為：0.10.10.30.610.95定義定義3.2.13.2.1 稱狀態(tài)稱狀態(tài)i i E E為吸收態(tài)，若為吸收態(tài)，

3、若p piiii = 1. = 1.定義定義3.2.23.2.2 對(duì)對(duì)i i, ,j j E E，若存在，若存在n n N N，使，使 ，則稱自狀態(tài)則稱自狀態(tài)i i出發(fā)可達(dá)狀態(tài)出發(fā)可達(dá)狀態(tài)j j，記為，記為i i j j. .如果如果i ij j且且j ji i，則稱，則稱i,j i,j 相通，記為相通，記為i ij j. . 定理定理3.2.1 相通是一種等價(jià)關(guān)系相通是一種等價(jià)關(guān)系,即滿足即滿足自返性自返性 i i;對(duì)稱性對(duì)稱性 ij,則則 ji;(1)傳遞性傳遞性 ij, jk則則 ik.6定義定義3.2.3 若一若一Markov鏈的任意兩個(gè)狀態(tài)都相通，則鏈的任意兩個(gè)狀態(tài)都相通，則稱為稱為

4、不可約鏈不可約鏈。定義定義3.2.4 令令 T Tijij=minn:X=minn:X0 0=i,X =i,X n n=j,n=j,n 11，稱為系統(tǒng)稱為系統(tǒng)在在0時(shí)刻從狀態(tài)時(shí)刻從狀態(tài)i出發(fā)，首次到達(dá)狀態(tài)出發(fā)，首次到達(dá)狀態(tài)j的時(shí)間，簡(jiǎn)稱的時(shí)間，簡(jiǎn)稱為首達(dá)時(shí)為首達(dá)時(shí).且規(guī)定且規(guī)定, 若右邊為空集，則若右邊為空集，則T Tijij =. =.設(shè)設(shè)Xn是無(wú)限制的隨機(jī)游動(dòng)是無(wú)限制的隨機(jī)游動(dòng), 且且p, q, r 都大于都大于0. 證明證明Xn是不可約鏈?zhǔn)遣豢杉s鏈 .7 定義定義3.2.5 令令 | 11 ,|00iXnkjXjXPiXnTPfknijnij 1nnijijff表示表示0時(shí)刻從狀態(tài)時(shí)刻從

5、狀態(tài) i出發(fā)，經(jīng)出發(fā)，經(jīng) n步轉(zhuǎn)移后首次到達(dá)狀步轉(zhuǎn)移后首次到達(dá)狀態(tài)態(tài)j 的概率，稱為的概率，稱為n步首達(dá)概率；由步首達(dá)概率；由i 出發(fā)，經(jīng)過(guò)有出發(fā)，經(jīng)過(guò)有限步首次到達(dá)狀態(tài)限步首次到達(dá)狀態(tài) j 的概率為的概率為8 定義定義3.2.6 若若fii=1，則稱狀態(tài)，則稱狀態(tài) i 為為常返態(tài)常返態(tài); 若若fii 1，則稱狀態(tài)則稱狀態(tài) i 為為瞬時(shí)態(tài)瞬時(shí)態(tài)（非常返態(tài)）。（非常返態(tài)）。定義定義3.2.7 如果如果fij = 1, , 記記則則 表示從表示從i i出發(fā)到達(dá)出發(fā)到達(dá)j j的平均轉(zhuǎn)移時(shí)間的平均轉(zhuǎn)移時(shí)間. .特別，稱特別，稱為從狀態(tài)為從狀態(tài)i出發(fā)，返回狀態(tài)出發(fā)，返回狀態(tài)i的平均返回時(shí)間的平均返回時(shí)間

6、.若若 0，稱該數(shù)集，稱該數(shù)集的最大公約數(shù)的最大公約數(shù)d(i)為狀態(tài)為狀態(tài)i的周期的周期.若若d(i)1，稱，稱i為為周周期期的，若的，若d(i)=1，稱，稱i為非周期的為非周期的. niip定義定義3.2.8 若狀態(tài)若狀態(tài) i為正常返態(tài)的且非周期的，則稱為正常返態(tài)的且非周期的，則稱i為為遍歷狀態(tài)遍歷狀態(tài). 如果如果Markov鏈的所有狀態(tài)都是遍歷態(tài)鏈的所有狀態(tài)都是遍歷態(tài),則稱該則稱該Markov鏈?zhǔn)潜闅v的鏈?zhǔn)潜闅v的.13小結(jié)小結(jié)相通、相通、閉集閉集、不可約不可約狀態(tài)狀態(tài)常返常返瞬時(shí)瞬時(shí)正常返、正常返、零常返零常返周期周期、非周期非周期遍歷遍歷定理定理3.2.7 設(shè)馬氏鏈的狀態(tài)空間為設(shè)馬氏鏈的

7、狀態(tài)空間為E， i, j E，（1）若）若 i E是一個(gè)周期態(tài)，且是一個(gè)周期態(tài)，且 ij，則，則 j 也是周期也是周期態(tài)，且態(tài)，且di= dj ；（2）若此鏈不可約，且對(duì)）若此鏈不可約，且對(duì)i E有有pii 0，則此鏈?zhǔn)欠?，則此鏈?zhǔn)欠侵芷阪湣Ｖ芷阪湣?43.3 狀態(tài)空間分解定理狀態(tài)空間分解定理01, ,ijkkfi jRR或任意任意Markov鏈的狀態(tài)空間鏈的狀態(tài)空間E可唯一分解為有限或可可唯一分解為有限或可列個(gè)互不相交的子集之和列個(gè)互不相交的子集之和其中其中 N由全體瞬時(shí)態(tài)組成由全體瞬時(shí)態(tài)組成;每個(gè)每個(gè) 或或 是零常返或正常返態(tài)組成的不可約是零常返或正常返態(tài)組成的不可約閉集閉集;(3)每個(gè)每個(gè)