馬爾科夫鏈-遍歷性與極限分布

1、馬爾科夫鏈的遍歷性遍歷性定義2 若馬爾科夫鏈轉(zhuǎn)移概率的極限lim( ),ijjnpnpi jE存在且與 無關(guān)，則稱此馬爾科夫鏈具有遍歷性此時，若滿足為轉(zhuǎn)移概率的極限分布定義1 若馬爾科夫鏈中的所有狀態(tài)互通且均為非周期的正常返狀態(tài)，則稱該鏈?zhǔn)潜闅v的i0,1jjjpp則稱,jpjE遍歷性111lim( )lim( )1NNNijijjnnjjjpnpnp10,1,1,2,.NjjjppjN即在此稱為轉(zhuǎn)移概率的極限分布若馬爾科夫鏈為有限狀態(tài)的，顯然有，滿足說明1：,1,2,.jpjN構(gòu)成一個概率分布有限狀態(tài)的遍歷的馬爾科夫鏈必存在極限分布遍歷性,1,2,.jpjN10,1,1,2,.jjjppj1(

2、 )1,ijjpnjE即若馬爾科夫鏈為無限狀態(tài)的，則有，又因為說明2：不一定構(gòu)成一個概率分布無限狀態(tài)的遍歷的馬爾科夫鏈不一定存在極限分布，只有其極限概率構(gòu)成概率分布時才存在極限分布1( )1Mijjpn11lim lim( )lim1MMijjMnMjjpnp絕對概率的極限( )(0)limlim( )njiijnnippp n(0)(0)lim( )iijijjniippnppp( )limnjjnpp即：絕對概率的極限與轉(zhuǎn)移概率的極限相同即平穩(wěn)分布,1.2,.jqj 定義若有限或無限數(shù)列滿足0, (2)1jjjqq(1)則稱它是概率分布如果此概率分布滿足=jiijiqq p則稱它是平穩(wěn)分布

3、具有遍歷性的馬爾科夫鏈的平穩(wěn)分布C-K方程：( )=()( )( )ijijirrjrpnpklpk pl1,l 令則對具有遍歷性的馬爾科夫鏈(1)( )(1)ijirrjrpkpk p, 令 k有l(wèi)im(1)lim( )(1)ijirrjkkrpkpk plim( )irrjrrjkrrpk pp pjrrjrpp p即成立有限馬爾科夫鏈轉(zhuǎn)移概率的極限分布一定是平穩(wěn)分布無限馬爾科夫鏈轉(zhuǎn)移概率的極限分布不一定是平穩(wěn)分布若初始概率是平穩(wěn)分布，則任意時刻的絕對概率分布等于初始分布，也即為平穩(wěn)分布(0),1,2,.,iipq i設(shè)初始分布：1,2,.iqi 其中，是平穩(wěn)分布1,2,. ,jqj 又，

4、對于平穩(wěn)分布，有證=jiijkkiijiikqq pq pp (2)kkiijkkjkikqp pq p=( )jiijiqq pn更一般的，有若初始概率是平穩(wěn)分布，則任意時刻的絕對概率分布等于初始分布，也即為平穩(wěn)分布(0),1,2,.,iipq i設(shè)初始分布：1,2,.iqi 其中，是平穩(wěn)分布證=( )jiijiqq pn更一般的，有又，由絕對分布與初始分布的關(guān)系，可得( )=( )=njiijjipq pnq即絕對分布為平穩(wěn)分布定理 對有限馬爾科夫鏈，如果存在正整數(shù)k，使則此鏈?zhǔn)潜闅v的( )0,1,2,.ijpki jN是方程組滿足條件的唯一解lim( )ijjnpnp1,2,.jpjN，

5、1,1,2,.Njiijjpp pjN10,(2)1Njjjpp(1)注：此定理給出了求極限分布(平穩(wěn)分布)的方法且極限分布例1 直線上帶反射壁的隨機游動，如果質(zhì)點只能取1,2,3三個點，一步轉(zhuǎn)移概率矩陣為討論該鏈的遍歷性，若具有遍歷性，則計算其極限分布（平穩(wěn)分布）000qppqpqp 解222222(2)2qpqqpppqqppqqppqp2(2)0,ijkp即 當(dāng)時，有所以，此鏈具有遍歷性， 計算二步轉(zhuǎn)移概率矩陣因而存在平穩(wěn)分布，極限分布即為平穩(wěn)分布1,2,3jpj 下面求極限概率 ，121132233qpqppqpqppppppp解方程，可得123=1ppp2 -11=1+() pppqq2 -12=()1+() ppppqqq22 -13=() 1+() ppppqqq例2 若例1中，質(zhì)點只能取1,2,3三個點，一討論該鏈的遍歷性，若具有遍歷性，則計算其極限分布（平穩(wěn)分布）步轉(zhuǎn)移概率矩陣為0100010pqp解0100010qpp0(2)0100qpqpp010(3)(2)0010qppppp(21)npp一般的，有(2 )(2)n pplim( )ijnpn顯然，轉(zhuǎn)移概率的極限不存在，因此此鏈不具有遍歷性例3 若例1中，質(zhì)點只能取1,2,3三個點，一討論該鏈的遍歷性，若具有遍歷性，則計算其極限分布（平穩(wěn)分布）步轉(zhuǎn)移概率矩陣為1000001pqp解1000001qp