時間連續(xù)狀態(tài)離散的馬爾科夫過程

1、馬爾科夫過程1、馬爾科夫過程的定義 其狀態(tài)空間12 , ,.NEi ii任意m個時刻 及任意正數(shù)s，滿足則稱nX為馬爾科夫過程。定義：設(shè)時間連續(xù)狀態(tài)離散的隨機過程( ),(0,)X tt，若對任意整數(shù)m12, ,. ,mt tt12, , .,mi iijE1122|( ),( ), .,()mmmP X tsj X tiX tiX ti|()mmmP X tsj X ti2、轉(zhuǎn)移概率及性質(zhì)( ,)|( ),0,0ijpt tsP X tsj X tits( )=( ,)|( ),0,0ijijpsp t tsP X tsj X tits(1) 0( )1, (2)( )1,ijijjpsps

2、,1,2,.()i j 有限或無限一般的，規(guī)定性質(zhì)時齊馬爾科夫過程的轉(zhuǎn)移概率1,(0)=0,ijijijpij3 3 切普曼切普曼- -柯爾莫哥洛夫方程（柯爾莫哥洛夫方程（C-KC-K方程）方程）()( )( ),0,1,2.ijirrjrpstps pti j 轉(zhuǎn)移概率之間有如下關(guān)系: 對 ，有0,0ts4 初始分布與絕對分布（1）初始分布為一馬爾科夫過程，其狀態(tài)空間, 2, 1, 0 E或為有限子集。令(0)(0),ipP XiiE且對任意的Ei(0)(1)0ip(0)(2)1ii Ep(0),ipiE則稱 為該馬爾科夫過程的初始分布，也稱初始概率。初始概率是在初始時間 時處于狀態(tài)i的概率

3、。0t ，均有( ),(0,)X tt0t 當(dāng) 時，取各狀態(tài)的概率稱為絕對概率或絕對分布。設(shè)為一馬爾科夫過程，其狀態(tài)空間, 2, 1, 0 E或為有限子集。令( )( ),iptP X tiiE且對任意的Ei(1)( )0ip t (2)( )1ii Ep t( ),ip tiE則稱 為絕對分布，也稱絕對概率。均有（2）絕對分布( ),(0,)X tt絕對概率由初始分布和相應(yīng)的轉(zhuǎn)移概率唯一確定。絕對概率由初始分布和相應(yīng)的轉(zhuǎn)移概率唯一確定。(0)( )( )( )jiiji Ep tP X tjpp t科爾莫哥洛夫向前和向后方程1、速率函數(shù)( ),(0,)X tt若是狀態(tài)有限的馬爾科夫過程，設(shè)0

4、1,lim( )0,ijijtijp tij0( )lim,0,1,.ijijijtp tqi jNt(0 )ijqpijq稱為速率函數(shù)，即速率函數(shù)刻畫了過程的轉(zhuǎn)移概率函數(shù)在零時刻對時間的變化率2、速率函數(shù)的性質(zhì)(1)0,0,1,.iiqiN(2)0,0,1,.ijqiji jN0(3)0Nijjq，性質(zhì)(3)的證明：000( )=limNNijijijtjjp tqt000( )=lim=0NNijijjjtp tt0,1,.iN定理 設(shè)隨機連續(xù)狀態(tài)有限馬爾科夫過程的轉(zhuǎn)移 概率函數(shù)為 ，速率函數(shù)為 ，則有科爾莫哥洛夫向前方程科爾莫哥洛夫向后方程0( )( ),0,1,2,.Nijikkjkd

5、p tpt qi jNdt0( )( ),0,1,2,.Nijikkjkdp tq pti jNdt( )ijp tijq注：無限馬爾科夫過程也有類似結(jié)論證明：0( )()( )limijijijtdp tp ttp tdtt 00( )()( )limNikkjijktpt ptp tt 000( )()( )limNNikkjikkjkktpt ptptt 000()( ) lim( )NNkjkjikikkjtkkptptpt qt 證明20( )()( )limijijijtdp tp ttp tdtt 00()( )( )limNikkjijktpt ptp tt 000()( )(

6、 )limNNikkjikkjkktpt ptptt 000()(lim)( )( )NNikikkjikkjtkkptptq ptt 遍歷性定義 若馬爾科夫過程轉(zhuǎn)移概率的極限lim( ),ijjtp tpi jE存在且與 無關(guān)，則稱此馬爾科夫鏈具有遍歷性此時，若滿足為轉(zhuǎn)移概率函數(shù)的極限分布i0,1jjjpp則稱,jpjE遍歷性111lim( )lim( )1NNNijijjttjjjp tp tp10,1,1,2,.NjjjppjN即在此稱為轉(zhuǎn)移概率的極限分布若馬爾科夫過程為有限狀態(tài)的，顯然有，滿足說明1：,1,2,.jpjN構(gòu)成一個概率分布有限狀態(tài)的遍歷的馬爾科夫過程必存在極限分布遍歷性,1,2,.jpjN10,1,1,2,.jjjppj1( )1,ijjp tjE即若馬爾科夫過程為無限狀態(tài)的，則有，又因為說明2：不一定構(gòu)成一個概率分布無限狀態(tài)的遍歷的馬爾科夫過程不一定存在極限分布，只有其極限概率構(gòu)成概率分布時才存在極限分布1( )1Mijjp t11lim lim( )lim1MMijjMtMjjp tp絕對概率的極限( )(0)limlim( )tjiijttippp t(0)(0)lim( )iijijjtiipp tppp( )limtjjtpp即：絕對概率的極限與轉(zhuǎn)移概率的極限相同即定理 對有限馬爾科夫過程，如果存在正數(shù) ，則此鏈?zhǔn)潜闅v的，0