馬爾可夫鏈的概念及轉移概率-修改

1、馬爾可夫鏈的概馬爾可夫鏈的概念及轉移概率念及轉移概率第四章 馬爾可夫鏈馬爾可夫鏈的概念及轉移概率馬爾可夫鏈的概念及轉移概率1馬爾可夫鏈的狀態(tài)分類2342021-10-152信息工程學院四系三教狀態(tài)空間的分解 的漸進性質與平穩(wěn)分布( )( )n nijijp p馬氏性的等價形式v馬氏性馬氏性(4.1)式等價于：式等價于： 對任意的對任意的 及及 只要只要就有就有1 11 1 , ,1 1| |, , , , , ,1 1| | , , ( (4 4. . 1 1) )n nk kn nn nk kn nm mn nk km mm mn nm mn nk km mn nP P X Xi ik kl

2、 l X Xi iX Xi iP P X Xi ik kl l X Xi i+ + + + += = = = = = =L L1 11 11 11 1 , , , , , 0 0, ,n nn nm mm mn nm mn nP P X Xi iX Xi iX Xi i- - -= = = = L L0 01 1, , , , ,n nl li ii ii iI I+ + L L1 10 0, ,n nn nl lm mm mm m+ + = = , ,i i j jI I 1 11 1 | | | | n nn nm mm mP P X Xj j X Xi iP P X Xj j X Xi

3、i+ + += = = = = =齊次性齊次馬爾可夫鏈2021-10-1511信息工程學院四系三教齊次馬爾可夫鏈v注：注：（1）馬氏性馬氏性表示已知表示已知“現(xiàn)在現(xiàn)在”的條件下，的條件下， “將來將來”和和“過去過去”是獨立的。是獨立的。（2）齊次性齊次性要求過程從狀態(tài)要求過程從狀態(tài)i 經一步轉移經一步轉移 到狀態(tài)到狀態(tài) j 的概率與的概率與起始時刻起始時刻 n 無關無關。2021-10-15信息工程學院四系三教12以后若無特別聲明，我們以后若無特別聲明，我們僅討論齊次馬氏鏈僅討論齊次馬氏鏈！一步轉移概率及一步轉移概率矩陣v定義定義 4.3 在齊次馬氏鏈中，對在齊次馬氏鏈中，對 ，記，記1 1

4、1 10 0 | | | | i i j jn nn np pP P X Xj j X Xi iP P X Xj j X Xi i+ += = = = = = =稱稱 為齊次馬氏鏈為齊次馬氏鏈的的一步轉移概率。一步轉移概率。ijp( ( ) )11121111212122221222P Pn nijnijnpppppppppppppp輊輊犏犏犏犏=犏犏犏犏犏犏臌臌LLLLLLLLLLLLLLLLLL 稱為齊次馬氏鏈的稱為齊次馬氏鏈的一步轉移概率矩陣。一步轉移概率矩陣。, ,i i j jI I 2021-10-1513信息工程學院四系三教一步轉移概率及一步轉移概率矩陣v 一步轉移概率矩陣一步轉

5、移概率矩陣P具有如下性質：具有如下性質： 稱具有上述性質的矩陣為稱具有上述性質的矩陣為隨機矩陣。隨機矩陣。(1)0, ,(1)0, ,ijijpi jIpi jI澄澄(2)1,(2)1,ijijj Ij IpiIpiI = 2021-10-1514信息工程學院四系三教n步轉移概率及n步轉移概率矩陣v定義定義4.4 設齊次馬氏鏈設齊次馬氏鏈 的狀態(tài)空間為的狀態(tài)空間為I , 為整數，記為整數，記 稱稱 為齊次馬氏鏈為齊次馬氏鏈 的的n 步轉移概率。步轉移概率。它表示隨機質點從狀態(tài)它表示隨機質點從狀態(tài) i 出發(fā)經出發(fā)經n步到達狀步到達狀態(tài)態(tài)j的概率。的概率。,0,1,0,1,n nXnXn= =L

6、L1 1n n ( ( ) ) | | , , ( (, , ,0 0, ,1 1) )n ni i j jm mn nm mp pP P X Xj j X Xi ii ij jI I m mn n+ += = = =緯緯( )( )n nijijp p,0,1,0,1,n nXnXn= =L L2021-10-1515信息工程學院四系三教n步轉移概率及n步轉移概率矩陣v并稱并稱 為齊次馬氏鏈的為齊次馬氏鏈的n 步轉移步轉移概率矩陣。概率矩陣。由于由于( ( ) )( ( ) )P P( () )n nn ni ij jp p= =( ( ) )( ( ) )0 0, ,1 1. .n nn

7、ni ij ji ij ji i I Ip pp p = = 當當n =1時，時， 此即為一步轉移概率此即為一步轉移概率( (1 1) )i ij ji ij jp pp p= =( (0 0) )0 0, , ,1 1, ,. .i ij ji ij jp pi ij j = = = = 故故 也為隨機矩陣。也為隨機矩陣。( )( )P Pn n 規(guī)定規(guī)定2021-10-1516信息工程學院四系三教n步轉移概率的性質v定理定理4.1 設設 為馬氏鏈，則為馬氏鏈，則對任意整數對任意整數 和和 n 步步轉移概率轉移概率 具有如下性質：具有如下性質：,0,1,0,1,n nXnXn= =L L0

8、0, , 0 0n nl ln n常常 , , ,i i j jI I 1 11 1 2 21 11 11 1( ( ) )( (2 2) ) n nn nn ni ij ji ik kk k k kk kj jk kI Ik kI Ip pp pp pp p- - -撾撾= =邋邋L LL L( ( ) )( (1 1) )( (3 3) ) P PP PP Pn nn n- -= =( )( )(4) PP(4) PPnnnn= =( )( )n nijijp p( ( ) )( ( ) )( () )( (1 1) ) n nl ln nl li ij ji ik kk kj jk kI

9、 Ip pp pp p- - = = C CK K方程方程n n步轉移概率完步轉移概率完全由一步轉移全由一步轉移概率決定概率決定2021-10-1517信息工程學院四系三教n步轉移概率的性質證明證明 (1)對對0 l n,利用利用全概率公式全概率公式及及馬氏性馬氏性( )()( )()| | |. .mlmmnmlmlmmnmlkIkIlnllnlikkjikkjkIkIP XkXi P Xj XkP XkXi P Xj Xkpppp+ - - = = ( ( ) ) | | n ni ij jm mn nm mp pP P X Xj j X Xi i+ += = = = , ,| | m m

10、l lm mn nm mk k I IP P X Xk k X Xj j X Xi i+ + + = = = = = | | | |, , m ml lm mm mn nm mm ml lk k I IP P X Xk k X Xi iP P X Xj j X Xi iX Xk k+ + + + = = = = = = = 2021-10-1518信息工程學院四系三教n步轉移概率的性質v(2) 在在(1)中令中令 得得 這是一個遞推公式，故可遞推得到這是一個遞推公式，故可遞推得到v(3),(4)是是(1),(2)的矩陣表示。的矩陣表示。1 11 1, ,l lk kk k= = =1 11 1

11、1 1( () )( (1 1) )n nn ni ij ji ik kk k j jk kI Ip pp pp p- - = = 1 11 1 2 21 11 11 1( ( ) )n nn nn ni ij ji ik kk k k kk kj jk kI Ik kI Ip pp p p pp p- - -撾撾= =邋邋L LL L2021-10-1519信息工程學院四系三教(1)式稱為切普曼柯爾莫哥洛夫(Chapman-Kolmogorov)方程，簡稱C-K方程。Markov鏈應用舉例v例例（通信系統(tǒng)中的馬氏鏈）（通信系統(tǒng)中的馬氏鏈）設在傳送數字設在傳送數字0和和1的通信系統(tǒng)中每個被傳的

12、通信系統(tǒng)中每個被傳送的數字必須經過若干級，而在每一級數送的數字必須經過若干級，而在每一級數字被正確傳送的概率均為字被正確傳送的概率均為p，0 p 1就稱就稱i為為周期的周期的，如，如 d =1就稱就稱i為為非周期的非周期的。( ( ) ) : :1 1, ,0 0 n ni ii in nn np p ( ( ) )( ( ) ). . . . : :0 0 n ni ii id dd d i iG G C C D Dn np p= = = 2021-10-1540信息工程學院四系三教v但反之不成立。即若但反之不成立。即若 不一定有不一定有狀態(tài)的周期v注：注：如果如果 i 的周期為的周期為 d

13、，則對一切非零的，則對一切非零的 都有都有0 0( (m m o od d ) ), ,n nd d ( )( )0.0.n niiiip p= =, ,m mn nd d= =如前例中的狀態(tài)如前例中的狀態(tài)1的的d (1) = 2，但，但(2)(2)11110 0p p= =()()0 0m miiiip p 2021-10-1541信息工程學院四系三教狀態(tài)的周期v引理引理4.1 如如 i 的周期為的周期為d，則存在正整數，則存在正整數M對一切對一切 ，有，有 ()()0.0.ndndiiiip p n nM M 2021-10-1542信息工程學院四系三教常返的定義及其分類v例例4.7 設設

14、I = 1, 2, 3, 4,轉移概率如圖轉移概率如圖4.4，易見狀態(tài)易見狀態(tài)2與狀態(tài)與狀態(tài)3有相同的周期有相同的周期d = 2。但。但由狀態(tài)由狀態(tài)3出發(fā)經兩步必定返回到出發(fā)經兩步必定返回到3，而狀態(tài)，而狀態(tài)2則不然，當則不然，當2轉移到轉移到3后，它再也不能返回后，它再也不能返回到到2。為區(qū)別這兩種狀態(tài)，我們引入。為區(qū)別這兩種狀態(tài)，我們引入常返性常返性概念。概念。2021-10-15信息工程學院四系三教433 31 12 21 11 12 24 41 12 21 11 1常返的定義及其分類v首達時的定義首達時的定義 稱稱為首達狀態(tài)為首達狀態(tài)j的的首達時首達時。其中約定。其中約定 v此時此時i

15、 i n nf f 1 1 : : , ,j jn nn nX Xj jt t= = = =i i n nf f = = 1 11 1 , , , , . .j jn nn nn nX Xj jX Xj j X Xj jt t- -= = =構構= =L L2021-10-1544信息工程學院四系三教常返的定義及其分類v首達（首中）概率的定義首達（首中）概率的定義表示質點從表示質點從i 出發(fā)，經出發(fā)，經n步首次到達步首次到達j的概率。的概率。表示質點從表示質點從i出發(fā)，經有限步首次出發(fā)，經有限步首次終于終于到達到達j的概率。的概率。2021-10-15信息工程學院四系三教45( ( ) )0

16、01 11 10 0 | | ( (, , , , ,| |) )n ni i j jj jn nn nf fP Pn n X Xi iP P X Xj jX Xj jX Xj j X Xi it t- -= = = = =構構= = =L L( )( )1 1n nijijijijn nffff = = = 常返的定義及其分類0 01 1( (| |) )j jP PX Xi it t = =( )( )1 1. .n nijijijijn nffff = = 0 01 1(|)(|)j jn nPnXiPnXit t = = 0 01 1( (, ,1 11 1, ,| |) )v vn

17、nn nP P X Xj jv vn nX Xj j X Xi i = = =梗梗= = = 質點從質點從 i 出發(fā)經出發(fā)經有限步終于到達有限步終于到達 j 的概率的概率2021-10-1546信息工程學院四系三教注：注：由定義由定義4.7知，若知，若i是非常返態(tài)，則由是非常返態(tài)，則由i出出發(fā)將以正概率發(fā)將以正概率 永遠不再返回永遠不再返回i；若；若i是是常返時，上述現(xiàn)象不會出現(xiàn)。常返時，上述現(xiàn)象不會出現(xiàn)。1 1iiiif f- -常返的定義及其分類v定義定義4.7 若若 ，稱狀態(tài)，稱狀態(tài) i 為為常返的常返的，若，若 ；稱狀態(tài)；稱狀態(tài) i 為為非常返的（滑過態(tài)）非常返的（滑過態(tài)），1 1ii

18、iif f= =1 1iiiif f 2021-10-1547信息工程學院四系三教常返的定義及其分類v對對常返態(tài)常返態(tài) i，由定義知，由定義知 構成一構成一概率分布概率分布。此分布的期望值。此分布的期望值表示由表示由i出發(fā)再返回到出發(fā)再返回到i的的平均返回時間平均返回時間。 ( () )1 1n ni ii ii in nn n f fm m = = = ( ( ) ) , ,1 1, ,2 2, , n ni ii if fn n= =L L2021-10-1548信息工程學院四系三教常返的定義及其分類v定義定義4.8 對常返態(tài)對常返態(tài)i，若，若 ，則稱常，則稱常返態(tài)返態(tài)i為為正常返的正常返

19、的；若；若 ，則稱常返，則稱常返態(tài)態(tài)i為為零常返的零常返的。非周期的正常返態(tài)稱為非周期的正常返態(tài)稱為遍歷狀態(tài)遍歷狀態(tài)。 i為遍歷狀態(tài)為遍歷狀態(tài)i im m i im m= = 11iiiifd 2021-10-1549信息工程學院四系三教常返的定義及其分類v例例 設齊次馬氏鏈設齊次馬氏鏈 的狀態(tài)空間的狀態(tài)空間 ，其狀態(tài)轉移如下圖：，其狀態(tài)轉移如下圖： 可見，可見， 故狀態(tài)故狀態(tài)4是是非常返的非常返的。 又又 故狀態(tài)故狀態(tài)3也是也是非常返非常返的。的。 , ,1 1 n nX Xn n 1 1, ,2 2, ,3 3, ,4 4 I I= =( )( )44441,0,1,0,n nnfnf=(

20、1)( )(1)( )333333332 2,0,0,3 3n nffff=2021-10-1550信息工程學院四系三教1 12 21 13 34 41 12 21 12 21 12 21 12 21 13 32 23 3常返的定義及其分類而而故常態(tài)故常態(tài)1與狀態(tài)與狀態(tài)2是常返的。是常返的。(1)(2)(1)(2)111111111111(2)(3)(2)(3)2222222222232311111,1,2222111111 1, 1,2 22222ffffffffffff=+=+=+=+=+=+=+=+=L LL L2021-10-1551信息工程學院四系三教常返的定義及其分類v 和和 有如

21、下關系：有如下關系：v定理定理4.4 對任意狀態(tài)對任意狀態(tài)i, j及及1n1就稱就稱i為為周期的周期的，如，如 d =1就稱就稱i為為非周期的非周期的。( ( ) ) : :1 1, ,0 0 n ni ii in nn np p ( ( ) )( ( ) ). . . . : :0 0 n ni ii id dd d i iG G C C D Dn np p= = = 2021-10-1555信息工程學院四系三教( ( ) )0 0( (m m o od d) ) 0 0n ni ii in nd dp p罐罐= =( )( )0(m od )0|0(m od )0|n niiiinpt d

22、npt dt t罐=罐=知識回顧常返的定義及其分類2021-10-15信息工程學院四系三教56( )( )1 1n nijijijijn nffff = = = 1,1,= =常常返返1 1 ，非非常常返返( () )1 1n ni ii ii in nn n f fm m = = = , , 正正常常返返, ,= = 零零常常返返知識回顧v 和和 有如下關系：有如下關系：v定理定理4.4 對任意狀態(tài)對任意狀態(tài)i, j及及1n=2021-10-1558信息工程學院四系三教( )( )( )( ). . :1,0. . :1,0. . :1,0. . :1,0n niiiin niiiidG C

23、 DnnpdG C DnnptG C DnnftG C Dnnf=( ( ) )( ( ) ), ,n nn ni ii ii ii ip pf f 1 1. .d dt t周期的等價定義v另一方面，若另一方面，若t =1, 則則 若若t 1, 只需證明只需證明t | d，即對任意，即對任意 當當 時，時， 現(xiàn)假設現(xiàn)假設 時時 則則2021-10-15信息工程學院四系三教591 1. .d dt t= = =0 0m m o od d , ,n nt t ( ( ) )0 0. .n ni ii ip p= =n nt t 1時，時， 的的極限不存在極限不存在。因為因為d 1，當，當m不能被不

24、能被d 整除時，整除時，這樣這樣 存在兩個收斂子列，一個子列存在兩個收斂子列，一個子列另一個子列收斂到另一個子列收斂到0.因此，因此， 不存在。不存在。( )( )n niiiip p()()0.0.m miiiip p= =( ( ) )n ni ii ip p()()l i m. l i m. ndndiiiin ni id dp pm m= =( ( ) )l l i i m mn ni ii in np p2021-10-1568信息工程學院四系三教常返性的判別及其性質v推論推論 設設i常返，則常返，則 (1) i 零常返零常返( )lim0;niinp (2) i 遍歷遍歷( )1l

25、im0niinip 2021-10-1569信息工程學院四系三教常返性的判別及其性質v證明證明（1）如）如i零常返，則零常返，則 由定由定理理4.7知知( () )l li im m0 0, ,n n d di ii in ni id dd dp pm m= = = =+ + ( () )l li im m0 0. .n ni ii in np p= =, ,i im m= + = + 但當但當 時，時， 。故。故 0 0( (m m o od d( ( ) ) )n nd d ( )( )0 0n niiiip p= =2021-10-1570信息工程學院四系三教常返性的判別及其性質v反之，

26、如反之，如i是常返，且是常返，且 ，則，則( () )l l i i m m0 0, ,n nd di ii in ni id dp pm m= = =( () )l li im m0 0n ni ii in np p= =故故 因此因此i是零常返。是零常返。, ,i im m= = + + ( () )l li im m0 0n n d di ii in np p= =從而從而2021-10-1571信息工程學院四系三教常返性的判別及其性質v（2）設）設 ，這說明，這說明i為正為正常返常返, 且且( () )1 1l l i i m mn nd di ii in ni ip pm m= =(

27、 ( ) )1 1l l i i m m0 0n ni ii in ni ip pm m= = 反之若反之若I 遍歷，則遍歷，則 d =1，且，且 由定由定理理4.7知知, ,i im m + 與（與（4.26）比較得）比較得d =1，故，故i遍歷；遍歷；2021-10-1572信息工程學院四系三教狀態(tài)可達和互通v稱稱自狀態(tài)自狀態(tài)i 可達狀態(tài)可達狀態(tài) j，并記為，并記為 如果存如果存在在n 0,使使( )( )0;0;n nijijp p v稱稱狀態(tài)狀態(tài)i 與與j互通互通，并記為，并記為 ，若，若 且且 i ij j , ,i ij j . .jiji , ,i ij j 2021-10-15

28、73信息工程學院四系三教3 31 12 21 11 12 24 41 12 21 11 1狀態(tài)可達和互通v可達和互通的狀態(tài)具有下述性質：可達和互通的狀態(tài)具有下述性質：定理定理4.8 可達與互通關系都具有傳遞性，即可達與互通關系都具有傳遞性，即 如果如果 ， ,則則 ； 如果如果 ， ,則則 。i ij j j jk k i ik k i ij j j jk k i ik k 備注：若狀態(tài)不具有常返性，可達關系和互通關系就不具有自反性。2021-10-1574信息工程學院四系三教互通狀態(tài)的性質v證明證明 若若 ，則存在，則存在 ，使得，使得i ij j 1 1l l ( )( )0,0,l li

29、jijp p 若若 ，則存在，則存在 , 使得使得j jk k 1 1m m ( () )0 0, ,m mj jk kp p ( () )( ( ) )( () )( ( ) )( () )0 0, ,m ml ll lm ml lm mi ik ki ir rr rk ki ij jj jk kr rp pp pp pp pp p+ += = 且且 ，所以，所以 。1 1lmlm+i ik k 由由C-K方程方程2021-10-1575信息工程學院四系三教互通狀態(tài)的性質v定理定理4.9 如如 ，則，則(1) i與與j同為同為常返常返或或非常返非常返，如為常返，則，如為常返，則它們同為它們同

30、為正常返正常返或或零常返零常返；(2) i與與j有相同的有相同的周期周期。i ij j 互通的狀態(tài)具有相同的常返性和周期。2021-10-1576信息工程學院四系三教互通狀態(tài)的性質v證明證明（1）由于）由于 ，由可達定義知存在，由可達定義知存在 和和 ，使得，使得由由C-K方程，對任意方程，對任意 ，總有，總有i ij j 1 1l l 1 1n n ( ( ) )( ( ) )0 0, ,0 0. .l ln ni ij jj ji ip pp pa ab b= = = = ( () )( ( ) )( () )( ( ) )( () ); ; ( (4 4. . 2 27 7) )l l

31、m mn nl lm mn nm mi ii ii ij jj jj jj ji ij jj jp pp p p pp pp pa a b b+ + + = =( () )( ( ) )( () )( ( ) )( () ). . ( (4 4. . 2 28 8) )n nm ml ln nm ml lm mj jj jj ji ii ii ii ij ji ii ip pp pp pp pp pa a b b+ + + = =1 1m m 2021-10-1577信息工程學院四系三教互通狀態(tài)的性質v將上兩式的兩邊對將上兩式的兩邊對m從從1到到求和，得求和，得()()()()1111; ;l

32、 mnml mnmiijjiijjmmmmppppa ba b+= 邋邋( () )( () )1 11 1. .l l m mn nm mj jj ji ii im mm mp pp pa a b b+ + += = = 邋邋可見，可見， 與與 相互控制，所以相互控制，所以它們同為無窮或同為有限。由定理它們同為無窮或同為有限。由定理4.5知知i, j同為常返或同為非常返同為常返或同為非常返。()()1 1m miiiim mp p = = ()()1 1m mjjjjm mp p = = 2021-10-1578信息工程學院四系三教互通狀態(tài)的性質v今設今設j為零常返，據定理為零常返，據定理4.7之推論知之推論知 于是由于是由(4.28)式知式知 ，故，故i也是零也是零常返。常返。同理可證若同理可證若i是零常返是零常返,由由(4.27)式可證式可證 j為零為零常返。此說明常返。此說明i , j有有一個為零常返，則另一一個為零常返，則另一個也為