第七講 馬爾可夫鏈

1、隨機信號分析隨機信號分析教學教學組組1.6 馬爾可夫馬爾可夫（Markov）過程過程馬爾可夫馬爾可夫 當已知隨機過程在時刻當已知隨機過程在時刻 所處的所處的狀態(tài)狀態(tài)的條件下，的條件下，過程在時刻過程在時刻 所處的狀態(tài)與過程在時刻所處的狀態(tài)與過程在時刻 以前以前的狀態(tài)無關，而僅與過程在的狀態(tài)無關，而僅與過程在 所處的狀態(tài)有關，則所處的狀態(tài)有關，則稱該過程為馬爾可夫過程。這種特性稱為隨機過程的稱該過程為馬爾可夫過程。這種特性稱為隨機過程的“無后效性無后效性”或馬爾可夫性?；蝰R爾可夫性。)(itt ititit 馬爾可夫過程是一類重要的隨機過程。在實馬爾可夫過程是一類重要的隨機過程。在實際應用中，它

2、是許多工程問題和物理現(xiàn)象的數(shù)學際應用中，它是許多工程問題和物理現(xiàn)象的數(shù)學模型。因此廣泛應用在物理學、生物學、通信、模型。因此廣泛應用在物理學、生物學、通信、信息和信號處理、語音處理以及自動控制等領域。信息和信號處理、語音處理以及自動控制等領域。隨機信號分析隨機信號分析教學教學組組2022-7-821 T連續(xù)，連續(xù)，E連續(xù)連續(xù)連續(xù)馬爾可夫過程連續(xù)馬爾可夫過程2 T連續(xù)，連續(xù)，E離散離散離散馬爾可夫過程離散馬爾可夫過程3 T離散，離散，E連續(xù)連續(xù)馬爾可夫序列馬爾可夫序列4 T離散，離散，E離散離散馬爾可夫鏈馬爾可夫鏈馬爾可夫過程的分類：馬爾可夫過程的分類：T表示時間空間表示時間空間 E表示狀態(tài)空間

3、表示狀態(tài)空間隨機信號分析隨機信號分析教學教學組組2022-7-83馬爾可夫鏈馬爾可夫鏈1 1 馬爾可夫鏈的定義馬爾可夫鏈的定義 ,1,2,nXn 為一隨機序列，其狀態(tài)空間為為一隨機序列，其狀態(tài)空間為,21NaaaE ，若對于，若對于任意任意的的n，滿足滿足( )1(1)2(2)1(1)( )1(1)|,|ni nni nni nini nni nP XaXaXaXaP XaXa), 2 , 1(Ni 則稱則稱nX為馬爾可夫鏈（簡稱馬氏鏈）。為馬爾可夫鏈（簡稱馬氏鏈）。設設表示表示n-1時刻時刻 的狀態(tài)是的狀態(tài)是 1nt(1) i na隨機信號分析隨機信號分析教學教學組組2022-7-842 2

4、 馬爾可夫鏈的轉移概率及性質馬爾可夫鏈的轉移概率及性質表明在表明在 時刻出現(xiàn)時刻出現(xiàn) 的條件下，的條件下， 時刻出時刻出現(xiàn)現(xiàn) 的條件概率。的條件概率。 ( ,)|ijm kjmipm mkP XaXamtmiXam ktm kjXa( ,)ijpm mk不僅與不僅與 有關，而且與有關，而且與m有關。有關。若與若與m無關，則稱該馬氏鏈為齊次馬氏鏈，此時無關，則稱該馬氏鏈為齊次馬氏鏈，此時表示為表示為 。( ,)ijpm mk( )ijpk, ,i j k隨機信號分析隨機信號分析教學教學組組2022-7-85(1) 一步轉移概率一步轉移概率在齊次條件下，令在齊次條件下，令1k(1)( ,1)iji

5、jijppm mpijp NNNNNNppppppppp212222111211P10ijpNjijp11( ,)|ijm kjmipm mkP XaXa中中 則則稱為一步轉移概率。稱為一步轉移概率。構成的矩陣構成的矩陣稱為一步轉移概率矩陣，簡稱轉移概率矩陣。稱為一步轉移概率矩陣，簡稱轉移概率矩陣。由所有一步轉移概率由所有一步轉移概率隨機信號分析隨機信號分析教學教學組組2022-7-86(2) n步轉移概率步轉移概率在齊次條件下，令在齊次條件下，令kn( )( ,)|ijijm njmipnpm mnP XaXa( ,)|ijm kjmipm mkP XaXa中中 則則表示馬氏鏈由狀態(tài)表示馬氏

6、鏈由狀態(tài) 經(jīng)過經(jīng)過n步轉移到步轉移到 的概率。的概率。iaja( )ijp n由所有由所有n步轉移概率步轉移概率構成構成n步轉移概率矩陣步轉移概率矩陣 )()()()()()()()()()(212222111211npnpnpnpnpnpnpnpnpnNNNNNNP1)(0npijNjijnp11)(為了數(shù)學處理便利，通常規(guī)定為了數(shù)學處理便利，通常規(guī)定jijiaXaXPmmpijimjmij01|),(隨機信號分析隨機信號分析教學教學組組2022-7-87(3) 切普曼切普曼- -柯爾莫哥洛夫方程（柯爾莫哥洛夫方程（C-K方程）方程） 對于對于 步轉移概率，有如下的切普曼步轉移概率，有如下的

7、切普曼- -柯爾柯爾莫哥洛夫方程的離散形式莫哥洛夫方程的離散形式lkn)()()()(1kplplkpnprjNririjij表示從狀態(tài)表示從狀態(tài) 經(jīng)過經(jīng)過n步轉移到步轉移到 的概率的概率等效等效為為: :先由狀態(tài)先由狀態(tài) 經(jīng)過經(jīng)過l步到達中間狀態(tài)步到達中間狀態(tài)再由狀態(tài)再由狀態(tài) 經(jīng)過經(jīng)過k步到達狀態(tài)步到達狀態(tài) 的概率和。的概率和。 iajaia(1,2,.,)ra rNraja若用概率矩陣表示，有若用概率矩陣表示，有 )()()(klnPPP當當2n時，有時，有 22)()1 () 1 () 1 ()2(PPPPP同理可推出，當同理可推出，當kn 時，有時，有 kkkk)()1 () 1()

8、1 ()(PPPPP即任意即任意k步轉移概率矩陣可由一步轉移概率矩陣自乘步轉移概率矩陣可由一步轉移概率矩陣自乘k次來得到。次來得到。隨機信號分析隨機信號分析教學教學組組2022-7-88例例 在某數(shù)字通信系統(tǒng)中多級傳輸在某數(shù)字通信系統(tǒng)中多級傳輸0、1兩種數(shù)字信號。由兩種數(shù)字信號。由 于系統(tǒng)中存在干擾，在任一級輸入于系統(tǒng)中存在干擾，在任一級輸入0、1數(shù)字信號后，數(shù)字信號后， 其輸出不產(chǎn)生錯誤的概率為其輸出不產(chǎn)生錯誤的概率為p，產(chǎn)生錯誤的概率為，產(chǎn)生錯誤的概率為q=1- p，求兩級傳輸時的概率轉移矩陣。，求兩級傳輸時的概率轉移矩陣。解解 系統(tǒng)每一級的輸入狀態(tài)和輸出狀態(tài)構成一個兩狀態(tài)的系統(tǒng)每一級的輸

9、入狀態(tài)和輸出狀態(tài)構成一個兩狀態(tài)的 馬氏鏈，其一步轉移概率矩陣為馬氏鏈，其一步轉移概率矩陣為pqqppppp11100100P于是，兩級傳輸時的概率轉移矩陣等效于兩步轉移概于是，兩級傳輸時的概率轉移矩陣等效于兩步轉移概率矩陣為率矩陣為 2222222)2(qppqpqqppqqppqqpPP隨機信號分析隨機信號分析教學教學組組2022-7-89(4) (4) 初始分布與絕對分布初始分布與絕對分布 為了完整的描述一個隨機過程，需要給出任意為了完整的描述一個隨機過程，需要給出任意有限維概率函數(shù)。有限維概率函數(shù)。 對于馬氏鏈的任意有限維概率函對于馬氏鏈的任意有限維概率函數(shù)完全由數(shù)完全由初始分布初始分布

10、和和轉移概率矩陣轉移概率矩陣來描述。來描述。設設( ),0,1,2,X nn 為一馬氏鏈，其狀態(tài)空間為一馬氏鏈，其狀態(tài)空間, 2, 1, 0 E或為有限子集?；驗橛邢拮蛹?。令令(0)(0),ipP XiiE，且對任意的，且對任意的i E均有均有0)0(ip1)0(Eiip則稱則稱 為該馬氏鏈的為該馬氏鏈的初始分布初始分布，也稱，也稱初始初始概率概率。初始概率是馬氏鏈在初始時間。初始概率是馬氏鏈在初始時間 時處于狀時處于狀態(tài)態(tài)i的概率。的概率。(0),ipiE0n隨機信號分析隨機信號分析教學教學組組2022-7-8101n當當 時，馬氏鏈處于狀態(tài)時，馬氏鏈處于狀態(tài)i的概率稱為的概率稱為絕對概率絕

11、對概率或或絕對分布絕對分布。則稱則稱 為該馬氏鏈的為該馬氏鏈的絕對分布絕對分布，也稱，也稱絕對概率絕對概率。設設( ),0,1,2,X nn 為一馬氏鏈，其狀態(tài)空間為一馬氏鏈，其狀態(tài)空間, 2, 1, 0 E或為有限子集?；驗橛邢拮蛹Ａ盍? )( ),ip nP X niiE，且對任意的，且對任意的i E均有均有( )0ip n ( )1ii Ep n( ),ip n iE隨機信號分析隨機信號分析教學教學組組2022-7-811定理定理 馬氏鏈的絕對概率由初始分布和相應的轉移概馬氏鏈的絕對概率由初始分布和相應的轉移概 率唯一確定。率唯一確定。利用利用C-K方程方程，則，則n步轉移矩陣可由一步

12、轉移步轉移矩陣可由一步轉移矩陣唯一確定矩陣唯一確定。推論推論 馬氏鏈的絕對概率由初始分布和一步轉移概率馬氏鏈的絕對概率由初始分布和一步轉移概率 唯一確定。唯一確定。隨機信號分析隨機信號分析教學教學組組2022-7-812轉移圖（狀態(tài)轉移圖與概率轉移圖）轉移圖（狀態(tài)轉移圖與概率轉移圖） 狀態(tài)轉移圖就是在一張圖中，首先將馬氏鏈所具有的狀態(tài)轉移圖就是在一張圖中，首先將馬氏鏈所具有的各個狀態(tài)一一標出，然后用標有箭頭的連線將各個狀態(tài)連各個狀態(tài)一一標出，然后用標有箭頭的連線將各個狀態(tài)連接起來，箭頭所指的狀態(tài)，就是箭尾所連接的狀態(tài)一步能接起來，箭頭所指的狀態(tài)，就是箭尾所連接的狀態(tài)一步能夠達到的狀態(tài)，若在連線

13、上再標出一步轉移概率，就構成夠達到的狀態(tài)，若在連線上再標出一步轉移概率，就構成了概率轉移圖。了概率轉移圖。 有了概率轉移圖，為狀態(tài)的連通性、可達性、常返性有了概率轉移圖，為狀態(tài)的連通性、可達性、常返性以及馬氏鏈的可約性提供方便。以及馬氏鏈的可約性提供方便。隨機信號分析隨機信號分析教學教學組組2022-7-813馬氏鏈中狀態(tài)分類馬氏鏈中狀態(tài)分類1. 到達與相通到達與相通iajai到達到達：如果對于狀態(tài)：如果對于狀態(tài) 與與 （可簡寫為（可簡寫為 和和 ) ) 總總存在存在某個某個 ，使得，使得 ，則稱，則稱 自自 狀態(tài)經(jīng)過狀態(tài)經(jīng)過n步可以到達步可以到達 狀態(tài)，并記為狀態(tài)，并記為ji) 1(n0)(

14、npijjji ) 1(n0)(npij反之，若對反之，若對所有所有的的 有有 ，則自則自 狀態(tài)不可以到達狀態(tài)不可以到達 狀態(tài)，并記為狀態(tài)，并記為ijij到達具有到達具有傳遞性傳遞性，即若，即若 , , 則則ri jr ji 隨機信號分析隨機信號分析教學教學組組2022-7-814相通相通：若自狀態(tài)：若自狀態(tài)i可達狀態(tài)可達狀態(tài)j，同時自狀態(tài)，同時自狀態(tài)j也可達狀態(tài)也可達狀態(tài) i，則稱狀態(tài)和狀態(tài)相通，記為，則稱狀態(tài)和狀態(tài)相通，記為 。ji 相通具有以下等價關系：相通具有以下等價關系： （1 1）若）若 ，則，則 自返性自返性ji ii （2 2）若）若 ，則，則 對稱性對稱性ji ij （3 3

15、）若）若 ， ，則，則 傳遞性傳遞性jr ri ij 如果馬爾可夫鏈的所有狀態(tài)都是相通的，則這樣如果馬爾可夫鏈的所有狀態(tài)都是相通的，則這樣的馬爾可夫鏈的馬爾可夫鏈為不可約的為不可約的。 隨機信號分析隨機信號分析教學教學組組2022-7-815例例 設一兩狀態(tài)設一兩狀態(tài) 馬氏鏈具有以下轉移馬氏鏈具有以下轉移 概率矩陣概率矩陣1 , 0E 00011011112201ppppP10)(1)()()()()(212111100100nnnnpnpnpnpP對于所有的對于所有的n, , ，故狀態(tài)，故狀態(tài)“1”不能到達不能到達狀態(tài)狀態(tài)“0”；而存在而存在n使得使得 ，故狀態(tài)故狀態(tài)“0”可以到達可以到達狀

16、態(tài)狀態(tài)“1”。0)(10np01( )0pn 討論其狀態(tài)的到達特性。討論其狀態(tài)的到達特性。解解 要討論這一馬氏鏈兩個狀態(tài)的到達性，可先求出它要討論這一馬氏鏈兩個狀態(tài)的到達性，可先求出它 的的n步轉移概率矩陣。由于步轉移概率矩陣。由于隨機信號分析隨機信號分析教學教學組組2022-7-8162狀態(tài)的分類狀態(tài)的分類 設設 為一馬氏鏈，對任一狀態(tài)為一馬氏鏈，對任一狀態(tài)i與與j，稱，稱( ),0,1,2,X nn 0,min0njXiXnTnij為為 自狀態(tài)自狀態(tài)i出發(fā)出發(fā)首次首次進入狀態(tài)進入狀態(tài)j的時的時刻，或稱為自刻，或稱為自i到到j的的首達首達時。時。( ),0,1,2,X nn 如果如果 可能永

17、不取值可能永不取值j，規(guī)定，規(guī)定 。 ijTnXijT是是一隨機變量一隨機變量。 為了對馬氏鏈進行分類，需要明白馬氏鏈存在哪些狀態(tài)，為了對馬氏鏈進行分類，需要明白馬氏鏈存在哪些狀態(tài)，哪些是暫時出現(xiàn)（哪些是暫時出現(xiàn)（最多有限次到達最多有限次到達），哪些永恒出現(xiàn)（），哪些永恒出現(xiàn)（無限無限次到達次到達）。）。隨機信號分析隨機信號分析教學教學組組2022-7-817 設設 為一馬氏鏈，對任一狀態(tài)為一馬氏鏈，對任一狀態(tài)i與與j，稱稱( ),0,1,2,X nn 為為 自狀態(tài)自狀態(tài)i出發(fā)經(jīng)過出發(fā)經(jīng)過n步步首次首次進入狀進入狀態(tài)態(tài)j的的概率概率。( ),0,1,2,X nn 0( )|ijijfnP Tn

18、 Xi顯然有顯然有11 21110( );,1,2,1|,1nnijnmii iiijjijifnP Xj Xj mnXip ppn從而從而100(1)|( ),|ijijijmfpP Xj XifP Xjm Xi 對一切隨機信號分析隨機信號分析教學教學組組2022-7-818 設設 為一馬氏鏈，對任一狀態(tài)為一馬氏鏈，對任一狀態(tài)i與與j，稱稱( ),0,1,2,X nn 為為 自狀態(tài)自狀態(tài)i出發(fā)出發(fā)遲早遲早進入狀態(tài)進入狀態(tài)j的概率。的概率。( ),0,1,2,X nn 011( )|ijijijijnnffnP Tn XiP T 顯然有顯然有ijijijfTPf1)(1)(0ijijfnf隨機

19、信號分析隨機信號分析教學教學組組2022-7-819定理定理 對任何狀態(tài)對任何狀態(tài)1,nEji，有，有 nljjijijlnplfnp1)()()(說明：馬氏鏈從狀態(tài)說明：馬氏鏈從狀態(tài)i出發(fā)經(jīng)過出發(fā)經(jīng)過n步轉移到狀態(tài)步轉移到狀態(tài)j的概率：的概率：從從i出發(fā)經(jīng)過出發(fā)經(jīng)過l步步首次首次到達狀態(tài)到達狀態(tài)j，在從狀態(tài)，在從狀態(tài)j出發(fā)經(jīng)過出發(fā)經(jīng)過n-l步轉移步轉移又又到了狀態(tài)到了狀態(tài)j（ ），這些事件的概率），這些事件的概率之和。之和。1,2,.,ln 如果如果 ，則稱狀態(tài)，則稱狀態(tài)j是是常返常返的。的。 如果如果 ，則稱狀態(tài)，則稱狀態(tài)j是是非常返非常返的的( (或稱為瞬時的或稱為瞬時的) ) 如果馬爾

20、可夫鏈的任一狀態(tài)都是常返的，則稱此如果馬爾可夫鏈的任一狀態(tài)都是常返的，則稱此鏈為常返馬爾可夫鏈。鏈為常返馬爾可夫鏈。1jjf1jjf隨機信號分析隨機信號分析教學教學組組2022-7-820定理定理 的充要條件是的充要條件是 。0ijfji 定理定理 狀態(tài)狀態(tài)j是常返（是常返（ ）的充要條件為）的充要條件為1jjf0)(njjnp推論推論 如果狀態(tài)如果狀態(tài)j是非常返的，則必有是非常返的，則必有0)(limnpjjn隨機信號分析隨機信號分析教學教學組組2022-7-821iiT) 1 (iif)2(iif)(nfii12NP由數(shù)學期望的定義，可得由數(shù)學期望的定義，可得 1)(niiiiinnfTE

21、uiu稱稱 為狀態(tài)為狀態(tài)i的的平均返回時間平均返回時間。 i ), 2 , 1( niiTiX0 設設i是一是一常返態(tài)常返態(tài)，則從，則從i出發(fā)可經(jīng)過出發(fā)可經(jīng)過n 步步首次返回首次返回i， 在在 的條件下的分布列為的條件下的分布列為設設i是常返態(tài)，如果是常返態(tài)，如果 ，則稱狀態(tài)，則稱狀態(tài)i是是正正常返態(tài)；常返態(tài)； 如果如果 ，則稱狀態(tài)，則稱狀態(tài)i是是零零常返態(tài)。常返態(tài)。iuiu隨機信號分析隨機信號分析教學教學組組2022-7-822 對于狀態(tài)對于狀態(tài)i，若正整數(shù)集合，若正整數(shù)集合 非非空，則稱該集合的最大公約數(shù)空，則稱該集合的最大公約數(shù)L為狀態(tài)為狀態(tài)i的周期。的周期。 若若 ，則稱狀態(tài)，則稱狀態(tài)

22、i是是周期周期的。的。 若若 ，則稱狀態(tài)，則稱狀態(tài)i是是非周期非周期的。的。 如果狀態(tài)如果狀態(tài)i是非周期且正常返的，則稱狀態(tài)是非周期且正常返的，則稱狀態(tài)i是是 遍歷遍歷的。的。0)(, 1:npnnii1L1L隨機信號分析隨機信號分析教學教學組組2022-7-823定理定理 設設i為常返狀態(tài)，有周期為常返狀態(tài)，有周期 ,則則(1)L L lim( )jjnjLpnu馬氏狀態(tài)分類圖馬氏狀態(tài)分類圖 狀態(tài)空間狀態(tài)空間周期周期常返常返非周期非周期非常返非常返正常返正常返零常返零常返遍歷遍歷隨機信號分析隨機信號分析教學教學組組2022-7-824狀態(tài)分類判別法：狀態(tài)分類判別法： 1( )iinipn （

23、1） 是非常返1( )lim( )0iiiinnipnpn （2） 是零常返且1( )lim( )0iiiinnipnpn （3） 是正常返且11( )lim( )0iiiinniipnpn （4） 是遍歷且隨機信號分析隨機信號分析教學教學組組2022-7-825、定理定理 若若 ，則，則 （1 1）i與與j同為常返或同為非常返；同為常返或同為非常返； （2 2）若若i與與j常返，則常返，則i與與j同為正常返或同為零常返；同為正常返或同為零常返； （3 3）i與與j或同為非周期的，或同為周期的且有相同的周期或同為非周期的，或同為周期的且有相同的周期。ij上述討論常返性，下面討論上述討論常返性，

24、下面討論相通性相通性隨機信號分析隨機信號分析教學教學組組2022-7-8263遍歷性與平穩(wěn)分布遍歷性與平穩(wěn)分布 設齊次馬氏鏈設齊次馬氏鏈 的狀態(tài)空間為的狀態(tài)空間為E，若對一切若對一切 ，存在存在不依賴于不依賴于i的極限的極限 ( ),0X nn , i jElim( )ijjnpnp則稱馬爾可夫鏈具有遍歷性。并稱則稱馬爾可夫鏈具有遍歷性。并稱 為狀態(tài)為狀態(tài)j的穩(wěn)的穩(wěn)態(tài)概率。態(tài)概率。jp說明：無論從那個狀態(tài)說明：無論從那個狀態(tài)i出發(fā)，當轉移步數(shù)充分大時，出發(fā)，當轉移步數(shù)充分大時， 轉移到狀態(tài)轉移到狀態(tài)j的概率接近的概率接近 ，即當，即當n足夠大時，足夠大時， 可用可用 作為作為 的近似值。的近似

25、值。jpjp( )ijpn隨機信號分析隨機信號分析教學教學組組2022-7-827 ( ),1,2,3,.n n( )0ijpm ,0,1,2,i jN所有則此鏈是遍歷性的，且則此鏈是遍歷性的，且 是方程組是方程組12,jNpp pp011NjiijiNjjpp pp定理定理 對于一有限狀態(tài)的馬氏鏈對于一有限狀態(tài)的馬氏鏈 ， 若存在一正整數(shù)若存在一正整數(shù)m，使，使 的唯一解。的唯一解。馬氏鏈的遍歷性馬氏鏈的遍歷性 利用上述的定理，可以判斷齊次馬氏鏈的遍歷性；利用上述的定理，可以判斷齊次馬氏鏈的遍歷性； 以及求出穩(wěn)態(tài)概率以及求出穩(wěn)態(tài)概率 ，此時，此時穩(wěn)態(tài)概率即為平穩(wěn)分布穩(wěn)態(tài)概率即為平穩(wěn)分布。jp

26、隨機信號分析隨機信號分析教學教學組組2022-7-828馬氏鏈的平穩(wěn)性馬氏鏈的平穩(wěn)性物理意義：物理意義：對于任意的時刻，系統(tǒng)處于同一狀態(tài)的概率是對于任意的時刻，系統(tǒng)處于同一狀態(tài)的概率是 相同的。相同的。定義：若齊次馬氏鏈的概率分布不隨時間定義：若齊次馬氏鏈的概率分布不隨時間n的變化而變的變化而變化。即滿足化。即滿足 ,Njiijji Ipnp pnpjE隨機信號分析隨機信號分析教學教學組組2022-7-829 一個非周期，不可約的馬氏鏈是常返的，它存在一個非周期，不可約的馬氏鏈是常返的，它存在一個平穩(wěn)分布一個平穩(wěn)分布 ，即，即 平穩(wěn)分平穩(wěn)分布就是極限分布。布就是極限分布。 1jjpu1lim(

27、 )ijjnjpnpu 遍歷的馬氏鏈一定具有平穩(wěn)性，但平穩(wěn)的馬氏鏈不遍歷的馬氏鏈一定具有平穩(wěn)性，但平穩(wěn)的馬氏鏈不一定具有遍歷性（不遍歷的馬氏鏈也可具有平穩(wěn)性）。一定具有遍歷性（不遍歷的馬氏鏈也可具有平穩(wěn)性）。 隨機信號分析隨機信號分析教學教學組組2022-7-830例例 設馬爾可夫鏈的狀態(tài)空間設馬爾可夫鏈的狀態(tài)空間 ，一步轉移概率矩陣，一步轉移概率矩陣1,2,3,4E 100001001200331110442P試對該鏈進行分類，并說明其遍歷性。試對該鏈進行分類，并說明其遍歷性。解解 根據(jù)一步轉移概率矩陣可畫出如圖所示的狀態(tài)轉移圖。從圖中可根據(jù)一步轉移概率矩陣可畫出如圖所示的狀態(tài)轉移圖。從圖中

28、可 知，和都是非周期的正常返狀態(tài)，和狀態(tài)都是非常返狀知，和都是非周期的正常返狀態(tài)，和狀態(tài)都是非常返狀 態(tài)。態(tài)。由于由于11( )1pn 21( )0pn 311( )3pn 41411141111111 ( )11 11 1 1111112( )( )()( ).142 42 2 42442 212nnnnnllp nfl p n lfn 說明說明 存在（存在（i=1,2,3,4）, ,但與但與i有關，所以該鏈不是遍歷的。有關，所以該鏈不是遍歷的。lim( )ijnpn隨機信號分析隨機信號分析教學教學組組2022-7-831馬爾可夫序列馬爾可夫序列1 1 定義定義 設設 表示隨機過程表示隨機過程 在在 為整數(shù)時刻的取為整數(shù)時刻的取樣的樣的隨機序列隨機序列，記為，記為 ( (簡記為簡記為 或或 ) ) 則可按以下方式定義馬爾可夫序列。則可按以下方式定義馬爾可夫序列。 若對于若對于任意任意的的n，有，有則稱則稱 為馬爾可夫序列。此概率密度函數(shù)稱為轉移概率密為馬爾可夫序列。此概率密度函數(shù)稱為轉移概率密度函數(shù)。進一步可以推出度函數(shù)。進一步可以推出 即聯(lián)合概率密度函數(shù)可由轉移概率密度和起始時刻的一維概即