CH4馬爾可夫過程4.3-4.5上課

1、2021-10-191 馬爾可夫過程2021-10-192CH4 馬爾可夫過程 4.3 狀態(tài)空間分解 2021-10-1934.3 狀態(tài)空間分解 4.3.1 等價類: 狀態(tài)互通關系是一種等價關系，它滿足： l （1） 自反性： 因為規(guī)定，l （2） 對稱性：若 ，則 ；l （3） 傳遞性：若 ，則4.3 狀態(tài)空間分解同類：兩個互通的狀態(tài)。等價類：彼此互通的所有狀態(tài)構成的集合集合。同一個等價類中的所有狀態(tài)都具有完全相同的特性。從一個等價類出發(fā)，可能以正的概率到達另一個類，但無法再返回，所以不同等價類的狀態(tài)無法互通。定理4.6 若 則（1）i 與 j 或同為非常返態(tài)，或同為常返態(tài)； 若同為常返態(tài)，

2、則i 與 j 或同為正常返態(tài)，或同為零態(tài)；（2）i 與 j 或有相同的周期，或同為非周期的。2021-10-1954.3 狀態(tài)空間分解 定義定義4.14 設狀態(tài)子集 ，若 都有 則稱 C 為閉集。 若C 的任何真子集都不是閉集，則稱C 是不可約的（Irreducible）。 直觀地講，從閉集內(nèi)部不能到達其外部，這意味著馬爾可夫鏈一旦進入某個閉集，就將永遠滯留在其中。顯然，吸收態(tài)可以構成一個單點的閉集；而整個狀態(tài)空間E 是最大的閉集。 4.3.2 狀態(tài)空間分解定義定義4.15 如果馬爾可夫鏈的整個狀態(tài)空間E 是不可約的，則稱它為不可約鏈。 2021-10-1964.3 狀態(tài)空間分解定理定理4.7

3、 若常返狀態(tài)存在，則它們?nèi)w構成的集合是閉集。設所有常返態(tài)構成的閉集為C，若 ，則它可以表示為，其中各個子集 Ci 是互不相交的閉集，各個 Ci 內(nèi)的狀態(tài)彼此互通。構造上述表示式的方法為：2021-10-1974.3 狀態(tài)空間分解定理定理4.8 （狀態(tài)分解定理）狀態(tài)空間 E 可唯一地分解為 其中， 為基本常返閉集，T 為所有非常返態(tài)的集合。定理定理4.9 有限狀態(tài)的馬爾可夫鏈必有正常返態(tài)，可能有非常返態(tài)（但不構成閉集），沒有零常返態(tài)。例例：設有三個狀態(tài)(0,1,2)的馬爾可夫鏈，它的一步轉移概率矩陣如下，研究其各狀態(tài)間的關系。1/ 21/ 20(1)1/ 21/ 41/ 401/32/3P三個

4、狀態(tài)均相通，該鏈是不可約的，所有狀態(tài)均為遍歷態(tài)。4.3 狀態(tài)空間分解01221212141314132解：容易發(fā)現(xiàn)：不可約鏈中所有的狀態(tài)必定居于同一個等價類中。不可約鏈中所有的狀態(tài)必定居于同一個等價類中。2021-10-1994.3 狀態(tài)空間分解例例4.13 設馬爾可夫鏈有五個狀態(tài) E = 1, 2, 3, 4, 5 ，其狀態(tài)轉移矩陣為試找出等價類，判斷各狀態(tài)類別，并進行狀態(tài)分解。 解： 該馬爾可夫鏈狀態(tài)有限，其狀態(tài)轉移圖如下圖 。2021-10-19104.3 狀態(tài)空間分解根據(jù)狀態(tài)的互通可得三個等價 類1, 2，3 與4, 5。其狀態(tài)空間可以分解為，E =TUC= 1, 2 U 3 U 4,

5、 5。該馬爾可夫鏈狀是可約的可約的。 互通，不構成閉集， 非常返態(tài) 吸收態(tài)，遍歷態(tài)。 互通，構成閉集，正常返態(tài)。所有常返態(tài)構成的閉集為C=C1UC2= 3 U 4, 5容易發(fā)現(xiàn)：等價類不一定是閉集，閉集中的每個狀態(tài)也不一定等價。但每個常返類必定是閉集。2021-10-19114.3 狀態(tài)空間分解 互通，不構成閉集， 非常返態(tài) 吸收態(tài)，遍歷態(tài)。 互通，構成閉集，正常返態(tài)。 注意 T 不一定是閉集，特別是當 E 有限時， T 就必定不是閉集。如果馬爾可夫鏈 的初始狀態(tài)位于T 上，則它可能在某個時刻后離開T 進入某個 Ci 中，而不再出來，這時 Ci 就是它穩(wěn)態(tài)時的狀態(tài)空間；如果初始狀態(tài)位于某個常返

6、閉集 Ci 中，則它以概率 1永遠在其中運動；這時 可以看作狀態(tài)空間僅為 Ci 的不可約馬爾可夫鏈。 例：例：設有四個狀態(tài)（0，1，2，3）的馬爾可夫鏈，其一步轉移概率矩陣入下，畫出狀態(tài)轉移圖，分析其狀態(tài)。002/12/1002/12/13/13/2003/23/100) 1 (P4.3 狀態(tài)空間分解4個狀態(tài)均相通，該鏈為不可約鏈。各狀態(tài)的轉移過程為：0,12,30,12,3周期為周期為2 2所有狀態(tài)均為有周期正常返態(tài)。013221313221213132212021-10-1913CH4 馬爾可夫過程 4.4 遍歷性、極限分布與平穩(wěn)分布2021-10-19144.4 遍歷性、極限分布與平穩(wěn)分

7、布 4.4.1 遍歷性與基本極限定理定義定義4.17 若馬爾可夫鏈的概率分布在若馬爾可夫鏈的概率分布在 時收斂于時收斂于n *()jj E，即，即lim ( )nn或lim( )()jjnnjE則稱則稱 為該鏈的為該鏈的極限分布極限分布或或最終分布最終分布。2021-10-19154.4 遍歷性、極限分布與平穩(wěn)分布例例4.14（分析兩狀態(tài)馬爾可夫鏈的極限情況）假定狀態(tài)為 0 與 1的齊次馬爾可夫鏈的轉移矩陣為： 4.4.1 遍歷性與基本極限定理相應的狀態(tài)轉移圖為：2021-10-19164.4 遍歷性、極限分布與平穩(wěn)分布01012021-10-19174.4 遍歷性、極限分布與平穩(wěn)分布 可見：

8、一個狀態(tài)的極限概率分布值，正是系統(tǒng)經(jīng)歷長時間后進入該狀態(tài)的轉移概率值，又恰好是該狀態(tài)平均回返時間的倒數(shù)值，即2021-10-19184.4 遍歷性、極限分布與平穩(wěn)分布 前例中所有狀態(tài)互通且為非周期正常返態(tài)，馬爾可夫鏈為不可約鏈。定理定理4.114.11 不可約遍歷鏈（即所有狀態(tài)互通且為非周期正常返態(tài)）具有遍歷性，且，2021-10-19194.4 遍歷性、極限分布與平穩(wěn)分布 4.4.1 遍歷性與基本極限定理定義定義4.16 稱馬爾可夫鏈具有稱馬爾可夫鏈具有遍歷性遍歷性，若，若 , , i jE存在不依賴于存在不依賴于 的的常數(shù)常數(shù) , ,使得使得ij( )limnijjnp或P( )Pjjnn

9、jn 1212122021-10-19204.4 遍歷性、極限分布與平穩(wěn)分布 4.4.1 遍歷性與基本極限定理2021-10-19214.4 遍歷性、極限分布與平穩(wěn)分布可見，也可根據(jù) 值來判斷狀態(tài)的類別。表明隨著時間的推移，暫態(tài)終將無法到達。2021-10-19224.4 遍歷性、極限分布與平穩(wěn)分布 從例從例4.14可見，直接計算可見，直接計算 的極限或平均回返時間的極限或平均回返時間 都很不容易。因而，需要尋找其他方法來研究極限分布與都很不容易。因而，需要尋找其他方法來研究極限分布與遍歷性問題。一種有效的途徑是通過計算遍歷性問題。一種有效的途徑是通過計算平穩(wěn)分布平穩(wěn)分布來求解。來求解。202

10、1-10-19234.4 遍歷性、極限分布與平穩(wěn)分布4.4.2 平穩(wěn)分布則稱 為該鏈的平穩(wěn)分布或不變分布。 定義定義4.184.18 設馬爾可夫鏈的轉移矩陣為 P P ，若存在一個概率分布 ，使得( )( )P( ,)mnn m 顯然，一旦馬爾可夫鏈進入某個平穩(wěn)分布，它將一直處于此分布上，不再改變。如果初始分布 恰好是平穩(wěn)分布，則該鏈自始至終都處于此分布上，這時該鏈表現(xiàn)為嚴格平穩(wěn)過程。 平穩(wěn)鏈的 所有時刻的概率分布相同。2021-10-19244.4 遍歷性、極限分布與平穩(wěn)分布4.4.2 平穩(wěn)分布( )( )P( ,)n m12 平穩(wěn)鏈的前提是齊次的。因為( )( )P(1,2)( )( )(

11、 )P(2,3)( )P(2,3)( )( )P(1,2)P(1,2)P(2,3) 21132121齊次的。但齊次鏈不一定平穩(wěn)。2021-10-19254.4 遍歷性、極限分布與平穩(wěn)分布4.4.3 有限狀態(tài)鏈的遍歷性 一個不可約的、非周期的有限狀態(tài)馬氏鏈一定是遍歷的。一個不可約的、非周期的有限狀態(tài)馬氏鏈一定是遍歷的。2021-10-1926 4.4 遍歷性、極限分布與平穩(wěn)分布。2021-10-1927 4.4 遍歷性、極限分布與平穩(wěn)分布證明其唯一性：設另有一矩陣 也滿足VV = VP,ii Ev1則(2)(n)(n)(n)VVPVP PVP PVP:V = limV = limVP= Vlim

12、P= Vnnnn 因 ,ii Ev1且 矩陣中 列的元素均相等。故 VV j唯一性得證。2021-10-1928 4.4 遍歷性、極限分布與平穩(wěn)分布定理定理4.13 非周期不可約鏈是正常返的充要條件是：存在平穩(wěn)分布，且該分布就是極限 分布。 綜上所述：不可約遍歷鏈具有遍歷性，具有唯一的平穩(wěn)分布且該分布就是極限分布；其概率值正是各狀態(tài)的平均返回時間的倒數(shù)，即 例：例：齊次馬爾可夫鏈的一步轉移矩陣如下，討論其遍歷性。 求極限分布。000qpqpqpP4.4 遍歷性、極限分布與平穩(wěn)分布0,)2(ijpEji故此鏈具有遍歷性。ppqqqp123不可約遍歷鏈具有遍歷性。22(2)222222qpqpqp

13、qpqpqpqpqpPP解：例：例：齊次馬爾可夫鏈的一步轉移矩陣如下，討論其遍歷性。 求極限分布。000qpqpqpP4.4 遍歷性、極限分布與平穩(wěn)分布解： 極限分布為：() 123由P 得：0()()00qpqpqp 123123例：例：齊次馬爾可夫鏈的一步轉移矩陣如下，討論其遍歷性。 求極限分布。4.4 遍歷性、極限分布與平穩(wěn)分布解：311111pqqqpqppppqqpqpppqqq 2111222133213231231221001P4.4 遍歷性、極限分布與平穩(wěn)分布例：例：齊次馬爾可夫鏈的一步轉移矩陣如下，討論其遍歷性。( )1001nnPP解：, 0,)(nijpEji不滿足故此鏈不具有遍歷性。1112狀態(tài)間不相通，故此鏈不具有遍歷性。2021-10-19334.4 遍歷性、極限分布與平穩(wěn)分布例例4.15 4.15 （社會階層變遷模型）社會各階層可以按某種標準粗略地劃分為上、中、下三 個層次，社會學家發(fā)現(xiàn)一個家庭的后代所處的階層與其父輩原來所處的階層密切相關，有時可以簡單地假設某種社會中家庭所處階層及其變遷過程近似為