隨機過程-11漸近性質與平穩(wěn)分布1課件

4.4漸近性質與平穩(wěn)分布4.4漸近性質與平穩(wěn)分布例1：甲、乙、丙三個狀態(tài)用1,2,3表示兩步轉移概率矩陣：10步轉移概率矩陣：是否存在？有什么特點？例1：甲、乙、丙三個狀態(tài)用1,2,3表示兩步轉移概率矩陣：1例2(蜘蛛和蒼蠅)即當n足夠大時，出現(xiàn)什么現(xiàn)象？即是否存在？有什么特點？例2(蜘蛛和蒼蠅)即當n足夠大時，出現(xiàn)什么現(xiàn)象？即是否存在？例：已知馬氏鏈轉移圖如下，求從狀態(tài)1出發(fā)再返回1的n步轉移概率，n=1,2,…,812311即當n足夠大時是否存在？例：已知馬氏鏈轉移圖如下，求從狀態(tài)1出發(fā)再返回1的n步轉移概一、漸進性質(狀態(tài)有限)在馬爾科夫鏈的模型中,我們常常對n非常大時,n步轉移概率Pij(n)的極限行為感興趣。Pij(n)可能收斂于一個固定的值，并獨立于初始狀態(tài)；Pij(n)的極限值也有可能會依賴于初始狀態(tài)Pij(n)也可能是不收斂的。我們希望了解什么情況下具有這種性質。一、漸進性質(狀態(tài)有限)在馬爾科夫鏈的模型中,我們常常對n非例：甲、乙、丙三個狀態(tài)用1,2,3表示

只有一個常返類，狀態(tài)有限，非周期的馬爾科夫鏈：每一個狀態(tài)j，處于狀態(tài)j的概率pij(n)趨近于一個獨立于初始狀態(tài)i的極限值。這個極限值記為

j

，稱之為穩(wěn)態(tài)概率。例：甲、乙、丙三個狀態(tài)用1,2,3表示只有一個常返類例1某同學上一門概率課，他每周可能進步，也可能落后。如果在給定的一周里，他進步了，那么他下一周進步（或落后）的概率是0.8（或0.2）。相應的，如果在給定的一周里，他落后了，那么他下一周進步（或落后）的概率是0.6（或0.4）.我們假定這些概率都不依賴于他之前的每周是否進步或落后，所以該問題是一個典型的馬爾科夫鏈的問題（未來的狀態(tài)只依賴于當前的狀態(tài)）。隨機過程-11漸近性質與平穩(wěn)分布1課件轉移概率圖為：轉移概率矩陣是：n步狀態(tài)轉移概率矩陣：轉移概率圖為：n步轉移概率pij(n)的變化趨勢圖：我們發(fā)現(xiàn)，當n—>∞時，每一個pij(n)都收斂于一個極限值，這個極限值不依賴于初始狀態(tài)i，只與j有關。n步轉移概率pij(n)的變化趨勢圖：2.極限值依賴于初始狀態(tài)例2(蜘蛛和蒼蠅)一只蒼蠅在一條直線上移動，每次移動一個單位長度。每單位時間，它以0.3的概率向左移動一個單位，以0.3的概率向右移動一個單位，且以0.4的概率停留在原地，并且它們獨立于過去的移動。兩只蜘蛛等在位置1和位置m：如果蒼蠅達到這個位置，它將被蜘蛛捕捉，于是過程結束。我們將用馬爾科夫鏈模型，假設蒼蠅開始于1和m中間的某一個位置。2.極限值依賴于初始狀態(tài)狀態(tài)轉移概率圖：轉移概率矩陣：狀態(tài)轉移概率圖：n步狀態(tài)轉移概率矩陣：n步狀態(tài)轉移概率矩陣：n步轉向狀態(tài)“1”的概率pi1(n)的趨向示意圖：Pij(n)依舊收斂，但是極限值依賴于初始狀態(tài)。n步轉向狀態(tài)“1”的概率pi1(n)的趨向示意圖：如果一個馬爾科夫鏈有兩個或多個常返類，則pij(n)的極限值依賴于初始狀態(tài)。但當j是非常返狀態(tài)時，pij(n)的極限值等于0如果一個馬爾科夫鏈有兩個或多個常返類，則pij(n)的極限值3.pij(n)也可能是不收斂的例3

下圖所示的馬爾科夫鏈，周期為2，由單個常返類組成。狀態(tài)轉移矩陣為123113.pij(n)也可能是不收斂的12311n步轉移概率矩陣為：考察狀態(tài)1，可以看出：因此，是不收斂的。同樣，其他的n步轉移概率也是不收斂的。如果馬爾科夫鏈是有周期的，則pij(n)沒有極限值。但子序列上有極限。n步轉移概率矩陣為：如果馬爾科夫鏈是有周期的，則pij(n)等等是存在的。一般的：定理4.14如j是正常返狀態(tài)，周期為d，則對任意i及0

r

d-1，有等等是存在的。一般的：定理4.14如j是正常返狀總之：1.如果如果一個馬爾科夫鏈只有一個常返類，加上一些可能存在的非常返狀態(tài)，對每一個狀態(tài)j，處于狀態(tài)j的概率pij(n)趨近于一個獨立于初始狀態(tài)i的極限值。這個極限值記為

j

，有如下表示：

j≈P(Xn=j)(當n很大時)，并且稱之為穩(wěn)態(tài)概率。2.如果有兩個或多個常返類，則pij(n)的極限值一定依賴于初始狀態(tài)3.如果馬爾科夫鏈是有周期的，則pij(n)沒有極限值。4.非常返狀態(tài)極限為0總之：附：非常返狀態(tài)極限性質證明定理4.13(1)

如果j

非常返，則證若j非常返，則由定理4.5，從而由定理4.4，對N<n，附：非常返狀態(tài)極限性質證明定理4.13(1)如果j非固定N，先令n

，固定N，先令n，注：對于任意馬氏鏈，當n→∞時，非常返狀態(tài)都有穩(wěn)態(tài)概率0.例如：非常返狀態(tài)2和3的穩(wěn)態(tài)概率為0.即注：對于任意馬氏鏈，當n→∞時，非常返狀態(tài)都有穩(wěn)態(tài)概率0.狀態(tài)無限多時：推論1

有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，也不可能含有零常返狀態(tài)，從而不可約的有限狀態(tài)的馬氏鏈必為正常返的。推論2如馬氏鏈有一個零常返狀態(tài)，則必有無限多個零常返狀態(tài)。定理4.13(2)

如果j

零常返，則狀態(tài)無限多時：推論1有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)定理4.13(2)

如果j

零常返，則證

若j零常返，則由定理4.7推論，其他和非常返狀態(tài)類似定理4.13(2)如果j零常返，則

推論1

有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，也不可能含有零常返狀態(tài)，從而不可約的有限狀態(tài)的馬氏鏈必為正常返的。證設I={0,1,

,N}，如I全是非常返狀態(tài)，則對任意i,j

I，由定理4.13知故矛盾。推論1有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，也不可能含如I含有零常返狀態(tài)i，則C={j:i

j}是有限不可約閉集，由定理4.10知，C中均為零常返狀態(tài)，由定理4.13知，由引理4.5知所以如I含有零常返狀態(tài)i，則C={j:ij}是有限不可約閉集，推論2如馬氏鏈有一個零常返狀態(tài)，則必有無限多個零常返狀態(tài)。證設i為零常返狀態(tài)，則C={j:i

j}是不可約閉集，C中均為零常返狀態(tài)，故C不能是有限集。否則，推論2如馬氏鏈有一個零常返狀態(tài)，則必有