隨機(jī)過程-11漸近性質(zhì)與平穩(wěn)分布1課件

4.4漸近性質(zhì)與平穩(wěn)分布4.4漸近性質(zhì)與平穩(wěn)分布例1：甲、乙、丙三個(gè)狀態(tài)用1,2,3表示兩步轉(zhuǎn)移概率矩陣：10步轉(zhuǎn)移概率矩陣：是否存在？有什么特點(diǎn)？例1：甲、乙、丙三個(gè)狀態(tài)用1,2,3表示兩步轉(zhuǎn)移概率矩陣：1例2(蜘蛛和蒼蠅)即當(dāng)n足夠大時(shí)，出現(xiàn)什么現(xiàn)象？即是否存在？有什么特點(diǎn)？例2(蜘蛛和蒼蠅)即當(dāng)n足夠大時(shí)，出現(xiàn)什么現(xiàn)象？即是否存在？例：已知馬氏鏈轉(zhuǎn)移圖如下，求從狀態(tài)1出發(fā)再返回1的n步轉(zhuǎn)移概率，n=1,2,…,812311即當(dāng)n足夠大時(shí)是否存在？例：已知馬氏鏈轉(zhuǎn)移圖如下，求從狀態(tài)1出發(fā)再返回1的n步轉(zhuǎn)移概一、漸進(jìn)性質(zhì)(狀態(tài)有限)在馬爾科夫鏈的模型中,我們常常對n非常大時(shí),n步轉(zhuǎn)移概率Pij(n)的極限行為感興趣。Pij(n)可能收斂于一個(gè)固定的值，并獨(dú)立于初始狀態(tài)；Pij(n)的極限值也有可能會(huì)依賴于初始狀態(tài)Pij(n)也可能是不收斂的。我們希望了解什么情況下具有這種性質(zhì)。一、漸進(jìn)性質(zhì)(狀態(tài)有限)在馬爾科夫鏈的模型中,我們常常對n非例：甲、乙、丙三個(gè)狀態(tài)用1,2,3表示

只有一個(gè)常返類，狀態(tài)有限，非周期的馬爾科夫鏈：每一個(gè)狀態(tài)j，處于狀態(tài)j的概率pij(n)趨近于一個(gè)獨(dú)立于初始狀態(tài)i的極限值。這個(gè)極限值記為

j

，稱之為穩(wěn)態(tài)概率。例：甲、乙、丙三個(gè)狀態(tài)用1,2,3表示只有一個(gè)常返類例1某同學(xué)上一門概率課，他每周可能進(jìn)步，也可能落后。如果在給定的一周里，他進(jìn)步了，那么他下一周進(jìn)步（或落后）的概率是0.8（或0.2）。相應(yīng)的，如果在給定的一周里，他落后了，那么他下一周進(jìn)步（或落后）的概率是0.6（或0.4）.我們假定這些概率都不依賴于他之前的每周是否進(jìn)步或落后，所以該問題是一個(gè)典型的馬爾科夫鏈的問題（未來的狀態(tài)只依賴于當(dāng)前的狀態(tài)）。隨機(jī)過程-11漸近性質(zhì)與平穩(wěn)分布1課件轉(zhuǎn)移概率圖為：轉(zhuǎn)移概率矩陣是：n步狀態(tài)轉(zhuǎn)移概率矩陣：轉(zhuǎn)移概率圖為：n步轉(zhuǎn)移概率pij(n)的變化趨勢圖：我們發(fā)現(xiàn)，當(dāng)n—>∞時(shí)，每一個(gè)pij(n)都收斂于一個(gè)極限值，這個(gè)極限值不依賴于初始狀態(tài)i，只與j有關(guān)。n步轉(zhuǎn)移概率pij(n)的變化趨勢圖：2.極限值依賴于初始狀態(tài)例2(蜘蛛和蒼蠅)一只蒼蠅在一條直線上移動(dòng)，每次移動(dòng)一個(gè)單位長度。每單位時(shí)間，它以0.3的概率向左移動(dòng)一個(gè)單位，以0.3的概率向右移動(dòng)一個(gè)單位，且以0.4的概率停留在原地，并且它們獨(dú)立于過去的移動(dòng)。兩只蜘蛛等在位置1和位置m：如果蒼蠅達(dá)到這個(gè)位置，它將被蜘蛛捕捉，于是過程結(jié)束。我們將用馬爾科夫鏈模型，假設(shè)蒼蠅開始于1和m中間的某一個(gè)位置。2.極限值依賴于初始狀態(tài)狀態(tài)轉(zhuǎn)移概率圖：轉(zhuǎn)移概率矩陣：狀態(tài)轉(zhuǎn)移概率圖：n步狀態(tài)轉(zhuǎn)移概率矩陣：n步狀態(tài)轉(zhuǎn)移概率矩陣：n步轉(zhuǎn)向狀態(tài)“1”的概率pi1(n)的趨向示意圖：Pij(n)依舊收斂，但是極限值依賴于初始狀態(tài)。n步轉(zhuǎn)向狀態(tài)“1”的概率pi1(n)的趨向示意圖：如果一個(gè)馬爾科夫鏈有兩個(gè)或多個(gè)常返類，則pij(n)的極限值依賴于初始狀態(tài)。但當(dāng)j是非常返狀態(tài)時(shí)，pij(n)的極限值等于0如果一個(gè)馬爾科夫鏈有兩個(gè)或多個(gè)常返類，則pij(n)的極限值3.pij(n)也可能是不收斂的例3

下圖所示的馬爾科夫鏈，周期為2，由單個(gè)常返類組成。狀態(tài)轉(zhuǎn)移矩陣為123113.pij(n)也可能是不收斂的12311n步轉(zhuǎn)移概率矩陣為：考察狀態(tài)1，可以看出：因此，是不收斂的。同樣，其他的n步轉(zhuǎn)移概率也是不收斂的。如果馬爾科夫鏈?zhǔn)怯兄芷诘?，則pij(n)沒有極限值。但子序列上有極限。n步轉(zhuǎn)移概率矩陣為：如果馬爾科夫鏈?zhǔn)怯兄芷诘?，則pij(n)等等是存在的。一般的：定理4.14如j是正常返狀態(tài)，周期為d，則對任意i及0

r

d-1，有等等是存在的。一般的：定理4.14如j是正常返狀總之：1.如果如果一個(gè)馬爾科夫鏈只有一個(gè)常返類，加上一些可能存在的非常返狀態(tài)，對每一個(gè)狀態(tài)j，處于狀態(tài)j的概率pij(n)趨近于一個(gè)獨(dú)立于初始狀態(tài)i的極限值。這個(gè)極限值記為

j

，有如下表示：

j≈P(Xn=j)(當(dāng)n很大時(shí))，并且稱之為穩(wěn)態(tài)概率。2.如果有兩個(gè)或多個(gè)常返類，則pij(n)的極限值一定依賴于初始狀態(tài)3.如果馬爾科夫鏈?zhǔn)怯兄芷诘?，則pij(n)沒有極限值。4.非常返狀態(tài)極限為0總之：附：非常返狀態(tài)極限性質(zhì)證明定理4.13(1)

如果j

非常返，則證若j非常返，則由定理4.5，從而由定理4.4，對N<n，附：非常返狀態(tài)極限性質(zhì)證明定理4.13(1)如果j非固定N，先令n

，固定N，先令n，注：對于任意馬氏鏈，當(dāng)n→∞時(shí)，非常返狀態(tài)都有穩(wěn)態(tài)概率0.例如：非常返狀態(tài)2和3的穩(wěn)態(tài)概率為0.即注：對于任意馬氏鏈，當(dāng)n→∞時(shí)，非常返狀態(tài)都有穩(wěn)態(tài)概率0.狀態(tài)無限多時(shí)：推論1

有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，也不可能含有零常返狀態(tài)，從而不可約的有限狀態(tài)的馬氏鏈必為正常返的。推論2如馬氏鏈有一個(gè)零常返狀態(tài)，則必有無限多個(gè)零常返狀態(tài)。定理4.13(2)

如果j

零常返，則狀態(tài)無限多時(shí)：推論1有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)定理4.13(2)

如果j

零常返，則證

若j零常返，則由定理4.7推論，其他和非常返狀態(tài)類似定理4.13(2)如果j零常返，則

推論1

有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，也不可能含有零常返狀態(tài)，從而不可約的有限狀態(tài)的馬氏鏈必為正常返的。證設(shè)I={0,1,

,N}，如I全是非常返狀態(tài)，則對任意i,j

I，由定理4.13知故矛盾。推論1有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，也不可能含如I含有零常返狀態(tài)i，則C={j:i

j}是有限不可約閉集，由定理4.10知，C中均為零常返狀態(tài)，由定理4.13知，由引理4.5知所以如I含有零常返狀態(tài)i，則C={j:ij}是有限不可約閉集，推論2如馬氏鏈有一個(gè)零常返狀態(tài)，則必有無限多個(gè)零常返狀態(tài)。證設(shè)i為零常返狀態(tài)，則C={j:i

j}是不可約閉集，C中均為零常返狀態(tài)，故C不能是有限集。否則，推論2如馬氏鏈有一個(gè)零常返狀態(tài)，則必有