應(yīng)用隨機過程第五章

1、關(guān)于應(yīng)用隨機過程第五章第1頁，共124頁，2022年，5月20日，14點18分，星期三定義5.1：第2頁，共124頁，2022年，5月20日，14點18分，星期三定義5.2：定義5.3：2 . 轉(zhuǎn)移概率第3頁，共124頁，2022年，5月20日，14點18分，星期三注：有定義5.1知第4頁，共124頁，2022年，5月20日，14點18分，星期三第5頁，共124頁，2022年，5月20日，14點18分，星期三轉(zhuǎn)移矩陣的性質(zhì)：定義5.4：第6頁，共124頁，2022年，5月20日，14點18分，星期三3 . Markov鏈的例子例5.1：第7頁，共124頁，2022年，5月20日，14點18分，

2、星期三帶有兩個吸收壁的隨機游動：此時是一齊次馬氏鏈,狀態(tài)空間為為兩個吸收狀態(tài),它的一步轉(zhuǎn)移概率為：例5.2：第8頁，共124頁，2022年，5月20日，14點18分，星期三它的一步轉(zhuǎn)移概率矩陣為：第9頁，共124頁，2022年，5月20日，14點18分，星期三例5.3：第10頁，共124頁，2022年，5月20日，14點18分，星期三例5.4：第11頁，共124頁，2022年，5月20日，14點18分，星期三例5.5：第12頁，共124頁，2022年，5月20日，14點18分，星期三第13頁，共124頁，2022年，5月20日，14點18分，星期三4. n步轉(zhuǎn)移概率 C-K方程定義5.5（n步

3、轉(zhuǎn)移概率）第14頁，共124頁，2022年，5月20日，14點18分，星期三定理5.1: (Chapman-Kolmogorov方程，簡稱C-K方程)第15頁，共124頁，2022年，5月20日，14點18分，星期三例5.6：第16頁，共124頁，2022年，5月20日，14點18分，星期三例5.7: (隱Markov模型）或者為正面或者為反面.在任何給定時刻只有一枚硬呈現(xiàn)，但是有時硬幣可能被替換而不改變其正反面.硬幣M和W分別具有轉(zhuǎn)移概率在任何給定時刻硬幣被替換的概率為30%,替換完成時，硬幣的狀態(tài)不變. 這一Markov鏈有4個狀態(tài)，分別記為1:UM; 2:DM; 3:UW; 4:DW.狀

4、態(tài)1、3表示正面U,狀態(tài)2、4表示反面D轉(zhuǎn)移矩陣為44的矩陣.我們第17頁，共124頁，2022年，5月20日，14點18分，星期三可以計算轉(zhuǎn)移概率,比如,首先(無轉(zhuǎn)移),而后(無轉(zhuǎn)移).因此轉(zhuǎn)移概率為其他轉(zhuǎn)移概率類似可得，轉(zhuǎn)移方式為轉(zhuǎn)移概率矩陣為第18頁，共124頁，2022年，5月20日，14點18分，星期三例5.8:第19頁，共124頁，2022年，5月20日，14點18分，星期三帶有兩個反射壁的隨機游動：此時是一齊次馬氏鏈,狀態(tài)空間為為兩個反射狀態(tài),求它的一步轉(zhuǎn)移概率。作業(yè)1：第20頁，共124頁，2022年，5月20日，14點18分，星期三作業(yè)2:第21頁，共124頁，2022年，5

5、月20日，14點18分，星期三5.3 狀態(tài)的分類及性質(zhì)引入：第22頁，共124頁，2022年，5月20日，14點18分，星期三定義5.7注：定理5.3：第23頁，共124頁，2022年，5月20日，14點18分，星期三注：定義5.8:例1：第24頁，共124頁，2022年，5月20日，14點18分，星期三定義5.9 (周期性)規(guī)定：例2 (書5.14)注1：注2：第25頁，共124頁，2022年，5月20日，14點18分，星期三定理5.4：證明：板書。注: 當兩個狀態(tài)的周期相同時，有時其狀態(tài)之間 有顯著差異。如：第26頁，共124頁，2022年，5月20日，14點18分，星期三定義5.10:

6、(常返性)第27頁，共124頁，2022年，5月20日，14點18分，星期三注2：注3：注1：第28頁，共124頁，2022年，5月20日，14點18分，星期三例3定義5.11第29頁，共124頁，2022年，5月20日，14點18分，星期三例4第30頁，共124頁，2022年，5月20日，14點18分，星期三引理5.1 （ ）第31頁，共124頁，2022年，5月20日，14點18分，星期三定理5.5第32頁，共124頁，2022年，5月20日，14點18分，星期三引理5.2定理5.6第33頁，共124頁，2022年，5月20日，14點18分，星期三作業(yè)1：第34頁，共124頁，2022年，

7、5月20日，14點18分，星期三 閉集及狀態(tài)空間的分解定理 閉集：第35頁，共124頁，2022年，5月20日，14點18分，星期三 相關(guān)性質(zhì)：任何兩個狀態(tài)均互通所有常返態(tài)構(gòu)成一個閉集在不可約馬氏鏈中,所有狀態(tài)具有相同的狀態(tài)類型.第36頁，共124頁，2022年，5月20日，14點18分，星期三 狀態(tài)空間分解定理：定理5.7：第37頁，共124頁，2022年，5月20日，14點18分，星期三例5第38頁，共124頁，2022年，5月20日，14點18分，星期三例6：第39頁，共124頁，2022年，5月20日，14點18分，星期三作業(yè)1：第40頁，共124頁，2022年，5月20日，14點18

8、分，星期三周期鏈分解定理：定理5.8：第41頁，共124頁，2022年，5月20日，14點18分，星期三5.4 極限定理與不變分布5.4.1 極限定理第42頁，共124頁，2022年，5月20日，14點18分，星期三例8（書例5.17）(0-1傳輸系統(tǒng)）第43頁，共124頁，2022年，5月20日，14點18分，星期三第44頁，共124頁，2022年，5月20日，14點18分，星期三45推論 設(shè)i常返，則(1) i零常返(2) i遍歷定理5.9 設(shè)i常返且有周期為d，則其中i為i的平均返回時間.當i =時第45頁，共124頁，2022年，5月20日，14點18分，星期三46證:(1)i零常返,

9、 i=, 由定理5.9知，對d的非整數(shù)倍數(shù)的m，從而子序列i是零常返的第46頁，共124頁，2022年，5月20日，14點18分，星期三47(2) i是遍歷的，d=1，i ，子序列所以d=1，從而i為非周期的，i是遍歷的第47頁，共124頁，2022年，5月20日，14點18分，星期三定理5.10 結(jié)論： 第48頁，共124頁，2022年，5月20日，14點18分，星期三第49頁，共124頁，2022年，5月20日，14點18分，星期三(a)所有非常返狀態(tài)組成的集合不可能是閉集;(b)沒有零常返狀態(tài);(c)必有正常返狀態(tài);(d)不可約有限馬氏鏈只有正常返態(tài);(e)狀態(tài)空間可以分解為:其中：每個

10、均是由正常返狀態(tài)組成的有限不可約閉集，是非常返態(tài)集。第50頁，共124頁，2022年，5月20日，14點18分，星期三51注1： 有限狀態(tài)的馬氏鏈，不可能全是非常返狀態(tài)，也不可能含有零常返狀態(tài)，從而不可約的有限狀態(tài)的馬氏鏈必為正常返的。證 設(shè)S=0,1,N，如S全是非常返狀態(tài)，則對任意 i, jI，知 故矛盾。如S含有零常返狀態(tài) i，則C=j:ij是有限不可約閉集，由定理知，C中均為零常返狀態(tài)，知第51頁，共124頁，2022年，5月20日，14點18分，星期三52由引理知所以第52頁，共124頁，2022年，5月20日，14點18分，星期三53注2: 如馬氏鏈有一個零常返狀態(tài)，則必有無限多個

11、證 設(shè)i為零常返狀態(tài)，則C=j:ij是不可約閉集，C中均為零常返狀態(tài)，故C不能是有限集。否則零常返狀態(tài)。第53頁，共124頁，2022年，5月20日，14點18分，星期三54稱概率分布j , jI為馬爾可夫鏈的平穩(wěn)分布（不變分布），若設(shè)Xn,n0是齊次馬爾可夫鏈，狀態(tài)空間為I，轉(zhuǎn)移概率為pij5.4.2不變分布 (平穩(wěn)分布)與極限分布定義5.12一、不變分布 (平穩(wěn)分布)第54頁，共124頁，2022年，5月20日，14點18分，星期三55注：(1) 若初始概率分布 pj , jI 是平穩(wěn)分布，則(2) 對平穩(wěn)分布j , jI，有矩陣形式 = 其中 =(j)， ( )pj = pj(1)= p

12、j(2) = = pj(n)第55頁，共124頁，2022年，5月20日，14點18分，星期三56二、遍歷性的概念與極限分布對于一般的兩個狀態(tài)的馬氏鏈, 由上節(jié)內(nèi)容可知,意義對固定的狀態(tài)j,不管鏈在某一時刻的什么狀態(tài) i出發(fā), 通過長時間的轉(zhuǎn)移到達狀態(tài) j 的概率都趨第56頁，共124頁，2022年，5月20日，14點18分，星期三定義5.13第57頁，共124頁，2022年，5月20日，14點18分，星期三58或定義則稱此鏈具有遍歷性.第58頁，共124頁，2022年，5月20日，14點18分，星期三定理5.13第59頁，共124頁，2022年，5月20日，14點18分，星期三60定理 不可

13、約非周期馬爾可夫鏈是正常返的充要條件是存在平穩(wěn)分布，且此平穩(wěn)分布就是極限分布推論2 若不可約馬爾可夫鏈的所有狀態(tài)是非常返或零常返，則不存在平穩(wěn)分布.推論1 有限狀態(tài)的不可約非周期馬爾可夫鏈必存在 平穩(wěn)分布。第60頁，共124頁，2022年，5月20日，14點18分，星期三61推論3 若j , jI是馬爾可夫鏈的平穩(wěn)分布，則所取的值與初始狀態(tài)的分布無關(guān)。證：由于：故第61頁，共124頁，2022年，5月20日，14點18分，星期三62例1 設(shè)馬爾可夫鏈的轉(zhuǎn)移概率矩陣為求馬爾可夫鏈的平穩(wěn)分布及各狀態(tài)的平均返回時間。即，經(jīng)過無窮次轉(zhuǎn)移后處于狀態(tài)的概率與初始狀態(tài)無關(guān)，與初始狀態(tài)的分布也無關(guān)。第62頁，

14、共124頁，2022年，5月20日，14點18分，星期三63解 因為馬爾可夫鏈是不可約非周期有限狀態(tài)的，所以平穩(wěn)分布存在，設(shè)則 = P，1+2+3=1. 即各狀態(tài)的平均返回時間為 =(1, 2, 3 )第63頁，共124頁，2022年，5月20日，14點18分，星期三64例2 設(shè)馬爾可夫鏈轉(zhuǎn)移概率矩陣為求每一個不可約閉集的平穩(wěn)分布。第64頁，共124頁，2022年，5月20日，14點18分，星期三65解 從狀態(tài)轉(zhuǎn)移圖看出，狀態(tài)空間可分解為兩個不可約常返閉集 C1=2,3,4 和 C2=5,6,7，一個非常返集 N=1。在常返集上求平穩(wěn)分布：第65頁，共124頁，2022年，5月20日，14點1

15、8分，星期三66在C1上，對應(yīng)的轉(zhuǎn)移概率矩陣為C1上的平穩(wěn)分布為：0, 0.4, 0.2, 0.4, 0, 0, 0同理可求得 C2 上的平穩(wěn)分布為0, 0, 0, 0, 1/3, 1/3, 1/3第66頁，共124頁，2022年，5月20日，14點18分，星期三67三、(有限鏈)遍歷性的充分條件第67頁，共124頁，2022年，5月20日，14點18分，星期三68說明2. 極限分布轉(zhuǎn)化為了求解方程組.3. 在定理的條件下馬氏鏈的極限分布是平穩(wěn)分布.第68頁，共124頁，2022年，5月20日，14點18分，星期三69 試說明帶有兩個反射壁的隨機游動是遍歷的, 并求其極限分布(平穩(wěn)分布).解例

16、3四、應(yīng)用舉例 第69頁，共124頁，2022年，5月20日，14點18分，星期三70無零元,鏈是遍歷的第70頁，共124頁，2022年，5月20日，14點18分，星期三71代入最后一個方程 (歸一條件), 得唯一解第71頁，共124頁，2022年，5月20日，14點18分，星期三72所以極限分布為這個分布表明經(jīng)過長時間游動之后, 醉漢 Q 位于點 2 (或 3 或 4 ) 的概率約為 3/11, 位于點 1 (或 5) 的概率約為 1/11. 第72頁，共124頁，2022年，5月20日，14點18分，星期三73設(shè)一馬氏鏈的一步轉(zhuǎn)移概率陣為試討論它的遍歷性.解例4第73頁，共124頁，202

17、2年，5月20日，14點18分，星期三74表明此鏈不具遍歷性.第74頁，共124頁，2022年，5月20日，14點18分，星期三75五、小結(jié) 遍歷性的概念則稱此鏈具有遍歷性.第75頁，共124頁，2022年，5月20日，14點18分，星期三76 (有限鏈) 遍歷性的充分條件第76頁，共124頁，2022年，5月20日，14點18分，星期三作業(yè)1：作業(yè)2：書習題5.7第77頁，共124頁，2022年，5月20日，14點18分，星期三78第七節(jié) 連續(xù)時間馬爾可夫鏈定義7.1 設(shè)隨機過程X(t)，t 0 ，狀態(tài)空間及非負整數(shù) i1,i2, ,in+1 ，有PX(tn+1)=in+1|X(t1)=i1

18、, X(t2)=i2, X(tn)=in 則稱X(t)，t 0 為連續(xù)時間馬爾可夫鏈。I=0,1,2,，若對任意0t1 t2tn+1=PX(tn+1)=in+1|X(tn)=in，第78頁，共124頁，2022年，5月20日，14點18分，星期三79轉(zhuǎn)移概率：在s時刻處于狀態(tài)i，經(jīng)過時間t后轉(zhuǎn)移到狀態(tài)j的概率pij(s,t)= PX(s+t)=j|X(s)=i定義7.2 齊次轉(zhuǎn)移概率(與起始時刻 s 無關(guān)，只與時間間隔 t 有關(guān))pij(s,t)=pij(t)此時有轉(zhuǎn)移概率矩陣P(t)=(pij(t) ，i, jI，t 0.第79頁，共124頁，2022年，5月20日，14點18分，星期三80

19、記 i 為過程在狀態(tài)轉(zhuǎn)移之前停留在狀態(tài)i的時間，則對s, t 0 有(1)(2) i 服從指數(shù)分布證：(1) 事實上ss+t0iiiiti第80頁，共124頁，2022年，5月20日，14點18分，星期三81第81頁，共124頁，2022年，5月20日，14點18分，星期三82(2) 設(shè)i的分布函數(shù)為F(x), (x0),則生存函數(shù)由此可推出G(x)為指數(shù)函數(shù)，G(x)=e-x,則F(x)=1-G(x)=1- e-x為指數(shù)分布函數(shù)。G(x)=1-F(x)第82頁，共124頁，2022年，5月20日，14點18分，星期三83過程在狀態(tài)轉(zhuǎn)移之前處于狀態(tài)i的時間i服從指數(shù)分布(1)當i=時， 狀態(tài)i

20、的停留時間i 超過x的概率為0，則稱狀態(tài)i為瞬時狀態(tài)；(2)當i=0時， 狀態(tài)i的停留時間i 超過x的概率為1，則稱狀態(tài)i為吸收狀態(tài)。第83頁，共124頁，2022年，5月20日，14點18分，星期三84定理7.1 齊次馬爾可夫過程的轉(zhuǎn)移概率具有下列性質(zhì)：(1) pij(t)0;(2) (3) 證 由概率的定義，(1)(2)顯然成立，下證(3)第84頁，共124頁，2022年，5月20日，14點18分，星期三85 第85頁，共124頁，2022年，5月20日，14點18分，星期三86注： 此為轉(zhuǎn)移概率的正則性條件。第86頁，共124頁，2022年，5月20日，14點18分，星期三87例1 證明

21、泊松過程X(t),t0為連續(xù)時間齊次馬爾可夫鏈。證 先證泊松過程的馬爾可夫性。泊松過程是獨立增量過程，且X(0)=0，對任意0t1 t2 tn tn+1有第87頁，共124頁，2022年，5月20日，14點18分，星期三88另一方面即泊松過程是一個連續(xù)時間馬爾可夫鏈第88頁，共124頁，2022年，5月20日，14點18分，星期三89 再證齊次性。當ji時，當jk, a1(n)=0， a2(n)=0, a3(n)=1, 即從狀態(tài)3不會轉(zhuǎn)移到其它狀態(tài)。狀態(tài)與狀態(tài)轉(zhuǎn)移00150 0.1293 0.0326 0.8381 第107頁，共124頁，2022年，5月20日，14點18分，星期三馬氏鏈的基

22、本方程基本方程第108頁，共124頁，2022年，5月20日，14點18分，星期三馬氏鏈的兩個重要類型 1. 正則鏈 從任一狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達另外任一狀態(tài)（如例1）。w 穩(wěn)態(tài)概率第109頁，共124頁，2022年，5月20日，14點18分，星期三馬氏鏈的兩個重要類型 2. 吸收鏈 存在吸收狀態(tài)（一旦到達就不會離開的狀態(tài)i, pii=1）,且從任一非吸收狀態(tài)出發(fā)經(jīng)有限次轉(zhuǎn)移能以正概率到達吸收狀態(tài)（如例2）。第110頁，共124頁，2022年，5月20日，14點18分，星期三6.3 鋼琴銷售的存貯策略 鋼琴銷售量很小，商店的庫存量不大以免積壓資金 一家商店根據(jù)經(jīng)驗估計，平均每周的鋼

23、琴需求為1架存貯策略：每周末檢查庫存量，僅當庫存量為零時，才訂購3架供下周銷售；否則，不訂購。 估計在這種策略下失去銷售機會的可能性有多大，以及每周的平均銷售量是多少。 背景與問題第111頁，共124頁，2022年，5月20日，14點18分，星期三問題分析 顧客的到來相互獨立，需求量近似服從泊松分布，其參數(shù)由需求均值為每周1架確定，由此計算需求概率 存貯策略是周末庫存量為零時訂購3架 周末的庫存量可能是0, 1, 2, 3，周初的庫存量可能是1, 2, 3。用馬氏鏈描述不同需求導致的周初庫存狀態(tài)的變化。動態(tài)過程中每周銷售量不同，失去銷售機會（需求超過庫存）的概率不同。 可按穩(wěn)態(tài)情況（時間充分長

24、以后）計算失去銷售機會的概率和每周的平均銷售量。 第112頁，共124頁，2022年，5月20日，14點18分，星期三模型假設(shè) 鋼琴每周需求量服從泊松分布，均值為每周1架 存貯策略：當周末庫存量為零時，訂購3架，周初到貨；否則，不訂購。 以每周初的庫存量作為狀態(tài)變量，狀態(tài)轉(zhuǎn)移具有無后效性。 在穩(wěn)態(tài)情況下計算該存貯策略失去銷售機會的概率，和每周的平均銷售量。 第113頁，共124頁，2022年，5月20日，14點18分，星期三模型建立 Dn第n周需求量，均值為1的泊松分布 Sn第n周初庫存量(狀態(tài)變量 )狀態(tài)轉(zhuǎn)移規(guī)律 Dn 0 1 2 3 3P 0.368 0.368 0.184 0.061 0

25、.019狀態(tài)轉(zhuǎn)移陣 第114頁，共124頁，2022年，5月20日，14點18分，星期三模型建立 狀態(tài)概率 馬氏鏈的基本方程正則鏈 穩(wěn)態(tài)概率分布 w 滿足 wP=w已知初始狀態(tài)，可預測第n周初庫存量Sn=i 的概率n, 狀態(tài)概率 第115頁，共124頁，2022年，5月20日，14點18分，星期三第n周失去銷售機會的概率 n充分大時 模型求解 從長期看，失去銷售機會的可能性大約 10%。1. 估計在這種策略下失去銷售機會的可能性D 0 1 2 3 3P 0.368 0.368 0.184 0.061 0.019第116頁，共124頁，2022年，5月20日，14點18分，星期三模型求解 第n周平均售量從長期看，每周的平均銷售量為 0.857(架) n充分大時 需求不超過存量,銷售需求需求超過存量,銷售存量 思考：為什么這個數(shù)值略小于每周平均需求量1(架) ?2. 估計這種策略下每周的平均銷售量第117頁，共124頁，2022年，5月20日，14點18分，星期三敏感性分析 當平均需求在每周1 (架) 附近波動時，最終結(jié)果有多大變化。 設(shè)Dn服從均值為的泊松分布 狀態(tài)轉(zhuǎn)移陣 0.80.91.01.11.2P0.0730.0890.