應(yīng)用隨機(jī)過(guò)程課件 ch5 連續(xù)時(shí)間馬氏鏈

應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE12/77第五章連續(xù)時(shí)間馬氏鏈第五章連續(xù)時(shí)間馬氏鏈應(yīng)用隨機(jī)過(guò)程中國(guó)人民大學(xué)出版社本章內(nèi)容本章內(nèi)容1定義和例子1連續(xù)時(shí)間馬氏鏈的概念連續(xù)時(shí)間馬氏鏈的性質(zhì)轉(zhuǎn)移速率2連續(xù)時(shí)間馬氏鏈的例子轉(zhuǎn)移概率2柯?tīng)柲缏宸蛳蚝蠓匠剔D(zhuǎn)移概率的求解3極限行為3

平穩(wěn)分布細(xì)致平衡條件4嵌入鏈4嵌入鏈的概念及特征利用嵌入鏈計(jì)算平穩(wěn)分布5離出時(shí)間和離出分布離出時(shí)間的計(jì)算離出分布的計(jì)算5連續(xù)時(shí)間馬氏鏈的概念連續(xù)時(shí)間馬氏鏈的概念連續(xù)時(shí)間馬氏鏈的概念定義和例子對(duì)于任意狀態(tài)i,j,i0,...,in連續(xù)時(shí)間馬氏鏈的概念定義和例子0≤s0<s1<···<sn<s，有：P(Xt+s=j|Xs=i,Xsn=in,...,Xs0=i0)=P(Xt+s=j|Xs=i)=P(Xt=j|X0=i)滿足上式的就是連續(xù)時(shí)間馬氏鏈。注意：在離散時(shí)間馬氏鏈中，時(shí)間和狀態(tài)均是離散的。而在連續(xù)時(shí)間馬氏鏈中，時(shí)間是連續(xù)的，狀態(tài)是離散的。從時(shí)刻s的狀態(tài)i到時(shí)刻(t+s)的狀態(tài)j的概率，只依賴(lài)于時(shí)間間隔t，而與起始時(shí)間s無(wú)關(guān)。注意：在離散時(shí)間馬氏鏈中，時(shí)間和狀態(tài)均是離散的。而在連續(xù)時(shí)間馬氏鏈中，時(shí)間是連續(xù)的，狀態(tài)是離散的。定義和例子 定義和例子 連續(xù)時(shí)間馬氏鏈的概念連續(xù)時(shí)間馬氏鏈的概念(cont.)為了便于區(qū)分，離散時(shí)間馬氏鏈經(jīng)過(guò)n步，從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的概率記作pn(i,)（注意：n是以上標(biāo)形式體現(xiàn)，即：pn(i,j)=P(Xt+n=j|Xt=i)=P(Xn=j|X0=i), n,t∈Zh>0ij的概率記作h(,j)（注意：h是以下標(biāo)形式體現(xiàn)，即：ph(i,j)=P(Xt+h=j|Xt=i)=P(Xh=j|X0=i), h,t∈R+此處的連續(xù)時(shí)間馬氏鏈仍然假設(shè)其具有時(shí)間齊次性。定義和例子 定義和例子 連續(xù)時(shí)間馬氏鏈的性質(zhì)連續(xù)時(shí)間馬氏鏈的性質(zhì)——p(is,k)p(kt,j)=ps+t(i,j)kC-KC-K方程：

i k j0 s s+ts t與離散時(shí)間馬氏鏈類(lèi)似，由連續(xù)時(shí)間馬氏鏈的C-K方程也可以得到如下不等式：ps+t(i,j)≥ps(i,k)·pt(k,j), ?k定義和例子 定義和例子 連續(xù)時(shí)間馬氏鏈的性質(zhì)連續(xù)時(shí)間馬氏鏈的相關(guān)定理假設(shè)Ti是連續(xù)時(shí)間馬氏鏈停留在狀態(tài)i的時(shí)長(zhǎng)，則Ti服從指數(shù)分布。對(duì)于連續(xù)時(shí)間馬氏鏈，若對(duì)于某個(gè)t>0，有pt(i,j)>0，則對(duì)任意s>0，均有pt+s(i,j)>0。連續(xù)時(shí)間馬氏鏈中的所有狀態(tài)均是非周期的，因此無(wú)須考慮周期性。定義和例子 定義和例子 轉(zhuǎn)移速率轉(zhuǎn)移速率當(dāng)h→0時(shí)，引入轉(zhuǎn)移速率q(i,j)，即：q(i,j)=limph(i,j)=limP(Xt+h=j|Xt=i)h→0 h h→0 h其中，q(i,j)表示從狀態(tài)i跳到j(luò)的轉(zhuǎn)移速率。在連續(xù)時(shí)間馬氏鏈中，除了要考慮某一時(shí)刻馬氏鏈處于什么狀態(tài)以外，還要關(guān)心它在離開(kāi)這個(gè)狀態(tài)之前會(huì)停留多長(zhǎng)時(shí)間。前面已經(jīng)證明了這個(gè)停留時(shí)間具備無(wú)記憶性，服從指數(shù)分布。通常在連續(xù)時(shí)間下，通過(guò)轉(zhuǎn)移速率來(lái)描述系統(tǒng)更為簡(jiǎn)單。轉(zhuǎn)移速率轉(zhuǎn)移速率q(i,j)的性質(zhì)轉(zhuǎn)移速率定義和例子q(i,i)≤0, i=1,2,...,轉(zhuǎn)移速率定義和例子寸q(i,j)≥0,i?=j, i,j=1,2,...,N寸Nj=1

q(i,j)=0, i=1,2,...,N由于狀態(tài)間的轉(zhuǎn)移是發(fā)生在狀態(tài)空間內(nèi)，因此總的轉(zhuǎn)移速率應(yīng)當(dāng)為AB處的xBA?x，流速之和仍然為零。q(ijjq(ij0i是吸收態(tài)。此時(shí)的轉(zhuǎn)移速率均為零，對(duì)應(yīng)到轉(zhuǎn)移速率矩陣上，體現(xiàn)為狀態(tài)i一行的元素取值均為零，說(shuō)明馬氏鏈將永遠(yuǎn)停留在狀態(tài)i處。應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE9/77寸Nj=1q(i,j)=0的含義q(i,j)寸Nj=1q(i,j)=0的含義q(i,j)可看成是轉(zhuǎn)移概率ph(i,j)關(guān)于時(shí)間h的導(dǎo)數(shù)。轉(zhuǎn)移速率定義和例子寸h→0 h寸由于 j∈Sph(i,j)=1，即轉(zhuǎn)移概率之和是常數(shù)1，所以其對(duì)時(shí)間h的導(dǎo)數(shù)為0，即：j∈Sj∈Sj∈Sj∈Sj∈Sj∈Sh→0hh→0hlim1—h(,j)=—「limh(,j)1j∈Sj∈Sj∈Sj∈Sj∈Sj∈Sh→0hh→0h因此總的轉(zhuǎn)移速率之和應(yīng)當(dāng)為零。定義和例子 定義和例子 轉(zhuǎn)移速率轉(zhuǎn)移速率矩陣 q(1,1) q(1,2) ··· q(1 Q= q(2,1) q(2,2) ··· q(2,N . . . q(N,1)q(N,2)··· q(N,N)—需要注意的是，由于轉(zhuǎn)移速率矩陣每行元素之和等于零，因此該矩q(ii)的絕對(duì)值應(yīng)當(dāng)?shù)扔谠撔衅渌刂停矗骸獆(i,)|= q(i,k), ?ik?=i記i=|(i,i)|=?q(,i)，這里的i就是離開(kāi)狀態(tài)i的速率。定義和例子 定義和例子 連續(xù)時(shí)間馬氏鏈的例子舉例1：泊松過(guò)程N(yùn)(t)表示速率為λ的泊松過(guò)程到時(shí)刻t為止的到達(dá)數(shù)。對(duì)于任意時(shí)間段h，到達(dá)數(shù)由n增加到(n+1)的概率為：ph(

n,n

+1)=

(λh)1e?λh1!

=λhe?λh3!2因此：3!2

λh「1λh+

1(λh)2?1(λh)3+···1q(n,n+1)=limh(n,n+1)「?3!h→0 「?3!2=limλ1 λh+2h→0

1(λh)2?1(λh)3+···1=λ定義和例子 定義和例子 連續(xù)時(shí)間馬氏鏈的例子泊松過(guò)程(cont.)在時(shí)間h內(nèi)至少經(jīng)歷兩步轉(zhuǎn)移的概率為：=1?（e?λh+λe?λh）=1?(1+λh)e?λhP[=1?（e?λh+λe?λh）=1?(1+λh)e?λh3!2因此：3!2

=1?(1+λh)「1?λh+1(λh)2?1(λh)3+···1P[N(t+h)≥n+2|N(t)=n] 12

132h =2λh?3λhlimP[N(t+h)≥n+2|N(t)=n]=o(h)

+···從而：

h→0 hq(n,n+k)=0, k≥2因此，在到達(dá)發(fā)生的速率為λ的泊松過(guò)程中，到達(dá)數(shù)N(t)由n增加到(n+1)的速率為λ，其余情形下超過(guò)兩步的轉(zhuǎn)移速率為0，即：q(n,n+k)=0, q(n,n+k)=0, k≥2

?n≥0?λ λ 0 0 ··· 0 ?λ λ 0 · Q= 0 0 ?λ λ ···0 0 0 ?λ··應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE14/77泊松過(guò)程的轉(zhuǎn)移速率圖泊松過(guò)程的轉(zhuǎn)移速率圖連續(xù)時(shí)間馬氏鏈的例子定義和例子q(n,n連續(xù)時(shí)間馬氏鏈的例子定義和例子q(n,n+k)=0, k≥2

?n≥0λ λ λ λ泊松過(guò)程屬于計(jì)數(shù)過(guò)程，因此m>n時(shí)，q(m,n)=0泊松過(guò)程屬于計(jì)數(shù)過(guò)程，因此m>n時(shí)，q(m,n)=0。說(shuō)明：應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE15/77舉例舉例2：生滅過(guò)程連續(xù)時(shí)間馬氏鏈的例子定義和例子{012N的生滅過(guò)程（birth-and-deathprocess）λnμ連續(xù)時(shí)間馬氏鏈的例子定義和例子q(n,n+1)=λn, n=0,1,2,...,N?1q(n,n?1)=μn, n=1,2,...,N相應(yīng)的轉(zhuǎn)移速率矩陣Q如下：?λ0 λ0 0 0 ··· μ1 ?(λ1+μ1) λ1 0 ··· 0 0 ..Q= 0 μ2 ?(λ2+μ2)λ2 ··· 0 0. . .

. ... .0 0 0 0 μN(yùn)?1 ?(λN?1+μN(yùn)?1)λN?10 0 0 0 ··· μN(yùn) ?μN(yùn)應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE16/77生滅過(guò)程的轉(zhuǎn)移速率圖生滅過(guò)程的轉(zhuǎn)移速率圖連續(xù)時(shí)間馬氏鏈的例子定義和例子q(n,n+1)=λn, n=0,1,2,...,N?連續(xù)時(shí)間馬氏鏈的例子定義和例子q(n,n?1)=μn, n=1,2,...,Nλ0 λ1 λ2 λ30 1 2 3μ1 μ2 μ3 μ4

···

λN?1NμN(yùn)應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE17/77舉例舉例3：純生過(guò)程連續(xù)時(shí)間馬氏鏈的例子定義和例子當(dāng)μ=0時(shí)，生滅過(guò)程稱(chēng)為純生過(guò)程（pure-birthprocess連續(xù)時(shí)間馬氏鏈的例子定義和例子q(n,n+1)=λn, n=0,1,2,...q(n,n?1)=0, n=1,2,...相應(yīng)的轉(zhuǎn)移速率矩陣Q如下：?λ0 λ0 0 0 ·?λ0 λ0 0 0 ···Q=0 0 ?λ2 λ2 ··應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE18/77純生過(guò)程的轉(zhuǎn)移速率圖純生過(guò)程的轉(zhuǎn)移速率圖連續(xù)時(shí)間馬氏鏈的例子定義和例子λ0 λ1 λ連續(xù)時(shí)間馬氏鏈的例子定義和例子泊松過(guò)程可看作轉(zhuǎn)移速率不變（λn=λ）的純生過(guò)程。注意：0 1 2 ·泊松過(guò)程可看作轉(zhuǎn)移速率不變（λn=λ）的純生過(guò)程。注意：應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE19/77舉例舉例4：M/M/s排隊(duì)系統(tǒng)連續(xù)時(shí)間馬氏鏈的例子定義和例子顧客按速率λ到達(dá)，柜臺(tái)有s個(gè)服務(wù)窗口，對(duì)每個(gè)顧客的服務(wù)時(shí)間相互獨(dú)立且服從速率為連續(xù)時(shí)間馬氏鏈的例子定義和例子q(n,n+1)=λ, n=0,1,2,...s?1sμ, n≥sq(n,n?1)=nμ, 0≤sμ, n≥s(nsnμ(ns時(shí)，所有服務(wù)窗口都在sμ。應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE20/77舉例舉例4：M/M/s排隊(duì)系統(tǒng)(cont.)連續(xù)時(shí)間馬氏鏈的例子連續(xù)時(shí)間馬氏鏈的例子定義和例子質(zhì)：τ1τ2τnE(λ)，下式成立：τ=min(τ1,τ2,...,τn)～E(nλ)因此，在有n位顧客正在接受服務(wù)的情況下，最先結(jié)束服務(wù)離開(kāi)的時(shí)間就是τ，相應(yīng)的離開(kāi)速率即為nλ。λ λ λ0 1 2μ 2μ 3μ

···

λ λssμ sμ

···定義和例子 定義和例子 連續(xù)時(shí)間馬氏鏈的例子舉例5：分支過(guò)程假設(shè)每個(gè)個(gè)體死亡的速率為μ；生育一個(gè)新個(gè)體的速率為λ，則有：q(n,n+1)=nλ, q(n,n?1)=nμλ0 1μ 2μ

2λ2 ···3μ

(n?1)λnnμ

nλ說(shuō)明：(n+1)μ說(shuō)明：

···當(dāng)當(dāng)μ=0時(shí)，該過(guò)程也稱(chēng)為尤爾過(guò)程（uleprocess。轉(zhuǎn)移概率 轉(zhuǎn)移概率 柯?tīng)柲缏宸蛳蚝蠓匠炭聽(tīng)柲缏宸蛳蚝蠓匠虒0,t+h]拆分成[0,h]和[h,t+h]狀態(tài)時(shí)刻時(shí)間段

i k j0 h t+hh tkp+h(i,)?pt(i,j)=「—ph(i,k)t(k,j)l?pt(i,j)k— = ph(i,k)pt(k,j)+[ph(i,i)?1]pt(i,— k?=i對(duì)上式兩端同時(shí)除以h，并令h→0。轉(zhuǎn)移概率?=i?=i柯?tīng)柲缏宸蛳蚝蠓匠蘦→0hh→0hh→0hp′(ijq(ik)pt(kj「limph(ii11pt(ij)limt+h(i,j)?t(i,j)=lim?=i?=i柯?tīng)柲缏宸蛳蚝蠓匠蘦→0hh→0hh→0hp′(ijq(ik)pt(kj「limph(ii11pt(ij)tkilimlimph(i,i)?1=?lim—h(i,k)=?—q(i,k)=q(i,i)

h→0 h因此：

h→0 h

h→0ki h

k?=i—t?=ih→0hp′(i,j)=—q(i,k)pt(k,j)?「lim1?ph(i,i)1pt—t?=ih→0h= q(i,k)pt(k,j)+q(i,i)pt(i,j)—k?=i—= q(i,k)pt(k,j)k應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE24/77轉(zhuǎn)移概率對(duì)應(yīng)的矩陣形式如下：

j)= q(i,k)pt(k,j)柯?tīng)柲缏宸蛳蚝蠓匠獭聽(tīng)柲缏宸蛳蚝蠓匠獭猼(1,1)··· pt(1,) q(1,1)··· q(1,n)t(1,1)··· t(1,n) 1)··· n) = q(2,1)··· q(2,n) pt(2,1)··· pt(2, . .

.

. . . ppt(n,1)··· pt(n,n)1)··· n)q(n,1)··· q(n,n)pt(n,1)··· pt(n,n)使用矩陣符號(hào)，上式可簡(jiǎn)寫(xiě)為：dPtdt=QPtvbackwardequationQ[0th[0h[hth]。轉(zhuǎn)移概率 轉(zhuǎn)移概率 柯?tīng)柲缏宸蛳蚝蠓匠膛e例6：泊松過(guò)程的柯?tīng)柲缏宸蛳蚝蠓匠碳僭O(shè)泊松過(guò)程的速率為λ，因此：q(i,i+1)=λ, q(i,i)=?λ根據(jù)p′t(i,j)=寸kq(i,k)pt(k,j)，可得：p′t(i,j)=q(i,i+1)pt(i+1,j)+q(i,i)pt(i,j)=λpt(i+1,j)?λpt(i,j)轉(zhuǎn)移概率 轉(zhuǎn)移概率 柯?tīng)柲缏宸蛳蚝蠓匠膛e例7：生滅過(guò)程的柯?tīng)柲缏宸蛳蚝蠓匠碳僭O(shè)生滅過(guò)程的出生速率為λn，死亡速率為μn，因此：q(n,n+1)=λn, q(n,n?1)=μn, q(n,n)=?(λn+μn)根據(jù)p′t(n,m)=寸kq(n,k)pt(k,m)，可得：(n,m)=q(n,n+1)pt(n+1,m)+q(n,n?1)pt(n?1,m)+q(n,n)pt(n,m)=λnpt(n+1,m)+μnpt(n?1,m)?(λn+μn)pt(n,m)轉(zhuǎn)移概率 轉(zhuǎn)移概率 柯?tīng)柲缏宸蛳蚝蠓匠炭聽(tīng)柲缏宸蛳蚯胺匠蘙0th][0t][tth]，那么得到的方程稱(chēng)為柯?tīng)?Kolmogorovforwardequation)，使用矩陣符號(hào)可以簡(jiǎn)寫(xiě)為：dPtdt=PtQ轉(zhuǎn)移概率 轉(zhuǎn)移概率 轉(zhuǎn)移概率的求解轉(zhuǎn)移概率的求解根據(jù)微分方程的知識(shí)，以下方程的通解為P(t)=Ceat：dP(t)dt =aP(t)在多維情形下也有類(lèi)似的結(jié)論。由于：因此：

dPtdt=QPt,

dPtdt=PtQPt=eQt其中，Q是轉(zhuǎn)移速率矩陣；Pt是轉(zhuǎn)移概率矩陣。舉例舉例轉(zhuǎn)移概率的求解轉(zhuǎn)移概率「 l考慮兩狀態(tài){0,轉(zhuǎn)移概率的求解轉(zhuǎn)移概率「 lQ=?1 12 ?2要計(jì)算轉(zhuǎn)移概率矩陣Pt，就要求得eQt。轉(zhuǎn)移概率 轉(zhuǎn)移概率 轉(zhuǎn)移概率的求解舉例(cont.)將矩陣Q對(duì)角化：Q→Λ，相應(yīng)地：eQt→eΛt=diag（eλ1t,eλ2t,...,eλnt）diag(λ1λ2λn)Q0?3，相應(yīng)的矩陣可寫(xiě)為：其中：

「1 1l

Q=XΛX?1「0 0l ? 「2 1l1111X=1?2

, Λ= , X1= 3 30?3 3 ?3相應(yīng)地：Pt=eQt=XeΛtX?1「1 0l?

「2 1l11

?t「1

?1l22=X0e?3t

X1= 323

3 +e3 3 323 ?3 32最終可得轉(zhuǎn)移概率矩陣：Qt

「2 1l11

?t「1

?1l22Pt=e = 323

3 +e3 3 323 ?3 32=3333「2+1e?3t 1?1e?3tl=333333332?2e?3t 1+2e?3t3333Pt=3333「2+1e?3t 1?1e?Pt=333333332?2e?3t 1+2e?3t3333當(dāng)t→2 1limPt= 3 333t→∞ 2 133該連續(xù)時(shí)間馬氏鏈的平穩(wěn)分布為2 1π1=3, π2=3極限行為 極限行為 平穩(wěn)分布不可約馬氏鏈如果對(duì)任意狀態(tài)如果對(duì)任意狀態(tài)i和j，都有可能從i經(jīng)過(guò)有限步轉(zhuǎn)移到j(luò)，則稱(chēng)馬氏鏈?zhǔn)遣豢杉s的，即，存在狀態(tài)序列k0=i,k1,...,kn=j，使得q(km?1,km)>0(1≤m≤n)。定義定理如果一個(gè)連續(xù)時(shí)間馬氏鏈Xt不可約，且t>0，則pt(i,j)>0。如果一個(gè)連續(xù)時(shí)間馬氏鏈Xt不可約，且具有平穩(wěn)分布π，則：定義定理limpt(i,j)=π(j)t→∞平穩(wěn)分布平穩(wěn)分布平穩(wěn)分布極限行為平穩(wěn)分布極限行為當(dāng)且僅當(dāng)πQ=0時(shí)，π是一個(gè)平穩(wěn)分布。定理在離散時(shí)間下，平穩(wěn)分布是πP=π的一個(gè)解；而在連續(xù)時(shí)間下，?tπPtπPtπ當(dāng)且僅當(dāng)πQ=0時(shí)，π是一個(gè)平穩(wěn)分布。定理應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE35/77平穩(wěn)分布平穩(wěn)分布(cont.)簡(jiǎn)單證明平穩(wěn)分布極限行為由概率平穩(wěn)性的定義可知：πPt=π簡(jiǎn)單證明平穩(wěn)分布極限行為dPtdt=PtQ方程兩端同時(shí)左乘平穩(wěn)概率π，可得：d(πPt)dt =(πPt)Qdπdt=πQ由于平穩(wěn)概率π與時(shí)間t無(wú)關(guān)，因此可得：πQ=0應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE36/77舉例舉例7：天氣鏈平穩(wěn)分布極限行為某地的天氣有三種狀態(tài)，分別為晴、霧、雨。已知晴天的持續(xù)時(shí)間3天的指數(shù)分布，隨后會(huì)變?yōu)殪F天；霧天的持續(xù)時(shí)間服從均4平穩(wěn)分布極限行為33?1 1 03344Q=0 ?1 144思路：求每種天氣所占的比例。思路：

1 0 ?1根據(jù)根據(jù)πQ=0計(jì)算。應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE37/77天氣鏈天氣鏈(cont.)平穩(wěn)分布極限行為平穩(wěn)分布極限行為?1+π3=03 12?π1131?12?π1131?4π=01π2=0.5

=0.3751 212+π2+π3134π2+π2+π313

π==1

=0.12522因此，晴天、霧天和雨天所占的比例分別為37.5%、50%和12.5%。應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社38/77使用軟件求解使用軟件求解平穩(wěn)分布極限行為平穩(wěn)分布極限行為?π1+π3=013 13?1=011π1?4π2=3?1=011π1?4π2=031π1?π3331+π2+π34ππ1π21+π2+π34ππ

31 42+π++π+π=1=1 1 2=11231+π2+1+π2+π3=1刪減后的方程組的矩陣-向量形式如下：0 ?110 ?11=? πA=bπ1π1 π2 π3001＿3 3 ＿ 4 001001

1 0 1、 .,

、 .,極限行為 極限行為 平穩(wěn)分布使用軟件求解(cont.)應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE39/77對(duì)矩陣-向量形式的方程進(jìn)行運(yùn)算，可得：將數(shù)值代入計(jì)算，可得：

π=bA?10 ?10 ?1001001＿3 3 001 40014001 40014π=π=bA?1=π的結(jié)果剛好就是對(duì)應(yīng)的A?1的最后一行。π=0.3750.50.125＿極限行為 極限行為 細(xì)致平衡條件細(xì)致平衡條件連續(xù)時(shí)間馬氏鏈，若對(duì)?j?=k，均有：π(k)q(k,j)=π(j)q(j,k)離散時(shí)間馬氏鏈的細(xì)致平衡條件：π(k)離散時(shí)間馬氏鏈的細(xì)致平衡條件：π(k)p(k,j)=π(j)p(j,k)對(duì)比：細(xì)致平衡條件細(xì)致平衡條件(cont.)細(xì)致平衡條件細(xì)致平衡條件極限行為π(k)q(k,j)=π(j)q(j,k), ?j?=k則π是一個(gè)平穩(wěn)分布。可以根據(jù)此定理，利用細(xì)致平衡條件，進(jìn)而求得平穩(wěn)分布π，從而不必通過(guò)πQ=0來(lái)求平穩(wěn)分布。應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE42/77舉例舉例8：生滅鏈細(xì)致平衡條件極限行為考慮狀態(tài)空間為S={0,1,...,N細(xì)致平衡條件極限行為q(n,n+1)=λn, n<Nq(n,n?1)=μn, n>0求其平穩(wěn)分布。應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE43/77生滅鏈生滅鏈(cont.)細(xì)致平衡條件細(xì)致平衡條件極限行為π(n)q(n,n+1)=π(n+1)q(n+1,n)π(n)λn=π(n+1)μn+1因此：

π(n+1)π(n)

=λnμn+1π(n+1)·π(n)·····π(1)=λn·λn?1·····λ0π(n)

π(n?1)

π(0)

μn+1 μn μ1從而：

π(n+1)=λn·λn?1·····λ0π(0)μn+1·μn·····μ1·π(n)=λn?1·λn?2·····λ0π(0), 0<n<N·μn·μn?1·····μ1其中，π(n)是生滅鏈中狀態(tài)n的平穩(wěn)概率。應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE44/77極限行為細(xì)致平衡條件舉例9：M/M/∞排隊(duì)系統(tǒng)細(xì)致平衡條件狀態(tài)S={0,1,...}，其轉(zhuǎn)移速率如下：q(n,n+1)=λ, q(n,n?1)=nμM/MM/M/s(s可看作生滅過(guò)程的特殊形式。μn=nμ,λ0=λ1=···=λ思路：應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE45/77極限行為細(xì)致平衡條件M/M/∞排隊(duì)系統(tǒng)(cont.)細(xì)致平衡條件根據(jù)生滅鏈的公式可得：λn?1·λn?2·····λ0

λn (λ/μ)nπ(n)=

μn·μn?1

·····μ1

π(0)=n!μnπ(0)=

n! π(0)進(jìn)一步地，由于概率要滿足完備性，因此：—π(n)=—π(n)=—λπ(0)=π(0)·—(λ/μ)=1因此：最終可得：

n=0

n=0

n!μnπ(0)=e?λ/μ

n!n=0(λ/μ)n

?λ/μπ(n)=

n! ·e由此可見(jiàn)，M/M/∞排隊(duì)系統(tǒng)的平穩(wěn)分布π服從均值為λ/μ的泊松分布。應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE46/77舉例舉例10：理發(fā)店問(wèn)題細(xì)致平衡條件極限行為3（這里以每小時(shí)的顧客數(shù)為單位，即每位顧客的理發(fā)時(shí)間服從均值為20分鐘的指數(shù)分布，假設(shè)顧客按照細(xì)致平衡條件極限行為2222220 1 2 33 3 3思路：轉(zhuǎn)移速率圖極限行為 極限行為 細(xì)致平衡條件理發(fā)店問(wèn)題(cont.)該問(wèn)題中的狀態(tài)空間S={0,1,2,3}，其對(duì)應(yīng)的轉(zhuǎn)移速率如下：q(n,n?1)=3, n=1,2,3(,q(n,n?1)=3, n=1,2,3根據(jù)細(xì)致平衡條件π(n)q(n,n+1)=π(n+1)q(n+1,n)，有：π(0)q(0,1)=π(1)q(1,π(1)q(0,2)=π(2)q(2,1)π(2)(0,3)=π(3)(3,2)

π(0)=3π(1)22π(1)=3π(2)?π(2)=3π(3)?π(0)π(1)π(2)π(3)1，可得：π(0)=

27, π(1)=65

18, π(2)=65

12 8, π(3)=65 65 若采用πQ=0 ? Q 0 3 ?5 20 0 3 ?3從而得到：

?2π0+3π1=0π0?π1+3π2=022π1?5π2+3π3=0

27=π1=1812π=π1=1812π? 65?652π2

?3π3=0

π2=65π0+π1+ππ0+π1+π2+π3=165應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE49/77嵌入鏈嵌入鏈定義嵌入鏈的概念及特征嵌入鏈嵌入鏈（定義嵌入鏈的概念及特征嵌入鏈對(duì)于轉(zhuǎn)移速率矩陣為Q的連續(xù)時(shí)間馬氏鏈而言，滿足如下條件的r(i,j)所構(gòu)成的就是對(duì)應(yīng)的嵌入鏈。r(i,j)=

q(i,j)寸i?=jq寸

(i,j)=q(i), i?=j0, i=j其中，q(i,j)是轉(zhuǎn)移速率矩陣Q的對(duì)應(yīng)元素，q(i)是離開(kāi)狀態(tài)i的速率，并且q(i)=?q(i,i)。應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE50/77理發(fā)店問(wèn)題回顧理發(fā)店問(wèn)題回顧嵌入鏈的概念及特征嵌入鏈狀態(tài)空間S={0,1,2,3}對(duì)應(yīng)的轉(zhuǎn)移速率矩陣嵌入鏈的概念及特征嵌入鏈Q(jìng)= 3200?5Q= 3200?5203?52003?30 550 1 0 03025302500 3 0 20 0 1 00 0 1 0 5 50 0 1 0R0 0 1 0R=0 0 1 0嵌入鏈 嵌入鏈 嵌入鏈的概念及特征理發(fā)店問(wèn)題(cont.)3 0 25 30250R=50 1R=50 1 0 0 5 50 0 1 0這里轉(zhuǎn)移概率的取值是假設(shè)轉(zhuǎn)移服從速率為q(i,j)的指數(shù)分布，并利用指數(shù)分布的性質(zhì)得到的。注意：i這里轉(zhuǎn)移概率的取值是假設(shè)轉(zhuǎn)移服從速率為q(i,j)的指數(shù)分布，并利用指數(shù)分布的性質(zhì)得到的。注意：Q=R=3003 ?5 2 0525?2 2 0 0Q=R=3003 ?5 2 05250 3 ?5 20 0 3 0 0 3

0 3

0 20 0 3 0 0 1 00 0 1 0 5 50 0 3 0 0 1 00 0 1 0從狀態(tài)1轉(zhuǎn)移到狀態(tài)0的速率為3，轉(zhuǎn)移到狀態(tài)2的速率為2，因此從狀態(tài)1首先轉(zhuǎn)移到狀態(tài)0的概率為：P(X

=0|X

=1)=P[T

3 31122+35=min(T,T1122+35τ00類(lèi)似地，從狀態(tài)1首先轉(zhuǎn)移到狀態(tài)2的概率為：τ00τP(Xτ

=2|X

=1)=P[T

2 22122+35=min(T,T2122+35應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE53/77泊松過(guò)程的嵌入鏈泊松過(guò)程的嵌入鏈嵌入鏈的概念及特征嵌入鏈q(ii1)λq(ii?嵌入鏈的概念及特征嵌入鏈r(i,i)=0, r(i,i+1)=1相應(yīng)的轉(zhuǎn)移速率矩陣與嵌入鏈的轉(zhuǎn)移概率矩陣分別如下： ?λ λ 0 0 0 0 · Q= 0 Q= 0 0 ?λ λ 0 0 ···0 0 0 ?λ λ 0 ···...0 0 0 0 ?λλ·· . . . .

010000··· R= 000100···000010···...000001·· . . . . . . . . . . . . . . 應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE54/77有吸收態(tài)的嵌入鏈有吸收態(tài)的嵌入鏈嵌入鏈的概念及特征嵌入鏈嵌入鏈的概念及特征嵌入鏈000?2010?3002000100?40Q=Q=0 1000 0300 0對(duì)于有吸收態(tài)i的連續(xù)時(shí)間馬氏鏈，q(i,i)=0。同時(shí)，與之對(duì)應(yīng)的嵌入鏈轉(zhuǎn)移概率r(i,i)=1。上面的轉(zhuǎn)移速率矩陣Q有兩個(gè)吸收態(tài)1和5。于是對(duì)應(yīng)的嵌入鏈轉(zhuǎn)移概率矩陣R如下：0001/201/20001/201/2001/302/301/4000001R= 0R= 0

003/40嵌入鏈 嵌入鏈 嵌入鏈的概念及特征嵌入鏈轉(zhuǎn)移概率的特點(diǎn)嵌入鏈的轉(zhuǎn)移概率與連續(xù)時(shí)間馬氏鏈的轉(zhuǎn)移概率的不同之處在于，前者并未考慮時(shí)間因素，只關(guān)心狀態(tài)與狀態(tài)之間的轉(zhuǎn)移概率。嵌入鏈 嵌入鏈 利用嵌入鏈計(jì)算平穩(wěn)分布嵌入鏈根據(jù)πQ=0可得：iij—π(i)q(i,j)=0 ? —π(i)q(i,j)=π(j)q(j)iij定義ψ(i)=π(i)q((寸i

jπ(i)q(ij寸

i?=j

ψ(i)(i,j)

i?=j

ψ(i)r(i,j)因此：

π(j)q(j)=ψ(j)

ψ(j)=—ψ(i)r(i,j)ijijijij其中，r(i,j)是嵌入鏈對(duì)應(yīng)的轉(zhuǎn)移概率，反映了連續(xù)時(shí)間馬氏鏈狀態(tài)之間轉(zhuǎn)移的概率。矩陣矩陣-向量形式利用嵌入鏈計(jì)算平穩(wěn)分布嵌入鏈—ψ(j)= ψ(i)r(i,利用嵌入鏈計(jì)算平穩(wěn)分布嵌入鏈—i?=j上式的矩陣-向量形式如下：

ψR(shí)=ψ可根據(jù)該性質(zhì)，通過(guò)嵌入鏈R計(jì)算連續(xù)時(shí)間馬氏鏈的平穩(wěn)分布π?？筛鶕?jù)該性質(zhì)，通過(guò)嵌入鏈R計(jì)算連續(xù)時(shí)間馬氏鏈的平穩(wěn)分布π。注意：應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE58/77通過(guò)嵌入鏈計(jì)算平穩(wěn)分布的具體步驟通過(guò)嵌入鏈計(jì)算平穩(wěn)分布的具體步驟利用嵌入鏈計(jì)算平穩(wěn)分布嵌入鏈 1基于嵌入鏈R，利用ψR(shí)=ψ利用嵌入鏈計(jì)算平穩(wěn)分布嵌入鏈 1ψ=ψ(1)ψ(2)··· ψ(n)將得到的嵌入鏈平穩(wěn)分布中的各元素分別除以對(duì)應(yīng)的轉(zhuǎn)移速率矩陣主對(duì)角線元素的絕對(duì)值，即ψ(i)/q(i)，從而得到向量π，即： π=q(1)

ψ(2)q(2)

··· (n)＿最后對(duì)向量π進(jìn)行歸一化（normalize分布π，即：

1 1 ＿····π=A=A

ψ(1)

ψ(2)q(2)

ψ(n)q(n)k=1q(k)其中，Ak=1q(k)

ψ(k)。應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE59/77ππ(i)與ψ(i)的關(guān)系利用嵌入鏈計(jì)算平穩(wěn)分布嵌入鏈π(i)iψ(i衡量利用嵌入鏈計(jì)算平穩(wěn)分布嵌入鏈簡(jiǎn)言之，π關(guān)注花費(fèi)在各狀態(tài)上的時(shí)間所占的比重；ψ關(guān)注各狀態(tài)轉(zhuǎn)移的次數(shù)所占的比重。應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE60/77舉例：舉例：利用嵌入鏈計(jì)算平穩(wěn)分布嵌入鏈利用嵌入鏈計(jì)算平穩(wěn)分布嵌入鏈 Q= 2 ?4 24 4 ?8求該鏈的平穩(wěn)分布π。應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE61/77解法一解法一利用嵌入鏈計(jì)算平穩(wěn)分布嵌入鏈?zhǔn)褂忙蠶=利用嵌入鏈計(jì)算平穩(wěn)分布嵌入鏈?2π(1)+2π(2)+4π(3)=π(1)?4π(2)+4π(3)=0

π(1)=47? π(2)=27777π77π(1)+π(2)+π(3)=1π(3)=1應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE62/77解法二解法二利用嵌入鏈計(jì)算平穩(wěn)分布嵌入鏈 由轉(zhuǎn)移速率矩陣Q利用嵌入鏈計(jì)算平穩(wěn)分布嵌入鏈 0 0.50. R= 0 0.50.5 0由于該鏈?zhǔn)且粋€(gè)雙隨機(jī)鏈，因此：從而：

ψ= 1 1 1「1q(3)28612「1q(3)28612q(1)「ψq(1)

ψ(2)qq(2)

ψ(3)1「1/3

1/344

1/31=「1 1

112424應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE63/77解法二解法二(cont.)利用嵌入鏈計(jì)算平穩(wěn)分布利用嵌入鏈計(jì)算平穩(wěn)分布嵌入鏈A=1+1+1=7因此：

6 12 24 24A761224777π=1=24「1 1 11=「4 2 11A761224777不難看出，兩種解法得到的結(jié)果完全相同。不難看出，兩種解法得到的結(jié)果完全相同。不難看出，兩種解法得到的結(jié)果完全相同。不難看出，兩種解法得到的結(jié)果完全相同。離出時(shí)間和離出分布連續(xù)時(shí)間馬氏鏈吸收態(tài)的特征離出時(shí)間和離出分布連續(xù)時(shí)間馬氏鏈吸收態(tài)的特征Qi行的所有矩陣元素取值均為iR上，體現(xiàn)為r(ii)1r(ij)0,j?=i。為了繼續(xù)研究含吸收態(tài)的連續(xù)時(shí)間馬氏鏈，可以對(duì)其中的狀態(tài)進(jìn)行簡(jiǎn)單的分類(lèi)。其中的吸收態(tài)記作A，非常返態(tài)記作T，于是狀態(tài)空間S=A∪T，相應(yīng)的轉(zhuǎn)移速率矩陣Q可以表示成如下的分塊矩陣形式：「A「A0B0lQ=TA離出時(shí)間和離出分布 離出時(shí)間和離出分布 離出時(shí)間的計(jì)算離出時(shí)間離出時(shí)間，是指非常返態(tài)最終被吸收態(tài)所吸收的期望時(shí)長(zhǎng)。由于連i的停留時(shí)間服從指數(shù)分布，相應(yīng)的停留時(shí)間q(i)1/q(i)?！沢(i)表示從狀態(tài)i,i∈T，最終被吸收的期望時(shí)間。—g(i)=1+q(i)

r(i,j)g(j)—「 1j?=i,j∈—「 1=1+q(i) —j?=i, —

q(i,j)g(j)q(i)=1 1+q(i)

(i,j)(j)j?=i,j∈T離出時(shí)間的計(jì)算離出時(shí)間的計(jì)算離出時(shí)間的計(jì)算g(i)=1 1離出時(shí)間的計(jì)算q(i)

(i,j)(j)離出時(shí)間和離出分布 —j?=i離出時(shí)間和離出分布 —由于q(i)=?q(i,i)，上式可以進(jìn)一步化簡(jiǎn)：ji,∈T

q(i,j)g(j)+q(i,i)g(i)=?1—q(i,j)g(j)=?1—j∈T應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE67/77離出時(shí)間的計(jì)算離出時(shí)間的計(jì)算(cont.)離出時(shí)間的計(jì)算離出時(shí)間和離出分布—q(i,j)g(j)=離出時(shí)間的計(jì)算離出時(shí)間和離出分布—j∈T由于i,j∈T，因此q(i,j)對(duì)應(yīng)的是轉(zhuǎn)移速率矩陣Q的分塊矩陣A。于是上式可以進(jìn)一步表示為矩陣-向量形式如下：g=1 ? g=??1其中，A是(k×k)的分塊矩陣，當(dāng)中包含了k個(gè)非常返態(tài)；g與1均是(k×1)1各元素的取值均為。應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE68/77例題例題1離出時(shí)間的計(jì)算離出時(shí)間和離出分布121、2、離出時(shí)間的計(jì)算離出時(shí)間和離出分布提示：求病人的平均生存期。提示：

?2 1.5 0.0 0 0Q=0 ?.52.0 0 0本題中的狀態(tài)本題中的狀態(tài)3是吸收態(tài)，對(duì)應(yīng)的狀態(tài)1和2則是非常返態(tài)。應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE應(yīng)用隨機(jī)過(guò)程第五章連續(xù)時(shí)間馬氏鏈中國(guó)人民大學(xué)出版社PAGE