CH4 4.6-4.8上課

1、2021-11-161CH4 馬爾可夫過程 4.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì) 2021-11-1624.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì) 4.6.1.定義則稱該過程是連續(xù)參數(shù)連續(xù)參數(shù)的馬爾可夫鏈，也稱為純不連續(xù)純不連續(xù)過程。 定義4.19：隨機(jī)過程 的狀態(tài)空間E為可數(shù)集，若 2021-11-163連續(xù)參數(shù)的馬爾可夫鏈的統(tǒng)計(jì)特性：4.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì) 4.6.1.定義 1 1、狀態(tài)概率：、狀態(tài)概率：2 2、概率分布：、概率分布：1( )1iit ( )( )ii Ett-初始分布初始分布(0)(0)ii E3 3、狀態(tài)轉(zhuǎn)移概率：、狀態(tài)轉(zhuǎn)移概率：0,tsEji2021-11-1

2、64每一行之和為每一行之和為1 111( ,) ()( ) 1ijjjP s s tP X s tj X si4 4、狀態(tài)轉(zhuǎn)移概率矩陣：、狀態(tài)轉(zhuǎn)移概率矩陣：4.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì) 4.6.1.定義C-K方程： ()( ) ()( ) ()()k EP X s tj X siP X s rk X si P X s tj X s rk 4.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)定義定義4.204.20：如果概率轉(zhuǎn)移矩陣 與初始時刻s無關(guān)，稱該馬爾可夫鏈?zhǔn)驱R次齊次的或時齊時齊的。分別簡記轉(zhuǎn)移概率與轉(zhuǎn)移概率矩陣為 ( ,)s stP4.6.1.定義 000101011101( )( )( )(

3、 )( )( )( )( )( )nnnnnnp tp tp tp tp tp ttp tp tp tP 10000100000100001P 易知轉(zhuǎn)移矩陣 滿足：（1）是隨機(jī)矩陣： 有(0) PI且規(guī)定 （無窮單位陣），即,)(tP4.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)4.6.1.定義 通常假定連續(xù)參數(shù)齊次鏈 是隨機(jī)連續(xù)的，即, 或 也稱滿足標(biāo)準(zhǔn)性條件。 0lim0ttPPI 01,lim()(,)0,ijtijp tiji jEij ,0X tt tP0t 其實(shí)，標(biāo)準(zhǔn)性條件就是 在 右連續(xù)，其直觀意義是：在充分小的時段內(nèi)，過程的狀態(tài)不會突變。在絕大多數(shù)實(shí)際情形中，這樣的假設(shè)是合理的。在物理過

4、程中，在一個有限時間間隔內(nèi)不可能有無窮次跳躍，在有限時間內(nèi)僅允許有限次數(shù)的跳變。 2021-11-1674.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì) (2)滿足 C-K（查普曼-柯爾莫哥洛夫）方程 即(,)i jE0t ，有( )(0) ( )ttP且4.6.1.定義而且，連續(xù)參數(shù)齊次馬爾可夫鏈的任意 n 個時刻的聯(lián)合分布由 與 唯一確定。)0()(tP)(tP2021-11-1684.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)4.6.2 齊次連續(xù)參數(shù)馬爾可夫鏈的基本性質(zhì) 互通是一種等價關(guān)系，通過互通可以將狀態(tài)空間劃分為若干個等價類，若所有狀態(tài)彼此互通，整個狀態(tài)空間是一個類，則稱該馬爾可夫鏈?zhǔn)遣豢杉s的。 4.6

5、連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)定義定義4.22（1） （只與j 有關(guān)）則稱該馬爾可夫鏈?zhǔn)潜闅v的。（2）若 存在，則 稱為極限分布。（3）若 ，概率分布滿足 ，則稱 為平穩(wěn)分布。 tP4.6.2 齊次連續(xù)參數(shù)馬爾可夫鏈的基本性質(zhì) 定理定理4.16 對于連續(xù)參數(shù)的有限狀態(tài)齊次馬爾可夫鏈，若存在 ，使 時 ，則該鏈具有遍歷性。且 是其極限分布，也是其唯一的平穩(wěn)分布。0s2021-11-16104.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì) 對于離散參數(shù)齊次鏈，任意n 步的轉(zhuǎn)移概率矩陣可以由一步轉(zhuǎn)移概率矩陣獲得，即 。對于連續(xù)參數(shù)齊次鏈，研究任意 的轉(zhuǎn)移概率矩陣 需要研究 在 時的微分性質(zhì)。 4.6.3 Q矩陣

6、)(tP)(tP2021-11-16114.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)定理定理4.17 若過程是隨機(jī)連續(xù)的， 滿足（1） 在 一致連續(xù)，即連續(xù)的狀態(tài)是平滑的；（2） 在 處右導(dǎo)數(shù)存在，記為， 通常有限，（除E為無限可數(shù)時， 可能為 外）。4.6.3 Q矩陣0t 01,lim()(,)0,ijtijp tiji jEij2021-11-16124.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)滿足下面的兩條：（1） （2） 當(dāng)狀態(tài)有限時等號必定成立。4.6.3 Q矩陣 證明：如果 可交換次序（比如狀態(tài)有限時），由于，是從狀態(tài)i 轉(zhuǎn)移到狀態(tài)j 的速率；是離開狀態(tài)i的速率。2021-11-16134.6連續(xù)

7、參數(shù)馬爾可夫鏈及其基本性質(zhì)定義定義4.23 若過程是隨機(jī)連續(xù)的，記稱為轉(zhuǎn)移速率矩陣或密度矩陣，簡稱為Q Q矩陣。若對所有 都有 ，則稱Q為保守的。簡單講，Q矩陣是 在 處的導(dǎo)數(shù)，它在研究齊次連續(xù)參數(shù)馬爾可夫鏈時是非常重要的。4.6.3 Q矩陣000101011101nnnnnnqqqqqqQqqqQ Q矩陣是常數(shù)矩陣)(tP0t2021-11-16144.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì) 在研究連續(xù)時間鏈時不僅關(guān)心過程將轉(zhuǎn)移到哪個狀態(tài)，轉(zhuǎn)移機(jī)率是多少，還關(guān)心它在當(dāng)前狀態(tài)上的逗留時間有多長。 令 它表示首次離開初始狀態(tài)的時刻（即，初始狀態(tài)上的逗留時間）。 由過程的馬爾可夫性可知， 這正是指數(shù)分布

8、特有的無記憶性質(zhì)。可以證明， 在 狀態(tài)上的逗留時間服從參數(shù)為 的指數(shù)分布，因此，平均逗留時間為 )(tXi2021-11-16154.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)依據(jù) 的具體值可以得出下面結(jié)論：2021-11-16164.6 連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)定理定理4.18 若過程 是隨機(jī)連續(xù)的且狀態(tài)有限，則有，注意到E為有限狀態(tài)集，可令 對兩邊求極限，即得定理結(jié)論。（證畢）。 4.6.4 向前向后微分方程2021-11-16174.6 連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì) 兩個方程的分量形式為， 4.6.4向前向后微分方程 向前方程中微分處理在“未來”時段；而向后方程中微分處理在“過去”時段。

9、ijikkjk Eptq pt000101011101nnnnnnqqqqqqQqqq 000101011101( )( )( )( )( )( )( )( )( )nnnnnnp tp tp tp tp tp tP tp tp tp t 000101011101( )( )( )( )( )( )( )( )( )nnnnnnp tp tp tp tp tp tP tp tp tp t2021-11-16184.6 連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)證明：由于 ，對其求導(dǎo)并代入柯爾莫哥洛夫向前方程，有若 是平穩(wěn)分布，則 。仿上有， 0ttP tP 4.6.4 向前向后微分方程 tQ0若 是平穩(wěn)分

10、布，則它是 的解。定理定理4.19 若 是過程在t時刻的概率分布，則當(dāng)E有限時有Fokker-PlanckFokker-Planck方程，2021-11-16194.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)例例4.18 設(shè) 是參數(shù)為 的泊松過程，因?yàn)樗仟?dú)立增量過程，易見它是連續(xù)參數(shù)的馬爾可夫鏈，試求 Q矩陣。 解：因此，它是保守的。 2021-11-16204.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì) 例例4.19 設(shè)某觸發(fā)器有兩個狀態(tài)， ， 表示t時刻該觸發(fā)器的狀態(tài)。假定觸發(fā)器狀態(tài)翻轉(zhuǎn)具有馬爾可夫性，且，其中， 為高階無窮小。試求 。0,1E X t o t tP解：易見 是隨機(jī)連續(xù)的，且 由向前方程有，

11、)(tP2021-11-16214.6連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)于是，解該常系數(shù)微分方程易得，其中并且同理有，0001000110111011( )( )( )( )( )( )( )( )p tp tp tp tp tp tp tp t 0100( ) 1( )p tp t 00000000tttteetee P因此， 2021-11-16224.6 連續(xù)參數(shù)馬爾可夫鏈及其基本性質(zhì)例例4.20 對上例中兩狀態(tài)觸發(fā)器的狀態(tài) ，假定初始分布為 ， ，求t 時刻的分布與極限分布。 X t 0, a b1ab解：容易驗(yàn)證， 滿足 Fokker-Planck 方程， 也是平穩(wěn)分布（滿足 ）。 其實(shí)

12、， 是有限狀態(tài)有限狀態(tài)的且互通互通，它是不可約遍歷鏈不可約遍歷鏈。因此，其平穩(wěn)分布與極限分布都存在且相等平穩(wěn)分布與極限分布都存在且相等。 t* Q0 X t極限分布為 *00lim,tt 2021-11-16234.7 生滅過程定義定義4.24 狀態(tài)空間為非負(fù)整數(shù)，且轉(zhuǎn)移速率矩陣為的連續(xù)參數(shù)馬爾可夫鏈稱為生滅過程，其中i 為非負(fù)整數(shù)， 且有界?？梢姡琎 Q矩陣是保守的，其特征是，當(dāng) 時，0,1,2,E 2021-11-16244.7 生滅過程其實(shí)，生滅過程的等價定義：任取充分小的h 0，其中， 為高階無窮小?？梢?，在充分小的時間內(nèi)，狀態(tài)轉(zhuǎn)移只有三種可能： 。 o h,iiiiii 2021-1

13、1-16254.7 生滅過程 若 表示某生物群體的個數(shù)，它是一個生滅過程，t 時刻的個數(shù)i，在t 之后很短的時間h 以內(nèi)，個數(shù)只有三種變化： ,0X tt 所以，生滅過程的狀態(tài)在生滅過程的狀態(tài)在極短的時間極短的時間內(nèi)只能在內(nèi)只能在相鄰相鄰的兩個狀的兩個狀態(tài)內(nèi)變化，或態(tài)內(nèi)變化，或“生一個生一個”、或、或“滅一個滅一個”、或、或“不變不變”，故，故稱為生滅過程。稱為生滅過程。2021-11-16264.7 生滅過程 用狀態(tài)轉(zhuǎn)移速率圖來描述生滅過程的狀態(tài)轉(zhuǎn)移與速率特點(diǎn)。 的生滅過程稱為純生過程； 的生滅過程稱為純滅過程。 在 時生滅過程狀態(tài)的所有狀態(tài)是互通的，這樣的生滅過程是不可約鏈。2021-11

14、-16274.7 生滅過程生滅過程滿足向前與向后方程：生滅過程滿足向前與向后方程： 000( )( )( )iijp tP tp tp t)()()()(ttttQPPQPP前進(jìn)方程前進(jìn)方程后退方程后退方程 ( )( )iijP tP tP t0j2021-11-16284.7 生滅過程還滿足滿足Fokker-PlanckFokker-Planck方程方程： 0( )( )jtttQ)()(tt 0( )( )jtttj2021-11-16294.7 生滅過程生滅過程的穩(wěn)態(tài)分布穩(wěn)態(tài)分布與極限分布極限分布。由方程 得： Q0通過遞歸方法可得，jj101111100jjj2021-11-16304

15、.7 生滅過程容易發(fā)現(xiàn)，如果則 進(jìn)而可解出 于是，生滅過程有惟一的平穩(wěn)分布，也等于其極限分布。特別是，（1）純生過程沒有平穩(wěn)分布 （2）如果狀態(tài)數(shù)無限，且 當(dāng) 時，可解出平穩(wěn)分布為， 這是生滅過程存在平這是生滅過程存在平穩(wěn)分布的充要條件。穩(wěn)分布的充要條件。2021-11-16314.7 生滅過程例例4.21 泊松過程是最簡單的純生過程；例例4.22 線性純生過程（線性純生過程（YuleYule 過程過程）考察一種初等生物群體的繁殖過程模型：假定每一個體繁殖后代的過程獨(dú)立同分布，服從參數(shù)為 的泊松分布；且繁殖的后代不會死亡，并繼續(xù)繁殖。記 為t時刻生物群體的個數(shù)，稱為Yule 過程。 ，在 上

16、的轉(zhuǎn)移概率可表達(dá)式為，, t th N t0h 不變。無關(guān)，且與itX)(123232021-11-16324.7 生滅過程其Q Q矩陣為： N t于是， 是一個“生長速率”與當(dāng)時的狀態(tài)值成正比的生滅過程，是泊松過程的一個推廣。2021-11-16334.7 生滅過程例例4.23 有遷入的線性生滅過程考察某區(qū)域內(nèi)生物再生與人口增長過程。假定每一個體獨(dú)立地以指數(shù)率 出生，以指數(shù)率 死亡；同時，群體又因外界遷入的影響，以指數(shù)率 增長。t 時刻群體的個數(shù)可以描述為生滅過程 ，轉(zhuǎn)移速率圖如下： ,0X tt 2021-11-16344.7 生滅過程0,1例例4.24 兩狀態(tài)觸發(fā)器的狀態(tài)過程如例4.19

17、。易知，它是只有兩個狀態(tài) 的生滅過程， 且求其平穩(wěn)分布。01100101010解得：10 由于狀態(tài)數(shù)限，平穩(wěn)分布可由方程 直接求解。即Q0解：4.8 排隊(duì)論及其應(yīng)用簡介4.8.1 排隊(duì)系統(tǒng) 它是動態(tài)的與隨機(jī)的。這類系統(tǒng)稱為隨機(jī)服務(wù)系統(tǒng)或排隊(duì)系統(tǒng)，簡稱隊(duì)列。 在系統(tǒng)中，顧客隨機(jī)到來，形成輸入流；結(jié)賬服務(wù)花去的時間是隨機(jī)的，離開的顧客形成輸出流。 系統(tǒng)的狀態(tài)：其內(nèi)部所包含的顧客數(shù)，記為 。 ,0X tt4.8 排隊(duì)論及其應(yīng)用簡介隊(duì)列的特性取決于輸入流與服務(wù)時間的特性隊(duì)列的特性取決于輸入流與服務(wù)時間的特性。（1） 輸入過程特性：指輸入流的統(tǒng)計(jì)特性。輸入流可以具有任意分布，最基本的是指數(shù)流（即泊松過程

18、）最基本的是指數(shù)流（即泊松過程）。（2） 服務(wù)時間特性：指服務(wù)各顧客所用時間的統(tǒng)計(jì)特性。它們可以為任意分布，有時甚至為某確定值。最基本的是獨(dú)立同分布的指數(shù)序列最基本的是獨(dú)立同分布的指數(shù)序列。一般可以認(rèn)為：輸入流與服務(wù)時間是彼此獨(dú)立的輸入流與服務(wù)時間是彼此獨(dú)立的。（3） 排隊(duì)規(guī)則：指形成隊(duì)列與等候服務(wù)的規(guī)則。通常有“順序服順序服務(wù)務(wù)”，也稱為“FIFO（先到先服務(wù)）”，“隨機(jī)選擇服務(wù)隨機(jī)選擇服務(wù)”，“優(yōu)先級優(yōu)先級服務(wù)服務(wù)”和“后到先服務(wù)后到先服務(wù)”等其他規(guī)則。（4）系統(tǒng)能力：工作的服務(wù)臺服務(wù)臺（或稱為通道）的數(shù)目的數(shù)目；等候隊(duì)列的容等候隊(duì)列的容量量，是無限的還是有限的。一種描述隊(duì)列及其特性的簡明表示方法：一種描述隊(duì)列及其特性的簡明表示方法：其基本形式：“輸入過程/服務(wù)時間/通道數(shù)目”。常用的符號有：1）M泊松過程（或指數(shù)分布）；2）D某確定值； 3） n階愛爾朗分布； 4）G某任意分布。 通道數(shù)目用數(shù)字直接表示。 若有第四部分，表示系統(tǒng)（即等候隊(duì)列）的容量或特性。nE4.8 排隊(duì)論及其應(yīng)用簡介4.8.2 馬爾可夫隊(duì)列及其舉例 1. M/