隨機(jī)過程課程設(shè)計(jì)

1、隨機(jī)過程 課程設(shè)計(jì)（論文）題 目: 連續(xù)馬爾科夫過程的轉(zhuǎn)移 概率及應(yīng)用 學(xué) 院： 理學(xué)院 專 業(yè)： 數(shù)學(xué)與應(yīng)用數(shù)學(xué) 班 級(jí)： 數(shù)學(xué)09-2班 學(xué) 生 姓 名： 姜德月 學(xué) 生 學(xué) 號(hào)： 2009026249 指 導(dǎo) 教 師： 蔡吉花 2011 年 12 月 20 日目錄 課程設(shè)計(jì)任務(wù)書I摘 要II第1章 緒論- 1 -第2章 連續(xù)時(shí)間馬爾可夫鏈基本理論- 2 -2.1定義- 2 -2.2轉(zhuǎn)移概率- 2 -第3章 柯爾莫哥洛夫微分方程- 3 -3.1跳躍強(qiáng)度- 3 -3.2 Q矩陣- 3 -3.3柯爾莫哥洛夫向后方程- 4 -3.4柯爾莫哥洛夫向前方程- 4 -第4章 馬爾可夫過程研究的問題的分

2、析- 5 -4.1連續(xù)參數(shù)隨機(jī)游動(dòng)問題- 5 -第5章 計(jì)算結(jié)果及程序- 6 -第6章 結(jié)論和展望- 11 -參考文獻(xiàn)- 11 -評(píng) 閱 書- 12 - 隨機(jī)過程 課程設(shè)計(jì)任務(wù)書姓名姜德月學(xué)號(hào)18指導(dǎo)教師蔡吉花設(shè)計(jì)題目連續(xù)馬爾科夫過程的轉(zhuǎn)移概率及其應(yīng)用理論要點(diǎn)連續(xù)時(shí)間馬爾科夫鏈，轉(zhuǎn)移概率及應(yīng)用，科爾莫格羅夫向前、向后方程設(shè)計(jì)目標(biāo)找實(shí)例解決具體問題，用科爾莫格羅夫向前、向后方程求解時(shí)編程解微分方程。研究方法步驟了解基本原理，尋找相關(guān)實(shí)際問題，解決問題。預(yù)期結(jié)果學(xué)習(xí)MATLAB有關(guān)求解微分方程的指令；微分方程數(shù)值求解法；能夠解決隨機(jī)游動(dòng)的微分方程。計(jì)劃與進(jìn)步的安排1.了解基本要求，整理思路，設(shè)計(jì)大

3、綱。2 .查找相關(guān)書籍，上網(wǎng)查找相關(guān)資料。3.初步設(shè)計(jì)課程設(shè)計(jì)4 .對(duì)設(shè)計(jì)進(jìn)行整理，進(jìn)行排版，檢查，審核。參考資料應(yīng)用隨機(jī)過程，錢敏平，龔光魯，北京大學(xué)出版社， 1998.隨機(jī)過程論， 錢敏平 高等教育出版社 2000應(yīng)用隨機(jī)過程， 林元烈 清華大學(xué)出版社 2002隨機(jī)過程， 劉次華 華中科技大學(xué)出版社 2008Matlab在時(shí)間序列分析中的應(yīng)用 張善文 雷英杰 馮有前 西安電子科技大學(xué)出版社 2007填寫時(shí)間2011年12月20日 摘 要馬爾可夫過程(MarKov Process)是一個(gè)典型的隨機(jī)過程。設(shè)是一隨機(jī)過程，當(dāng)過程在時(shí)刻所處的狀態(tài)為已知時(shí)，時(shí)刻所處的狀態(tài)與過程在時(shí)刻之前的狀態(tài)無(wú)關(guān)，

4、這個(gè)特性成為無(wú)后效性。本文主要闡述連續(xù)馬爾科夫過程的轉(zhuǎn)移概率定義、性質(zhì)及其應(yīng)用，以及科爾莫哥洛夫向前、向后方程，Q矩陣。主要研究機(jī)器維修，排隊(duì)，以及隨機(jī)游動(dòng)等實(shí)際問題，根據(jù)實(shí)際問題來(lái)求解微分方程。并用MATLAB，對(duì)其結(jié)果進(jìn)行了合理性的分析，使得我們能更好的理解和應(yīng)用連續(xù)馬爾可夫過程，并能用柯爾莫哥洛夫向前向后方程，Q矩陣，MATLAB求解實(shí)際問題。關(guān)鍵字 馬爾科夫過程 轉(zhuǎn)移概率 柯爾莫哥洛夫 微分方程數(shù)值求解 隨機(jī)游動(dòng)連續(xù)馬爾科夫過程的轉(zhuǎn)移概率及其應(yīng)用第1章 緒論1951年前后，伊藤清建立的隨機(jī)微分方程的理論，為馬爾可夫過程的研究開辟了新的道路。1954年前后， W.費(fèi)勒將半群方法引入馬爾可

5、夫過程的研究。流形上的馬爾可夫過程、馬爾可夫向量場(chǎng)等都是正待深入研究的領(lǐng)域。 類重要的隨機(jī)過程,它的原始模型馬爾可夫鏈,由俄國(guó)數(shù)學(xué)家.馬爾可夫于1907年提出。人們?cè)趯?shí)際中常遇到具有下述特性的隨機(jī)過程：在已知它目前的狀態(tài)(現(xiàn)在)的條件下，它未來(lái)的演變（將來(lái)）不依賴于它以往的演變（過去）。這種已知“現(xiàn)在”的條件下，“將來(lái)”與“過去”獨(dú)立的特性稱為馬爾可夫性，具有這種性質(zhì)的隨機(jī)過程叫做馬爾可夫過程。荷花池中一只青蛙的跳躍是馬爾可夫過程的一個(gè)形象化的例子。青蛙依照它瞬間或起的念頭從一片荷葉上跳到另一片荷葉上，因?yàn)榍嗤苁菦]有記憶的,當(dāng)現(xiàn)在所處的位置已知時(shí),它下一步跳往何處和它以往走過的路徑無(wú)關(guān)。如果將

6、荷葉編號(hào)并用分別表示青蛙最初處的荷葉號(hào)碼及第一次、第二次、跳躍后所處的荷葉號(hào)碼，那么 就是馬爾可夫過程。液體中微粒所作的布朗運(yùn)動(dòng)，傳染病受感染的人數(shù)，原子核中一自由電子在電子層中的跳躍，人口增長(zhǎng)過程等等都可視為馬爾可夫過程。還有些過程（例如某些遺傳過程）在一定條件下可以用馬爾可夫過程來(lái)近似。 關(guān)于馬爾可夫過程的理論研究，1931年.柯爾莫哥洛夫發(fā)表了概率論的解析方法，首先將微分方程等分析方法用于這類過程，奠定了它的理論基礎(chǔ)。1951年前后，伊藤清在P.萊維和C.H.伯恩斯坦等人工作的基礎(chǔ)上，建立了隨機(jī)微分方程的理論，為研究馬爾可夫過程開辟了新的道路。1954年前后，W.弗勒將泛函分析中的半群方

7、法引入馬爾可夫過程的研究中，.登金（又譯鄧肯）等并賦予它概率意義（如特征算子等）。50年代初，角谷靜夫和J.L.杜布等發(fā)現(xiàn)了布朗運(yùn)動(dòng)與偏微分方程論中狄利克雷問題的關(guān)系，后來(lái)G.A.亨特研究了相當(dāng)一般的馬爾可夫過程（亨特過程）與 位勢(shì)的關(guān)系。目前，流形上的馬爾可夫過程、馬爾可夫場(chǎng)等都是正待深入研究的領(lǐng)域。第2章 連續(xù)時(shí)間馬爾可夫鏈基本理論2.1定義設(shè)隨機(jī)過程，狀態(tài)空間,若對(duì)任意及非負(fù)整數(shù)及非負(fù)整數(shù)有，則稱為連續(xù)時(shí)間馬爾可夫鏈。2.2轉(zhuǎn)移概率在s時(shí)刻處于狀態(tài)i，經(jīng)過時(shí)間t后轉(zhuǎn)移到狀態(tài)j的概率定義.2 齊次轉(zhuǎn)移概率 (與起始時(shí)刻s無(wú)關(guān)，只與時(shí)間間隔t有關(guān))轉(zhuǎn)移概率矩陣命題：若i為過程在狀態(tài)轉(zhuǎn)移之前停

8、留在狀態(tài)i的時(shí)間，則對(duì)s, t0有 (1) (2) i 服從指數(shù)分布定理1 齊次馬爾可夫過程的轉(zhuǎn)移概率具有： (1) ; (2) (3) 正則性條件 定義3(1)初始概率: (2)絕對(duì)概率: (3)初始分布: (4)絕對(duì)分布: 定理2 齊次馬爾可夫過程的絕對(duì)概率及有 限維概率分布具有下列性質(zhì)：(1) (2) (3) (4) (5) 第3章 柯爾莫哥洛夫微分方程3.1跳躍強(qiáng)度狀態(tài)轉(zhuǎn)移概率 它滿足 ，齊次馬爾可夫過程的狀態(tài)轉(zhuǎn)移概率 滿足：跳躍強(qiáng)度 其中稱為參數(shù)連續(xù)狀態(tài)離散齊次馬爾可夫過程的跳躍強(qiáng)度當(dāng)時(shí)，當(dāng)i=j時(shí), 3.2 Q矩陣把矩陣叫馬氏過程的速率矩陣，簡(jiǎn)稱Q矩陣。但考慮到密度矩陣，是由的導(dǎo)數(shù)

9、組成即 跳躍強(qiáng)度的性質(zhì)3.3柯爾莫哥洛夫向后方程假設(shè)，則對(duì)一切i, j及t 0，有3.4柯爾莫哥洛夫向前方程在適當(dāng)?shù)恼齽t條件下有 向后方程的矩陣形式： 向前方程的矩陣形式： 其中Q矩陣為矩陣的元素為矩陣的元素的導(dǎo)數(shù)，而這樣，連續(xù)時(shí)間馬爾科夫鏈的轉(zhuǎn)移概率的求解問題就是矩陣微分方程的求解問題，其轉(zhuǎn)移概率有其轉(zhuǎn)移速率矩陣Q決定。若Q是一個(gè)有限維矩陣，則式和式的解為 定理3齊次馬爾可夫過程在t時(shí)刻處于狀 態(tài)的絕對(duì)概率 滿足方程： 第4章 馬爾可夫過程研究的問題的分析4.1連續(xù)參數(shù)隨機(jī)游動(dòng)問題有限圖上的隨機(jī)游動(dòng)(即有限馬爾可夫鏈)近一二十年來(lái)在近似算法設(shè)計(jì)的重要應(yīng)用，使它受到越來(lái)越廣泛的關(guān)注。這時(shí)算法的

10、有效性大部分依賴于所設(shè)計(jì)隨機(jī)游動(dòng)的性能好壞，而隨機(jī)游動(dòng)的性能主要由它的幾個(gè)重要的參數(shù)來(lái)決定，如平均首達(dá)時(shí)間，平均覆蓋時(shí)間，收斂速度等。例 設(shè)在的線段上有一個(gè)質(zhì)點(diǎn)作隨機(jī)游動(dòng)，此質(zhì)點(diǎn)只能停留在諸點(diǎn)上。質(zhì)點(diǎn)任何時(shí)刻都可能發(fā)生移動(dòng)，其移動(dòng)的規(guī)則是：（1）若在時(shí)刻t 質(zhì)點(diǎn)位于中的一點(diǎn)，則在中以概率 向右移動(dòng)一格，以概率向左移動(dòng)一格； （2）若在時(shí)刻t 質(zhì)點(diǎn)位于1，則在中以概率向右移動(dòng)一格；（3）若在時(shí)刻t 質(zhì)點(diǎn)位于5，則以概率向左移動(dòng)一格；（4）在發(fā)生其他移動(dòng)的概率是。求滿足的微分方程。轉(zhuǎn)移速率矩陣狀態(tài)轉(zhuǎn)移概率矩陣 從給定狀態(tài)轉(zhuǎn)移到任意狀態(tài)的轉(zhuǎn)移概率矩陣 記作，為 的第i行的行矢量從任意狀態(tài)轉(zhuǎn)移到特定狀

11、態(tài)的轉(zhuǎn)移概率矩陣 記作，為 的第j行的列矢量t時(shí)刻系統(tǒng)狀態(tài)的概率分布律矩陣 第5章 計(jì)算結(jié)果及程序解：寫出馬爾科夫過程的Q 矩陣，則相應(yīng)的Q 矩陣是，根據(jù)柯爾莫哥洛夫-費(fèi)勒前進(jìn)方程，可以列出滿足的微分方程：初始條件：根據(jù)柯爾莫哥洛夫-費(fèi)勒后退方程，可以列出 滿足的微分方程：初始條件：程序>> x,y,z,m,n=dsolve('Dx=-1*x+2*y,Dy=1*x-(1+2)*y+2*z,Dz=1*y-(1+2)*z+2*m,Dm=1*z-(1+2)*m+2*n,Dn=1*m-2*n','x(0)=1,y(0)=0,z(0)=0,m(0)=0,n(0)=0&

12、#39;,'t') x = -1/4*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)+2/31-1/4*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)-1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)-1/4*(3/620*5(1/2)-1/

13、62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)+1/8*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*20(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)+1/8*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*20(1/2)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)-1/8*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)

14、*20(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)-1/8*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*20(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)-1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)+1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*

15、2(1/2)*t)*2(1/2)-1/4*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)+1/4*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2) y = 1/31+1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)-

16、1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2)+1/4*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)-1/4*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2) z = 16/31+(3/620*5(1/2)-1/6

17、2*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)+(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)+(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)+(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)

18、*t) m = -(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)+1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)*10(1/2)-1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)-(1/62*2(1/2)+15/124-3/155

19、*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)-1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)*10(1/2)+1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2)-(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1

20、/2)+1/2*2(1/2)*t)+1/4*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)*10(1/2)+1/4*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2)-(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)-1/4*(15/124-3/620*5

21、(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)*10(1/2)-1/4*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)+8/31 n = 1/4*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)+4/31+1/4*(3/155*10(1/2)+15/124-3/620*5(1/2)

22、+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)+1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)+1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)-1/8*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*20(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1

23、/2)*t)-1/8*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*20(1/2)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)+1/8*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*20(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)+1/8*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*20(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)+1/4*(1/62*2(1/2)

24、+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)*10(1/2)-1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)*10(1/2)+1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)-1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2)+1/4*(15/124-3/6