隨機過程課程設(shè)計

1、隨機過程 課程設(shè)計（論文）題 目: 連續(xù)馬爾科夫過程的轉(zhuǎn)移 概率及應(yīng)用 學(xué) 院： 理學(xué)院 專 業(yè)： 數(shù)學(xué)與應(yīng)用數(shù)學(xué) 班 級： 數(shù)學(xué)09-2班 學(xué) 生 姓 名： 姜德月 學(xué) 生 學(xué) 號： 2009026249 指 導(dǎo) 教 師： 蔡吉花 2011 年 12 月 20 日目錄 課程設(shè)計任務(wù)書I摘 要II第1章 緒論- 1 -第2章 連續(xù)時間馬爾可夫鏈基本理論- 2 -2.1定義- 2 -2.2轉(zhuǎn)移概率- 2 -第3章 柯爾莫哥洛夫微分方程- 3 -3.1跳躍強度- 3 -3.2 Q矩陣- 3 -3.3柯爾莫哥洛夫向后方程- 4 -3.4柯爾莫哥洛夫向前方程- 4 -第4章 馬爾可夫過程研究的問題的分

2、析- 5 -4.1連續(xù)參數(shù)隨機游動問題- 5 -第5章 計算結(jié)果及程序- 6 -第6章 結(jié)論和展望- 11 -參考文獻- 11 -評 閱 書- 12 - 隨機過程 課程設(shè)計任務(wù)書姓名姜德月學(xué)號18指導(dǎo)教師蔡吉花設(shè)計題目連續(xù)馬爾科夫過程的轉(zhuǎn)移概率及其應(yīng)用理論要點連續(xù)時間馬爾科夫鏈，轉(zhuǎn)移概率及應(yīng)用，科爾莫格羅夫向前、向后方程設(shè)計目標找實例解決具體問題，用科爾莫格羅夫向前、向后方程求解時編程解微分方程。研究方法步驟了解基本原理，尋找相關(guān)實際問題，解決問題。預(yù)期結(jié)果學(xué)習(xí)MATLAB有關(guān)求解微分方程的指令；微分方程數(shù)值求解法；能夠解決隨機游動的微分方程。計劃與進步的安排1.了解基本要求，整理思路，設(shè)計大

3、綱。2 .查找相關(guān)書籍，上網(wǎng)查找相關(guān)資料。3.初步設(shè)計課程設(shè)計4 .對設(shè)計進行整理，進行排版，檢查，審核。參考資料應(yīng)用隨機過程，錢敏平，龔光魯，北京大學(xué)出版社， 1998.隨機過程論， 錢敏平 高等教育出版社 2000應(yīng)用隨機過程， 林元烈 清華大學(xué)出版社 2002隨機過程， 劉次華 華中科技大學(xué)出版社 2008Matlab在時間序列分析中的應(yīng)用 張善文 雷英杰 馮有前 西安電子科技大學(xué)出版社 2007填寫時間2011年12月20日 摘 要馬爾可夫過程(MarKov Process)是一個典型的隨機過程。設(shè)是一隨機過程，當過程在時刻所處的狀態(tài)為已知時，時刻所處的狀態(tài)與過程在時刻之前的狀態(tài)無關(guān)，

4、這個特性成為無后效性。本文主要闡述連續(xù)馬爾科夫過程的轉(zhuǎn)移概率定義、性質(zhì)及其應(yīng)用，以及科爾莫哥洛夫向前、向后方程，Q矩陣。主要研究機器維修，排隊，以及隨機游動等實際問題，根據(jù)實際問題來求解微分方程。并用MATLAB，對其結(jié)果進行了合理性的分析，使得我們能更好的理解和應(yīng)用連續(xù)馬爾可夫過程，并能用柯爾莫哥洛夫向前向后方程，Q矩陣，MATLAB求解實際問題。關(guān)鍵字 馬爾科夫過程 轉(zhuǎn)移概率 柯爾莫哥洛夫 微分方程數(shù)值求解 隨機游動連續(xù)馬爾科夫過程的轉(zhuǎn)移概率及其應(yīng)用第1章 緒論1951年前后，伊藤清建立的隨機微分方程的理論，為馬爾可夫過程的研究開辟了新的道路。1954年前后， W.費勒將半群方法引入馬爾可

5、夫過程的研究。流形上的馬爾可夫過程、馬爾可夫向量場等都是正待深入研究的領(lǐng)域。 類重要的隨機過程,它的原始模型馬爾可夫鏈,由俄國數(shù)學(xué)家.馬爾可夫于1907年提出。人們在實際中常遇到具有下述特性的隨機過程：在已知它目前的狀態(tài)(現(xiàn)在)的條件下，它未來的演變（將來）不依賴于它以往的演變（過去）。這種已知“現(xiàn)在”的條件下，“將來”與“過去”獨立的特性稱為馬爾可夫性，具有這種性質(zhì)的隨機過程叫做馬爾可夫過程。荷花池中一只青蛙的跳躍是馬爾可夫過程的一個形象化的例子。青蛙依照它瞬間或起的念頭從一片荷葉上跳到另一片荷葉上，因為青蛙是沒有記憶的,當現(xiàn)在所處的位置已知時,它下一步跳往何處和它以往走過的路徑無關(guān)。如果將

6、荷葉編號并用分別表示青蛙最初處的荷葉號碼及第一次、第二次、跳躍后所處的荷葉號碼，那么 就是馬爾可夫過程。液體中微粒所作的布朗運動，傳染病受感染的人數(shù)，原子核中一自由電子在電子層中的跳躍，人口增長過程等等都可視為馬爾可夫過程。還有些過程（例如某些遺傳過程）在一定條件下可以用馬爾可夫過程來近似。 關(guān)于馬爾可夫過程的理論研究，1931年.柯爾莫哥洛夫發(fā)表了概率論的解析方法，首先將微分方程等分析方法用于這類過程，奠定了它的理論基礎(chǔ)。1951年前后，伊藤清在P.萊維和C.H.伯恩斯坦等人工作的基礎(chǔ)上，建立了隨機微分方程的理論，為研究馬爾可夫過程開辟了新的道路。1954年前后，W.弗勒將泛函分析中的半群方

7、法引入馬爾可夫過程的研究中，.登金（又譯鄧肯）等并賦予它概率意義（如特征算子等）。50年代初，角谷靜夫和J.L.杜布等發(fā)現(xiàn)了布朗運動與偏微分方程論中狄利克雷問題的關(guān)系，后來G.A.亨特研究了相當一般的馬爾可夫過程（亨特過程）與 位勢的關(guān)系。目前，流形上的馬爾可夫過程、馬爾可夫場等都是正待深入研究的領(lǐng)域。第2章 連續(xù)時間馬爾可夫鏈基本理論2.1定義設(shè)隨機過程，狀態(tài)空間,若對任意及非負整數(shù)及非負整數(shù)有，則稱為連續(xù)時間馬爾可夫鏈。2.2轉(zhuǎn)移概率在s時刻處于狀態(tài)i，經(jīng)過時間t后轉(zhuǎn)移到狀態(tài)j的概率定義.2 齊次轉(zhuǎn)移概率 (與起始時刻s無關(guān)，只與時間間隔t有關(guān))轉(zhuǎn)移概率矩陣命題：若i為過程在狀態(tài)轉(zhuǎn)移之前停

8、留在狀態(tài)i的時間，則對s, t0有 (1) (2) i 服從指數(shù)分布定理1 齊次馬爾可夫過程的轉(zhuǎn)移概率具有： (1) ; (2) (3) 正則性條件 定義3(1)初始概率: (2)絕對概率: (3)初始分布: (4)絕對分布: 定理2 齊次馬爾可夫過程的絕對概率及有 限維概率分布具有下列性質(zhì)：(1) (2) (3) (4) (5) 第3章 柯爾莫哥洛夫微分方程3.1跳躍強度狀態(tài)轉(zhuǎn)移概率 它滿足 ，齊次馬爾可夫過程的狀態(tài)轉(zhuǎn)移概率 滿足：跳躍強度 其中稱為參數(shù)連續(xù)狀態(tài)離散齊次馬爾可夫過程的跳躍強度當時，當i=j時, 3.2 Q矩陣把矩陣叫馬氏過程的速率矩陣，簡稱Q矩陣。但考慮到密度矩陣，是由的導(dǎo)數(shù)

9、組成即 跳躍強度的性質(zhì)3.3柯爾莫哥洛夫向后方程假設(shè)，則對一切i, j及t 0，有3.4柯爾莫哥洛夫向前方程在適當?shù)恼齽t條件下有 向后方程的矩陣形式： 向前方程的矩陣形式： 其中Q矩陣為矩陣的元素為矩陣的元素的導(dǎo)數(shù)，而這樣，連續(xù)時間馬爾科夫鏈的轉(zhuǎn)移概率的求解問題就是矩陣微分方程的求解問題，其轉(zhuǎn)移概率有其轉(zhuǎn)移速率矩陣Q決定。若Q是一個有限維矩陣，則式和式的解為 定理3齊次馬爾可夫過程在t時刻處于狀 態(tài)的絕對概率 滿足方程： 第4章 馬爾可夫過程研究的問題的分析4.1連續(xù)參數(shù)隨機游動問題有限圖上的隨機游動(即有限馬爾可夫鏈)近一二十年來在近似算法設(shè)計的重要應(yīng)用，使它受到越來越廣泛的關(guān)注。這時算法的

10、有效性大部分依賴于所設(shè)計隨機游動的性能好壞，而隨機游動的性能主要由它的幾個重要的參數(shù)來決定，如平均首達時間，平均覆蓋時間，收斂速度等。例 設(shè)在的線段上有一個質(zhì)點作隨機游動，此質(zhì)點只能停留在諸點上。質(zhì)點任何時刻都可能發(fā)生移動，其移動的規(guī)則是：（1）若在時刻t 質(zhì)點位于中的一點，則在中以概率 向右移動一格，以概率向左移動一格； （2）若在時刻t 質(zhì)點位于1，則在中以概率向右移動一格；（3）若在時刻t 質(zhì)點位于5，則以概率向左移動一格；（4）在發(fā)生其他移動的概率是。求滿足的微分方程。轉(zhuǎn)移速率矩陣狀態(tài)轉(zhuǎn)移概率矩陣 從給定狀態(tài)轉(zhuǎn)移到任意狀態(tài)的轉(zhuǎn)移概率矩陣 記作，為 的第i行的行矢量從任意狀態(tài)轉(zhuǎn)移到特定狀

11、態(tài)的轉(zhuǎn)移概率矩陣 記作，為 的第j行的列矢量t時刻系統(tǒng)狀態(tài)的概率分布律矩陣 第5章 計算結(jié)果及程序解：寫出馬爾科夫過程的Q 矩陣，則相應(yīng)的Q 矩陣是，根據(jù)柯爾莫哥洛夫-費勒前進方程，可以列出滿足的微分方程：初始條件：根據(jù)柯爾莫哥洛夫-費勒后退方程，可以列出 滿足的微分方程：初始條件：程序>> x,y,z,m,n=dsolve('Dx=-1*x+2*y,Dy=1*x-(1+2)*y+2*z,Dz=1*y-(1+2)*z+2*m,Dm=1*z-(1+2)*m+2*n,Dn=1*m-2*n','x(0)=1,y(0)=0,z(0)=0,m(0)=0,n(0)=0&

12、#39;,'t') x = -1/4*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)+2/31-1/4*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)-1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)-1/4*(3/620*5(1/2)-1/

13、62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)+1/8*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*20(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)+1/8*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*20(1/2)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)-1/8*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)

14、*20(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)-1/8*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*20(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)-1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)+1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*

15、2(1/2)*t)*2(1/2)-1/4*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)+1/4*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2) y = 1/31+1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)-

16、1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2)+1/4*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)-1/4*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2) z = 16/31+(3/620*5(1/2)-1/6

17、2*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)+(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)+(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)+(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)

18、*t) m = -(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)+1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)*10(1/2)-1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)-(1/62*2(1/2)+15/124-3/155

19、*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)-1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)*10(1/2)+1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2)-(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1

20、/2)+1/2*2(1/2)*t)+1/4*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)*10(1/2)+1/4*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2)-(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)-1/4*(15/124-3/620*5

21、(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)*10(1/2)-1/4*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)+8/31 n = 1/4*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)+4/31+1/4*(3/155*10(1/2)+15/124-3/620*5(1/2)

22、+1/62*2(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)+1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)+1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)-1/8*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*20(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1

23、/2)*t)-1/8*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*20(1/2)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)+1/8*(3/155*10(1/2)+15/124-3/620*5(1/2)+1/62*2(1/2)*20(1/2)*exp(-3+1/2*10(1/2)+1/2*2(1/2)*t)+1/8*(15/124-3/620*5(1/2)-1/62*2(1/2)-3/155*10(1/2)*20(1/2)*exp(-3-1/2*10(1/2)-1/2*2(1/2)*t)+1/4*(1/62*2(1/2)

24、+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)*10(1/2)-1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)*10(1/2)+1/4*(3/620*5(1/2)-1/62*2(1/2)+3/155*10(1/2)+15/124)*exp(-3+1/2*10(1/2)-1/2*2(1/2)*t)*2(1/2)-1/4*(1/62*2(1/2)+15/124-3/155*10(1/2)+3/620*5(1/2)*exp(-3-1/2*10(1/2)+1/2*2(1/2)*t)*2(1/2)+1/4*(15/124-3/6