第九章馬爾可夫概型

第九章馬爾可夫概型分析§1概述§4遍歷定理與極限分布§5馬兒可夫概型檢驗§6應用簡例§2馬爾可夫概型§3馬兒可夫鏈的轉移概率1§1概述任何一個地質過程都可認為是某些確定性地質因素和隨機性地質因素相互作用的產物。也就是說，地質過程都應是確定型和隨機型地質過程在時間上和空間上疊加的結果，因此在地質研究工作中，應重視上述兩類地質過程的作用。但是，由于產生隨機地質過程的機理十分復雜，甚至連隨機性地質因素也不容易或不可能觀察，這就給用數學校型(一個或幾個)來描述隨機型地質過程帶來了極大的、甚至是在目前條件下不可能克服的困難。這樣以來，人們自然就會側重于確定型地質過程的研究，而使隨機型地質過程的研究成為地質工作中的一個薄弱環(huán)節(jié)。

2

1949年，維斯捷列馬斯在研究復式沉積層形成問題時，首先應用了馬爾可夫鏈。1984年，在莫斯科舉行的第27屆國際地質會議上，維斯短列烏斯、阿柑特伯格(F．P．Agterbers)等數學地質學家發(fā)表了莫斯科宣言，其基本思想是；隨機型模型應作為數學地質模型的基礎，并且肯定了馬爾可夫過程(特別是馬爾可夫鏈)在地質學中應占有特殊的地位。目前，常用馬爾可夫概型分析研究沉積旋回，進行地層對比，查明火山巖系的噴出順序和侵入雜巖體中各個侵入體形成的先后順序，劃分礦床的成礦期和成礦階段、揭示各個成礦階段的空間分布等。到目前為止，研究隨機型地質過程所涉及的數學方法也僅限于馬爾可夫概型分析。3

隨機過程是概率論的基本概念之一，它是依賴于參數t的一族隨機變量，記為這里的參數t一般是時間，T是它的變化范圍，隨機變量x(ti)也稱作隨機過程x(t)在t＝ti∈T時的狀態(tài)。當隨機過程在時刻t1所處的狀態(tài)x(t1)為已知的條件下，若隨機過程在時刻t(t＞t1)所處的狀態(tài)x(t)與隨機過程在t1時刻之前發(fā)生的狀態(tài)無關，那么這樣的隨機過程就稱為馬爾可夫過程。

用分布函數來描述就是：如果對于參數t的任意n(n＞3)個數值t1＜t2＜…＜tn，在條件x(ti)＝xi，i＝1，2，…，n一1下隨機變量x(tn)的分布函數恰好等于在條件x(tn-1)＝xn-1的分布函數，即9.2馬爾可夫概型4則稱x(t)為馬爾可夫過程,條件分布函數是馬爾可夫過程的概率模型,上式為馬爾可夫過程的轉移概率。

馬爾可夫過程又稱為“無后效隨機過程”。所謂無后效性就是在已知隨機過程現在狀態(tài)的情況下，以后它所處的狀態(tài)與以前它所處的狀態(tài)無關?？梢詫⑵淅斫鉃椋@個過程的歷史對未來的全部影響集中在最后時刻的狀態(tài)中，即認為過程的任何觀測結果只與緊前面的觀測結果有關。就是在已經知道過程“現在”的條件下，其“將來”不依賴于“過去”。5狀態(tài)和參數都是離散的馬爾可夫過程稱作馬爾可夫鏈，即過程為馬爾可夫鏈適用于時間離散、狀態(tài)離散的時間序列。但是，在研究地質過程時，有時能直接確定過程在時間上的先后順序，有時則只能間接地以空間上的上下、前后、左右關系宋代替；也就是說，在地質過程研究中，有時可以挨到確定的時間序列，有時只能間接地用距離來代替時間參數：但是，只要空間序列有類似于馬爾可夫性質的關系存在，則仍然可以應用馬爾可夫鏈對這種序列進行研究。在此，我們將既適用于時間序列又適用于空間序列的馬爾可夫概率模型統稱為“馬爾可夫概型”。6

若馬爾可夫過程的轉移概率隨著時間的推移而發(fā)生變化，則稱其為非齊次或非乎穩(wěn)馬爾可夫過程，轉移概率不隨時間而變的馬爾可夫過程就稱為齊次或平穩(wěn)馬爾可夫過程。目前在地質研究中，主要是應用平穩(wěn)馬爾可夫過程。79.3馬兒可夫鏈的轉移概率設馬爾可夫鏈中可列個發(fā)生狀態(tài)轉移的時刻為t1，t2，…tn，…，在已知時刻t＝tn時隨機過程xi所處狀態(tài)為i的條件下，把經過一步轉移，即在時刻t＝tn+1(tn+1＞tn)轉移到狀態(tài)j上的概率記為pij，這個概率稱為馬爾可夫鏈的一階轉移概率。把從狀態(tài)i到狀態(tài)j的一階轉移概率pij記為pij(1)

pij(k)則是從狀態(tài)i出發(fā)經過k步轉移到狀態(tài)j上的轉移概率8對于馬爾可夫鏈來說，轉移概率完全括述了它的概率統計特征，因此，如何確定轉移概率則成為研究馬爾可夫鏈的一個重要問題。轉移概率在理論上是條件概率，而實際應用時則是以轉移頻率nij/ni．作為條件概率的估計值，即例：一地層段由五種巖性狀態(tài)組成，以1表示礫狀砂巖和粗砂巖，2表示細砂巖，3表示粉砂巖，4表示粘土巖，5表示灰?guī)r，下面列出了自下而上的巖性狀態(tài)轉移序列，求其轉移概率。12514545245435413434235454542314545459解：首先由上面的狀態(tài)序列統計出轉移頻數矩陣[nij]如下1234512345列和ni·從而，由狀態(tài)i轉移到狀態(tài)j的概率pij可以由求出。10轉移概率矩陣為如果過程的狀態(tài)不是5種而是m種，即E1，E2，…，Em,那么由狀態(tài)Ei經過一步轉移到狀態(tài)Ej的一階轉移概率矩陣為由條件分布律的性質，知轉移概率有如下性質：11二、高階轉移概率如果馬爾可夫鏈有，m種狀態(tài)EI，E2，…，Em，從狀態(tài)Ei出發(fā)經兩步轉移到狀態(tài)Ej的概率(不管第一步是什么狀態(tài))稱為二階轉移概率，記為此pij(2)，用二階轉移概率排成的矩陣為這個矩陣稱為二階轉移概率矩陣，其中元素pij可以由實際資料統計出來，即12更一般地，由狀態(tài)Ei經k步轉移到狀態(tài)Ej，的概率pij稱為k階轉移概率，其轉移概率矩陣稱為K階轉移概率矩陣，其中13因而有14從而，對于高階轉移概率矩陣有也就是說，從狀態(tài)Ei出發(fā)經過k步到達狀態(tài)Ej這一過程，可以看作它是先經過r(o＜r＜k)步轉移到某一狀態(tài)El(l＝1，2，…，m)，再由El經過(k—r)步轉移到達狀態(tài)Ej。15例如，對于一個包含砂巖(E1)、粉砂巖(E2)和頁巖E3的剖面，由圖9—l可見，從E2出發(fā)經過兩步轉移到E3：有三條不同的途徑，它是從E2出發(fā)由三條不同途徑經過兩步轉移到E3的概率之和。同樣可以計算：169.4遍歷定理與極限分布馬爾可夫鏈遍歷性的直觀意義是：不論從哪個初始狀態(tài)Ei出發(fā)，當轉移步數k充分大后，它到達狀態(tài)Ej的概率是一個不隨時間變化的常數pj。

也就是說，無論初始狀態(tài)如何，經過若干步轉移以后，系統將處于平衡狀態(tài)，因而當k充分大時，可用pj作為pij（k）的近似值。

遍歷性可以解決當k很大時高階轉移概率的計算問題。pj稱為馬爾可夫鏈的極限概率。

遍歷性需要確定的中心問題在什么樣的條件下，轉移概率的極限才是存在的；極限概率是否構成一個概率分布；以及如何計算極限概率pj。17

遍歷性定理是指對于有限狀態(tài)的馬爾可夫鏈，若存在一個正整數s，使得pij（s）〉0對任何i，j=1，2，…，m成立，那么極限存在，并且與i無關；而上式中的{p1，p2，…，pm}是方程組在滿足條件pj>0，時的唯一解18例，有一馬爾可夫鏈，其轉移狀態(tài)有兩種：E1，E2。經計算得出它的一階轉移概率矩陣為當s=1時，對一切i，j，pij（1）〉0滿足遍歷性定理，故有。而pj可由方程組求出19對于本例為最后得到p2=0.26，p1=0.74。所以，其極限概率矩陣為20如果從公式P（k）=（P（1））k出發(fā)，計算其高階轉移概率有從各階轉移概率可以看出，其前三階有所不同，隨著階數增加，3、4階轉移概率矩陣相等，等于極限概率矩陣，而且矩陣中每一列內各元素均相等，即經過若干步轉移后，終止狀態(tài)Ej的概率是一個常數pj。這就是狀態(tài)Ej的極限概率。21對任何一個離散的時間序列或空間序列都可以構造出一個轉移概率矩陣。但是，它是否具有馬爾可夫概型的性質呢？這就要對其進行獨立性檢驗。通常是用χ2檢驗。皮爾遜已經證明統一量在獨立假設下,當n很大時服從自由度(m-1)2的χ2分布。其中m為過程狀態(tài)的種數；nij為轉移頻數（由狀態(tài)Ei經過一步轉移到Ej上的次數）。22思考與練習題1.什么是馬