馬爾科夫及其應(yīng)用

1、馬爾可夫過程及其應(yīng)用馬爾可夫過程的簡介馬爾科夫過程(MarKov Process)是一個典型的隨機過程。設(shè)X(t)是一隨機過程，當(dāng)過程 在時刻t0所處的狀態(tài)為已知時，時刻t(tt0)所處的狀態(tài)與過程在t0時刻之前的狀態(tài)無關(guān)， 這個特性成為無后效性。無后效的隨機過程稱為馬爾科夫過程。馬爾科夫過程中的時同和狀 態(tài)既可以是連續(xù)的，又可以是離散的。我們稱時間離散、狀態(tài)離散的馬爾科夫過程為馬爾科 夫鏈。馬爾科夫鏈中，各個時刻的狀態(tài)的轉(zhuǎn)變由一個狀態(tài)轉(zhuǎn)移的概率矩陣控制。馬爾可夫過程的一般概念2.1定義設(shè)有一隨機過程 X(t), tT,若在 t1,t1, tn-1,tn(t1t2tnTtnT)時刻對 X(t)

2、觀測得到相應(yīng)的觀測值x1,x2,xn-1,xn滿足條件:或則稱此類過程為具有馬爾科夫性質(zhì)的過程或馬爾科夫過程，簡稱馬氏過程。其中F (x ; t I x , x , , x , x ; t , t , , t , t )X n n n-1 n - 22 1 n-1 n - 22 1代表在X(tn-1)=xn-1,X(t2)=x2；X(t1)=x1,的條件下;時刻X(tn)取xn值的條件分布函數(shù)。若把tn-1看做“現(xiàn)在，因為t1t2tn-1tn則tn就可以看成“將來”，t1,t2,，tn-2 就當(dāng)做“過去”。因此上述定義可表述為在現(xiàn)在狀態(tài)X(tn-1)取值為xn-1的條件下，將來狀 態(tài)X(tn)

3、與過去狀態(tài)X(tn-2)X(tn-3), ,X(t1)是無關(guān)的。2.2轉(zhuǎn)移概率分布定義馬氏過程的轉(zhuǎn)移概率分布為F (x ;t I x ;t )= P(x (t ) x I X (t ) = x X n nn-1 n-1n nn-1n-1F (x;11 x ;t )= P(X (t) tX0 000(轉(zhuǎn)移概率分布是條件概率分布，對X而言，它是一個分布函數(shù)，有以下性質(zhì):1)FX(x;t|x0;t0)=02)FX(8；t|x0;t0)=13)FX(-8；t|x0;t0)=04)5)滿足切普曼-科爾莫哥洛夫方程FX(x;t|x0;t0)是關(guān)于x的單調(diào)非降、右連續(xù)的函數(shù)。x ; t ) = 1(x x

4、)此時，無后效性可表示為f (x ; t I x ; x , x , x ; tX n n n1 n 221】=f (x ;t I x ;t .).X n nn 1 n 1馬氏過程的轉(zhuǎn)移概率密度也滿足切普曼-科爾莫哥洛夫方程f (x ;t I x ;t )= J 8 f (x ;t I x ;t )f (x ;t I xX n n k kX n n r r X r r k8n-1 n 212, t1 );t )dx , t t tk r n r kF G; 11 工;t )=技 F G; 11 工;t )dF G ; t I 工;t )X0 0_8 X1 1 X 11 0 0dF (工;t I

5、 工;t )= f G ;t I 工;t )dx ,t t tX 10 0 X 1 10 01 01應(yīng)用全概率公式,可以證明上式成立。2.3轉(zhuǎn)移概率密度如果FX(x;t|x0;t0)關(guān)于x的導(dǎo)數(shù)存在,則:f (x;11 x ;t )=gF (x;11 x ;t ) TOC o 1-5 h z X0 0Qx X0 0稱之為馬爾科夫過程的轉(zhuǎn)移概率密度。反之，可得Jx f (u;11 x ;t )= Jx dF (u;11 x ;t )= F (x;11 x ;t )8 X0 08 X0 0 X0 0并且還有J 8 f (x; 11 x ; t )dx = F (3; 118 X0 0Xf (x;

6、t I x ; t )5馬爾可夫過程的統(tǒng)計特性及性質(zhì)由前面的內(nèi)容可知，隨機過程的統(tǒng)計特性可由有限維聯(lián)合概率分布來近似的描述。對于馬爾科夫過程來說，其維概率密度可以表示為f (x , x , , x ; t , t , , t ),x ; t , t , , t )n -1 1 2 n -1:;t I x ; t )f (x ; t )2 21 1 X 1 1X12 n 12 nf(x; tI x , x , , x ; t, t ,I x ; t ) f (xX n n 1 2. n-1 1 2-f (x ; t I x ; t ) f (x ; t* *X n n n-1 n-1 Xn-1

7、n-1-f (x ; QH 1 f (x ; t 1 x ; Dt t trts則在已知Xr(過程在t時刻的條件下)，隨機變量Xn和Xs是獨立的，滿足f (x ,x ;t ,t I x ;t )= f (x ;t I x ;t )f (x ;t I x ;t )X n s n s r r X n n r r X s s r r若對每個t=t1t2, X(t2)-X(t1)與 X(t)皆是獨立的，則過程X(t)是馬氏過程。由轉(zhuǎn)移概率密度的無后效性可推出E X (t ) I X (t 1), , X (t-E _ X (t ) I X (t馬爾可夫過程的應(yīng)用4.1馬爾可夫應(yīng)用概述馬爾可夫隨機過程的

8、發(fā)展史說明了理論與實際之間的密切關(guān)系。許多研究方向的提出， 歸根到底是有其實際背景的。反過來，當(dāng)這些方向被深入研究后，又可指導(dǎo)實踐，進一步擴 大和深化應(yīng)用范圍。下面簡略介紹一下馬爾可夫隨機過程本身在各方面的應(yīng)用情況。在物理學(xué)方面，高能電子或核子穿過吸收體時，產(chǎn)生級聯(lián)(或倍增)現(xiàn)果在研究電了- 光子級聯(lián)過程的起伏問題時，要用到隨機過程，常以泊松過程、弗瑞過程或波伊亞過程作為 實際級聯(lián)的近似，有時還要用到更新過程(見點過程)的概念。當(dāng)核子穿到吸收體的某一深 度時，則可用擴散方程來計算核子的概率分布。物理學(xué)中的放射性衰變，粒子計數(shù)器，原子 核照相乳膠中的徑跡理論和原子核反應(yīng)堆中的問題等的研究，都要用

9、到泊松過程和更新理論。 湍流理論以及天文學(xué)中的星云密度起伏、輻射傳遞等研究要用到隨機場的理論。探討太陽黑 子的規(guī)律及其預(yù)測時，時間序列方法非常有用。化學(xué)反應(yīng)動力學(xué)中，研究化學(xué)反應(yīng)的時變率及影響這些時變率的因素問題,自動催化反 應(yīng)，單分子反應(yīng),雙分子反應(yīng)及一些連鎖反應(yīng)的動力學(xué)模型等，都要以生滅過程（見馬爾可 夫過程）來描述。隨機過程理論所提供的方法對于生物數(shù)學(xué)具有很大的重要性，許多研究工作者以此來構(gòu) 造生物現(xiàn)象的模型。研究群體的增長問題時，提出了生滅型隨機模型，兩性增長模型，群體 間競爭與生剋模型，群體遷移模型，增長過程的擴散模型等等。有些生物現(xiàn)象還可以利用時 間序列模型來進行預(yù)報。傳染病流行問

10、題要用到具有有限個狀態(tài)的多變量非線性生滅過程。 在遺傳問題中，著重研究群體經(jīng)過多少代遺傳后，進入某一固定類和首次進入此固定類的時 間，以及最大基因頻率的分布等。許多服務(wù)系統(tǒng)，如電話通信，船舶裝卸，機器損修，病人候診，紅綠燈交換，存貨控制， 水庫調(diào)度，購貨排隊，等等，都可用一類概率模型來描述。這類概率模型涉及的過程叫排隊 過程，它是點過程的特例。排隊過程一般不是馬爾可夫型的。當(dāng)把顧客到達(dá)和服務(wù)所需時間 的統(tǒng)計規(guī)律研究清楚后，就可以合理安排服務(wù)點。在通信、雷達(dá)探測、地震探測等領(lǐng)域中，都有傳遞信號與接收信號的問題。傳遞信號時 會受到噪聲的干擾，為了準(zhǔn)確地傳遞和接收信號，就要把干擾的性質(zhì)分析清楚，然后

11、采取辦 法消除干擾。這是信息論的主要目的。噪聲本身是隨機的，所以概率論是信息論研究中必不 可少的工具。信息論中的濾波問題就是研究在接收信號時如何最大限度地消除噪聲的干擾， 而編碼問題則是研究采取什么樣的手段發(fā)射信號，能最大限度地抵抗干擾。在空間科學(xué)和工 業(yè)生產(chǎn)的自動化技術(shù)中需要用到信息論和控制理論，而研究帶隨機干擾的控制問題，也要用 到馬爾可夫隨機過程。4.2馬爾可夫應(yīng)用舉例假定西安電子科技大學(xué)有1萬學(xué)生，每人每月用1支牙膏，并且只使用“中華”牙膏 與“黑妹”牙膏兩者之一。根據(jù)本月（12月）調(diào)查，有3000人使用黑妹牙膏，7000人使 用中華牙膏。又據(jù)調(diào)查，使用黑妹牙膏的3000人中，有60%

12、的人下月將繼續(xù)使用黑妹牙膏， 40%的人將改用中華牙膏；使用中華牙膏的7000人中，有70%的人下月將繼續(xù)使用中華牙 膏，30%的人將改用黑妹牙膏。據(jù)此，可以得到如表一1所示的統(tǒng)計表。表一1兩種牙膏之間的轉(zhuǎn)移概率擬用黑妹牙膏中華牙膏現(xiàn)用黑妹牙膏60%40%中華牙膏30%70%上表中的4個概率就稱為狀態(tài)的轉(zhuǎn)移概率，而這四個轉(zhuǎn)移概率組成的矩陣60% 如”30% 70%稱為轉(zhuǎn)移概率矩陣?？梢钥闯?，轉(zhuǎn)移概率矩陣的一個特點是其各行元素之和為1。在本例中， 其經(jīng)濟意義是：現(xiàn)在使用某種牙膏的人中，將來使用各種品牌牙膏的人數(shù)百分比之和為1。2.用轉(zhuǎn)移概率矩陣預(yù)測市場占有率的變化有了轉(zhuǎn)移概率矩陣，就可以預(yù)測，到

13、下個月（1月份）使用黑妹牙膏和中華牙膏的人數(shù)，計算過程如下:(30007000)60% 40%30% 70%=(3900,6100)即：1月份使用黑妹牙膏的人數(shù)將為3900，而使用中華牙膏的人數(shù)將為6100。假定轉(zhuǎn)移概率矩陣不變，還可以繼續(xù)預(yù)測到2月份的情況為:這里(3900,6100)=(3000,7000)(3000,7000)60%30%40%70%60%30%60%30%00%30%40%70%40% 60% 40%70% 30% 70%40%7。=(4170,5830)稱為二步轉(zhuǎn)移矩陣，也即由12月份的情況通過2步轉(zhuǎn)移到2月份的情況。二步轉(zhuǎn)移概率矩陣正好是一步轉(zhuǎn)移概率矩陣的平方。一般

14、地，k步轉(zhuǎn)移概率矩陣正好是一步轉(zhuǎn)移概率矩陣的k次方。可以證明，k步轉(zhuǎn)移概率矩陣中,各行元素之和也都為1。轉(zhuǎn)移概率矩陣案例分析 案例一：用轉(zhuǎn)移概率矩陣預(yù)測市場占有率的變化1有了轉(zhuǎn)移概率矩陣，就可以預(yù)測，到下個月（1月份）使用黑妹牙膏和中華牙膏的人數(shù)，計算過程如下:(3000,7000)60% 40%30% 70%=(3900,81。)即：1月份使用黑妹牙膏的人數(shù)將為3900，而使用中華牙膏的人數(shù)將為6100。假定轉(zhuǎn)移概率矩陣不變，還可以繼續(xù)預(yù)測到2月份的情況為:(3900,0100)60%30%40%70%(3000,7000)60%30%40%70%60% 40%30% 70%(3000,7000)60%30%40%70%=(4170,5830)這里160% 40% 30% 70%稱為二步轉(zhuǎn)移矩陣，也即由12月份的情況通過2步轉(zhuǎn)移到2月份的情況。二步轉(zhuǎn)移概率矩 陣正