馬爾科夫及其應(yīng)用

1、馬爾可夫過程及其應(yīng)用馬爾可夫過程的簡介馬爾科夫過程(MarKov Process)是一個(gè)典型的隨機(jī)過程。設(shè)X(t)是一隨機(jī)過程，當(dāng)過程 在時(shí)刻t0所處的狀態(tài)為已知時(shí)，時(shí)刻t(tt0)所處的狀態(tài)與過程在t0時(shí)刻之前的狀態(tài)無關(guān)， 這個(gè)特性成為無后效性。無后效的隨機(jī)過程稱為馬爾科夫過程。馬爾科夫過程中的時(shí)同和狀 態(tài)既可以是連續(xù)的，又可以是離散的。我們稱時(shí)間離散、狀態(tài)離散的馬爾科夫過程為馬爾科 夫鏈。馬爾科夫鏈中，各個(gè)時(shí)刻的狀態(tài)的轉(zhuǎn)變由一個(gè)狀態(tài)轉(zhuǎn)移的概率矩陣控制。馬爾可夫過程的一般概念2.1定義設(shè)有一隨機(jī)過程 X(t), tT,若在 t1,t1, tn-1,tn(t1t2tnTtnT)時(shí)刻對 X(t)

2、觀測得到相應(yīng)的觀測值x1,x2,xn-1,xn滿足條件:或則稱此類過程為具有馬爾科夫性質(zhì)的過程或馬爾科夫過程，簡稱馬氏過程。其中F (x ; t I x , x , , x , x ; t , t , , t , t )X n n n-1 n - 22 1 n-1 n - 22 1代表在X(tn-1)=xn-1,X(t2)=x2；X(t1)=x1,的條件下;時(shí)刻X(tn)取xn值的條件分布函數(shù)。若把tn-1看做“現(xiàn)在，因?yàn)閠1t2tn-1tn則tn就可以看成“將來”，t1,t2,，tn-2 就當(dāng)做“過去”。因此上述定義可表述為在現(xiàn)在狀態(tài)X(tn-1)取值為xn-1的條件下，將來狀 態(tài)X(tn)

3、與過去狀態(tài)X(tn-2)X(tn-3), ,X(t1)是無關(guān)的。2.2轉(zhuǎn)移概率分布定義馬氏過程的轉(zhuǎn)移概率分布為F (x ;t I x ;t )= P(x (t ) x I X (t ) = x X n nn-1 n-1n nn-1n-1F (x;11 x ;t )= P(X (t) tX0 000(轉(zhuǎn)移概率分布是條件概率分布，對X而言，它是一個(gè)分布函數(shù)，有以下性質(zhì):1)FX(x;t|x0;t0)=02)FX(8；t|x0;t0)=13)FX(-8；t|x0;t0)=04)5)滿足切普曼-科爾莫哥洛夫方程FX(x;t|x0;t0)是關(guān)于x的單調(diào)非降、右連續(xù)的函數(shù)。x ; t ) = 1(x x

4、)此時(shí)，無后效性可表示為f (x ; t I x ; x , x , x ; tX n n n1 n 221】=f (x ;t I x ;t .).X n nn 1 n 1馬氏過程的轉(zhuǎn)移概率密度也滿足切普曼-科爾莫哥洛夫方程f (x ;t I x ;t )= J 8 f (x ;t I x ;t )f (x ;t I xX n n k kX n n r r X r r k8n-1 n 212, t1 );t )dx , t t tk r n r kF G; 11 工;t )=技 F G; 11 工;t )dF G ; t I 工;t )X0 0_8 X1 1 X 11 0 0dF (工;t I

5、 工;t )= f G ;t I 工;t )dx ,t t tX 10 0 X 1 10 01 01應(yīng)用全概率公式,可以證明上式成立。2.3轉(zhuǎn)移概率密度如果FX(x;t|x0;t0)關(guān)于x的導(dǎo)數(shù)存在,則:f (x;11 x ;t )=gF (x;11 x ;t ) TOC o 1-5 h z X0 0Qx X0 0稱之為馬爾科夫過程的轉(zhuǎn)移概率密度。反之，可得Jx f (u;11 x ;t )= Jx dF (u;11 x ;t )= F (x;11 x ;t )8 X0 08 X0 0 X0 0并且還有J 8 f (x; 11 x ; t )dx = F (3; 118 X0 0Xf (x;

6、t I x ; t )5馬爾可夫過程的統(tǒng)計(jì)特性及性質(zhì)由前面的內(nèi)容可知，隨機(jī)過程的統(tǒng)計(jì)特性可由有限維聯(lián)合概率分布來近似的描述。對于馬爾科夫過程來說，其維概率密度可以表示為f (x , x , , x ; t , t , , t ),x ; t , t , , t )n -1 1 2 n -1:;t I x ; t )f (x ; t )2 21 1 X 1 1X12 n 12 nf(x; tI x , x , , x ; t, t ,I x ; t ) f (xX n n 1 2. n-1 1 2-f (x ; t I x ; t ) f (x ; t* *X n n n-1 n-1 Xn-1

7、n-1-f (x ; QH 1 f (x ; t 1 x ; Dt t trts則在已知Xr(過程在t時(shí)刻的條件下)，隨機(jī)變量Xn和Xs是獨(dú)立的，滿足f (x ,x ;t ,t I x ;t )= f (x ;t I x ;t )f (x ;t I x ;t )X n s n s r r X n n r r X s s r r若對每個(gè)t=t1t2, X(t2)-X(t1)與 X(t)皆是獨(dú)立的，則過程X(t)是馬氏過程。由轉(zhuǎn)移概率密度的無后效性可推出E X (t ) I X (t 1), , X (t-E _ X (t ) I X (t馬爾可夫過程的應(yīng)用4.1馬爾可夫應(yīng)用概述馬爾可夫隨機(jī)過程的

8、發(fā)展史說明了理論與實(shí)際之間的密切關(guān)系。許多研究方向的提出， 歸根到底是有其實(shí)際背景的。反過來，當(dāng)這些方向被深入研究后，又可指導(dǎo)實(shí)踐，進(jìn)一步擴(kuò) 大和深化應(yīng)用范圍。下面簡略介紹一下馬爾可夫隨機(jī)過程本身在各方面的應(yīng)用情況。在物理學(xué)方面，高能電子或核子穿過吸收體時(shí)，產(chǎn)生級聯(lián)(或倍增)現(xiàn)果在研究電了- 光子級聯(lián)過程的起伏問題時(shí)，要用到隨機(jī)過程，常以泊松過程、弗瑞過程或波伊亞過程作為 實(shí)際級聯(lián)的近似，有時(shí)還要用到更新過程(見點(diǎn)過程)的概念。當(dāng)核子穿到吸收體的某一深 度時(shí)，則可用擴(kuò)散方程來計(jì)算核子的概率分布。物理學(xué)中的放射性衰變，粒子計(jì)數(shù)器，原子 核照相乳膠中的徑跡理論和原子核反應(yīng)堆中的問題等的研究，都要用

9、到泊松過程和更新理論。 湍流理論以及天文學(xué)中的星云密度起伏、輻射傳遞等研究要用到隨機(jī)場的理論。探討太陽黑 子的規(guī)律及其預(yù)測時(shí)，時(shí)間序列方法非常有用?；瘜W(xué)反應(yīng)動(dòng)力學(xué)中，研究化學(xué)反應(yīng)的時(shí)變率及影響這些時(shí)變率的因素問題,自動(dòng)催化反 應(yīng)，單分子反應(yīng),雙分子反應(yīng)及一些連鎖反應(yīng)的動(dòng)力學(xué)模型等，都要以生滅過程（見馬爾可 夫過程）來描述。隨機(jī)過程理論所提供的方法對于生物數(shù)學(xué)具有很大的重要性，許多研究工作者以此來構(gòu) 造生物現(xiàn)象的模型。研究群體的增長問題時(shí)，提出了生滅型隨機(jī)模型，兩性增長模型，群體 間競爭與生剋模型，群體遷移模型，增長過程的擴(kuò)散模型等等。有些生物現(xiàn)象還可以利用時(shí) 間序列模型來進(jìn)行預(yù)報(bào)。傳染病流行問

10、題要用到具有有限個(gè)狀態(tài)的多變量非線性生滅過程。 在遺傳問題中，著重研究群體經(jīng)過多少代遺傳后，進(jìn)入某一固定類和首次進(jìn)入此固定類的時(shí) 間，以及最大基因頻率的分布等。許多服務(wù)系統(tǒng)，如電話通信，船舶裝卸，機(jī)器損修，病人候診，紅綠燈交換，存貨控制， 水庫調(diào)度，購貨排隊(duì)，等等，都可用一類概率模型來描述。這類概率模型涉及的過程叫排隊(duì) 過程，它是點(diǎn)過程的特例。排隊(duì)過程一般不是馬爾可夫型的。當(dāng)把顧客到達(dá)和服務(wù)所需時(shí)間 的統(tǒng)計(jì)規(guī)律研究清楚后，就可以合理安排服務(wù)點(diǎn)。在通信、雷達(dá)探測、地震探測等領(lǐng)域中，都有傳遞信號與接收信號的問題。傳遞信號時(shí) 會受到噪聲的干擾，為了準(zhǔn)確地傳遞和接收信號，就要把干擾的性質(zhì)分析清楚，然后

11、采取辦 法消除干擾。這是信息論的主要目的。噪聲本身是隨機(jī)的，所以概率論是信息論研究中必不 可少的工具。信息論中的濾波問題就是研究在接收信號時(shí)如何最大限度地消除噪聲的干擾， 而編碼問題則是研究采取什么樣的手段發(fā)射信號，能最大限度地抵抗干擾。在空間科學(xué)和工 業(yè)生產(chǎn)的自動(dòng)化技術(shù)中需要用到信息論和控制理論，而研究帶隨機(jī)干擾的控制問題，也要用 到馬爾可夫隨機(jī)過程。4.2馬爾可夫應(yīng)用舉例假定西安電子科技大學(xué)有1萬學(xué)生，每人每月用1支牙膏，并且只使用“中華”牙膏 與“黑妹”牙膏兩者之一。根據(jù)本月（12月）調(diào)查，有3000人使用黑妹牙膏，7000人使 用中華牙膏。又據(jù)調(diào)查，使用黑妹牙膏的3000人中，有60%

12、的人下月將繼續(xù)使用黑妹牙膏， 40%的人將改用中華牙膏；使用中華牙膏的7000人中，有70%的人下月將繼續(xù)使用中華牙 膏，30%的人將改用黑妹牙膏。據(jù)此，可以得到如表一1所示的統(tǒng)計(jì)表。表一1兩種牙膏之間的轉(zhuǎn)移概率擬用黑妹牙膏中華牙膏現(xiàn)用黑妹牙膏60%40%中華牙膏30%70%上表中的4個(gè)概率就稱為狀態(tài)的轉(zhuǎn)移概率，而這四個(gè)轉(zhuǎn)移概率組成的矩陣60% 如”30% 70%稱為轉(zhuǎn)移概率矩陣。可以看出，轉(zhuǎn)移概率矩陣的一個(gè)特點(diǎn)是其各行元素之和為1。在本例中， 其經(jīng)濟(jì)意義是：現(xiàn)在使用某種牙膏的人中，將來使用各種品牌牙膏的人數(shù)百分比之和為1。2.用轉(zhuǎn)移概率矩陣預(yù)測市場占有率的變化有了轉(zhuǎn)移概率矩陣，就可以預(yù)測，到

13、下個(gè)月（1月份）使用黑妹牙膏和中華牙膏的人數(shù)，計(jì)算過程如下:(30007000)60% 40%30% 70%=(3900,6100)即：1月份使用黑妹牙膏的人數(shù)將為3900，而使用中華牙膏的人數(shù)將為6100。假定轉(zhuǎn)移概率矩陣不變，還可以繼續(xù)預(yù)測到2月份的情況為:這里(3900,6100)=(3000,7000)(3000,7000)60%30%40%70%60%30%60%30%00%30%40%70%40% 60% 40%70% 30% 70%40%7。=(4170,5830)稱為二步轉(zhuǎn)移矩陣，也即由12月份的情況通過2步轉(zhuǎn)移到2月份的情況。二步轉(zhuǎn)移概率矩陣正好是一步轉(zhuǎn)移概率矩陣的平方。一般

14、地，k步轉(zhuǎn)移概率矩陣正好是一步轉(zhuǎn)移概率矩陣的k次方?？梢宰C明，k步轉(zhuǎn)移概率矩陣中,各行元素之和也都為1。轉(zhuǎn)移概率矩陣案例分析 案例一：用轉(zhuǎn)移概率矩陣預(yù)測市場占有率的變化1有了轉(zhuǎn)移概率矩陣，就可以預(yù)測，到下個(gè)月（1月份）使用黑妹牙膏和中華牙膏的人數(shù)，計(jì)算過程如下:(3000,7000)60% 40%30% 70%=(3900,81。)即：1月份使用黑妹牙膏的人數(shù)將為3900，而使用中華牙膏的人數(shù)將為6100。假定轉(zhuǎn)移概率矩陣不變，還可以繼續(xù)預(yù)測到2月份的情況為:(3900,0100)60%30%40%70%(3000,7000)60%30%40%70%60% 40%30% 70%(3000,7000)60%30%40%70%=(4170,5830)這里160% 40% 30% 70%稱為二步轉(zhuǎn)移矩陣，也即由12月份的情況通過2步轉(zhuǎn)移到2月份的情況。二步轉(zhuǎn)移概率矩 陣正