幾種常用的隨機(jī)過(guò)程

1、第十講幾種常用的隨機(jī)過(guò)程10.110.1馬爾可夫過(guò)程10.1.110.1.1 馬爾可夫序列馬爾可夫序列是指時(shí)間參數(shù)離散，狀態(tài)連續(xù)的馬爾可夫過(guò)程。一個(gè)隨機(jī)變量序列Xn(n=1,2,)， 若對(duì)于任意的n有Fx(Xn|Xn1，Xn_2,，Xi)FX(Xn1Xn-1)(10.1)或fX(XnlXn1，Xn2，.，Xl)=fX(XnXn-1)(10.2)則稱Xn為馬爾可夫序列。Xn的聯(lián)合概率密度為fX(X1X2.-.,Xn)fX(XnlXn1)fX(XnXn-2)fx(X21X)fx(X)(10.3)馬爾可夫序列有如下性質(zhì)：10一個(gè)馬爾可夫序列的子序列仍為馬爾可夫序列。11fX(XnXn+1，Xn+2,

2、，Xn+k)=fX(Xn1Xn1)(10.4)12E(XnXn-l,，Xi)E(XnXn-i)2.%2(4)在一個(gè)馬爾可夫序列中，若已知現(xiàn)在，則未來(lái)與過(guò)去相互獨(dú)立。即fX(Xn，XslX)=fX(XnXn1)fX(XslX),nrs(10.6)(5)若條件概率密度f(wàn)x(XnlX1)與n無(wú)關(guān)，則稱馬爾可夫序列是齊次的。(6)若一個(gè)馬爾可夫序列是齊次的， 且所有的隨機(jī)變量Xn具有同樣的概率密度，則稱該馬爾可夫序列為平穩(wěn)的。(7)馬爾可夫序列的轉(zhuǎn)移概率滿足切普曼柯?tīng)柲缏宸蚍匠?，即fX(Xn1Xr)fX(Xr1Xs),nrs(10.7)fx(Xn|Xs)=10.1.2馬爾可夫鏈馬爾可夫鏈?zhǔn)侵笗r(shí)間參數(shù)

3、，狀態(tài)方程皆為離散的馬爾可夫過(guò)程。1馬爾可夫鏈的定義設(shè)Xn（n=1,2，）為離散時(shí)間隨機(jī)過(guò)程，其狀態(tài)空間1=a，a2,，aJ。如果過(guò)程在y+k時(shí)刻為任一狀態(tài)a（i=1,2，N）的概率，只與過(guò)程Imk在tm時(shí)刻的狀態(tài)有關(guān)，而與過(guò)程在時(shí)刻以前的狀態(tài)無(wú)關(guān)，即PXmk-aimk|Xm-a%，I，X1-a/=PXmk=aimk|Xm=aim（10.8）則稱該過(guò)程為馬爾可夫鏈，或簡(jiǎn)稱馬氏鏈。2馬氏鏈的轉(zhuǎn)移概率及有限維分布馬氏鏈的轉(zhuǎn)移概率定義為Pij（m，mk）=pXm*=a/Xm=a，i，j=1,2,|N;m，k皆為正整數(shù)（10.9）如果您足心與m無(wú)關(guān)，則稱該馬氏鏈為齊次的。下面我們僅研討齊次馬氏鏈，并習(xí)

4、慣上省去“齊次”二字馬氏鏈的一步轉(zhuǎn)移概率及其矩陣分別定義為PJPij(1)=Pij(m，m1)=PXm1=aj1Xm=ai(10.10)1.%2.%3NPi=12.%2.%3馬氏鏈的高階轉(zhuǎn)移概率及其矩陣分別定義為P-P(1)P11P21P12P22PN1PN2P1NP2NIPNN(10.11)人步轉(zhuǎn)移概率矩陣P有以下兩個(gè)性質(zhì)Pj(n)=pjmmn)=PXmjaj乂血(10.14)n步轉(zhuǎn)移概率矩陣P(n)具有如下的性質(zhì):0工Pm、1NP。TI=1此外，還規(guī)定馬氏鏈的n步轉(zhuǎn)移概率及其矩陣具有如下的切普慢一柯?tīng)柲Ω缏宸蚍匠痰碾x散形式，即P(n)二Pii(n)P21(n).PN1(n)PIPlN(n)

5、P22(n)川P2N(n)PN2(n)川PNN(n)(10.15)(10.16)(10.17)PJO)：P，j(m,m)1卜j0卜jNP8=P/1k)-pir(k)prj(10.18)r=11p(n)=p(1+k)=p(1)p(k)(10.19)當(dāng)n為任意正整數(shù)時(shí)，則有np(n)=pp(n-1)=HI=p(10.20)式(7.18),若n=k+1,則有pk1)=pirpj(k)=pWprj21)rr由上可知，以一步轉(zhuǎn)移概率Pij為元素的一步轉(zhuǎn)移概率矩陣P決定了馬氏鏈狀態(tài)轉(zhuǎn)移過(guò)程的概率法則。但是，P決定不了初始概率分布，必須引入初始概率ppX0=a=0,12川(10.22)并稱P=(的口由2,)

6、為初始分布，顯然有(1)pi0,pi1(10.23)i若絕對(duì)概率R的二吠同，則有Pj(k1卜.PR*1)=.Pi(k)Pij馬氏鏈的有限維分布可表示為pX0=ai0，Xi=aii,川，Xn=ai?=PX0=ai0PXi=aiJX0二ai)川PXn=ainIXn1=ainJ二PioPioil川Pinin3.遍歷性及平穩(wěn)分布(1)遍歷性設(shè)X(n)為齊次馬氏鏈，若對(duì)于一切狀態(tài)i與j,存在不依賴于i的極限limPj(n)=Pi(10.36)n則稱馬氏鏈X(n)具有遍歷性。定理(有限馬氏鏈具有遍歷性的充分條件)對(duì)有限狀態(tài)的齊次馬氏鏈X(n),若存在正整數(shù)m,使Pij(m)0,i,j=1,2,.,N(10

7、.37)(10.24)(10.25)則此鏈?zhǔn)潜闅v的。而且，式(10.36)中的Pj=P1，P2,PJ是方程組NPj-PE=1,2,.,N(10.38)i在滿足條件NopjVPj=1(10.39)i=1下的惟一解。(2)平穩(wěn)分布馬氏鏈的一個(gè)概率分布Q0vj,即:vj之0和vj=1,如有j=。oOvj=VjP(10.40)i=0ij則稱它為該鏈的平穩(wěn)分布。并有oOvi一MPij(n)(10.41)i=010.1.3馬爾可夫過(guò)程這里論及的馬爾可夫過(guò)程是指時(shí)間,狀態(tài)皆連續(xù)的馬爾可夫過(guò)程。擴(kuò)散過(guò)程就是這類馬爾可夫過(guò)程的一個(gè)特例。設(shè)有一隨機(jī)過(guò)程：X(t),tT,tit2tn.tnT,若在t1,t2，tn_

8、1,tn對(duì)X(t)觀測(cè)得到相應(yīng)的觀測(cè)值x1,x2,.xn_1,xn滿足FX(xnjtn/xn-1,xn-21,x2,x1tn-1tn-2t2,t1)=FX(xn；tn/xn-1；tn-1),n3勺整數(shù)(1Q42)則稱此類過(guò)程為馬爾可夫過(guò)程，簡(jiǎn)稱馬氏過(guò)程。馬氏過(guò)程的轉(zhuǎn)移概率分布定義為：FX(xn；tn|xn-1；tn_1)=PX(大尸X(tn一J4(10.43)或FX(x；t|%；to)=PX(t尸x|X(to)=xo,tto(10.44)轉(zhuǎn)移概率分布是關(guān)于x的分布函數(shù)，故有:(1) Fx(x;t|x0;to)0(10.45)(2) FxS；t|x0;t0)=1(10.46)Fx(；t|x0;t

9、j=0(10.47)(4)FX(x;t|x0;t0)是關(guān)于x單調(diào)不減，右連續(xù)的函數(shù)。(5)滿足切普曼柯?tīng)柲缏宸蚍匠蘍OFx(x;t|x/t)dx1Fx(x1；t/x。；t)(10.48)馬氏過(guò)程的轉(zhuǎn)移概率密度定義為fx(x；t|x0；t0)=Fx(x；t|x0；t0)：xfx(xn；tn/xk；tk)fx(xn；nn/xr；tr)fx(xr；tr/xk；tk)dx,tktrtnFx(x;t|x0;tj=(1049)故有oofx(x;t/x0;t0)dx=110fx(x；t/x；t0)T6(x-x)，當(dāng) Lt0歸fx(xn；tn/xn_1)xn.2).)x2)xi；tn_1,tn.2.,t2,

10、t1)fx(xn;tn/xn_1；tn.1),n-3勺整數(shù)它也滿足切普曼一一柯?tīng)柲缏宸蚍匠?1)(2)(3)(10.53)如果馬氏過(guò)程x(t)有Fx(x；t/%；to)=Fx(x/Xo；),=t-to(10.54)或fx(x;t/%;t0)=fx(x/X0)j=t-t0(10.55)則稱它為為齊次馬爾可夫過(guò)程。馬氏過(guò)程X(t)的n維概率密度可寫成fx（xi，x2，.xn；ti，t2，.,tn）-1fx（X； ti） nfx（x+i； ti+i/x； ti） ,tit2.tn（10.56）i=110.2獨(dú)立增量過(guò)程獨(dú)立增量過(guò)程設(shè)有一個(gè)隨機(jī)過(guò)程x(t)(teT),若對(duì)任意的時(shí)刻0飛tt2tnb,

11、過(guò)程的增量x(t1)-x(t0)、x(t2)-x(t1)、x(tn)-x(tn-1)是相互獨(dú)立的隨機(jī)變量，則稱x(t)為獨(dú)立增量過(guò)程或可加過(guò)程。若參數(shù)集T=4。,則像馬爾可夫過(guò)程一樣，獨(dú)立增量過(guò)程的有限維分布可由它的初始概率分布P(t0)： x)及一切增量的概率分布唯一地確定。如果獨(dú)立增量過(guò)程X(t)的增量X(ti)-X(ti_1)的分布僅與(ti-tii有關(guān)，而與泊松過(guò)程實(shí)際上， 泊松過(guò)程就是一個(gè)純不連續(xù)的馬爾可夫過(guò)程，而且也是一個(gè)獨(dú)立增量過(guò)程。泊松過(guò)程定義設(shè)隨機(jī)過(guò)程X(t)(twto20,8)的狀態(tài)只取非負(fù)整數(shù)值，若滿足下列三個(gè)條件：PX(。)=0=1;X(t)為均勻獨(dú)立增量過(guò)程；對(duì)任意時(shí)

12、刻t1,t2(t0,8),t10內(nèi)的增量與At之比，我們構(gòu)成一新過(guò)程：稱它為泊松增量。顯然，若k是間隔(t,t+7)內(nèi)的隨機(jī)點(diǎn)數(shù)，則Y(t)=k/Ato故Y(t)的均值、自相關(guān)函數(shù)分別為:(10.59)(10.60)(10.61)Y(t);X(tt)-X(t)t(10.63)PY(t)K=jetk!(10.64)11EY(t)EX(tFEX(t)65)2,RY(tl,t2)=2t1-t2|/_+-八 73.過(guò)濾的泊松過(guò)程與散粒噪聲泊松過(guò)程X(t)對(duì)t求導(dǎo)， 就能得到與時(shí)間軸上隨機(jī)點(diǎn)ti相對(duì)應(yīng)的沖激序列Z(t),稱此離散隨機(jī)過(guò)程為泊松沖激序列。即過(guò)濾的泊松過(guò)程設(shè)有一泊松沖激脈沖序列Z(t)=z5

13、(t-ti)經(jīng)過(guò)一線性時(shí)不i變?yōu)V波器，則此濾波器輸出是一隨機(jī)過(guò)程X(t)，如圖：tl-t2t(10.66)|ti-t2tZ(t)-dX(t(t-ti)dti(10.67)N(T)X(t)=Z(t)h(t)=h(tt)0Mt(10.72)i=1式中，h(t)為濾波器的沖激響應(yīng)；ti為第i個(gè)沖激脈沖出現(xiàn)的時(shí)間；N(t)為在0，T內(nèi)輸入到濾波器的沖激脈沖的個(gè)數(shù)，它服從泊松分布。我們稱此為過(guò)濾的泊松過(guò)程。散粒噪聲在電子管、晶體管中,由散粒效應(yīng)引起的散粒噪聲電流皆為過(guò)濾的泊松過(guò)程。因此，散粒噪聲X(t)可表示成類似式(10.72)的形式。X(t)=Z(t)h(t)=h(t-ti)t:(10.73)i而且，不難證明此X(t)也是平穩(wěn)的。10.2.3維納過(guò)程維納過(guò)程W(t)是另一個(gè)最重要的獨(dú)立增Z(t)tl量過(guò)程，有時(shí)也稱它為布朗運(yùn)動(dòng)過(guò)程，還可以將它看成是隨機(jī)游動(dòng)X(t)的極限形式。1.定義設(shè)隨機(jī)過(guò)程W(t0,8)滿足下列條件：PW(0)=0=1;W(t)為均勻獨(dú)立增量過(guò)程，且對(duì)任意時(shí)刻ti、t