隨機過程_習題_第2章

1、WORD格式.整理版2.1設(shè)L(t)是一馬爾可夫過程，又設(shè)ti<t2<tn<tn+i<<tn4ko試證明:ftn /tn 1,tn k (xn / xn -1,，xn -Q - ftn/tn .1(xn /xn 1)即一個馬爾可夫過程的反向也具有馬爾可夫性。證明：首先，由條件概率的定義式得ftn,tn 1,tn k (xn，xn 1， ，xn k)ftn/tn1:tn kd/xn 山，xn ftn .1； -1,Xn k)根據(jù)馬爾可夫性將上式中的分子和分母展開，并化簡得ftn/tn 1,tn k (xn / xn 1,，xn k)，tn ：:k / tn 也 (x

2、n k /xn k -1) ftn 2/tn 1 (xn 2 /xn 1) ftn 1 /tn (xn 1 / xn ) ftn (xn )ftn k/tn kJ (xn k / xn k-1)'' ftn2/tn 1 (xn 2/ xn 1) ftn 1 (xn 1)ftn 1 /tn(xn 1/xn)ftn (xn)ftn 1 (xn 1)于是,ftn /tn 1，,tn k (xn / xn 1 ,xn*)= ftn"'"'") ftn 1 (xn 1)=ftn/tn 1 (xn / xn 1)2.2試證明對于任何一個馬爾可夫

3、過程， 如“現(xiàn)在"的一t)值為已知，則該過程的“過 去”和“將來”是相互統(tǒng)計獨立的，即如果有t1 <t2 <t3,其中t2代表“現(xiàn)在”，t1代 表“過去”，t3代表“將來"，若<t2)=x2為已知值。試證明：ft1,t3/t2 (x1 ,x3 /x2) = ft1/t2 (x1 /x2) ft3/t2 (x3 /x2)證明：首先，由條件概率的定義式得ft1,t2,t3 (x1, x2,x3)ft1 ,t3/t2 (x1 , x3 / x2 ) =1一；ft2(x2)然后，根據(jù)馬爾可夫性將上式中的分子展開，并化簡得ftl,t3/t2(X1,X3/x2) =f

4、t3/t2 (X3/ X2) ft2/tl (x2 /x1)fti (x1)ft2(X2)=ft3/t2 (X3 / X2)ftl,t2(X1, X2)ft2 (X2)=ft3/t2(X3/X2)ft”t2(Xi /X2)2.3右-(t)是一馬爾可夫過程，t1 < t2< tm ctm由< tm+2 0試證明:ftm 1,tm 2/t1,t2；，tm(Xm 1, Xm 2 /X1, X2 ,Xm) = ftm 1,tm 2/tm(Xm 1,Xm 2 /Xm)證明：首先，利用性質(zhì)：PAB|C = PA|BCPB|C得ftm 1 ,tm 2/t1,t2； ",tm(Xm

5、 1, Xm 2 /X1, X2, , Xm)=ftm .2/t1,t2；tm, tm 1(Xm 2 / X1, X2 , , Xm ,Xm 1 ) ftm 1 /t1 ,t2, ",tm(Xm 1 / X1, X2 , , Xm ) 于是，由馬爾可夫性得ftm 1,tm 2/t1,t2, ",tm(Xm 1 , Xm 2 / X1 ,X2 , Xm )=ftm 2/tm 1,tm(Xm 2 /Xm 1 ,Xm) ftm 1 /tm(Xm 1 /Xm)再利用性質(zhì) PA|BCPB|C =PAB|C得ftm 1 ,tm .2/t|,t2，,tm(Xm 1, Xm 2 /x1 ,

6、X2, Xm ) = ftm .1,tm 2/tm(Xm 1, Xm 2 /Xm)2.4若有隨機變量序列 W,",，且。力2,",之間相互統(tǒng)計獨立， 一的 概率密度函數(shù)為f(xn)= fn(xn)，EJ = 0(n = 1,2，)。定義另一隨機變量序列 ，如下：1=12=12試證明：(1)序列1產(chǎn)2,產(chǎn)n，具有馬爾可夫性;(2)E"n/"1 = y1，“2 = y2，"n= yn=E"n/r|n-1 =yn-1 = yn-1(1)證明：由于 <,、，鴻n，相互統(tǒng)計獨立，其n維聯(lián)合概率密度函數(shù)為f 1 2 n(y1，y2, ,yn

7、) =f 1(w)f 2(y2)f n(yn)由隨機變量序列%與4的關(guān)系可得如下的雅可比行列式10 0+911.:J = 1ma + 0所以，的n維聯(lián)合概率密度函數(shù)為f 1 2 n 由 .， ，Xn)= f 1(X1)f 2依-刈)f n(X -Xn-1)于是，f n/ nd/'，2， 1(xn / Xn-1， x2，x1)二 f 1(X1)f 2(X2 -2)f 門乂 1 -Xn 2)f n (Xn - Xn)f 1(X1) f 2(X2 -X1) f n(Xn_1 -Xn_2)=f n(% -Xn-1)由于f n 二 n(XnV，Xn)Ho2 n (X1，X2，Xn)dX1dX2

8、dXn_2Ho=f n (Xn -Xn)f 1 (X1)f 2 (X2 - 勺)f n(XnT -Xn，2)dX1 dX2dXn，2且f n J （xnd）ho=_.f 1 2 n（Xl，X2， ，Xn）dXidX2 dXn_2-feo=Cf 1（Xi）f 2（X2 -Xi）f n（Xn-Xn/）dXidX2 dXnq所以，f n/ n（Xn/Xn）=f n（Xn -Xn）因此f n/ n；2，1（Xn/XnX2，X1）= f n/ n（Xn/Xn）所以，序列 '戶2,產(chǎn)n，具有馬爾可夫性。（2）證明：根據(jù)條件均值的定義得E n / 1=y1, 2=y2, n_1=yn-Ho二 Upn

9、f n/ n；2, 1(yn/yn1 丫2。14Ho=匚ynf n/ n/(yn/yn_1)dyn=E n / n-1=yn于是，由給定的關(guān)系和 E n =0=12優(yōu)質(zhì)參考.資料E n/ 1 =y1，2 =y2，n-1= YnT】=E nyn-1=yn-12.5設(shè)有隨機過程 （n） （n=1, 2, 3,），它的狀態(tài)空間I : x： 0<x<1是連續(xù)的, 它的參數(shù)T為離散的，T=n （ n=1, 2, 3,）。設(shè) （1）為（0, 1）間均勻分布的隨 機變量，即 （1）的概率密度為(0 < x1 < 1)(其它值)1f1(X1)= "(1)(X1) = Jc(i

10、),， (m的聯(lián)合概率密度為f1,2,m (x1, x2，xm)=值1)卷2)：: *m) (x1, x2，xm)1小)、(0 < xm < xm=父 < x1 < 1)1X1X2Xmf1,2'' L,m (x1 , x2, ,Xm)=0 , 其匕為值求 (2)的邊際概率密度f 2( X2)；(2)試問該過程是否為馬爾可夫過程；(3)求轉(zhuǎn)移概率密度 f 2|1(X2| X 1) , ,fmlm：(xm| X m 1)。3 1(4)求P1)<±,a3) <。4 3 解：由給出的(1),(2)，(m)的聯(lián)合概率密度函數(shù)可知,，、1 ，c

11、,、f1,2(X1,X2) =(0 二 X2 二 X1 二 1)X1X2=X21X1其分布區(qū)域如右圖加黑部分所示。因此，42)的邊際概率密度函數(shù)為1 1一dX1 =-lnX2 (0<X2<1) £2»00,其它Xi值證明：因為f1,2； ,m(X1，X2, Xm)1fm|1,2； ,md(Xm | X1，X2, Xm-1) -7- 二f1,2, ,m(X1,X2 , ,xm-1)Xm-1(0<X m <X m ： < <X1 <1)顯然，fm|1,2,mT只與Xm1有關(guān)，所以該過程是馬爾可夫過程。解：由(2)得1fm|m_1(xm

12、| xm)=fm|1,2; m(xm | x1, x2xm_1)=xm_1其中，0V x m <xm <1 ( m=1, 2, 3,)。解：由給出的 (1) ,(2),(m)的聯(lián)合概率密度函數(shù)可知f1,2,3(xi ,x2 ,x3)=1X1X2,(0 ：二 X3 ： X2 :： Xi ：二1),其它值于是,x1f1,3(x1 , x3)= L f (x1, x2, x3)d x2x3dx2X1X2n x2的x3xi0x3,(0x3 : xi ； 1),其它值所以,P 3 (3)：二 1 431/3 3/4 1X10x3 7n%dx1dx3x12.6設(shè)有一參數(shù)離散、1/311 In0

13、 2 |L3X1 |4X33 一 X3dx322 3、2. .3.1一 In(-)一 In(-)3 _ 2323狀態(tài)連續(xù)的隨機過程-(n), n =1,2,，它的狀態(tài)空間為I :(x;x >0 ,又41)的概率密度函數(shù)為e*(x1 之 0)'(為)=")= 0(其它x1值)4(1), 42),金(m)的m維聯(lián)合概率密度為f1,2,m (x1 , x2, , xm) = x1x2xmJ exp _(xmxm+ xm J xm-2 + x2x1 + x1)(x1 - 0, x2 - 0, xm - 0)、f1,2,m (x1，x2， ，xm) =0 (其匕 Xj值)(1)

14、求邊際概率密度f1,2,m/(x1, x2，xm-1)(2) 求42)的概率密度；(3) 說明該過程是馬爾可夫過程，并求其轉(zhuǎn)移概率密度ftm/tm(xm / xm)(1)解：由m維聯(lián)合概率密度可得m-1維聯(lián)合概率密度f1,2； ,m(x1 ,x2 , xm -)Ho=0 x1x2 ' xmexP-(xmxm-1xm-1xmx2x1 x1)dxmHo二空2xm/ exp-(xmqxm_222x/ 0 exp(-xmxm)dxmuxG2xm<exp (xm,xm_2”22 )(2)解：同(1)理可求得：f1,2； ",m -2(x1，x2，xm-2)二2xmexp -(xm

15、-2xm-3x2x1x1)f1；2(x1,x2) =x1 exp -(x2x1 +x1)所以，2 ， X2 -0r z 、 “收r z. x, ./V一 4八f2(x2) = j0 x1exp(x2x1+x1)dx1 =(x2 +1)0,其它X2值(3)解：由條件概率的定義可得，1,2,m(Xl, X2 , Xm )f m/1,2,m(xm / x1, x2 , Xm J ) - 7c7x - Xm-1 eXp(-XmXm-1)f1,2； ,m_1(X1,X2,xm.1)由此可見，當m-1時刻的狀態(tài)確定時，m時刻的狀態(tài)與以前時刻的狀態(tài)無關(guān)。所以, 該過程為馬爾可夫過程。其轉(zhuǎn)移概率密度為xm 1

16、 exp( -xmxm_1), xm -1 - 0 , xm ,二 0fm/m(xm/xm)=，其它xi值2.7有三個黑球和三個白球。把六個球任意等分給甲乙兩個袋中，并把甲袋中的白球數(shù)定義為該過程的狀態(tài)，則有四種狀態(tài)：0, 1, 2, 3?，F(xiàn)每次從甲、乙兩袋中各取一球，然后互相交換，即把從甲袋取出的球放入乙袋，把從乙袋取出的球放入甲袋，經(jīng)過n次交換，過程的狀態(tài)為4n)(n=1, 2, 3, 4,)。(1)試問此過程是否為馬爾可夫鏈；(2)計算它的一步轉(zhuǎn)移概率矩陣。(1)證明：顯然，該過程由當前狀態(tài)轉(zhuǎn)移到另一個狀態(tài)的轉(zhuǎn)移概率只與當前狀態(tài)和轉(zhuǎn)移到的狀態(tài)有關(guān)，與其它時刻的狀態(tài)無關(guān)。因此，該過程是為馬

17、爾可夫鏈。(2)解：以甲袋中的白球數(shù)i作為該過程的狀態(tài)。當i#0和3時，過程狀態(tài)由i轉(zhuǎn)移到j(luò)概率為Pt(n +1) = j | <n) =i = «3 .if< 3 J(j =i 1)3-i3,(j =i)(j =i -1)其它j值當 i=0 時，Poi=1, Poj =0(j #1)；當 i=3 時，P32=1, % =0(j #2)。于是,步轉(zhuǎn)移概率矩陣為:0 10 0：0 0 1 02.8設(shè) n)是一馬爾可夫鏈，它的狀態(tài)轉(zhuǎn)移空間為 I: 0, 1, 2,它的初始狀態(tài)1.1.1的概率分布為P<0)=0= , P<0)=1= , P30)=2=;它的一步轉(zhuǎn)移

18、概率 424矩陣為14133413141334> 計算概率 P<0)=0,<1)=1/(2)=1；(2)計算 p02)。(1)解：由馬爾可夫性可得P (0) =0,=1, (2) =1 = P (2) =1| (1) =1P (1)=1| (0) =0P (0) = 0其中,P (2) =1/(1)=1 =P1(?P=1(0)=0 =p0?于是16P (0) =0, (1) =1, (2) =1=(2)解：二步轉(zhuǎn)移概率矩陣為Y1571161647161336363611331124848334所以,(2)P0116另一種解法是根據(jù)切普曼-柯爾莫哥洛夫方程得i =0 c(1)

19、_ 133P0i Pi1162.9設(shè)有馬爾可夫鏈，它的狀態(tài)轉(zhuǎn)移空間為I: 0,1, 2,它的一步轉(zhuǎn)移概率矩陣0J(1)試求 P(2),并證明 P(2) = P(4);WORD格式.整理版求 P(n) ,n2。(1)證明：P(* 2) *和P(4)分別為11-P0P>優(yōu)質(zhì)參考.資料所以,1 0JP.J,1 - pP;11-PP>P;*)34)(2)解：實際上，一步轉(zhuǎn)移概率矩陣P可以經(jīng)過行列變換為由此可見，這是一個周期為2的馬爾可夫鏈。所以，當n為奇數(shù)時WORD格式.整理版優(yōu)質(zhì)參考.資料2.10設(shè)有馬爾可夫鏈，它的狀態(tài)轉(zhuǎn)移空間為I: 0, 1,它的一步轉(zhuǎn)移概率矩陣為試用數(shù)學歸納法證明P

20、(n)(0 :： p ：二 1)u-p11”(2p-1)n2-2(2p-1)ni4(2p-1)n證明：當n=1時，顯然是成立的。假設(shè)n = k-1成立，即P(kf =11k-1-(2p -1)2 21 1k-1二一二(2 p 一 D22k2 i(2p-1)k-1則當n = k時P(k) _ P(k -1) P _1。八。-一(2 p 1)21 4 1 S 八 J-+-(2p -1)2 211k 12 2(2p-1k 1-(2p-1)k-1 2l+l(2p-1)k 2 21 1 k二一二(2 p _1)2 21 -1(2p-1)k2 21 1 k(2p-1)k2 2所以結(jié)論成立。2.11設(shè)有馬爾

21、可夫鏈，它的狀態(tài)空間為1：0,1,它的一步轉(zhuǎn)移概率矩陣為(0 二 a < 1,0 :二 b ：二1)1 -bJ試求p（利用矩陣的特征值、特征矢量方法計算）解：解算此題有以下三種方法：方法一:利用矩陣的相似變換：首先，容易解得矩陣P的兩個特征值人和對應(yīng)的特征向量分別為1入 1 =1 ,由這些特征向量做為列向量構(gòu)成的矩陣Q和其逆陣Q1為彳a 1Q = 1 -b 1與矩陣P存在如下關(guān)系Q-1 =一 ba +b1_a +ba 1 a + b-1a + b _"I0 1QPQ =0 1 _ a _ b _一 10QqQ =j0 1 _ a _ b _并且(Q -1 PQ)n =Q-1PQ

22、Q“PQ Q-1PQ =Q-1PnQ于是得-10P(n) =Q0 1 _ a _ b _n a(1ab)n+b a-a(1-a-b)n qT=| a+ba+bb -b(1 -a -b)n a + b(1 - a - b) n- a+ba+b 方法二:利用矩陣的特征值、特征矢量：首先，由下面的等價關(guān)系PX = X = PPX = PX = 2X = PX = nXP的所有特可知產(chǎn)是P(n)的特征值，P的特征向量是P的特征向量。因此，可由征值和特征向量，利用PX =KnX這個等式解P。設(shè)Pl P2 1P(n)=J3 P4 _對于本題，可得方程組如下- Pl P2 M I 口 11.P3 P4JL1

23、J上-p1P2-a - a=(1 -a-b)nJp3 P4.b_二b_解得Pi, P2, P3, P4的值與方法一的結(jié)果相同。方法三:利用母函數(shù)：首先，轉(zhuǎn)移概率矩陣對應(yīng)的母函數(shù)為1 - (1 - a) s - as I G(s) =£ P(n)sn =(I -Ps)=n=1 bs1 (1 b)s_1(1 - a - b)s - (2 - a - b)s 11 -(1 -b)s_ bsas1 (1 a)s將矩陣G(s)的第一行第一列元素展開成s的級數(shù)為ab oO a b a b - an na皿 -aJ =(1 a - b) s 1 _ (1 - a _ b) s 1 _ sn =o

24、a b°° h八_b_na b其中，sn項的系數(shù)就是P的第一行第一列元素，即P1 =(1 - a -b)n同理可得P2, P3, P4。(即一連三天2.12天氣預(yù)報問題。其模型是：今日是否下雨依賴于前三天是否有雨WORD 格式 .整理版有雨；前面兩天有雨，第三天是晴天；），問能否把這個問題歸結(jié)為馬爾可夫鏈。如果可以，問該過程的狀態(tài)有幾個？如果過去一連三天有雨，今天有雨的概率為0.8；過去三天連續(xù)為晴天，而今天有雨的概率為0.2； 在其它天氣情況時，今日的天氣與昨日相同的概率為0.6。求這個馬爾可夫鏈的轉(zhuǎn)移矩陣。解：此問題本來不是馬爾可夫鏈，但是通過將連續(xù)三天的天氣情況定義為

25、一個狀態(tài)，則可以認為是一個馬爾可夫鏈。每天的天氣狀況分為有雨（用 “ 1” 表示） 和無雨 （用“ 0”表示）兩種情況，所以該馬爾可夫鏈有23=8中狀態(tài)。將連續(xù)四天的天氣情況用Y和N表小。例如，前三天有雨，第四天無雨，則表小為 YYYN根據(jù)題意可知，如果過去一連三天有雨，今天有雨的概率為0.8；過去三天連續(xù)為晴天，而今天有雨的概率為0.2；即P1111=0.8 ， P0001=0.2 ，在其它天氣情況時，今日的天氣與昨日相同的概率為0.6，即P0011= P0111=P1011=0.6P1100=P0000= P0100=P1000=0.6于是可得其它的概率值為P0000=1-P0001=0.

26、8 ， P0010=1-P0000=0.2 ， P0101=1-P0100=0.4P0110=1-P0111=0.4 ， P1001=1-P1000=0.4 ， P1010=1-P1011=0.4因此，概率轉(zhuǎn)移矩陣為優(yōu)質(zhì).參考.資料WORD格式.整理版優(yōu)質(zhì)參考.資料0 0 0 0.2 0.80.80.20.40.40.60.40.60.60.40.60.20.82.13設(shè)有馬爾可夫鏈,它的狀態(tài)空間為01它的步轉(zhuǎn)移概率矩陣為f/f0(1)，f0(1* 2)P=2(3) f01f0(2) =(1) (1)P01 P10f0(12)=(1) (1)P00 P01f (3) f01(1) (1) (1)一 P00 P00 P01f (3) 1 01(1) (1)