隨機過程第四章2實用教案

1、中，情況要復雜得多。周期。但在隨機性運動即聲響元素的最大公約數(shù)，也是中這其中。的集合，則單位：分鐘響時刻表示，若令分鐘發(fā)生音樂聲響的鐘例如每隔有時會呈現(xiàn)出周期性周期：確定性機械運動TTT30,60,30, 0)(30,. 1第1頁/共37頁第一頁，共37頁。圖所示：狀態(tài)間的轉(zhuǎn)移規(guī)律如下?？臻g例如：設馬氏鏈的狀態(tài)9 , 2 , 1I 給出如下定義：受確定性問題的啟發(fā)，的最大公約數(shù)。，是，而但，雖然，對正數(shù)的可能步數(shù)再返回狀態(tài)出發(fā)從狀態(tài)由圖易見12202022,12,10, 8 , 6 , 41,1,1111nnnppTT3132第2頁/共37頁第二頁，共37頁。 0, 1.01npnnDCGdn

2、pnniiii：狀態(tài)的周期，記為：該集合的最大公約數(shù)為非空，則稱，：定義：如集合，則稱無周期。，其周期，即若對任意，不定義為空集的：注：對于使0)(10)(, 1npninpnniiii。是周期的，周期為狀態(tài)非周期的。對上例來說為，則稱為周期的；如，稱通常，如21,11idid第3頁/共37頁第三頁，共37頁。0. 01,3 ,2 ,ndpMnMdnpnndinddddid，i，iiii有對一切一定有對任何的，當然這并不意味著回到狀態(tài)步，系統(tǒng)是不可能來說，除非經(jīng)對則說明的周期若為狀態(tài)由定義可知第4頁/共37頁第四頁，共37頁。 是否兩個具有(jyu)相同周期的狀態(tài)所表現(xiàn)出來的性質(zhì)基本一致呢?下

3、例可說明并非如此。，狀態(tài)轉(zhuǎn)移圖如下：例：設4 , 3 , 2 , 1I。后，它再也不能返回到轉(zhuǎn)移到狀態(tài)則不然，當，而狀態(tài)出發(fā)經(jīng)兩步必定返回到，但由狀態(tài)的周期都為與狀態(tài)由圖可知232233232，第5頁/共37頁第五頁，共37頁。簡稱首達概率。的概率，步首次到達狀態(tài)出發(fā)，經(jīng)為自狀態(tài)，而稱：，：即的時刻。出發(fā)首次進入狀態(tài)狀態(tài)為從，稱隨機變量、定義：對任意兩個狀態(tài)首達概率jniniXjXnvjXPnTPnfnjXiXnTjiTjimnmvmijijnmmijij1/11)(1,min. 2第6頁/共37頁第六頁，共37頁。 jijiiiiijivnijnnpppiXnvjXjXPnft112111/

4、11 ,00作出發(fā)時刻，則無關。所以，如果以刻知，首達概率與出發(fā)時注：由齊次馬氏鏈性質(zhì)的條件概率。出發(fā)經(jīng)有限步可達，表示從出發(fā)，遲早要到達狀態(tài)它表示從狀態(tài)，即的條件概率經(jīng)有窮步后終達狀態(tài)的條件下，氏鏈位于狀態(tài)另一個重要概念是：馬jijiTPnfffjiijnijijij1)(第7頁/共37頁第七頁，共37頁。非常返的，如為；稱狀態(tài)為常返的，如定義：稱狀態(tài)常返性概念11. 3iiiififi下：馬氏鏈的狀態(tài)轉(zhuǎn)移圖如例.2121212132311第8頁/共37頁第八頁，共37頁。 也為常返的。，即狀態(tài)，2121)2( ,21)(, 0) 1 (212222122221nnnnnffnnff為非常返

5、的；即狀態(tài)故，由圖知：對一切400)(4444,f,nfn 也為非常返的；即狀態(tài)，故31321032)1 (333333f,nn,ff 為常返的；即狀態(tài)，11212121212) 1 (1111111111fffff第9頁/共37頁第九頁，共37頁。( )1niiinnf遍歷狀態(tài)。非周期的正常返態(tài)稱為為零常返的。則稱常返態(tài)反之，如為正常返的；，則稱常返態(tài)定義：如iiii考慮(kol)第10頁/共37頁第十頁，共37頁。 321232122111112221111nnnnnnnfnnf如上例，故它們都是遍歷狀態(tài)。，又因其周期都是都是正常返態(tài)與狀態(tài)故狀態(tài)1,21第11頁/共37頁第十一頁，共37頁

6、。的關系。與)()(. 4npnfijij)()()(,1,1knpkfnpnjinkjjijij有：及定理：對任意狀態(tài)i0knjj)()(, 11 ,/, 11 ,/, 11 ,/)(100101knpkfjXkvjXiXjXPiXjXkvjXPiXjXjXkvjXPiXjXPnpnkjjijkvnknkvnknkvonij證：第12頁/共37頁第十二頁，共37頁。 率之和的形式。分解成較低步的轉(zhuǎn)移概可以把的關鍵性公式，它們方程及此定理是馬氏鏈npkcij11)()()()(1)0(nkjjijijijjjknpkfnpnfnkp，取第13頁/共37頁第十三頁，共37頁。000,321332

7、211qppqqpp，I轉(zhuǎn)移的矩陣為：間例：設馬氏鏈的狀態(tài)空1p2p3p2q3q1q的概率。步轉(zhuǎn)移首次到達各狀態(tài)出發(fā)經(jīng)求從狀態(tài)n10, 12,1,2,)(1313131121mmnppqmmnqqpqnfmm第14頁/共37頁第十四頁，共37頁。0, 12,1,2,)(1212121131mmnqqpmmnppqpnfmm同理：1, 121,210)(321231321321312312132111mmnqqpqqppqppmmnppqqqqppn，nfmmmm第15頁/共37頁第十五頁，共37頁。回顧(hug)1 CK公式2 )()()(,1,1knpkfnpnjinkjjijij有：及定理

8、：對任意狀態(tài) ( )rijirrjIpnpk pnk第16頁/共37頁第十六頁，共37頁。判別常返狀態(tài)及性質(zhì)如何用常返性的判別及其性質(zhì)二)(.npij 111,100iiiiniiiiniiffnpifnpi則非常返如為常返的充要條件為：定理：狀態(tài) sFsPnfnpfpiiiiiiii與的母函數(shù)為與，再設證：規(guī)定0)0(, 1)0(第17頁/共37頁第十七頁，共37頁。1)()()()()(1nknpkfnpnfnpiinkiiiiijij的關系有：與由1)()(1)()(00sskfsFsskpsPkkiikkii有：求和并對兩邊乘以于是對1,10ns，s第18頁/共37頁第十八頁，共37頁

9、。)(11)()()(1)(sFsPsPsFsP，故即)()()()()()()()()(01111sPsFsknpskfsknpskfsknpkfsnpknkniikkiiknkniikkiinniikiinnii第19頁/共37頁第十九頁，共37頁。 0100)()(lim1)(1)()(100)(niisniiNnniiiinpsPNssPsnpsPsnpNsnp，則有再令，不減，故在上式中先令時，由于當有：正整數(shù)與給定的，故對任意的因為01)()(limniiiisfnfsF類似地可證得：第20頁/共37頁第二十頁，共37頁。命題得證！則若即可得：再根據(jù)常返狀態(tài)的定義兩邊令在000)(

10、111)(11)(1)(11)(niiiiiinniiiinp，ffnpnp，ssFsP第21頁/共37頁第二十一頁，共37頁。下面(xi mian)解釋這個定理的結論：的次數(shù)表示馬氏鏈狀態(tài)位于，若iiXiXnnnnn001 首先(shuxin)令隨機變量)(/11/0000000000npiXiXPiXPiXEiXEiXEniinnnnnnnn而的平均次數(shù)。返回出發(fā)再實際上表示了馬氏鏈從可見iinpnii0)(第22頁/共37頁第二十二頁，共37頁。窮極限的平均次數(shù)將有一個有非常返時，則返回為而當狀態(tài)的次數(shù)將無限地增加；下去時，返回續(xù)為常返且過程無限地繼定理式告訴我，若狀態(tài)iifiiii11

11、是非常返的。則狀態(tài)若是常返的；則狀態(tài)若結論：i，npi，npniinii00)()2()() 1 (第23頁/共37頁第二十三頁，共37頁。0,)(limiiiiiindidndpd，i時當?shù)钠骄祷貢r間為其中則常且有周期定理：設狀態(tài)(1)lim( )01(2)lim( )0iiniiniip np n由此定理立即得：i f 常返，零常返；正常返第24頁/共37頁第二十四頁，共37頁。狀態(tài)分類(fn li)判別法狀態(tài)分類判別法常返態(tài)正常返零常返非常返態(tài))(0 nnpiinnpii0 0niinp 0niinp第25頁/共37頁第二十五頁，共37頁。三.狀態(tài)(zhungti)之間的關系(可達、互

12、通)。且，如果互通，并記為與；稱狀態(tài)，使如果存在某個，并記作可達狀態(tài)定義：稱狀態(tài)ijjijijinpnjijiij0)(0。則如果；則即如果關系都具有傳遞性定理：可達關系與互通kikjjikikjji,第26頁/共37頁第二十六頁，共37頁。kimlmplpmplpmlpkcmpmkjlpljiIsjkijskisikjkij, 10)()()()()(:0)(10)(1且方程由，使，即存在，使，即存在證： 將可達關系的證明,正向(zhn xin)用一次，反向用一次，就可得出互通關系的傳遞性。第27頁/共37頁第二十七頁，共37頁。互通(htng)關系的狀態(tài)是同一類型.有相同的周期。與同為正常

13、返或零常返；為常返，則它們同為常返或非常返，如與則定理：如果jijij，i)2() 1 ( 00)()()()()(0)(, 0)(1niinjjiiijiijijjjiijnpmnkpnpmpnpkpmnkpkcnkpmpmkji方程，有于是，對任意正整數(shù)，使與，故存在正整數(shù)證：因為第28頁/共37頁第二十八頁，共37頁。 也是常返的；因此，狀態(tài)更有，故則為常返若j，npmnkpnpinjjnjjnii000)(,或同為有限。為無窮相互控制，所以它們同與有類似地0000)()()()(njjniinjjniijjiinpnpnpmnkpnpmnkp，第29頁/共37頁第二十九頁，共37頁。

14、為常返的；即，為常返，則若inpnpjniinjj00 也非常返，反之也真；故為非常返，則由若jnpnpinjjnii00也為零常返。為零常返，則若同理也是零常返的。再由為零常返，則若ij，jnpnpmnkpnpijjnjjiiiin0)(lim)(0)(lim第30頁/共37頁第三十頁，共37頁。 。，故也能證得：；由對稱性，則應有的周期為即狀態(tài)的最大公約數(shù)：整除，設集能被整除，所以整除又能被既能被故而，有的，則對任一使的周期證明：設jiijjijjjiiiijjiijjidddddddjnpnndmknmkdmkpnpmknpnnpdi00, 00)(1)2(第31頁/共37頁第三十一頁，

15、共37頁。礎。這是分解狀態(tài)空間的基態(tài)具有相同的性質(zhì)此定理說明：相通的狀.Iippp，Iiii,21,21,2121001,00轉(zhuǎn)移概率為：，間為例：設馬氏鏈的狀態(tài)空21212121212121210第32頁/共37頁第三十二頁，共37頁。2111101000000000011122121,21)(,81212121)3(,412121)2(,21) 1 (, 0 xxxxnxnfnffffnnnnnnnnn進一步常返故一般有由上圖易知考查狀態(tài)第33頁/共37頁第三十三頁，共37頁。 狀態(tài)進行判別即可。的的識別，只需對最簡單此例說明，對互通狀態(tài)也是遍歷的。，故煩，但由定理知，因較求的，對其它狀態(tài)非周期的，因而是遍歷，所以它是為正常返狀態(tài)，由于可見iinfifii0021) 1 (000第34頁/共37頁第三十四頁，共37頁。 例：設馬爾