第14講-馬爾可夫過(guò)程課件

1、x1(t)x2(t)x3(t)x4(t)t1t2t3t4隨機(jī)過(guò)程平穩(wěn)隨機(jī)過(guò)程xtf(x,t)RX(t+,t)各態(tài)歷經(jīng)隨機(jī)過(guò)程x1(t)x2(t)x3(t)x4(t)t1t2t3t4隨機(jī)過(guò)程要點(diǎn)回顧隨機(jī)過(guò)程要點(diǎn)回顧從統(tǒng)計(jì)特性上分析隨機(jī)過(guò)程性質(zhì)從統(tǒng)計(jì)特性上分析隨機(jī)過(guò)程性質(zhì)q馬爾可夫鏈、馬爾可夫過(guò)程概念q齊次馬爾可夫鏈概念q轉(zhuǎn)移概率矩陣q切普曼柯?tīng)柲缏宸蚍匠?從信號(hào)前后取值狀態(tài)的聯(lián)系上分析隨機(jī)過(guò)程目的：內(nèi)容：重點(diǎn)第五章 馬爾可夫過(guò)程n馬爾可夫過(guò)程的特性：隨機(jī)過(guò)程在時(shí)刻ti所處的狀態(tài)已知時(shí)，過(guò)程在t(tti)所處的狀態(tài)僅與過(guò)程在ti時(shí)刻的狀態(tài)有關(guān)，而與過(guò)程在ti以前所處的狀態(tài)無(wú)關(guān)。x1(t)x2(t

2、)x3(t)x4(t)t1t2t3t4馬爾可夫過(guò)程分類（時(shí)間、狀態(tài)空間）根據(jù)取值的連續(xù)性馬爾可夫過(guò)程鏈、序列過(guò)程馬爾可夫鏈馬爾可夫序列可列馬爾可夫過(guò)程馬爾可夫過(guò)程根據(jù)時(shí)間上的連續(xù)性馬爾可夫序列馬爾可夫鏈x1(k)x2(k)x3(k)x1(k) 2 1 0-1-2可列馬爾可夫過(guò)程馬爾可夫過(guò)程x1(t)x2(t)x3(t)x4(t)t1t2t3t4x1(t)x2(t)x3(t)5.1馬爾可夫鏈n定義：對(duì)任意的整數(shù)s1s2slmm+k，離散隨機(jī)序列Xn，在m+k時(shí)刻的狀態(tài)Xm+k只與最近時(shí)刻m的狀態(tài)Xm有關(guān)，而與以前s1,s2,sl時(shí)刻的狀態(tài)無(wú)關(guān)，這樣的隨機(jī)序列稱為馬爾可夫鏈，簡(jiǎn)稱馬氏鏈。 馬爾可夫

3、鏈含義Xs1Xs2Xs3XmXm+ka1a2ajaN-1aNa1a2ajaN-1aNa1a2ajaN-1aNa1a2ajaN-1aNa1a2ajaN-1aN11|,|( ,)llm kjssssmim kjmiijP XaXaXaXaP XaXapm mk一、狀態(tài)概率、轉(zhuǎn)移概率及轉(zhuǎn)移矩陣思考：如何掌握馬爾可夫鏈性質(zhì)？狀態(tài)空間初始狀態(tài)轉(zhuǎn)移概率XmXna1a2aiaN-1aNa1a2aiaN-1aN轉(zhuǎn)移),(),(),(),(),(),(),(),(),(),(212222111211nmPnmpnmpnmPnmpnmpnmPnmpnmpnmNNNNNNP轉(zhuǎn)移矩陣性質(zhì)：XmXna1a2aiaN-1

4、aNa1a2aiaN-1aN轉(zhuǎn)移),(),(),(),(),(),(),(),(),(),(212222111211nmPnmpnmpnmPnmpnmpnmPnmpnmpnmNNNNNNP)(jnjaXPnp11( ),( , )( )NNjminjijiiip nP Xa Xap m n p m1)(1NjjnpNjimjnNjijaXaXPnmp111|),(Xn取值概率轉(zhuǎn)移后概率和所有轉(zhuǎn)移可能二、切普曼柯?tīng)柲缏宸蚍匠蘕mXra1a2aiaN-1aNa1a2akaN-1aN轉(zhuǎn)移Xna1a2ajaN-1aN轉(zhuǎn)移思考：初態(tài)、終態(tài)、中間態(tài)關(guān)系初態(tài)初態(tài)中間態(tài)中間態(tài)終態(tài)終態(tài)1( , )( , )(

5、 , ),Nijikkjkp m npm r pr n nrm切普曼柯?tīng)柲缏宸蚍匠蹋?,|),(imjnimimjnijaXPaXaXPaXaXPnmp1,NmirknjkmiP XaXaXaP Xa1,NmirknjmirkkmirkmiP Xa XaXaP Xa XaP Xa XaP Xa1|,|NnjmirkrkmikP XaXaXaP XaXaNkimkrkrjnaXaXPaXaXP1|1( , )( , ) ,Nikkjkpm rpr nnrm三、齊次馬爾可夫鏈三、齊次馬爾可夫鏈 定義：如果馬爾可夫鏈的轉(zhuǎn)移概率pij(m,n)只取決于n-m，而與m和n本身的值無(wú)關(guān)，則稱為齊次馬爾可

6、夫過(guò)程鏈，簡(jiǎn)稱齊次鏈。XmXna1a2aiaN-1aNa1a2aiaN-1aN轉(zhuǎn)移)()()()()()()()()()(212222111211mnPmnpmnpmnPmnpmnpmnPmnpmnpmnNNNNNNP111212122212( , )( , )( , )( , )( , )( , )( , )( , )( , )( , )NNNNNNpm npm nPm npm npm nPm nm npm npm nPm nP齊次馬爾可夫鏈的切普曼柯?tīng)柲缏宸蚍匠虨椋?Nkkjikijlmplpmp1)()()(NkkjikNkkjikijpmpmppmp11) 1 () 1() 1()

7、1 ()(mmmmPPPPPPP)2() 1()(轉(zhuǎn)移概率轉(zhuǎn)移矩陣大勢(shì)任意時(shí)刻聯(lián)合概率,2211kkssssssaXaXaXPNjssssssjkkaXaXaXaXP10,22111111221110|,kkkkkkNssssjjssssssP XaXaP XaXaXaXa,1122111011kkkkssssssjNjkkssaXaXaXaXPssP1211 2111221101() kkkkNsskksskks ssjjPssPssPss P s P Xan例1：設(shè)質(zhì)點(diǎn)M在直線段上作隨機(jī)游動(dòng)。假設(shè)質(zhì)點(diǎn)M只能停留在1，2，N點(diǎn)上，且只在t1,t2,tn,時(shí)刻發(fā)生游動(dòng)。游動(dòng)的概率法則是：q若質(zhì)

8、點(diǎn)M原來(lái)處于2，N-1這些點(diǎn)上，則分別以p(0p1)的概率向右移動(dòng)一步或以q(q=1-p)的概率向左移動(dòng)一步q若質(zhì)點(diǎn)原來(lái)處于1點(diǎn)，則以概率1移動(dòng)到2點(diǎn)q若質(zhì)點(diǎn)M原處于N點(diǎn)，則以概率1移動(dòng)到N-1點(diǎn)上。123N-1Npq,1,1,12,1,21,210,1,11i ii ii jN NppiNpqiNpjiipp 01001000qpqPpqp 轉(zhuǎn)移矩陣轉(zhuǎn)移概率n例2：在某數(shù)字通信系統(tǒng)中傳遞0、1兩種信號(hào)，且傳遞要經(jīng)過(guò)若干級(jí)。因?yàn)橄到y(tǒng)中存在噪聲，各級(jí)將會(huì)造成錯(cuò)誤。若某級(jí)輸入0、1數(shù)字信號(hào)后，其輸出不產(chǎn)生錯(cuò)誤的概率為p(即各級(jí)正確傳遞信息的概率)，產(chǎn)生錯(cuò)誤的概率q=1-p。 求其轉(zhuǎn)移概率：pqPq

9、p一步轉(zhuǎn)移概率二步轉(zhuǎn)移概率222222(2)2pqpqpqpqPPqpqppqpqn步轉(zhuǎn)移概率( )nnpqP nPqpn例3：天氣預(yù)報(bào)問(wèn)題。若明天是否降雨只與今日的天氣（是否有雨）有關(guān)，而與以往的天氣無(wú)關(guān)。并設(shè)今日有雨而明日也有雨的概率為0.6，今日無(wú)雨而明日有雨的概率為0.3。另外，假定將“有雨”稱作“1”狀態(tài)天氣，而把“無(wú)雨”稱為“2”狀態(tài)天氣，則本例屬于一個(gè)兩狀態(tài)馬氏鏈。試求：q其一步至四步轉(zhuǎn)移概率矩陣q今日有雨而后日（第三日）仍有雨的概率為多少？q今日有雨而第四日無(wú)雨的概率為多少？q今日無(wú)雨而第五日有雨的概率為多少？111221220.60.40.30.7pqPqp一步一步二步二步21112221220.480.520.390.61pqPqp三步三步四步四步41112421220.43320.56680.42510.5749pqPqp3