概率統(tǒng)計(jì)：第十三章馬爾可夫鏈第一節(jié)第二節(jié)(上)

1、第十三章 馬爾可夫鏈馬爾可夫過程是一類特殊的隨機(jī)過程, 馬爾可夫鏈?zhǔn)请x散狀態(tài)的馬爾可夫過程,最初是由俄國(guó)數(shù)學(xué)家馬爾可夫1896年提出和研究的.應(yīng)用十分廣泛,其應(yīng)用領(lǐng)域涉及計(jì)算機(jī),通信,自動(dòng)控制,隨機(jī)服務(wù),可靠性,生物學(xué),經(jīng)濟(jì),管理,教育,氣象,物理,化學(xué)等等.第一節(jié) 馬爾可夫鏈的定義 一定義定義1 設(shè)隨機(jī)過程的狀態(tài)空間是有限集或可列集,對(duì)任意正整數(shù),對(duì)于內(nèi)任意個(gè)參數(shù)和內(nèi)任意個(gè)狀態(tài),如果條件概率,(13.1)恒成立,則稱此過程為馬爾可夫鏈. 式(13.1)稱為馬爾可夫性,或稱無后效性. 馬氏性的直觀含義可以解釋如下: 將看作為現(xiàn)在時(shí)刻,那末,就是過去時(shí)刻,而則是將來時(shí)刻.于是,(13.1)式是說

2、,當(dāng)已知系統(tǒng)現(xiàn)時(shí)情況的條件下,系統(tǒng)將來的發(fā)展變化與系統(tǒng)的過去無關(guān).我們稱之為無后效性.許多實(shí)際問題都具有這種無后效性.例如 生物基因遺傳從這一代到下一代的轉(zhuǎn)移中僅依賴于這一代而與以往各代無關(guān).再如,每當(dāng)評(píng)估一個(gè)復(fù)雜的計(jì)算機(jī)系統(tǒng)的性能時(shí),就要充分利用系統(tǒng)在各個(gè)時(shí)刻的狀態(tài)演變所具有的通常概率特性:即系統(tǒng)下一個(gè)將到達(dá)的狀態(tài),僅依賴于目前所處的狀態(tài),而與以往處過的狀態(tài)無關(guān).此外,諸如某公司的經(jīng)營(yíng)狀況等等也常常具有或近似具有無后效性.二 馬爾可夫鏈的分類 狀態(tài)空間是離散的(有限集或可列集),參數(shù)集可為離散或連續(xù)的兩類.三離散參數(shù)馬爾可夫鏈（1）轉(zhuǎn)移概率定義2 在離散參數(shù)馬爾可夫鏈中,條件概率稱為在時(shí)刻(

3、參數(shù))由狀態(tài)一步轉(zhuǎn)移到狀態(tài)的一步轉(zhuǎn)移概率,簡(jiǎn)稱轉(zhuǎn)移概率.條件概率稱為在時(shí)刻(參數(shù))由狀態(tài)經(jīng)步轉(zhuǎn)移到狀態(tài)的步轉(zhuǎn)移概率.(2)轉(zhuǎn)移概率的性質(zhì):對(duì)于狀態(tài)空間內(nèi)的任意兩個(gè)狀態(tài)和,恒有(1) ;(2),()四.離散參數(shù)齊次馬爾可夫鏈定義3 在離散參數(shù)馬爾可夫鏈中,如果一步轉(zhuǎn)移概率不依賴于參數(shù),即對(duì)任意兩個(gè)不等的參數(shù)和,有 則稱此馬爾可夫鏈具有齊次性或時(shí)齊性,稱為離散參數(shù)齊次馬爾可夫鏈.例1 Bernoulli序列是離散參數(shù)齊次馬爾可夫鏈.驗(yàn)證 在Bernoulli序列中, 對(duì)任意正整數(shù) , , 相互獨(dú)立,故對(duì) ,有即滿足馬爾可夫性,且 ,不依賴于參數(shù),滿足齊次性.故Bernoulli序列是離散參數(shù)齊次馬

4、爾可夫鏈.例2 愛倫菲斯特(Ehrenfest)模型一容器中有個(gè)粒子在作隨機(jī)運(yùn)動(dòng).設(shè)想有一實(shí)際不存在的界面把容器分為左右容積相等的兩部分.當(dāng)右邊粒子多于左邊時(shí),粒子向左邊運(yùn)動(dòng)的概率要大一些,大出部分與兩邊粒子的差數(shù)成正比;反之,當(dāng)右邊粒子少于左邊時(shí),粒子向右邊運(yùn)動(dòng)的概率要大一些.以表示次變化后,右邊粒子數(shù)與均分?jǐn)?shù)之差,則狀態(tài)空間,轉(zhuǎn)移概率 則 是齊次馬爾可夫鏈. 第二節(jié) 參數(shù)離散的齊次馬爾可夫鏈對(duì)于離散參數(shù)齊次馬爾可夫鏈,本節(jié)討論以下四個(gè)問題. 一. 轉(zhuǎn)移概率矩陣設(shè) 是齊次馬爾可夫鏈, 由于狀態(tài)空間是離散的(有限集或可列集)，不妨設(shè)其狀態(tài)空間 .則對(duì)內(nèi)的任意兩個(gè)狀態(tài)和,由轉(zhuǎn)移概率 排序一個(gè)矩陣

5、 稱為(一步)轉(zhuǎn)移概率矩陣 . 轉(zhuǎn)移概率矩陣的性質(zhì)： (1) ,即元素均非負(fù); (2) ,即每行和為1. 具有以上兩個(gè)特點(diǎn)的方陣稱為隨機(jī)矩陣. 轉(zhuǎn)移概率矩陣就是一個(gè)隨機(jī)矩陣.例1 Bernoulli序列的狀態(tài)空間,轉(zhuǎn)移概率矩陣 , .例1 一維隨機(jī)游動(dòng) 一個(gè)質(zhì)點(diǎn)在直線上的五個(gè)位置:0,1,2,3,4之上隨機(jī)游動(dòng).當(dāng)它處在位置1或2或3時(shí),以的概率向左移動(dòng)一步而以的概率向右移動(dòng)一步;當(dāng)它到達(dá)位置時(shí),以概率1返回位置1;當(dāng)它到達(dá)位置4時(shí)以概率1停留在該位置上(稱位置0為反射壁,稱位置4為吸收壁).以表示時(shí)刻質(zhì)點(diǎn)處于位置,則是齊次馬爾可夫鏈.其狀態(tài)空間,狀態(tài)0是反射狀態(tài),狀態(tài)4是吸收狀態(tài).其轉(zhuǎn)移概率

6、矩陣 分別以；按題設(shè)條件求出轉(zhuǎn)移概率畫出狀態(tài)轉(zhuǎn)移示意圖如圖例3（成功流）設(shè)在一串貝努里試驗(yàn)中,每次試驗(yàn)成功的概率為,令 則是齊次馬爾可夫鏈.其狀態(tài)空間,其轉(zhuǎn)移概率 , ，,（）于是轉(zhuǎn)移概率矩陣二 切普曼-柯爾莫哥洛夫方程定理一 設(shè) 是馬爾可夫鏈,則有, (13.6)稱為切普曼-柯爾莫哥洛夫方程.證 由條件概率定義計(jì)算公式,利用全概率公式和馬氏條件,得 證畢. 如果馬爾可夫鏈具有齊次性,那么切普曼-柯爾莫哥洛夫方程化為 ,(13.7)當(dāng)時(shí),得到 ,進(jìn)一步改寫為矩陣形式 其中是兩步轉(zhuǎn)移概率矩陣,是一步轉(zhuǎn)移概率矩陣.用數(shù)學(xué)歸納法可得, (13.8)式(13.8)表明:步轉(zhuǎn)移概率矩陣等于一步轉(zhuǎn)移概率矩陣的次冪.因此也常把作為步轉(zhuǎn)移概率矩陣的符號(hào).例2 在本節(jié)例2中,求和.解 由,得,.或用.例3 傳輸數(shù)字0和1的通訊系統(tǒng),每個(gè)數(shù)字的傳輸需經(jīng)過若干步驟,設(shè)每步傳輸正確的概率為,傳輸錯(cuò)誤的概率為,(1)問:數(shù)字1經(jīng)三步傳輸出1的概率