《隨機(jī)過程》課件chapter 10 馬爾可夫鏈

BUPT第10章

馬爾可夫鏈1906年，俄國(guó)偉大數(shù)學(xué)家A.Markov馬爾可夫(1856～1922)在他的《大數(shù)定律關(guān)于相依變量的擴(kuò)展》一文中，第一次提到一種如同鎖鏈般環(huán)環(huán)相扣的隨機(jī)變量序列，其中某個(gè)變量各以多大的概率取什么值，完全由它前面的一個(gè)變量來決定，而與它更前面的那些變量無關(guān).或者說是僅僅是站在“今天”的角度上憧憬“將來”、而不管“昨天”的歷史是多么的輝或者沮喪.這就是所謂的馬爾可夫過程.1BUPT21.1馬爾可夫鏈的概念BUPT31.1馬爾可夫鏈的概念BUPT41.1馬爾可夫鏈的概念BUPT51.1馬爾可夫鏈的概念BUPT61.1馬爾可夫鏈的概念BUPT71.1馬爾可夫鏈的概念BUPT81.1馬爾可夫鏈的概念BUPT91.1馬爾可夫鏈的概念BUPT101.1馬爾可夫鏈的概念BUPT111.1馬爾可夫鏈的概念BUPT121.1馬爾可夫鏈的概念BUPT131.1馬爾可夫鏈的概念

下面我們給出幾個(gè)馬爾可夫?qū)嶋H應(yīng)用的例子，并提出在應(yīng)用中常常需要解決的問題,在后面的我們會(huì)逐一解決.BUPT141.1馬爾可夫鏈的概念BUPT151.1馬爾可夫鏈的概念BUPT161.1馬爾可夫鏈的概念BUPT171.2馬爾可夫鏈的多步轉(zhuǎn)移概率BUPT181.2馬爾可夫鏈的多步轉(zhuǎn)移概率BUPT191.2馬爾可夫鏈的多步轉(zhuǎn)移概率BUPT201.3馬爾可夫鏈的有限維分布BUPT211.3馬爾可夫鏈的有限維分布BUPT221.3馬爾可夫鏈的有限維分布例:設(shè){Xn,n≥0}是具有三個(gè)狀態(tài)0，1，2的齊次馬氏鏈，一步轉(zhuǎn)移概率矩陣為初始分布qi(0)=P{X0=i}=1/3,i=0,1,2.試求(1)P{X0=0,X2=1}；(2)P{X2=1}.解:先求出二步轉(zhuǎn)移概率矩陣BUPT231.3馬爾可夫鏈的有限維分布于是BUPT244平穩(wěn)分布

定義

設(shè)馬爾可夫鏈的狀態(tài)空間為E，如果對(duì)于所有的i,jE,轉(zhuǎn)移概率pij(n),當(dāng)n→∞時(shí)，存在不依賴于i的極限

則稱此鏈具有遍歷性，又若,稱=(0,1,…)

為鏈的極限分布。

BUPT254平穩(wěn)分布BUPT264平穩(wěn)分布

定理設(shè)齊次馬氏鏈｛Xn,n0｝的狀態(tài)空間為E，如果存在正整數(shù)m，都有Pij(m)>0,i,j=1,…,N，

則此鏈具有遍歷性，且有極限分布=(1,2,…,N).BUPT274平穩(wěn)分布例:

設(shè)齊次馬氏鏈具有三個(gè)狀態(tài)，一步轉(zhuǎn)移概率矩陣為其中0<p<1,q=1-p,試證該鏈?zhǔn)潜闅v的，并求其極限分布。

解:顯然，m=1時(shí)，定理?xiàng)l件不滿足。m=2時(shí)

再根據(jù)定理，極限分布滿足的方程組

BUPT284平穩(wěn)分布解得p=q=1/2時(shí)，1=2=3=1/3.

p≠q時(shí)

例

設(shè)一馬氏鏈的一步轉(zhuǎn)移概率矩陣為試討論它的遍歷性。

BUPT294平穩(wěn)分布解:已知

這表明對(duì)任一固定的j(=1,2,3,4)，極限

都不存在。按定義，此鏈不具遍歷性。

可得：BUPT304平穩(wěn)分布例:

設(shè)齊次馬氏鏈具有三個(gè)狀態(tài)，初始分布為{0.25，0.25，0.5}一步轉(zhuǎn)移概率矩陣為1）試證該鏈?zhǔn)潜闅v的，并求其極限分布；2）求概率P=..解:顯然，m=1時(shí)，定理?xiàng)l件不滿足。m=2時(shí)BUPT314平穩(wěn)分布

再根據(jù)定理，極限分布滿足的方程組

BUPT324平穩(wěn)分布解得BUPT334平穩(wěn)分布BUPT344平穩(wěn)分布BUPT354平穩(wěn)分布BUPT364平穩(wěn)分布BUPT374平穩(wěn)分布BUPT384平穩(wěn)分布BUP