轉(zhuǎn)移概率的穩(wěn)定性

轉(zhuǎn)移概率的穩(wěn)定性第1頁，課件共34頁，創(chuàng)作于2023年2月1.轉(zhuǎn)移概率的極限由已有知識可知但!又由已有知識可知那么,如何討論???第2頁，課件共34頁，創(chuàng)作于2023年2月由周期鏈的性質(zhì)得到啟發(fā)我們討論第3頁，課件共34頁，創(chuàng)作于2023年2月定理1設(shè)j是正常返狀態(tài)，則其中是j的平均轉(zhuǎn)回時間.證明第4頁，課件共34頁，創(chuàng)作于2023年2月第5頁，課件共34頁，創(chuàng)作于2023年2月則推論設(shè)是齊次馬爾可夫鏈，它的每個狀態(tài)都是正常返的，而且都有周期d，狀態(tài)空間S已經(jīng)被唯一地分解成特別的，如果d=1,則第6頁，課件共34頁，創(chuàng)作于2023年2月證明在以上定理中取r=d,則有即得到結(jié)論.第7頁，課件共34頁，創(chuàng)作于2023年2月定理2設(shè)齊次馬爾可夫鏈的狀態(tài)空間為S,如果存在某正整數(shù)m,使的一步轉(zhuǎn)移概率矩陣P的m次冪中的每個元素都大于0，則是不可約的,而且必存在極限且此極限與初始狀態(tài)i無關(guān)，記為即有第8頁，課件共34頁，創(chuàng)作于2023年2月證明第9頁，課件共34頁，創(chuàng)作于2023年2月定理3設(shè)其中D為非常返狀態(tài)集，為零常返狀態(tài)集，為正常返狀態(tài)閉集，則第10頁，課件共34頁，創(chuàng)作于2023年2月且此極限值與初始狀態(tài)i無關(guān)，記作推論設(shè)是不可約的馬爾可夫鏈，其狀態(tài)空間S中的每個狀態(tài)都是正常返非周期狀態(tài),則即第11頁，課件共34頁，創(chuàng)作于2023年2月定理4設(shè)C為互通的遍歷狀態(tài)構(gòu)成的閉集，則證明第12頁，課件共34頁，創(chuàng)作于2023年2月第13頁，課件共34頁，創(chuàng)作于2023年2月定義設(shè)是一個馬爾可夫鏈，如果構(gòu)成一概率分布，稱為馬爾可夫鏈的極限分布.第14頁，課件共34頁，創(chuàng)作于2023年2月推論不可約馬爾可夫鏈是遍歷鏈的充要條件是極限分布存在且唯一.第15頁，課件共34頁，創(chuàng)作于2023年2月2平穩(wěn)分布定義稱概率分布是轉(zhuǎn)移概率矩陣為的馬爾可夫鏈的一個平穩(wěn)分布.如果說明若齊次馬爾可夫鏈有一個平穩(wěn)分布:第16頁，課件共34頁，創(chuàng)作于2023年2月定理5設(shè)是齊次馬爾可夫鏈的一個平穩(wěn)分布，如果取為的初始分布，即(1)則對任意的正整數(shù)n，都有(2)并且對任意的正整數(shù)n，m,以及第17頁，課件共34頁，創(chuàng)作于2023年2月證明第18頁，課件共34頁，創(chuàng)作于2023年2月說明了若鏈有平穩(wěn)分布,且以它作為初始分布,則其絕對分布是確定的,保持不變.且該鏈是嚴平穩(wěn)的序列.對一個齊次的馬爾可夫鏈是否存在平穩(wěn)分布???一個重要的問題:如果存在,是否唯一????如何計算?????在特殊情況下,回答上述問題,即定理(5.4.)6第19頁，課件共34頁，創(chuàng)作于2023年2月

引理1設(shè)則必存在極限推論4如果齊次馬爾可夫鏈是不可約的，它的所有狀態(tài)都是常返狀態(tài)，則有第20頁，課件共34頁，創(chuàng)作于2023年2月定理6設(shè)特別的，若S中的每個狀態(tài)都是遍歷狀態(tài)，則且此時的平穩(wěn)分布就是極限分布.平穩(wěn)分布通過求解右方程組第21頁，課件共34頁，創(chuàng)作于2023年2月其次對一般的馬爾可夫鏈,如果不是不可約,則極限分布一定不存在.平穩(wěn)分布可能存在,也可能不存在.若存在,可能不唯一(有無窮多個)有定理(5.4.)7第22頁，課件共34頁，創(chuàng)作于2023年2月引理2

設(shè)C是周期為d的正常返狀態(tài)的不可約閉集,則第23頁，課件共34頁，創(chuàng)作于2023年2月定理7設(shè)其中D是非常返狀態(tài)集，C0是零常返狀態(tài)集，是正常返狀態(tài)的不可約閉集，為齊次馬爾可夫鏈的平穩(wěn)分布的充要條件是存在非負數(shù)列第24頁，課件共34頁，創(chuàng)作于2023年2月推論5

對于齊次馬爾可夫鏈(1)

其平穩(wěn)分布存在的充要條件是存在正常返狀態(tài)的不可約閉集.等價地,不存在平穩(wěn)分布的充要條件是H=Φ

(2)存在唯一的平穩(wěn)分布的充要條件是恰有一個正常返狀態(tài)的不可約閉集.(3)存在無窮多個平穩(wěn)分布的充要條件是至少有兩個不同的正常返狀態(tài)的不可約閉集.(4)不可約鏈存在唯一的平穩(wěn)分布的充要條件是所有狀態(tài)都是正常返狀態(tài).第25頁，課件共34頁，創(chuàng)作于2023年2月定理8不可約齊次馬爾可夫鏈具有平穩(wěn)分布的充要條件是線性方程組有非零的絕對收斂解而且此時還有第26頁，課件共34頁，創(chuàng)作于2023年2月例1

設(shè)狀態(tài)空間為S={0,1,2,}的馬爾可夫鏈,其一步轉(zhuǎn)移概率矩陣為試求它的極限分布解易知此鏈為不可約遍歷鏈.故其平穩(wěn)分布就是極限分布第27頁，課件共34頁，創(chuàng)作于2023年2月例2設(shè)齊次馬爾可夫鏈的狀態(tài)空間S={0,1,2,3,4},其一步轉(zhuǎn)移概率矩陣為求它的平穩(wěn)分布第28頁，課件共34頁，創(chuàng)作于2023年2月解易知是不可約鏈,且為遍歷鏈.故其平穩(wěn)分布存在且唯一.平穩(wěn)分布為第29頁，課件共34頁，創(chuàng)作于2023年2月例3設(shè)有狀態(tài)空間S={0,1,2,3,4,5,6}的齊次馬爾可夫鏈其一步轉(zhuǎn)移概率矩陣為(1)試對S進行分類，并說明各狀態(tài)類型(2)求平穩(wěn)分布，其平穩(wěn)分布是否唯一？為什么？(3)求第30頁，課件共34頁，創(chuàng)作于2023年2月2501634(1)(2)由(1)知,該鏈有三個不同的正常返不可約閉集第31頁，課件共34頁，創(chuàng)作于2023年2月所以平穩(wěn)分布不唯一三個閉集對應(yīng)的轉(zhuǎn)移概率矩陣分別為解方程組平穩(wěn)分布為第32頁，課件共34頁，創(chuàng)