狀態(tài)空間的分解

關(guān)于狀態(tài)空間的分解第1頁(yè)，共32頁(yè)，2023年，2月20日，星期五定義第2頁(yè)，共32頁(yè)，2023年，2月20日，星期五引理7(有關(guān)閉集的判定和性質(zhì))證明(1)用數(shù)學(xué)歸納法第3頁(yè)，共32頁(yè)，2023年，2月20日，星期五第4頁(yè)，共32頁(yè)，2023年，2月20日，星期五引理8證明第5頁(yè)，共32頁(yè)，2023年，2月20日，星期五引理9設(shè)C是閉集,則當(dāng)且僅當(dāng)其中任何兩個(gè)狀態(tài)互通時(shí),C為不可約的.證明第6頁(yè)，共32頁(yè)，2023年，2月20日，星期五推論齊次馬爾可夫鏈?zhǔn)遣豢杉s的充要條件是它的任何兩個(gè)狀態(tài)互通特別關(guān)于有限狀態(tài)的馬爾可夫鏈有下面結(jié)論第7頁(yè)，共32頁(yè)，2023年，2月20日，星期五定理7(1)

有限齊次馬爾可夫鏈所有非常返狀態(tài)集D不可能是閉集.(2)有限齊次馬爾可夫鏈不可能存在零常返狀態(tài).(3)不可約的有限齊次馬爾可夫鏈的所有狀態(tài)都是

正常返狀態(tài).證明第8頁(yè)，共32頁(yè)，2023年，2月20日，星期五第9頁(yè)，共32頁(yè)，2023年，2月20日，星期五定理8證明由以上的分析,可以得到狀態(tài)空間的分解定理第10頁(yè)，共32頁(yè)，2023年，2月20日，星期五定理9齊次馬爾可夫鏈的狀態(tài)空間S可唯一地分解成有限個(gè)或可列無(wú)限多個(gè)互不相交的狀態(tài)子集的并.即其中D是所有非常返狀態(tài)構(gòu)成的狀態(tài)子集.所有常返狀態(tài)構(gòu)成的不可約閉集.每個(gè)狀態(tài)子集中的狀態(tài)有著相同的狀態(tài)類(lèi)型:(即或者均為零常返,或者均為正常返非周期,或者均為正常返周期且周期相同.)第11頁(yè)，共32頁(yè)，2023年，2月20日，星期五引理10證明第12頁(yè)，共32頁(yè)，2023年，2月20日，星期五定理10(周期鏈分解定理)證明思路:從三個(gè)方面證明(1)分解式的存在性(2)轉(zhuǎn)移規(guī)則的合理性(正確性)(3)分解式的唯一性第13頁(yè)，共32頁(yè)，2023年，2月20日，星期五證明(1)分解式的存在性(2)轉(zhuǎn)移規(guī)則的正確性第14頁(yè)，共32頁(yè)，2023年，2月20日，星期五(3)分解式的唯一性第15頁(yè)，共32頁(yè)，2023年，2月20日，星期五第16頁(yè)，共32頁(yè)，2023年，2月20日，星期五定理11證明(1)第17頁(yè)，共32頁(yè)，2023年，2月20日，星期五第18頁(yè)，共32頁(yè)，2023年，2月20日，星期五第19頁(yè)，共32頁(yè)，2023年，2月20日，星期五第20頁(yè)，共32頁(yè)，2023年，2月20日，星期五例1

設(shè)狀態(tài)空間S={0,1,2}的馬爾可夫鏈,它的一步轉(zhuǎn)移概率矩陣為研究其狀態(tài)間的關(guān)系以及狀態(tài)類(lèi)型120第21頁(yè)，共32頁(yè)，2023年，2月20日，星期五例2

設(shè)狀態(tài)空間S={1,2,3,4}的馬爾可夫鏈,它的一步轉(zhuǎn)移概率矩陣為試分析狀態(tài)類(lèi)型第22頁(yè)，共32頁(yè)，2023年，2月20日，星期五1234第23頁(yè)，共32頁(yè)，2023年，2月20日，星期五例3

設(shè){Xn,n=0,1,2,…}是一齊次馬爾可夫鏈,狀態(tài)空間

S={1,2,3,4,5},其一步轉(zhuǎn)移概率矩陣為試分析狀態(tài)類(lèi)型第24頁(yè)，共32頁(yè)，2023年，2月20日，星期五12354第25頁(yè)，共32頁(yè)，2023年，2月20日，星期五例4

設(shè)齊次馬爾可夫鏈的狀態(tài)空間S={0,1,2,3,},其一步轉(zhuǎn)移概率矩陣為試分析過(guò)程的周期性第26頁(yè)，共32頁(yè)，2023年，2月20日，星期五1203第27頁(yè)，共32頁(yè)，2023年，2月20日，星期五例5

設(shè)齊次馬爾可夫鏈的狀態(tài)空間S={1,2,3,4,5,6,7,8},

其一步轉(zhuǎn)移概率矩陣為第28頁(yè)，共32頁(yè)，2023年，2月20日，星期五12534678第29頁(yè)，共32頁(yè)，2023年，2月20日，星期五例5

設(shè)齊次馬爾可夫鏈的狀態(tài)空間S={1,2,3,4,5,6,},

其一步轉(zhuǎn)移概率矩陣為試分解此馬爾可夫鏈,并寫(xiě)出各狀態(tài)類(lèi)型及周期.