隨機(jī)過(guò)程第四章1課件

§4.1馬爾可夫鏈的概念及轉(zhuǎn)移概率一、馬爾可夫鏈的概念122、馬氏鏈的轉(zhuǎn)移概率 稱條件概率33、一步轉(zhuǎn)移概率及矩陣稱為馬氏鏈的一步轉(zhuǎn)移概率矩陣454.多步轉(zhuǎn)移概率的確定6通常我們還規(guī)定：(2)、切普曼—柯爾莫哥洛夫方程（Chapman-Kolmogorov）7直觀解釋對(duì)照?qǐng)D89用矩陣形式表示為：表明一步轉(zhuǎn)移概率是最基本的，它確定了馬氏鏈的狀態(tài)轉(zhuǎn)移的統(tǒng)計(jì)規(guī)律。105、初始概率與絕對(duì)概率寫成向量形式:11(2)絕對(duì)概率與初始概率的關(guān)系12表明n時(shí)刻的絕對(duì)概率分布完全由初始分布和n步轉(zhuǎn)移概率所確定。13（3）馬氏鏈的有限維分布14總結(jié)：1）齊次馬氏鏈多步轉(zhuǎn)移概率可由一步轉(zhuǎn)移概率確定；2)絕對(duì)概率可由初始概率及n步轉(zhuǎn)移概率確定 3)有限維分布可完全由初始概率及一步轉(zhuǎn)移概率確定。151617181920例帶一個(gè)吸收壁的隨機(jī)游動(dòng)212223用此模型可描述賭徒輸光問(wèn)題解：這是帶兩個(gè)吸收壁的隨機(jī)游動(dòng)，其狀態(tài)空間為：242526272829(1)已知開始第一人拿球，經(jīng)三次傳球后又回到第一人的概率；(2)開始第一人拿球，經(jīng)三次傳球后又回到第一人的概率；(3)經(jīng)三次傳球后第一人拿球的概率；(4)經(jīng)三次傳球后，又回開始拿球人的概率。30134231323334又已知系統(tǒng)經(jīng)n級(jí)傳輸后輸出為1,問(wèn)原字符也是1的概率是多少?由線性代數(shù)知識(shí),可將P表示成對(duì)角陣35363738利用類似的方法,可得n步轉(zhuǎn)移概率矩陣為對(duì)齊次馬爾可夫鏈,雖然一步轉(zhuǎn)移概率能夠完全決定馬爾可夫鏈的統(tǒng)計(jì)規(guī)律，但仍有許多理論上和實(shí)際上的問(wèn)題需要我們作進(jìn)一步的討論。39§4.2馬爾可夫鏈的狀態(tài)分類一.狀態(tài)的分類404142是否兩個(gè)具有相同周期的狀態(tài)所表現(xiàn)出來(lái)的性質(zhì)基本一致呢?下例可說(shuō)明并非如此。434445②④③①464748495051①②③52535455565758下面解釋這個(gè)定理的結(jié)論：首先令隨機(jī)變量59606162狀態(tài)分類判別法狀態(tài)分類判別法常返態(tài)正常返零常返非常返態(tài)63三.狀態(tài)之間的關(guān)系(可達(dá)、互通)64將可達(dá)關(guān)系的證明,正向用一次，反向用一次，就