概率論與數(shù)理統(tǒng)計(jì)(第4版)盛驟 13.1 馬爾可夫過(guò)程及其概率分布學(xué)習(xí)資料

第一節(jié)馬爾可夫過(guò)程及其概率分布一、馬爾可夫過(guò)程的概念二、馬爾可夫過(guò)程的概率分布三、小結(jié)一、馬爾可夫過(guò)程的概念

1.馬爾可夫性(無(wú)后效性)

馬爾可夫性或無(wú)后效性.

即:過(guò)程“將來(lái)”的情況與“過(guò)去”的情況是無(wú)關(guān)的.馬爾可夫資料2.馬爾可夫過(guò)程的定義具有馬爾可夫性的隨機(jī)過(guò)程稱(chēng)為馬爾可夫過(guò)程.用分布函數(shù)表述馬爾可夫性：或?qū)懗刹⒎Q(chēng)此過(guò)程為馬爾可夫過(guò)程.例1證明說(shuō)明:

泊松過(guò)程是時(shí)間連續(xù)狀態(tài)離散的馬氏過(guò)程;維納過(guò)程是時(shí)間狀態(tài)都連續(xù)的馬氏過(guò)程.

3.馬爾可夫鏈的定義

時(shí)間和狀態(tài)都是離散的馬爾可夫過(guò)程稱(chēng)為馬爾

可夫鏈,研究時(shí)間和狀態(tài)都是離散的隨機(jī)序列

二、馬爾可夫過(guò)程的概率分布1.用分布律描述馬爾可夫性有稱(chēng)條件概率

2.轉(zhuǎn)移概率由轉(zhuǎn)移概率組成的矩陣稱(chēng)為馬氏鏈的轉(zhuǎn)移概率矩陣.它是隨機(jī)矩陣.說(shuō)明:

轉(zhuǎn)移概率具有特點(diǎn)

此矩陣的每一行元素之和等于1.3.平穩(wěn)性稱(chēng)轉(zhuǎn)移概率具有平穩(wěn)性.同時(shí)也稱(chēng)此鏈?zhǔn)驱R次的或時(shí)齊的.

稱(chēng)為馬氏鏈的n步轉(zhuǎn)移概率一步轉(zhuǎn)移概率

一步轉(zhuǎn)移概率矩陣的狀態(tài)記為P.設(shè)一個(gè)單位時(shí)間傳輸一級(jí),如圖:分析:例2所以它是一個(gè)馬氏鏈,一步轉(zhuǎn)移概率一步轉(zhuǎn)移概率矩陣且是齊次的.例3一維隨機(jī)游動(dòng)游動(dòng)的概率規(guī)則1和5這兩點(diǎn)稱(chēng)為反射壁.上面這種游動(dòng)稱(chēng)為帶有兩個(gè)反射壁的隨機(jī)游動(dòng).模擬方法:產(chǎn)生均勻分布的隨機(jī)數(shù)序,

其中1表示左移;2表示不動(dòng);3表示右移.單擊圖形播放/暫停ESC鍵退出一維隨機(jī)游動(dòng)的演示理論分析:所以它是一個(gè)馬氏鏈,且是齊次的.

一步轉(zhuǎn)移概率說(shuō)明:改變游動(dòng)的概率規(guī)則,隨機(jī)游動(dòng)和相應(yīng)的馬氏鏈.一步轉(zhuǎn)移概率矩陣就可得到不同方式的(排隊(duì)模型)

設(shè)服務(wù)系統(tǒng)由一個(gè)服務(wù)員和只可服務(wù)規(guī)則：假定一個(gè)需要服務(wù)的顧客到達(dá)系統(tǒng)時(shí)發(fā)現(xiàn)系統(tǒng)先到先服務(wù),內(nèi)已有3個(gè)顧客(一個(gè)正在接受服務(wù),兩個(gè)在等候室排隊(duì)),隨機(jī)到達(dá)者

系統(tǒng)

等候室

服務(wù)臺(tái)

離去者

例4可以容納兩個(gè)人的等候室組成:后來(lái)者需在等候室依次排隊(duì).則該顧客立即離去.

假設(shè):

有一原來(lái)被服務(wù)的顧客離開(kāi)系統(tǒng)(即服務(wù)完畢)的進(jìn)入或離開(kāi)系統(tǒng)實(shí)際上是不可能的.3.再設(shè)有無(wú)顧客來(lái)到與服務(wù)是否完畢是相互獨(dú)立的.

分析現(xiàn)用馬氏鏈來(lái)描述這個(gè)服務(wù)系統(tǒng).可知它是一個(gè)齊次馬氏鏈.在系統(tǒng)內(nèi)沒(méi)有顧客的條件下,在系統(tǒng)內(nèi)沒(méi)有顧客的條件下,系統(tǒng)內(nèi)恰有一顧客的條件下,他因服務(wù)完畢而離去顧客進(jìn)入系統(tǒng)或者而另一正在接受服務(wù)的顧客將繼續(xù)要求服務(wù),

且無(wú)人進(jìn)系統(tǒng)內(nèi)恰有一顧客正在接受服務(wù)的條件下,入系統(tǒng)的概率.正在接受服務(wù)的顧客繼續(xù)要求服務(wù),個(gè)顧客進(jìn)入系統(tǒng)的概率.且另一正在接受服務(wù)的顧客繼續(xù)要求服務(wù),間隔內(nèi)有兩個(gè)顧客進(jìn)入系統(tǒng)的概率,類(lèi)似地，由假設(shè),后者實(shí)際上是不可能發(fā)生的.或者一人將離去且另一人將進(jìn)入系統(tǒng),或者無(wú)人離開(kāi)系統(tǒng)的概率.

該馬氏鏈的一步轉(zhuǎn)移概率為1110010011111110011110111111001111111110001101101例5111011011010111101110111101111110011011111100111某計(jì)算機(jī)房的一臺(tái)計(jì)算機(jī)經(jīng)常出故障，研究者每隔15分鐘觀察一次計(jì)算機(jī)運(yùn)行狀態(tài)，收集了24小時(shí)的數(shù)據(jù)(共作97次觀察).用1表示正常狀態(tài),用0表示不正常狀態(tài),所得的數(shù)據(jù)序列如下:96次狀態(tài)轉(zhuǎn)移的情況:因此,一步轉(zhuǎn)移概率可用頻率近似地表示為:例6（續(xù)例5）已知計(jì)算機(jī)在某一時(shí)段（15分鐘）的狀態(tài)為0，問(wèn)在此條件下從此段起計(jì)算機(jī)能連續(xù)正常工作3刻鐘（三個(gè)時(shí)段）的條件概率為多少?解

由題意，某一時(shí)段的狀態(tài)為0就是初始狀態(tài)為0，由乘法公式、馬氏性和齊次性得，所求條件概率為補(bǔ)充例題以下研究齊次馬氏鏈的有限維分布.稱(chēng)它為馬氏鏈的初始分布.特點(diǎn):用行向量表示為一維分布由初始分布和轉(zhuǎn)移概率矩陣決定有限維分布仍由初始分布和轉(zhuǎn)移概率矩陣決定有限維分布仍由初始分布和轉(zhuǎn)移概率矩陣決定.由此可知：轉(zhuǎn)移概率決定了馬氏鏈的運(yùn)動(dòng)的統(tǒng)計(jì)規(guī)律.

由以上討論知：因此,馬氏鏈理論中的重要問(wèn)題之一.三、小結(jié)齊次馬氏鏈、平穩(wěn)性的概念.一步轉(zhuǎn)移概率矩陣的計(jì)算.一步轉(zhuǎn)移概率

一步轉(zhuǎn)移概率矩陣