隨機過程第六章sjgc

電子科技大學第六章馬爾科夫過程

馬爾科夫過程是由前蘇聯(lián)數(shù)學家A.A.Markov首先提出和研究的一類隨機過程,已成為內(nèi)容豐富,理論較完善,應(yīng)用十分廣泛的一門數(shù)學分支,應(yīng)用涉及計算機、自動控制、通信、生物學、經(jīng)濟、氣象、物理、化學等等.電子科技大學

在已知系統(tǒng)現(xiàn)在所處狀態(tài)下,系統(tǒng)將來的演變與過去無關(guān),稱為無后效性.

例如生物基因遺傳從這一代到下一代的轉(zhuǎn)移僅依賴當代而與以往各代無關(guān)；§6.1馬爾科夫過程的概念某公司的經(jīng)營狀況具有無后效性；一、馬爾科夫性及定義電子科技大學

評估一個計算機系統(tǒng)的性能時,若系統(tǒng)將來的狀態(tài),僅依賴于目前所處的狀態(tài)，而與過去的狀態(tài)無關(guān)；股票的交易行情也具有無后效性.

平穩(wěn)過程具有平穩(wěn)性：它的統(tǒng)計特性不隨時間的推移而改變,它的變化情況與過去的情況有不可忽視的聯(lián)系.與平穩(wěn)過程的本質(zhì)差別：電子科技大學

定義6.1.1

隨機過程{X(t),t∈T},如果對于任意取定參數(shù)t1<t2<…<tn,有稱{X(t),t∈T}為馬氏過程.由條件分布函數(shù)定義,(1)式等價于電子科技大學若條件密度存在,(1)式等價于二、滿足馬氏性的過程定理6.1.1獨立過程{X(t),t∈T}是馬氏過程；

證1）對于t1<t2<…<tn∈T,因X(t1)…X(tn)相互獨立,P{X(tn)≤xn|X(t1)=x1,X(t2)=x2,…,X(tn-1)=xn-1}電子科技大學=P{X(tn)≤

xn}=P{X(tn)≤xn|X(tn-1)=xn-1}定理6.1.2

獨立增量過程{Y(t),t∈T},T=[a,b],a>－∞,且初始分布P{Y(a)=0}=1,則{Y(t),t∈T}是馬氏過程.電子科技大學證

對于任意的t1<t2<…<tn,需證

因增量Y(t)－Y(tn),Y(t1)－Y(a)=Y(t1),Y(t2)－Y(t1),…,Y(tn)－Y(tn－1)

相互獨立，電子科技大學

即將來狀態(tài)與過去狀態(tài)無關(guān),故獨立增量過程{Y(t),t∈T}是馬氏過程.

EX.1

因泊松過程是平穩(wěn)獨立增量過程,且N(0)=0,故泊松過程是馬爾科夫過程；電子科技大學

EX.2

設(shè)隨機過程{X(n),n≥1},X(n)是第n次投擲一顆骰子出現(xiàn)的點數(shù),則是獨立過程,從而是馬氏過程.

將一個小球投入無限大高爾頓釘板內(nèi),小球各以的概率向左或向右移動一格.EX.3

隨機游動(高爾頓釘板試驗)電子科技大學P{X(k)=i}

－11X(k)

{X(k),k∈N+}

是一個獨立隨機過程,令

{Y(n),n∈N+}是一個平穩(wěn)獨立增量過程.隨機游動n

步所處的狀態(tài)電子科技大學

{Y(n),n∈N+}是馬氏過程。

維納過程也是獨立平穩(wěn)增量過程，且W(0)=0,故維納過程是馬爾科夫過程.三、馬氏過程的有限維分布族稱為馬氏過程{X(t),t∈T}的轉(zhuǎn)移分布函數(shù).定義6.1.2

對任意s,t∈T，記電子科技大學

馬氏過程{X(t),t∈T}的狀態(tài)空間是連續(xù)的，則其有限維概率密度可表示為是條件概率密度與t1時刻的初始概率密度的乘積.

為轉(zhuǎn)移概率密度.

電子科技大學馬氏過程{X(t),t∈T}的狀態(tài)空間是離散的，則其有限維聯(lián)合分布律為為轉(zhuǎn)移概率.