第1章隨機(jī)過程與馬爾可夫鏈

預(yù)備知識：隨機(jī)過程與馬爾可夫鏈第1節(jié)隨機(jī)變量第2節(jié)一維隨機(jī)過程的定義及物理意義第3節(jié)一維隨機(jī)過程的統(tǒng)計(jì)特性第4節(jié)二維隨機(jī)過程的定義及統(tǒng)計(jì)特性第5節(jié)馬爾可夫過程的定義及數(shù)學(xué)表述第6節(jié)馬爾可夫鏈的定義及數(shù)學(xué)表述第7節(jié)齊次馬爾可夫鏈第8節(jié)馬爾可夫鏈的遍歷性第1節(jié)隨機(jī)變量1、復(fù)雜性系統(tǒng)：事件本身很復(fù)雜，社會復(fù)雜性。2、隨機(jī)現(xiàn)象。拋擲硬幣、射擊等特點(diǎn)：單次不確定和多次統(tǒng)計(jì)規(guī)律性3、研究隨機(jī)事件的必要性和可行性4、隨機(jī)變量:實(shí)函數(shù)，用大寫字母表示5、頻率和概率6、數(shù)學(xué)特征第1節(jié)隨機(jī)變量7、連續(xù)隨機(jī)變量的概率密度函數(shù)和分布函數(shù)第1節(jié)隨機(jī)變量8、離散隨機(jī)變量的分布律和分布函數(shù)9、隨機(jī)變量的函數(shù)XY=g1(X)=X2

Z=g2(X)=X2

第1節(jié)隨機(jī)變量說明：隨機(jī)變量研究的是一次試驗(yàn)中可能出現(xiàn)的各種情況。1、隨機(jī)試驗(yàn)：可以在相同的條件下重復(fù)進(jìn)行。每次試驗(yàn)的可能結(jié)果不止一個但預(yù)先知道所有可能的結(jié)果。每次試驗(yàn)前不能確定哪個結(jié)果會出現(xiàn)。2、隨機(jī)過程的概念和數(shù)學(xué)描述研究連續(xù)單次隨機(jī)試驗(yàn)，在某一具體時間為一個隨機(jī)變量，在不同的時刻，隨機(jī)變量不同。第2節(jié)一維隨機(jī)過程的定義及物理意義例2：在天氣預(yù)報(bào)中，若用X(n)表示某地區(qū)第n次統(tǒng)計(jì)所得的該天最高氣溫。例1：電話交換臺在時間段[0，t]內(nèi)接到的呼叫次數(shù)是與t有關(guān)的隨機(jī)變量X(t)。第2節(jié)一維隨機(jī)過程的定義及物理意義參量(時間)連續(xù)，狀態(tài)(呼叫次數(shù))離散參量(次數(shù))離散，狀態(tài)（溫度）連續(xù)X(10)是離散隨機(jī)變量，X(11.5)是離散隨機(jī)變量，…X(2)是連續(xù)隨機(jī)變量，X(5)是連續(xù)隨機(jī)變量，…例4：連續(xù)拋擲一枚骰子的實(shí)驗(yàn)，第n次實(shí)驗(yàn)的結(jié)果記為X(n)(n=1,2,…)例3：在時間段[0，∞)內(nèi)電路中某器件的熱噪聲電壓X(t)第2節(jié)一維隨機(jī)過程的定義及物理意義參量(時間)連續(xù)，狀態(tài)（電壓）連續(xù)參量(次數(shù))離散，狀態(tài)（點(diǎn)數(shù)）離散X(10)是連續(xù)隨機(jī)變量，X(11.5)是連續(xù)隨機(jī)變量，…第2節(jié)一維隨機(jī)過程的定義及物理意義設(shè)E是隨機(jī)試驗(yàn)，S＝{e}是其樣本空間。如果對于每一個樣本eS

，總可以有一個確定的參數(shù)為t的實(shí)值函數(shù)X(e，t)，t

T與之對應(yīng)，我們稱之為隨機(jī)過程，記作：

X(e，t)，eS，

t

T，簡寫為：{

X(t)，t

T}通常情況下，t表示時間。3、隨機(jī)過程的定義4、隨機(jī)過程的物理意義：1）、對于一個特定的試驗(yàn)結(jié)果（樣本）eiS，X(ei，t)表示對應(yīng)于ei的樣本函數(shù)，也是隨機(jī)過程的一次實(shí)現(xiàn)。（樣本函數(shù)族）2）、對于每一個固定的參數(shù)tjT，X(e，tj)是一個定義在S上的隨機(jī)變量。（隨機(jī)變量族）隨機(jī)過程是依賴于參量tT的一族隨機(jī)變量。第2節(jié)一維隨機(jī)過程的定義及物理意義4、例(p330)：X(t)＝acos（t＋），a，為常數(shù)，為在(0,2)上服從均勻分布的隨機(jī)變量。1)、t為具體值時，X(t)為一隨機(jī)變量。隨機(jī)變量族第2節(jié)一維隨機(jī)過程的定義及物理意義2)、當(dāng)隨機(jī)變量隨機(jī)取一個值j時，得到相應(yīng)的樣本函數(shù)xj(t)＝acos（t＋j）樣本函數(shù)族第2節(jié)一維隨機(jī)過程的定義及物理意義5、為什么要研究隨機(jī)過程？1)、通信過程中的信號是隨機(jī)過程，2)、噪聲也是隨機(jī)過程第2節(jié)一維隨機(jī)過程的定義及物理意義6、說明：理論分析時通常以隨機(jī)變量族為描述方式。實(shí)際測量和處理中往往采用樣本函數(shù)族為描述方式。為什么？第2節(jié)一維隨機(jī)過程的定義及物理意義第2節(jié)一維隨機(jī)過程的定義及物理意義o3)、說明：可列(離散)與非可列(連續(xù))7、隨機(jī)過程的分類1）、按隨機(jī)過程任一時刻的狀態(tài)，可分為連續(xù)型隨機(jī)過程和離散型隨機(jī)過程。2）、按參量t（通常表示時間）時離散還是連續(xù)可分為連續(xù)參量隨機(jī)過程和離散參量隨機(jī)過程如：時間可列型連續(xù)隨機(jī)過程第2節(jié)一維隨機(jī)過程的定義及物理意義1、一維分布函數(shù)1)、定義：給定隨機(jī)過程，對于任意一，隨機(jī)變量的分布函數(shù)一般與t有關(guān)，記為：稱為隨機(jī)過程的一維分布函數(shù)，而稱為一維分布函數(shù)族。第3節(jié)一維隨機(jī)過程的統(tǒng)計(jì)特性第3節(jié)一維隨機(jī)過程的統(tǒng)計(jì)特性2）、對于隨機(jī)過程，可以用n（足夠大）維分布函數(shù)來近似描述隨機(jī)過程的統(tǒng)計(jì)特性。例題：p352T1利用拋擲一枚硬幣的試驗(yàn)定義一隨機(jī)過程第3節(jié)一維隨機(jī)過程的統(tǒng)計(jì)特性分析：第3節(jié)一維隨機(jī)過程的統(tǒng)計(jì)特性第3節(jié)一維隨機(jī)過程的統(tǒng)計(jì)特性第3節(jié)一維隨機(jī)過程的統(tǒng)計(jì)特性1)、均值函數(shù)2)、方差函數(shù)3)、均方值函數(shù)第3節(jié)一維隨機(jī)過程的統(tǒng)計(jì)特性2、隨機(jī)過程的數(shù)字特征第3節(jié)一維隨機(jī)過程的統(tǒng)計(jì)特性5)、自協(xié)方差函數(shù)4)、自相關(guān)函數(shù)例：P353T5已知隨機(jī)過程的均值函數(shù)和協(xié)方差函數(shù),是普通的函數(shù)。試求隨機(jī)過程的均值函數(shù)和協(xié)方差函數(shù)第3節(jié)一維隨機(jī)過程的統(tǒng)計(jì)特性分析：第3節(jié)一維隨機(jī)過程的統(tǒng)計(jì)特性第3節(jié)一維隨機(jī)過程的統(tǒng)計(jì)特性1）定義二維隨機(jī)過程設(shè)X(t),Y(t)是定義在同一樣本空間S和同一參數(shù)集T上的隨機(jī)過程，對于不同的tT，(X(t),Y(t))是不同的二維隨機(jī)變量，我們稱{(X(t),Y(t)),tT}為二維隨機(jī)過程。第4節(jié)二維隨機(jī)過程及其統(tǒng)計(jì)特性第4節(jié)二維隨機(jī)過程及其統(tǒng)計(jì)特性2）二維隨機(jī)過程的分布函數(shù)用二維隨機(jī)過程的m+n維隨機(jī)變量的分布函數(shù)近似代替隨機(jī)過程的分布函數(shù)，即：稱為二維隨機(jī)過程的m＋n維分布函數(shù)或隨機(jī)過程X(t)與Y(t)的m＋n維聯(lián)合概率分布。則稱隨機(jī)過程X(t)與Y(t)相互獨(dú)立第4節(jié)二維隨機(jī)過程及其統(tǒng)計(jì)特性6)、互相關(guān)函數(shù)7)、互協(xié)方差函數(shù)二維隨機(jī)過程的情況第4節(jié)二維隨機(jī)過程及其統(tǒng)計(jì)特性例：P353T7第4節(jié)二維隨機(jī)過程及其統(tǒng)計(jì)特性第4節(jié)二維隨機(jī)過程及其統(tǒng)計(jì)特性作業(yè)P352T2,3,9例題最好做在另外一個本子上1、馬爾可夫過程1）、馬爾可夫性（無后效性，遺忘特性）：過程在時刻t0所處的狀態(tài)為已知的情況下，過程在tt0所處的狀態(tài)的條件分布與過程在時刻t0之前的狀態(tài)無關(guān)。第5節(jié)馬爾可夫過程及其數(shù)學(xué)表述2）、馬爾可夫過程定義：設(shè)隨機(jī)過程{X(t),tT}的狀態(tài)空間為I。如果對時間t的任意n個數(shù)值t1t2…tn，n3，tiT，在條件X(ti)=xi，i＝1，2，…n－1下，X(tn)的條件分布函數(shù)等于在條件X(tn-1)=xn-1下X(tn)的條件分布函數(shù)。即：第5節(jié)馬爾可夫過程及其數(shù)學(xué)表述第5節(jié)馬爾可夫過程及其數(shù)學(xué)表述則稱之為馬爾可夫過程說明：其中狀態(tài)空間I可離散可連續(xù)，參量空間T可離散可連續(xù)。例：p373T1第5節(jié)馬爾可夫過程及其數(shù)學(xué)表述第5節(jié)馬爾可夫過程及其數(shù)學(xué)表述分析：若第m次取值為i，則第m+1次取值樣本空間為{1,2,…i},設(shè)取值為j，則有：第5節(jié)馬爾可夫過程及其數(shù)學(xué)表述思考：從上面的例子可以看出，用條件概率可以很直觀地表示馬爾可夫過程，那為什么要用條件分布函數(shù)(而不是條件概率)來定義馬爾可夫過程呢？條件概率只存在于離散情況，而條件分布函數(shù)可以總括連續(xù)和離散隨機(jī)過程。1、馬爾可夫鏈的定義時間和狀態(tài)都離散的馬爾可夫過程稱為馬爾可夫鏈。記作：{Xn=X(n),n=0,1,…}第6節(jié)馬爾可夫鏈的定義及數(shù)學(xué)表述2、馬爾可夫鏈的表示表示馬氏鏈在m時刻處于狀態(tài)ai的條件下，在m＋1時刻轉(zhuǎn)移到狀態(tài)aj的概率。稱為在以m為起始點(diǎn)的1步轉(zhuǎn)移概率。第6節(jié)馬爾可夫鏈的定義及數(shù)學(xué)表述（1）1步轉(zhuǎn)移概率。馬爾可夫鏈的遺忘特性通常以條件概率來表述。1）1步轉(zhuǎn)移(2)1步轉(zhuǎn)移概率矩陣第6節(jié)馬爾可夫鏈的定義及數(shù)學(xué)表述(3)狀態(tài)轉(zhuǎn)移圖第6節(jié)馬爾可夫鏈的定義及數(shù)學(xué)表述123第6節(jié)馬爾可夫鏈的定義及數(shù)學(xué)表述設(shè)一醉漢Q在如圖所示的直線點(diǎn)集I={1,2,3,4,5}上作隨機(jī)游動，且僅在1秒、2秒等時刻發(fā)生游動。游動的規(guī)律是：如果Q現(xiàn)在在點(diǎn)i(1<i<5)，則下一秒各以1/3的概率向左或向右移動一格，或以1/3的概率留在原處；如果Q現(xiàn)在位于1(或5)這點(diǎn)上，則下一時刻就以概率1移動到2(或4)點(diǎn)。分別以三種方式描述該隨機(jī)事件。12345第6節(jié)馬爾可夫鏈的定義及數(shù)學(xué)表述1)1步轉(zhuǎn)移概率表示第6節(jié)馬爾可夫鏈的定義及數(shù)學(xué)表述2)1步轉(zhuǎn)移概率矩陣表示第6節(jié)馬爾可夫鏈的定義及數(shù)學(xué)表述3)狀態(tài)轉(zhuǎn)移圖表示35412第6節(jié)馬爾可夫鏈的定義及數(shù)學(xué)表述在很多時候，我們需要在知道m(xù)時刻隨機(jī)過程狀態(tài)的條件下，m+n時刻隨機(jī)過程在各種不同狀態(tài)下的概率，我們稱之為以m為起始點(diǎn)的n步轉(zhuǎn)移。n步轉(zhuǎn)移情況可以用m為起始點(diǎn)的n步轉(zhuǎn)移概率表示，記做2）n步轉(zhuǎn)移同樣，以m為起始點(diǎn)的n步轉(zhuǎn)移也可以用以m為起始點(diǎn)的n步轉(zhuǎn)移概率矩陣描述，或者是用狀態(tài)轉(zhuǎn)移圖表示。第6節(jié)馬爾可夫鏈的定義及數(shù)學(xué)表述例如在已知今天下雨的條件下，10天之后下雨的概率，稱之為以10步轉(zhuǎn)移，可以用今天（m）為起始點(diǎn)的10步轉(zhuǎn)移概率表示。假設(shè)相繼的兩天之間是否下雨存在一定的概率關(guān)系，下雨用0表示，不下雨用1表示。則有初始時刻0時刻u時刻u+v第6節(jié)馬爾可夫鏈的定義及數(shù)學(xué)表述3、C-K方程第6節(jié)馬爾可夫鏈的定義及數(shù)學(xué)表述C-K方程：第6節(jié)馬爾可夫鏈的定義及數(shù)學(xué)表述第6節(jié)馬爾可夫鏈的定義及數(shù)學(xué)表述4、馬氏鏈在時刻n的一維概率分布（絕對分布）設(shè)在n時刻，馬氏鏈處于狀態(tài)aj的概率為pj(n)，則有：因?yàn)樵趎時刻馬氏鏈總處于馬氏鏈各種狀態(tài)中的一種，第6節(jié)馬爾可夫鏈的定義及數(shù)學(xué)表述一維分布表示為向量的形式為：第6節(jié)馬爾可夫鏈的定義及數(shù)學(xué)表述5、馬氏鏈一維概率分布與轉(zhuǎn)移概率之間的關(guān)系2、齊次馬氏鏈的n步轉(zhuǎn)移概率及n步轉(zhuǎn)移概率矩陣1、齊次馬爾可夫鏈的定義當(dāng)轉(zhuǎn)移概率pij(m,m+n)只與時間間隔n相關(guān)，即：pij(m,m+n)＝pij(n)稱轉(zhuǎn)移概率具有平穩(wěn)性，此時的隨機(jī)過程稱為齊次馬爾可夫鏈。第7節(jié)齊次馬爾可夫鏈n步轉(zhuǎn)移概率矩陣第7節(jié)齊次馬爾可夫鏈3、齊次馬氏鏈的1步轉(zhuǎn)移概率和1步轉(zhuǎn)移概率矩陣第7節(jié)齊次馬爾可夫鏈說明：齊次馬氏鏈n步轉(zhuǎn)移概率矩陣等于1步轉(zhuǎn)移概率矩陣的n次方。4、齊次馬氏鏈的1步轉(zhuǎn)移概率矩陣與n步轉(zhuǎn)移概率矩陣的關(guān)系第7節(jié)齊次馬爾可夫鏈由C—K方程知：對于其次馬氏鏈有則可得例：p373T1第7節(jié)齊次馬爾可夫鏈第7節(jié)齊次馬爾可夫鏈分析：若第m次取值為i，則第m+1次取值樣本空間為{1,2,…i},設(shè)取值為j，則有：第7節(jié)齊次馬爾可夫鏈5、齊次馬氏鏈一維狀態(tài)分布向量與狀態(tài)轉(zhuǎn)移概率矩陣的關(guān)系即馬氏鏈在n時刻的一維狀態(tài)分量等于初始時刻狀態(tài)分量與n步轉(zhuǎn)移概率矩陣的乘積。第7節(jié)齊次馬爾可夫鏈又因?yàn)閷τ邶R次馬氏鏈有：其中：所以有:第7節(jié)齊次馬爾可夫鏈例：p374T7第7節(jié)齊次馬爾可夫鏈分析：第7節(jié)齊次馬爾可夫鏈第7節(jié)齊次馬爾可夫鏈第7節(jié)齊次馬爾可夫鏈10第7節(jié)齊次馬爾可夫鏈1、馬氏鏈遍歷性定義第8節(jié)馬爾可夫鏈的遍歷性馬氏鏈無論哪種狀態(tài)出發(fā)，經(jīng)過有限步，總可能到達(dá)其它各種狀態(tài)。1010設(shè)齊次馬爾可夫鏈{Xn,n1}的狀態(tài)空間為I＝{a1,a2,a3…aj,…}，P是它的1步轉(zhuǎn)移概率矩陣，如果存在正整數(shù)m，使得對于任意的ajI，都有pij(m)>0則此鏈為具有遍歷性。2、遍歷性證明第8節(jié)馬爾可夫鏈的遍歷性3、如果齊次馬氏鏈具有遍歷性，則有以下性質(zhì)：我們稱＝（1，2，3，…，j，…）為馬氏鏈的平穩(wěn)分布第8節(jié)馬爾可夫鏈的遍歷性設(shè)齊次馬氏鏈的狀態(tài)空間為I，如果對于所有的aj，ajI，轉(zhuǎn)移概率pij