《隨機過程》全冊配套完整教學(xué)課件

《隨機過程》全冊配套完整教學(xué)課件隨機過程

Stochasticprocesses引言本課程的研究對象

概率論主要是以一個或有限個隨機變量為研究對象的.隨著科學(xué)技術(shù)的不斷發(fā)展,人們發(fā)現(xiàn)幾乎一切可觀察現(xiàn)象都具有隨機性.必須對一些隨機現(xiàn)象的變化過程進行研究.即需要研究無窮多個隨機變量隨機過程是概率論的深入和發(fā)展.它是研究客觀世界中隨機演變過程的規(guī)律性的學(xué)科.隨機過程的理論與方法在自動控制、雷達與通信、生物工程、天文氣象、地質(zhì)能源、社會科學(xué)及工程技術(shù)、經(jīng)濟管理等許多領(lǐng)域有著極為廣泛的應(yīng)用。課程任務(wù)掌握隨機過程的基本概念.掌握隨機過程的基本理論和分析方法.具備處理隨機現(xiàn)象的思想與方法.具有應(yīng)用隨機過程的理論和方法來分析問題和解決問題的能力.基本內(nèi)容

隨機過程基本概念隨機分析平穩(wěn)過程馬爾科夫過程（鏈）

教材《隨機過程》張卓奎陳慧嬋西安電子科技大學(xué)出版社2003《隨機過程同步學(xué)習(xí)指導(dǎo)》張卓奎陳慧嬋西安電子科技大學(xué)出版社2004參考教材1.《隨機過程》毛用才胡奇英西安電子科技大學(xué)出版社1998

2.《隨機過程理論》

周蔭清電子工業(yè)出版社第二版20063.《Anintroductiontostochasticprocesses》EdwardP.C.kaoThomson2003BasicConceptsProbability

隨機試驗

(RandomExperiment)結(jié)果事先不確定outcomeisunknown;可重復(fù)reproducible

樣本空間(SampleSpace):S所有可能結(jié)果的全體thesetofallpossibleoutcomes

事件(Events):E

樣本空間的某子集anysubsetofS概率(Probability):

P

在樣本空間S中，實值函數(shù)P滿足：;

；對于任何互斥事件，有則稱P為E的概率。概率的性質(zhì)：

(1)

;

(2)Monotonicity:若,(3)

(4)Subadditivity:布爾不等式：

(5)(6)Continuityforbelow:若單調(diào)遞增，則

(7)Continuityforabove:若單調(diào)遞減，則條件概率乘法公式全概率公式Bayes公式——與之間的關(guān)系Example:在多項選擇題考試中，學(xué)生要么知道答案，要么去猜答案。令學(xué)生知道答案的概率為p，不知道答案的概率為1-p，假設(shè)猜對答案的概率為1/m，其中m為選擇項數(shù)。問：學(xué)生答對問題時，他知道答案的概率為多少？解：令C,K分布為學(xué)生答對問題和確實知道答案的事件。相互獨立(Independent)獨立與互斥獨立的兩個事件不一定互斥，也即兩個事件獨立則可能交集不空互斥的兩個事件不一定獨立，也即交集為空的兩個事件不一定獨立隨機變量：樣本空間里的實值函數(shù)分布函數(shù)（distributionfunction）：描述隨機變量的分布

性質(zhì):(1)非減函數(shù)nondecreasingfunction；

(2)

(3)擴展到n-維隨機變量(randomvariable)及其分布隨機變量離散型：概率密度函數(shù)分布函數(shù)連續(xù)型

概率密度函數(shù)擴展到2維X,Y聯(lián)合分布函數(shù)X與Y的分布函數(shù)典型離散型隨機變量：BernouliRandomVariableBinomialRandomVariable n個獨立事件successfailExample已知一臺機器制造出來的產(chǎn)品，廢品率為0.1，并且產(chǎn)生廢品的事件是獨立的。問：三個產(chǎn)品中最多有一個為廢品的概率是多少？解：離散型隨機變量：GeometricRandomVariablePoissonRandomVariable當二項隨機變量中參數(shù)n很大，p很小時，二項隨機變量可以近似看作是Poisson隨機變量。連續(xù)型隨機變量：典型連續(xù)型隨機變量：UniformRandomVariableExponentialRandomVariable

連續(xù)型隨機變量：GammaRandomVariable

Gamma函數(shù)

連續(xù)型隨機變量：NormalRandomVariable

隨機變量的數(shù)字特征1.期望(Expectation)定義

加權(quán)平均例：擲一個色子的期望E(X)練習(xí)：試求前面所講幾個典型隨機變量的期望離散型連續(xù)型定理：X是一隨機變量，F(xiàn)(x)為分布函數(shù)，y=g(x)是連續(xù)函數(shù)，若存在，則推論：如果a，b為常數(shù)，則

2.方差(Variable)3.協(xié)方差(Covariance)不相關(guān)：若Cov(X,Y)=0獨立隨機變量是不相關(guān)的，其逆不真。4.矩母函數(shù)

(MomentGeneratingFunction)ThemomentsofX性質(zhì)：X,Y是獨立變量小結(jié)

第一章隨機過程的基本概念●

隨機過程的定義及其有限維分布函數(shù)族●

隨機過程的數(shù)字特征●

幾類重要的隨機過程

重點隨機過程的定義、數(shù)字特征、正態(tài)過程、

Poisson過程．要求（1）準確理解隨機過程的定義，熟悉研究隨機過程的方法．

(2)熟練求出樣本函數(shù)、有限維分布、數(shù)字特征、特征函數(shù)．難點有限維分布和Poisson過程．例1.

考察[0，t0]時間內(nèi)某網(wǎng)站收到的訪問次數(shù)Ｘ(t０),

則Ｘ(t０)是一個隨機變量．

如果要長時間內(nèi)該網(wǎng)站的訪問次數(shù),

則需要讓t變化起來,即t趨于無窮大,則

Ｘ(t)是一族隨機變量．

此時Ｘ(t)是與時間有關(guān)系的隨機變量，稱

{Ｘ(t),t∈［0,∞）}是隨機過程．§1

隨機過程的定義其中Ａω為常數(shù)，φ服從[0,2π]上的均勻分布.若要觀察任一時刻t的波形，則需要用一族隨機變量Ｘ(t)描述.

則稱｛Ｘ(t)，t∈[0

，+∞)｝為隨機過程．例２.

具有隨機初位相的簡諧波由于初位相的隨機性，在某時刻t＝t0，Ｘ(t0)是一個隨機變量．例３.生物群體的增長問題.以Ｘt表示在時刻t某種

生物群體的個數(shù),則對每一個固定的t,Ｘt是一

個隨機變量．

如果從t＝０開始每隔24小時對群體的個數(shù)觀察一次，則對每一個t，Ｘt是一族隨機變量．也記為Ｘn，n＝０，１，….則稱{Ｘt,t＝０,１,2,….}是隨機過程．例4.

在天氣預(yù)報中,以Xt表示某地區(qū)第t次統(tǒng)計所得到的最高氣溫,則Xt是一個隨機變量.為了預(yù)報該地區(qū)未來的氣溫,要讓t趨于無窮大,則可得到一族隨機變量:Xt,t=0,1,2,…，

稱{Ｘt，t＝０，１，2，….，}是隨機過程．以上4個例子的共同特點是:對某參數(shù)集中的任意一個參數(shù)t,就有一個隨機變量X(t)與之對應(yīng).隨機過程定義若對每一t∈T,均有定義在(Ω,F,P)上的一個

隨機變量X(ω,t),(ω∈Ω)與之對應(yīng),則稱X(ω,t)為(Ω,F,P)上的一個隨機過程(S.P.)記{X(ω,t),ω∈Ω,t∈T},

簡記{X(t),t∈T},或X(t).設(shè)(Ω,F,P)為一概率空間,T為一參數(shù)集,TR,

T稱為參數(shù)集或參數(shù)空間,t稱為參數(shù),一般表示時間或空間.

參數(shù)集通常有以下形式:⑴T={0,1,2,…}或T={…-2,-1,0,1,2,…}⑵T=[a,b],其中a可以為－∞,b可以為+∞.當參數(shù)集為形式⑴時,隨機過程X(t)也稱為隨機序列1.X(ω,t),實質(zhì)上為定義在T×Ω上的二元單值函數(shù).

2.對每一個固定的t,X(t)為一隨機變量，稱之為{X(t),t∈T}在t時刻的狀態(tài).該隨機變量所有可能取值的集合,稱為隨機過程的狀態(tài)空間.記為S.3.對每一個確定的ω0∈Ω,X(ω0,t)是定義在T上的普通函數(shù).記為x(ω0,t),稱為為隨機過程的一個樣本函數(shù).也稱軌道或?qū)崿F(xiàn).樣本函數(shù)的圖形稱為樣本曲線．說明:

設(shè){X(ω,t),ω∈Ω,t∈T}為一S.P.

tX(t)tt0狀態(tài)X(t0)=4狀態(tài)X(t0)=5樣本曲線x1(t)x1(t)x2(t)樣本曲線x2(t)狀態(tài)空間S={0,1,2,….},T=[0,+∞)例1的樣本曲線與狀態(tài)狀態(tài)空間S=[-A,A],參數(shù)集T=[-∞,+∞]tX(t)樣本曲線x1(t)樣本曲線x2(t)t0狀態(tài)X(t0)狀態(tài)X(t0)例2的樣本曲線與狀態(tài)t0狀態(tài)X(t0)=18狀態(tài)X(t0)=25樣本曲線x1(t)樣本曲線x2(t)例3的樣本曲線與狀態(tài)狀態(tài)X(t0)=40樣本曲線x3(t)X(t)t10203040506070024…狀態(tài)空間S={0,1,2,….},T=[0,24,……)4.根據(jù)參數(shù)集與狀態(tài)空間離散與否,隨機過程可分為●離散參數(shù),離散狀態(tài)的隨機過程(例3)●離散參數(shù),連續(xù)狀態(tài)的隨機過程(例4)●連續(xù)參數(shù),離散狀態(tài)的隨機過程(例1)

●連續(xù)參數(shù),連續(xù)狀態(tài)的隨機過程(例2)

參數(shù)集為離散的隨機過程也稱為隨機序列，或時間序列．§2隨機過程的有限維分布函數(shù)族設(shè){X(t),t∈T}是S.P.1.一維分布函數(shù)對任意t∈T,X(t)為一隨機變量.稱其分布函數(shù)

F

(t;x)=P(X(t)≤x),x∈R為隨機過程{X(t),t∈T}的一維分布函數(shù).2.二維分布函數(shù)對任意固定的t1,t2∈T,X(t1),X(t2)為兩個隨機變量.稱其聯(lián)合分布函數(shù)

F

(t1,t2;x1,x2)=P(X(t1)≤x1,X(t2)≤x2),

x1,x2∈R為隨機過程{X(t),t∈T}的二維分布函數(shù).

對任意固定的t1,t2,…,tn∈T,X(t1),X(t2),…,X(tn)為n個隨機變量.稱其聯(lián)合分布函數(shù)

F

(t1,t2,…,tn;x1,x2,…,xn)=P(X(t1)≤x1,X(t2)≤x2…X(tn)≤xn)x1x2,…,xn∈R為隨機過程{X(t),t∈T}的n維分布函數(shù).3.n維分布函數(shù)

稱隨機過程{X(t),t∈T}的一維分布函數(shù),二維分布函數(shù),…,n維分布函數(shù),…,的全體為隨機過程的有限維分布函數(shù)族.有限維分布函數(shù)族定義注:有限維分布函數(shù)族能夠描述隨機過程的統(tǒng)計特性.有限維分布函數(shù)族的性質(zhì)

對稱性相容性設(shè)m<n,則注:隨機過程的統(tǒng)計特性還可以用另一種工具描述,即隨機過程的有限維特征函數(shù)族(后面補充介紹)本節(jié)內(nèi)容舉例例1.設(shè)隨機過程X(t)=Vcosωt,t∈(-∞,+∞),其中ω為常數(shù),V服從[0,1]上的均勻分布.⑴確定{X(t),t∈(-∞,+∞)}的兩個樣本函數(shù).⑵求t=0,t=3π/4ω時,隨機變量的概率密度函數(shù).⑶求t=π

∕2ω

時X(t)的分布函數(shù).

解(1)取V=1/2,1/3分別得到兩個樣本函數(shù)(2)(3)例2

設(shè)隨機過程X(t)=A+Bt,t≥0,其中A,B是相互獨立的隨機變量,且都服從標準正態(tài)分布N(0,1).求該隨機過程的一維和二維分布解對任意的t≥0,X(t)=A+Bt,有題意知X(t)是正態(tài)分布.又E[X(t)]=0,D[X(t)]=1+t2所以S.P.的一維分布為X(t)～N(0,1+t2)又對任意的t1≥0,t2≥0,X(t1)=A+Bt1～N(0,1+t12),X(t2)=A+Bt2～N(0,1+t22),

(定理正態(tài)變量的線性變換是正態(tài)變量)

page24定理1.5.3(3)由A,B獨立知,(A,B)服從二維正態(tài)分布所以(X(t1),X(t2))也服從二維正態(tài)分布所以協(xié)方差矩陣為而(X(t1),X(t2))的均值向量為μ=(0,0)所以該S.P.的二維分布為例3.其中A具有以下概率分布試求(1)該S.P.的一維分布函數(shù)(2)該S.P.的二維分布函數(shù)解作業(yè)1.利用重復(fù)擲硬幣的試驗定義一個隨機過程

出現(xiàn)正面與反面的概率相等.⑴求X(t)的一維分布函數(shù)F(1/2;x),F(1;x).⑵求X(t)的二維分布函數(shù)F(1/2,1;x1,x2).§3

隨機過程的有限維特征函數(shù)族1.Stieltjes積分定義

設(shè)f(x),g(x)是定義在[a,b]上的兩個有界函數(shù),對[a,b]的任一劃分a=x0<x1<…<xn=b,記△=max{△xk}任取ξk∈[xk-1,xk],k=0,1,…,n.作和若極限存在,且與[a,b]的分法及ξk的取法無關(guān).則稱此極限為f(x)對函數(shù)g(x)在[a,b]上的Stieltjes積分.簡稱S積分.也稱f(x)對g(x)在[a,b]上S可積.記設(shè)f(x),g(x)是定義在(-∞,+∞)上的兩個函數(shù),若在任意有限區(qū)間[a,b]f(x)對

g(x)在[a,b]S可積,且存在則稱此極限為f(x)對g(x)在無窮區(qū)間(-∞,+∞)上的Stieltjes積分.記關(guān)于Stieltjes積分有如下性質(zhì)⑴當g(x)為跳躍函數(shù),且在xi(i=1,2,…)具有躍度pi時有⑵當g(x)存在導(dǎo)數(shù)g′(x)時,有利用Stieltjes積分可以統(tǒng)一離散型r.v.與連續(xù)型r.v.(或隨機變量的函數(shù))的數(shù)學(xué)期望定義.如下

定義設(shè)隨機變量X的分布函數(shù)為F(x),若則X的期望為并有以下結(jié)論(1)設(shè)r.v.X的分布函數(shù)為F(x),y=g(x)是連續(xù)函數(shù),若則r.v.Y=g(X)的期望為(2)一般設(shè)r.v.(X1,…,Xn)的聯(lián)合分布函數(shù)為F(x1,x2,…,xn),g(x1,x2,…,xn)為連續(xù)函數(shù).若則r.v.Y=g(X1,X2,…,Xn)的數(shù)學(xué)期望存在.且定義設(shè)隨機變量X的分布函數(shù)F(x),則稱為隨機變量X的特征函數(shù).2.隨機變量的特征函數(shù)其中u為實參變量,為復(fù)隨機變量對任意實數(shù)u,有|ejux|=1.故E[ejux]總存在.(1)特征函數(shù)總是存在的.關(guān)于特征函數(shù)的幾點說明(2)特征函數(shù)的性質(zhì)(證明page17)ⅰⅱⅲ若Y=aX+b,a,b為常數(shù),則ⅳⅴ

若X與Y相互獨立,Z=X+Y,則

(可推廣到n個相互獨立隨機變量)是非負定的.

ⅵ即對任意的n,任意復(fù)數(shù)Zk,任意實數(shù)uk(k=1,2,…,n),有ⅶ

設(shè)隨機變量X的n階原點矩(即E[Xk])存在,

則存在k(k≤n)階導(dǎo)數(shù),且有(3)一些重要分布的特征函數(shù)單點分布P(X=c)=1,c常數(shù).則二項分布k=0,1,…,n.0<p<1,q=1-p.則特征函數(shù)Poisson分布k=0,1,2,…,

λ>0則特征函數(shù)均勻分布r.v.X～U(a,b],密度函數(shù)為則特征函數(shù)正態(tài)分布r.v.X～N(μ,σ2),密度函數(shù)為則特征函數(shù)特別X～N(0,1)時指數(shù)分布r.v.X服從參數(shù)為λ(>0)的指數(shù)分布,概率密度為則特征函數(shù)(4)隨機變量的分布函數(shù)與其特征函數(shù)相互唯一確定.定義(多元特征函數(shù))設(shè)n維隨機變量X=(X1,X2,…,Xn)的聯(lián)合分布函數(shù)為F(x1,x2,…,xn),則稱為n維隨機變量X的特征函數(shù).也稱多元特征函數(shù)多元特征函數(shù)具有與一元特征函數(shù)類似的性質(zhì)

n維隨機變量的特征函數(shù)與其聯(lián)合分布函數(shù)是一一對應(yīng)的特征函數(shù)應(yīng)用舉例:定義(隨機過程的有限維特征函數(shù)族)設(shè){X(t),t∈T}是一個S.P.對于任意固定的t1,t2,…,tn

∈T,X(t1),X(t2),…,X(tn)是n個隨機變量,稱為S.P.{X(t),t∈T}的n維特征函數(shù).(ui∈R,i=1,2,…,n)為隨機過程的有限維特征函數(shù)族§4

隨機過程的數(shù)字特征有限維分布函數(shù)族雖然能夠完整描述隨機過程的統(tǒng)計特征,但是在實際中很難得到.因此,如同隨機變量一樣,也用數(shù)字特征來表征隨機過程.即將隨機變量的數(shù)字特征推廣到隨機過程中.但要注意其區(qū)別:隨機過程的數(shù)字特征不再是確定的數(shù),而是確定的時間的函數(shù).1.均值函數(shù)對任意的t∈T,若E[X(t)]存在,則稱E[X(t)]為S.P.X(t)的均值函數(shù).記mX(t)

即

mX(t)=E[X(t)]t∈T設(shè){X(t)}是一S.P.2.方差函數(shù)設(shè){X(t)}是一S.P.對任意的t∈T,若D[X(t)]=E[X(t)-mX(t)]2存在,則稱D[X(t)]為S.P.X(t)的方差函數(shù).記DX(t).即

DX(t)=E[X(t)-mX(t)]2

t∈T3.協(xié)方差函數(shù)設(shè){X(t)}是一S.P.對任意的s,t∈T,若

Cov(X(s),X(t))=E[X(s)-mX(s)][X(t)-mX(t)]存在,則稱Cov(X(s),X(t))為S.P.X(t)的協(xié)方差函數(shù).記

CX(s,t).

即

CX(s,t)=E[X(s)-mX(s)][X(t)-mX(t)]

s,t∈T4.相關(guān)函數(shù)設(shè){X(t)}是一S.P.對任意的s,t∈T,若E[X(s)X(t)]存在,則稱E[X(s)X(t)]為S.P.X(t)的相關(guān)函數(shù).(自相關(guān)函數(shù))記RX(s,t).即

RX(s,t)=E[X(s)X(t)]s,t∈T顯然mX(t)=0時,CX(s,t)=RX(s,t)5.均方值函數(shù)設(shè){X(t)}是一S.P.對任意的t∈T,若E[X(t)]2存在,則稱E[X(t)]2為S.P.X(t)的均方值函數(shù).記ΦX(t).即

ΦX(t)=E[X(t)]2

t∈T隨機過程的數(shù)字特征有如下關(guān)系CX(s,t)=RX(s,t)-mX(s)mX(t)s,t∈T

DX(t)=CX(t,t)t∈TΦX(t)=RX(t,t)t∈T所以最關(guān)鍵的數(shù)字特征是均值函數(shù)與相關(guān)函數(shù)本節(jié)內(nèi)容舉例設(shè)S.P.X(t)=acos(ωt+Θ).a,ω常數(shù),Θ~U[0,2π]

求該過程的均值函數(shù),相關(guān)函數(shù),方差函數(shù).

解2.

設(shè)S.P.X(t)=Acosωt+Bsinωtt≥0,ω為常數(shù).A,B相互獨立,同服從正態(tài)分布N(0,σ2)

求該過程的均值函數(shù)和相互函數(shù).解§5

兩個隨機過程的聯(lián)合分布和數(shù)字特征在實際問題中,有時需要同時考慮兩個或者兩個以上的隨機過程.例如:一個線性系統(tǒng)的輸入信號和輸入噪聲兩者可能同為隨機過程.同時考慮一個線性系統(tǒng)的隨機輸入和隨機輸出的關(guān)系等.定義

設(shè){X(t),t∈T}和{Y(t),t∈T}是兩個隨機過程.則稱

{X(t),Y(t),t∈T}是二維隨機過程.二維過程的概率分布與數(shù)字特征有以下定義定義

設(shè){X(t),Y(t),t∈T}是二維隨機過程.定義設(shè){X(t),Y(t),t∈T}是二維S.P.則對任意s,t∈T,X(s)

Y(t)是兩個隨機變量.(1)

若E[X(s)Y(t)]存在,則稱

E[X(s)Y(t)]=RX,Y(s,t)

為該二維S.P.的互相關(guān)函數(shù)(2)

若cov(X(s),Y(t))=E[(X(s)-mX(s))(Y(t)-mY(t))存在,則稱

cov(X(s),Y(t))=CXY(s,t)

為該二維S.P.的互協(xié)方差函數(shù)顯然有CXY(s,t)=RXY(s,t)-mX(s)mY(t)

定義設(shè){X(t),t∈T},{Y(t),t∈T}是二個

S.P.若

CXY(s,t)=0

或RX,Y(s,t)=mX(s)mY(t)s,t∈T,則稱S.P.{X(t),t∈T}與S.P.{Y(t),t∈T}不相關(guān).結(jié)論若S.P.{X(t),t∈T}和S.P.{Y(t),t∈T}相互獨立,

則{X(t),t∈T}和{Y(t),t∈T}不相關(guān)§6.復(fù)隨機過程及其數(shù)字特征定義

設(shè){X(t),t∈T}和{Y(t),t∈T}是定義在同一概率空間(Ω,F,P)上的兩個

實隨機過程.令

Z(t)=X(t)+jY(t)t∈T

則稱{Z(t),t∈T}是復(fù)隨機過程.定義設(shè){Z(t),t∈T}是復(fù)S.P.對任意t∈T,

稱mZ(t)=E[Z(t)]

為復(fù)S.P.的均值函數(shù)

稱

DZ(t)=D[Z(t)]=E|Z(t)-mZ(t)|2

為復(fù)S.P.的方差函數(shù)

稱ΦZ(t)=E|Z(t)|2

為復(fù)S.P.的均方值函數(shù).

對任意的s,t∈T,稱RZ(s,t)=E[Z(s)Z(t)]

為復(fù)S.P.的相關(guān)函數(shù).

稱CX(s,t)=cov(Z(s),Z(t)]=E[(Z(s)-mz(s))(Z(t)-mz(t))]

為復(fù)S.P.的協(xié)方差函數(shù).由以上定義可得(1)mZ(t)=mX(t)+jmY(t)t∈T(2)DZ(t)=DX(t)+DY(t)t∈T(3)CX(s,t)=RZ(s,t)-mZ(s)mZ(t)s,t∈T反映兩個復(fù)隨機過程之間相關(guān)程度的數(shù)字特征(1)互協(xié)方差函數(shù)

設(shè){Z1(t),t∈T},{Z2(t),t∈T}是兩個復(fù)S.P.(2)互相關(guān)函數(shù)舉例設(shè)其中ω0為正常數(shù),n為固定正整數(shù),是相互獨立的實隨機變量,且Φk～U[0,2π],求S.P.{Z(t),t∈R}的均值函數(shù)和相關(guān)函數(shù).k=1,2,…,n.§7幾類重要的隨機過程之前按照參數(shù)和狀態(tài)對隨機過程進行了簡單的分類.隨機過程可以按照不同的標準進行分類.本講按照隨機過程所具有的一些性質(zhì),介紹幾類重要的隨機過程:◆

二階矩過程◆正態(tài)過程◆正交增量過程◆獨立增量過程◆

Wiener過程◆

Poisson過程1.二階矩過程定義

若S.P.{X(t),t∈T}的一、二階矩存在，則稱Ｓ.Ｐ.{X(t),t∈T}是二階矩過程．注二階矩過程的均值函數(shù)與相關(guān)函數(shù)一定存在可利用均值函數(shù)和相關(guān)函數(shù)討論二階矩陣過程的性質(zhì).(下章內(nèi)容)二階矩過程的相關(guān)函數(shù)具有以下性質(zhì)

定理設(shè){X(t),t∈T}是二階矩過程,則相關(guān)函數(shù)RX(s,t)有(1)共軛對稱性

RX(s,t)=RX(t,s)

(2)非負定性對任意t1,t2,…,tn∈T,任意復(fù)數(shù)

λ1,λ2,…,λn有證明(1)RX(s,t)=E[X(s)X(t)]=E[X(s)X(t)]=RX(t,s)(2)

2.正態(tài)過程補充:n維正態(tài)隨機變量分布及性質(zhì)

正態(tài)過程定義設(shè){X(t),t∈T}是S.P.,若對任意的n≥1

及t1,t2,…,tn∈T,{X(t1),X(t2),…,X(tn),}是n維正態(tài)隨機變量,

則稱S.P.{X(t),t∈T}為正態(tài)過程或高斯過程注意

若{X(t),t∈T}是一族正態(tài)隨機變量,

但{X(t),t∈T}不一定是正態(tài)過程.

(2)正態(tài)過程的有限維分布由其均值函數(shù)與相關(guān)函數(shù)完全確定.(3)正態(tài)過程是二階矩過程.舉例獨立的r.v.，且都服從正態(tài)分布N(0,σ2),ω是常數(shù)．設(shè)S.P.試證明該過程是正態(tài)過程，并求它的有限維分布．,其中A,B為相互3.正交增量過程定義設(shè){X(t),t∈T}是二階矩過程，若對任意的

t1<t2

≤

t3<

t4∈T

都有則稱S.P.{X(t),t∈T}是一正交增量過程.注:這里<X,Y>=E[XY]可視為內(nèi)積

若T取為有限區(qū)間[a,b],對

特別的，當X(a)=0時，有

定理設(shè){X(t),t∈[a,b]}是正交增量過程,

且X(a)=0,則(2)ΦX(t)是單調(diào)不減函數(shù)(1)4獨立增量過程設(shè){X(t),t∈T}是一是S.P.如果對是相互獨立的隨機變量，則稱{X(t),t∈T}是獨立增量過程．以及有如果對于任意s<t∈T,X(t)-X(s)的分布僅依賴于t-s，而與s,t本身取值無關(guān)，則稱{X(t),t∈T}為平穩(wěn)增量過程．如果S.P.{X(t),t∈T}既是平穩(wěn)增量過程，又是獨立增量過程，則稱{X(t),t∈T}

為平穩(wěn)的獨立增量過程．定理

獨立增量過程的有限維分布函數(shù)由其一維分布函數(shù)和增量分布函數(shù)確定．

證明思路

由于隨機變量的分布函數(shù)與特征函數(shù)一一對應(yīng).

只需證獨立增量過程的有限維特征函數(shù)由其一維特征函數(shù)和增量特征函數(shù)確定．證明n維隨機變量的的特征函數(shù)為令則①代入①式由題意知Y1,Y2,…,Yn獨立由Y1Y2,…,Yn的獨立性證畢５Wiener過程(布朗運動)稱實S.P.{W(t),t≥0}是參數(shù)為σ2的Wiener過程,如果是平穩(wěn)的獨立增量過程．補充說明：布朗運動描述浸沒（或懸?。┰谝后w或者氣體中微小顆粒的運動，該現(xiàn)象由英國植物學(xué)家RobertBrown首次發(fā)現(xiàn)；Dr.Einstein與1905年做出解釋：微粒運動是由大量分子的連續(xù)碰撞造成的；自1918年開始，Dr.Wiener發(fā)表一系列論文對布朗運動進行數(shù)學(xué)描述；布朗運動是量子力學(xué)、概率統(tǒng)計、金融證券等研究中最重要的隨機過程：例如：上證綜合指數(shù)受到每筆成交的撞擊而上下波動，在短時間內(nèi)不考慮消息面的影響時，可用布朗運動進行近似描述Wiener過程示意圖：1.微粒受空氣分子碰撞引起的布朗運動：2.五個微粒受空氣分子碰撞引起的布朗運動：定理設(shè)

{W(t),t≥0}是參數(shù)為σ2的Wiener過程.則證明(1)

由定義,顯然成立.(2)由(1)易知有對s≥0,t≥0,不妨設(shè)s≤t,則獨立性定理Wiener過程是正態(tài)過程．證明設(shè){W(t),t≥0}是參數(shù)為σ2的Wiener過程.

則對任意的n≥1,以及任意的{W(t1),W(t2),…,W(tn)}是n維隨機變量由Wiener過程的定義知相互獨立所以是n維正態(tài)隨機變量.又由于所以是n維正態(tài)變量.所以{W(t),t≥0}是正態(tài)過程.作業(yè)2.1設(shè)X(t)=Asin(ωt+Φ),Y(t)=Bsin(ωt+Φ+ψ),t∈R,其中A,B,ω,ψ為實常數(shù)，Φ服從U[0,2π],求RXY(s,t)作業(yè)2.2設(shè){W(t),t≥0}是參數(shù)為σ2的Wiener過程，求下列過程的協(xié)方差函數(shù)：{W(t)+At,t≥0},其中A為常數(shù)；{W(t)+Xt,t≥0},其中X服從N(0,1),且與{W(t)，t≥0}相互獨立下周上課前提交電子版至郵箱:gaosc@６Poisson過程計數(shù)過程

稱實隨機過程{N(t),t≥0}是計數(shù)過程，如果N(t)表示直到t時刻為止發(fā)生的某隨機事件數(shù)．性質(zhì)①②N(t)是非負整數(shù)③④表示時間間隔t-s內(nèi)發(fā)生的隨機事件數(shù)．實例1.電話交換臺的呼叫次數(shù)2.放射性裂變的質(zhì)點數(shù)3.發(fā)生故障而不能工作的機器數(shù)4.通過交通路口的車輛數(shù)5.來到某服務(wù)窗口的顧客數(shù)………..以上實例中的呼叫,質(zhì)點,機器,車輛,顧客等也統(tǒng)一叫做隨機點Poisson過程定義若計數(shù)過程{N(t),t≥0}

滿足是平穩(wěn)的獨立增量過程服從參數(shù)是λt

的Poisson分布,即則稱計數(shù)過程{N(t),t≥0}是參數(shù)(強度,比率)為λ

的Poisson過程.定理設(shè){N(t),t≥0}

是參數(shù)為λ

的Poisson

過程，則證明1)由定義,顯然有又對s≥0,t≥0,不妨設(shè)s≤t,則有是獨立增量平穩(wěn)性由定義Poisson過程的等價定義稱計數(shù)過程{N(t),t≥0}是參數(shù)為λ的Poisson過程，如果：等價性證明見教材56①②③④Poisson過程的到達時間與到達時間間隔分布設(shè){N(t),t≥0}是參數(shù)為λ

的Poisson過程，則N(t)表示時間區(qū)間[0,t)內(nèi)到達的隨機點數(shù).到達時間(序列)表示第i個隨機點的到達時刻,則稱為Poisson過程的到達時間序列.到達時間間隔(序列)它表示第n-1個隨機點與第n個隨機點的到達時間間隔,則稱為Poisson過程的到達時間間隔(序列)顯然有關(guān)于Poisson過程中的這兩個序列的概率分布,有以下結(jié)論定理

(到達時間間隔分布)設(shè){N(t),t≥0}

是參數(shù)為λ

的Poisson過程，是其到達時間間隔序列，則是相互獨立同服從參數(shù)為λ的指數(shù)分布．證明獨立性由于poisson過程是平穩(wěn)的獨立增量過程所以相互獨立.下證同分布T1,T2的獨立性平穩(wěn)性T1,T2…Tn的獨立性平穩(wěn)性得證定理(到達時間序列分布)設(shè){N(t),t≥0}是參數(shù)為λ的Poisson過程,則其到達時間服從Γ分布,密度為證明的分布函數(shù)第n個隨機點的到達時刻再求導(dǎo)數(shù)所以到達時間序列的密度函數(shù)為本題目還可以用特征函數(shù)證明,見教材Poisson過程中到達時間的條件分布問題:

設(shè){N(t),t≥0}是參數(shù)為λ

的Poisson過程，如果在[0，t)內(nèi)僅有一個隨機點到達,τ是其到達時間,則該隨機點的到達時間τ服從怎樣的概率分布?如果在[0，t)內(nèi)僅有一個隨機點到達，則該隨機點的到達時間τ服從[0,t]上的均勻分布.即事實上,s<t時,有更一般有以下問題設(shè){N(t),t≥0}

是參數(shù)為λ

的Poisson過程,如果在[0,t)內(nèi)有n個隨機點到達，則n個到達時間服從怎樣的概率分布??定理

設(shè){N(t),t≥0}

是參數(shù)為λ

的Poisson過程,如果在[0,t)內(nèi)有n個隨機點到達，則n個到達時間和n個相互獨立同服從[0,t]上的均勻分布的隨機變量U1,U2,…,Un的順序統(tǒng)計量

即證明例假設(shè)乘客按照參數(shù)為λ的Poisson過程來到一個火車站乘坐某次火車，若火車在時刻t啟動，試求在[0,t]內(nèi)到達火車站的乘客等待時間總和的數(shù)學(xué)期望．7.復(fù)合poisson過程定義設(shè){N(t),t≥0}是參數(shù)為λ

的Poisson過程,{Yk.k=1,2,…}是一列獨立同分布的隨機變量,且與{N(t),t≥0}獨立稱{X(t),t≥0}為復(fù)合Poisson過程.若將N(t)表示[0,t)內(nèi)的隨機點數(shù),Yk表示第k個隨機點所攜帶的某種(能)量,則總量為即{X(t),t≥0}為復(fù)合Poisson過程定理設(shè){X(t),t≥0}為復(fù)合Poisson過程.則⑴{X(t),t≥0}的一維特征函數(shù)為其中f(u)是Yn(n=1,2,…)的特征函數(shù)⑵若證明⑴由特征函數(shù)的定義可得X(t)的特征函數(shù)為Yn與N(t)獨立Yn獨立同分布⑵由于特征函數(shù)與矩有關(guān)系則對X(t)的特征函數(shù)求導(dǎo)數(shù)所以所以例1

設(shè)移民到某地區(qū)定居的戶數(shù)是一Poisson過程，平均每周有2戶定居，即λ=2.如果每戶的人口數(shù)是隨機變量一戶4人的概率為1/6，一戶3人的概率為1/3，一戶2人的概率為1/3，一戶1人的概率為1/6，且每戶的人口數(shù)是相互獨立的，求在五周內(nèi)移民到該地區(qū)的人口數(shù)的數(shù)學(xué)期望和方差．和中出現(xiàn)第ｋ次事件設(shè)是兩個相互獨立的Poisson過程，它們在單位時間內(nèi)發(fā)生事件的平均數(shù)分別為λ1和λ２.設(shè)代表第一過程中出現(xiàn)第ｋ次事件所需的時間，代表第二過程所需的時間．試求：(1)第一過程中出現(xiàn)第一次事件先于第二過程出現(xiàn)第一次事件的概率，即(2)作業(yè)1解題思路:考慮兩個隨機變量的聯(lián)合密度函數(shù),再計算有關(guān)的概率某中子計數(shù)器對到達計數(shù)器的粒子只是每隔一個記錄一次，假設(shè)粒子是按照比率4個每分鐘的Poisson過程到達，令T是兩個相繼被記錄粒子之間的時間間隔（單位：分鐘）試求：1）T的概率密度；

2）作業(yè)2解題思路:由poisson過程是平穩(wěn)的獨立增量過程.可知相繼被記錄的時間間隔是獨立同分布的.

設(shè)有兩個相互獨立的、強度分別為和的Poisson過程和，試證在過程中兩個相鄰事件間，過程出現(xiàn)k個事件的概率為作業(yè)3證明思路:平穩(wěn)過程主要內(nèi)容嚴平穩(wěn)過程與寬平穩(wěn)過程的定義平穩(wěn)過程相關(guān)函數(shù)的性質(zhì)平穩(wěn)過程的各態(tài)歷經(jīng)性平穩(wěn)過程的譜分析平穩(wěn)過程是一類統(tǒng)計特性不隨時間而發(fā)生改變的隨機過程.平穩(wěn)過程在實際中有廣泛的應(yīng)用,在通訊,雷達等隨機信號處理中有重要的作用.研究對象更為特殊的二階矩過程—寬平穩(wěn)過程§1平穩(wěn)過程的定義定義(嚴平穩(wěn)過程)設(shè)X={X(t),t∈T}是隨機過程,如果對任意的n≥1,則稱X={X(t),t∈T}是

嚴平穩(wěn)過程.說明1.嚴平穩(wěn)過程的有限維分布不隨時間的推移而改變易知

其一維分布函數(shù)與時間t無關(guān).

其二維分布函數(shù)與僅與時間間隔有關(guān).2.若二階矩存在的過程是嚴平穩(wěn)過程,則其均值函數(shù)是常數(shù),相關(guān)函數(shù)是時間間隔的函數(shù).3.通常用定義判斷一個過程的嚴平穩(wěn)性是困難的.在實際中,若產(chǎn)生隨機過程的主要物理條件在時間進程中不變,則過程可看作是嚴平穩(wěn)的.例如工作在穩(wěn)定狀態(tài)下的接收機,其輸出噪聲可認為是嚴平穩(wěn)的.此時若要測量噪聲的統(tǒng)計特性,則在任何時候測量都可得到相同結(jié)果.4.嚴平穩(wěn)過程也叫狹義平穩(wěn)過程或強平穩(wěn)過程.由于隨機過程有限維分布有時候無法確定,以下給出在理論與應(yīng)用上更重要的另一種平穩(wěn)過程概念.定義(寬平穩(wěn)過程)設(shè)X={X(t),t∈T}是二階矩過程,如果則稱X={X(t),t∈T}為寬平穩(wěn)過程,簡稱平穩(wěn)過程.寬平穩(wěn)過程也叫廣義平穩(wěn)過程或弱平穩(wěn)過程.以后說到平穩(wěn)過程指寬平穩(wěn)過程===1.

嚴平穩(wěn)過程不一定是寬平穩(wěn)過程.2.

寬平穩(wěn)過程也不一定是嚴平穩(wěn)過程.注意一般情況下但對二階矩過程嚴平穩(wěn)過程一定是寬平穩(wěn)過程.

但對正態(tài)過程寬平穩(wěn)性與嚴平穩(wěn)性是等價的.定理若{X(t),t∈T}是正態(tài)過程,

則{X(t),t∈T}是嚴平穩(wěn)過程的充要條件是{X(t),t∈T}是寬平穩(wěn)過程.預(yù)備知識證明(充分性)設(shè){X(t),t∈T}是寬平穩(wěn)過程.{X(t),t∈T}的有限維特征函數(shù)即特征函數(shù)不隨時間的推移而改變.所以{X(t),t∈T}是嚴平穩(wěn)過程必要性顯然.例1

設(shè)S(t)是周期為T的可積函數(shù).令X(t)=S(t+Θ)

t∈(-∞,+∞),Θ～U[0,T].稱{X(t),-∞<t<+∞}

為隨機相位周期過程,試討論它的平穩(wěn)性.它是平穩(wěn)過程例2

設(shè){Xn,n=1,2,…}是隨機變量序列.例3設(shè){X(t),t≥0}是只取±1兩個值的隨機過程,其符號的改變次數(shù)是一參數(shù)為λ的Poisson過程{N(t),t≥0},且對任意的t≥0,P(X(t)=－1)=P(X(t)=1)=1/2.試討論{X(t),t≥0}的平穩(wěn)性.例4

設(shè){Y(t),t≥0}是正態(tài)過程.且例:設(shè)是參數(shù)為的Wiener過程，令其中為常數(shù)，試證明：是嚴平穩(wěn)過程.

因此，是寬平穩(wěn)過程.

所以為n維正態(tài)隨機變量，因此是正態(tài)過程.所以是嚴平穩(wěn)過程.§2平穩(wěn)過程相關(guān)函數(shù)的性質(zhì)

一般用數(shù)字特征描述隨機過程比用分布函數(shù)相對簡便.

對于平穩(wěn)過程,描述其統(tǒng)計特性的數(shù)字特征是相關(guān)函數(shù).1.(自)相關(guān)函數(shù)的性質(zhì)定理設(shè){X(t),t∈T}是平穩(wěn)過程,則其相關(guān)函數(shù)有性質(zhì):證明

(1)若{X(t),t∈T}是周期平穩(wěn)過程,即則其相關(guān)函數(shù)也是周期函數(shù),且周期相同也為T0.特別2.聯(lián)合平穩(wěn)的平穩(wěn)過程及其互相關(guān)函數(shù)的性質(zhì)定義設(shè){X(t),t∈T},{Y(t),t∈T}是兩個平穩(wěn)過程.若對任意的s,t∈T,有則稱{X(t),t∈T},{Y(t),t∈T}為聯(lián)合平穩(wěn)的平穩(wěn)過程.此時若令Z(t)=X(t)+Y(t),問Z(t)是否為平穩(wěn)過程?定理設(shè){X(t),t∈T},{Y(t),t∈T}為聯(lián)合平穩(wěn)的平穩(wěn)過程.則其互相關(guān)函數(shù)RXY(s,t)具有如下性質(zhì)(1)(2)(3)證明(1)證明(2)證明(3)推論(2)

設(shè){X(t),t∈T},{Y(t),t∈T}為實聯(lián)合平穩(wěn)的平穩(wěn)過程.則其互相關(guān)函數(shù)RXY(s,t)滿足(1)

設(shè){X(t),t∈T},{Y(t),t∈T}為聯(lián)合平穩(wěn)的平穩(wěn)過程.則其互協(xié)方差函數(shù)CXY(s,t)也滿足第五章馬爾可夫過程馬爾可夫過程是前蘇聯(lián)數(shù)學(xué)家A.A.Markov首先提出和研究的一類隨機過程.經(jīng)過世界各國幾代數(shù)學(xué)家的相繼努力,至今已成為內(nèi)容十分豐富,理論上相當完整,應(yīng)用也十分廣泛的一門數(shù)學(xué)分支.它的應(yīng)用領(lǐng)域涉及計算機、通訊、自動控制、隨機服務(wù)、可靠性、生物、經(jīng)濟、管理、氣象、物理、化學(xué)等.馬爾可夫

(1856年6月14日——1922年7月20日）馬爾可夫?qū)?shù)學(xué)的最大貢獻是在概率論領(lǐng)域作出的．十九世紀后二十年，他主要是沿著切比雪夫開創(chuàng)的方向，致力于獨立隨機變量和古典極值理論的研究，從而改進和完善了大數(shù)定律和中心極限定理．二十世紀初，他的興趣轉(zhuǎn)移到相依隨機變量序列的研究上來，從而創(chuàng)立了以他命名的著名概率模型——馬爾可夫鏈．王梓坤院士(1929年—)江西吉安人,1952年大學(xué)畢業(yè)后，被分派到天津南開大學(xué)數(shù)學(xué)系任教,曾任北京師范大學(xué)校長,是一位對我國科學(xué)和教育事業(yè)作出卓越貢獻的數(shù)學(xué)家和教育家，也是我國概率論研究的先驅(qū)和學(xué)術(shù)帶頭人之一。

1954年，他以優(yōu)異的成績考取了赴蘇研究生。踏進世界著名學(xué)府－莫斯科大學(xué)，在這個學(xué)府世界概率論的奠基人柯爾莫哥洛夫(Kolmogorov)院士正領(lǐng)導(dǎo)看一個強有力的概率研究集團?？聽柲呗宸蚧垩圩R英才，非常信賴這位由中國選派的年輕人的能力，把他選作自己的研究生，去攻概率論的中心問題隨機過程理論。當時中國近代數(shù)學(xué)才剛剛起步，大學(xué)也沒有概率課程。此時蘇聯(lián)的概率論水平已屆于世界最前列。王梓坤也根本不知道什么是概率，可他的研究方向又恰恰被定為概率論，

著有《概率論基礎(chǔ)及其應(yīng)用》、《隨機過程論》、《生滅過程與馬爾科夫鏈》等9部數(shù)學(xué)著作．馬爾可夫過程的定義馬爾可夫鏈的轉(zhuǎn)移概率與概率分布齊次馬爾可夫鏈狀態(tài)的分類轉(zhuǎn)移概率的穩(wěn)定性能本章主要內(nèi)容一馬爾可夫過程的定義1．馬爾可夫性通俗地說，就是在知道過程現(xiàn)在的條件下，其將來的條件分布不依賴于過去，則稱具有馬爾可夫（Markov)性。定義設(shè)是一個隨機過程，如果在t0時刻所處的狀態(tài)為已知，它在時刻

所處狀態(tài)的條件分布與其在t0

之前

所處的狀態(tài)無關(guān)。2.馬爾可夫過程定義設(shè)的狀態(tài)空間為S,的條件分布函數(shù)恰好等于3.馬爾可夫鏈定義參數(shù)集和狀態(tài)空間都是離散的馬爾可夫過程稱為馬爾可夫鏈。注只討論馬爾可夫鏈的狀態(tài)空間為有限或可列無限.則馬爾可夫性可表示為特別對取T={0,1,2,···}的馬爾可夫鏈，記為或此時的馬爾可夫性為或今后,記二馬爾可夫鏈的轉(zhuǎn)移概率與概率分布1.轉(zhuǎn)移概率定義設(shè)是馬爾可夫鏈,稱條件概率經(jīng)過k步轉(zhuǎn)移,于n+k時到達狀態(tài)j的條件概率).在n時的k步轉(zhuǎn)移概率.n時的k步轉(zhuǎn)移概率矩陣.特別

當k=1時，定義稱可數(shù)維的矩陣為隨機矩陣，如果顯然，在n時的k步轉(zhuǎn)移概率矩陣是一隨機矩陣.特別k＝０時，約定２.Chapman-kolmogorov方程定理(C-K方程)或矩陣形式（解決了k步轉(zhuǎn)移概率與一步轉(zhuǎn)移概率間的關(guān)系）證明系統(tǒng)在n時從狀態(tài)i的出發(fā),經(jīng)過k+m步轉(zhuǎn)移,于n+k+m時到達狀態(tài)j,可以先在n時從狀態(tài)i出發(fā)，經(jīng)過k步轉(zhuǎn)移于n+k時到達某種中間狀態(tài)l,再在n+k時從中間狀態(tài)l出發(fā)經(jīng)過m步轉(zhuǎn)移于n+k+m時到達最終狀態(tài)j,而中間狀態(tài)l要取遍整個狀態(tài)空間S.C-K方程的直觀意義：定理

馬爾可夫鏈的k步轉(zhuǎn)移概率由 其一步轉(zhuǎn)移概率所完全確定.若取m=1,則由C-K方程的矩陣形式:得分量形式1）初始分布為馬爾可夫鏈的初始分布3.馬爾可夫鏈的分布稱第i個分量為的(行)向量為馬爾可夫鏈的初始分布向量.即2）有限維分布定理馬爾可夫鏈的有限維分布由其初始分布和一步轉(zhuǎn)移概率所完全確定.證明又因為馬爾可夫鏈的k步轉(zhuǎn)移概率由一步轉(zhuǎn)移概率所完全確定.所以馬爾可夫鏈的有限維分布由其初始分布和一步轉(zhuǎn)移概率所完全確定.3）絕對分布為馬爾可夫鏈的絕對分布稱第j個分量為的(行)向量為馬爾可夫鏈的絕對分布向量.即絕對分布、初始分布和n步轉(zhuǎn)移概率有如下關(guān)系：或矩陣形式4.齊次馬爾可夫鏈定義是一馬爾可夫鏈,如果其一步轉(zhuǎn)移概率恒與起始時刻n無關(guān)，記為為齊次(時間其次或時齊)馬爾可夫鏈.否則，稱為非齊次馬爾可夫鏈.為方便，一般假定時間起點為零．即顯然對齊次馬爾可夫鏈，k步轉(zhuǎn)移概率也與起始時刻n無關(guān)．記為相應(yīng)的k步與一步轉(zhuǎn)移概率矩陣分別記為定理的有限維分布由其初始分布和一步轉(zhuǎn)移概率所完全確定例１(天氣預(yù)報問題)如果明天是否有雨僅與今天的天氣(是否有雨)有關(guān)，而與過去的天氣無關(guān).并設(shè)今天下雨、明天有雨的概率為a，今天無雨而明天有雨的概率為b，又假設(shè)有雨稱為0狀態(tài)天氣，無雨稱為1狀態(tài)天氣.Xn表示時刻n時的天氣狀態(tài)，則是以為狀態(tài)空間的齊次馬爾可夫鏈.其一步轉(zhuǎn)移概率矩陣為５.馬爾可夫鏈舉例

例2(有限制隨機游動問題)

設(shè)質(zhì)點只能在{0，1，2，···，a}中的各點上作隨機游動，移動規(guī)則如下：ii+1i-101a-1a設(shè)Xn表示質(zhì)點在n時刻所處的位置，則其一步轉(zhuǎn)移概率矩陣為例3

設(shè)一個壇子中裝有m個球，它們或是紅色的，或是黑色的，從壇子中隨機的摸出一球，并換入一個相反顏色的球.其一步轉(zhuǎn)移概率矩陣為為狀態(tài)空間的齊次馬爾可夫鏈.設(shè)經(jīng)過n次摸換,壇中黑球數(shù)為Xn,則例４設(shè)是具有三個狀態(tài)0，1，2的齊次馬爾可夫鏈，其一步轉(zhuǎn)移概率矩陣為初始分布試求：解作業(yè)設(shè)是狀態(tài)空間為{a,b,c}的齊次馬氏鏈.其一步轉(zhuǎn)移概率矩陣為三齊次馬爾可夫鏈狀態(tài)的分類1.狀態(tài)的屬性定義引理1證明定義2引理2證明系統(tǒng)從狀態(tài)i出發(fā),首次到達狀態(tài)j的平均轉(zhuǎn)移步數(shù)定義3下面的引理給出di

與

hi二者的關(guān)系引理3證明定義4例1：在直線上，如果質(zhì)點每次向前、向后移動1步的概率都是1/3，向后移動2步的概率也是1/3，試證明每個狀態(tài)都是非周期的。例2：在直線上，如果質(zhì)點每次向前移動1步的概率都是p，向后移動5步的概率是q=1-p，試證明每個狀態(tài)的周期都是6。定義5引理4證明引理5證明引理6證下面用反正法證明:則從狀態(tài)j出發(fā)最終不能到達j的概率為:2.狀態(tài)屬性的判斷定理1(Doeblin公式)證明思路上極限存在下極限存在相等證明(找上界)(有上界必有上極限)(找下界)(不等式左邊對固定的N′

有下界,從而有下極限)推論1推論2定理2定理3定理4證明推論證明定理5證明定理6證明所以,i,j或者同為常返態(tài),或者同為非常返態(tài).下面考慮當i,j同為常返態(tài)時的情況:所以,i,j或者同為零常返態(tài),或者同為正常返態(tài).下面證明當i,j同為正常返態(tài)時,周期相同所以,i,j或者同為正常返非周期狀態(tài)(遍歷態(tài)),

或者同為正常返周期狀態(tài),且周期相同.作業(yè)：3.狀態(tài)空間的分解定義引理7(有關(guān)閉集的判定和性質(zhì))證明(1)用數(shù)學(xué)歸納法引理8證明引理9設(shè)C是閉集,則當且僅當其中任何兩個狀態(tài)互通時,C為不可約的.證明推論齊次馬爾可夫鏈是不可約的充要條件是它的任何兩個狀態(tài)互通特別關(guān)于有限狀態(tài)的馬爾可夫鏈有下面結(jié)論定理7(1)

有限齊次馬爾可夫鏈所有非常返狀態(tài)集D不可能是閉集.(2)有限齊次馬爾可夫鏈不可能存在零常返狀態(tài).(3)不可約的有限齊次馬爾可夫鏈的所有狀態(tài)都是

正常返狀態(tài).證明定理8證明由以上的分析,可以得到狀態(tài)空間的分解定理定理9齊次馬爾可夫鏈的狀態(tài)空間S可唯一地分解成有限個或可列無限多個互不相交的狀態(tài)子集的并.即其中D是所有非常返狀態(tài)構(gòu)成的狀態(tài)子集.所有常返狀態(tài)構(gòu)成的不可約閉集.每個狀態(tài)子集中的狀態(tài)有著相同的狀態(tài)類型:(即或者均為零常返,或者均為正常返非周期,或者均為正常返周期且周期相同.)引理10證明定理10(周期鏈分解定理)證明思路:從三個方面證明(1)分解式的存在性(2)轉(zhuǎn)移規(guī)則的合理性(正確性)(3)分解式的唯一性證明(1)分解式的存在性(2)轉(zhuǎn)移規(guī)則的正確性(3)分解式的唯一性定理11證明(1)例1

設(shè)狀態(tài)空間S={0,1,2}的馬爾可夫鏈,它的一步轉(zhuǎn)移概率矩陣為研究其狀態(tài)間的關(guān)系以及狀態(tài)類型120例2

設(shè)狀態(tài)空間S={1,2,3,4}的馬爾可夫鏈,它的一步轉(zhuǎn)移概率矩陣為試分析狀態(tài)類型1234例3

設(shè){Xn,n=0,1,2,…}是一齊次馬爾可夫鏈,狀態(tài)空間

S={1,2,3,4,5},其一步轉(zhuǎn)移概率矩陣為試分析狀態(tài)類型12354例4

設(shè)齊次馬爾可夫鏈的狀態(tài)空間S={0,1,2,3,},其一步轉(zhuǎn)移概率矩陣為試分析過程的周期性1203例5

設(shè)齊次馬爾可夫鏈的狀態(tài)空間S={1,2,3,4,5,6,7,8},

其一步轉(zhuǎn)移概率矩陣為12534678例5

設(shè)齊次馬爾可夫鏈的狀態(tài)空間S={1,2,3,4,5,6,},

其一步轉(zhuǎn)移概率矩陣為試分解此馬爾可夫鏈,并寫出各狀態(tài)類型及周期.123564四轉(zhuǎn)移概率的穩(wěn)態(tài)性能問題

馬爾可夫鏈是否具有統(tǒng)計意義下的穩(wěn)態(tài)性,即要回答以下問題?當

時,轉(zhuǎn)移概率數(shù)列是否收斂?若存在,此極限是否與初始狀態(tài)i無關(guān)?

(3)在怎樣的條件才能保證存在且與初始狀態(tài)i無關(guān)?1.轉(zhuǎn)移概率的極限由已有知識可知但!又由已有知識可知那么,如何討論???由周期鏈的性質(zhì)得到啟發(fā)我們討論定理1

設(shè)j是正常返狀態(tài)，則其中是j的平均轉(zhuǎn)回時間.證明則推論設(shè)是齊次馬爾可夫鏈，它的每個狀態(tài)都是正常返的，而且都有周期d，狀態(tài)空間S已經(jīng)被唯一地分解成特別的，如果d=1,則證明在以上定理中取r=d,則有即得到結(jié)論.證明定理3設(shè)其中D為非常返狀態(tài)集，為零常返狀態(tài)集，為正常返狀態(tài)閉集，則且此極限值與初始狀態(tài)i無關(guān)，記作推論設(shè)是不可約的馬爾可夫鏈，其狀態(tài)空間S中的每個狀態(tài)都是正常返非周期狀態(tài),則即定理4

設(shè)C為互通的遍歷狀態(tài)構(gòu)成的閉集，則證明定義設(shè)是一個馬爾可夫鏈，如果構(gòu)成一概率分布，稱為馬爾可夫鏈的極限分布.推論不可約馬爾可夫鏈是遍歷鏈的充要條件是極限分布存在且唯一.2平穩(wěn)分布定義稱概率分布是轉(zhuǎn)移概率矩陣為的馬爾可夫鏈的一個平穩(wěn)分布.如果說明若齊次馬爾可夫鏈有一個平穩(wěn)分布:定理5

設(shè)是齊次馬爾可夫鏈的一個平穩(wěn)分布，如果取為的初始分布，即(1)

則對任意的正整數(shù)n，都有(2)并且對任意的正整數(shù)n，m,以及證明說明了若鏈有平穩(wěn)分布,且以它作為初始分布,則其絕對分布是確定的,保持不變.且該鏈是嚴平穩(wěn)的序列.對一個齊次的馬爾可夫鏈是否存在平穩(wěn)分布???一個重要的問題:如果存在,是否唯一????如何計算?????在特殊情況下,回答上述問題,即定理(5.4.)6

引理1

設(shè)則必存在極限推論4如果齊次馬爾可夫鏈是不可約的，它的所有狀態(tài)都是常返狀態(tài)，則有定理6

設(shè)特別的，若S中的每個狀態(tài)都是遍歷狀態(tài)，則且此時的平穩(wěn)分布就是極限分布.平穩(wěn)分布通過求解右方程組其次對一般的馬爾可夫鏈,如果不是不可約,則極限分布一定不存在.平穩(wěn)分布可能存在,也可能不存在.若存在,可能不唯一(有無窮多個)有定理(5.4.)7引理2

設(shè)C是周期為d的正常返狀態(tài)的不可約閉集,則定理7

設(shè)其中D是非常返狀態(tài)集，C0是零常返狀態(tài)集，是正常返狀態(tài)的不可約閉集，為齊次馬爾可夫鏈的平穩(wěn)分布的充要條件是存在非負數(shù)列推論5

對于齊次馬爾可夫鏈(1)

其平穩(wěn)分布存在的充要條件是存在正常返狀態(tài)的不可約閉集.等價地,不存在平穩(wěn)分布的充要條件是

H=Φ

(2)

存在唯一的平穩(wěn)分布的充要條件是恰有一個正常返狀態(tài)的不可約閉集.(3)

存在無窮多個平穩(wěn)分布的充要條件是至少有兩個不同的正常返狀態(tài)的不可約閉集.(4)

不可約鏈存在唯一的平穩(wěn)分布的充要條件是所有狀態(tài)都是正常返狀態(tài).定理8

不可約齊次馬爾可夫鏈具有平穩(wěn)分布的充要條件是線性方程組有非零的絕對收斂解而且此時還有例1

設(shè)狀態(tài)空間為S={0,1,2,}的馬爾可夫鏈,其一步轉(zhuǎn)移概率矩陣為試求它的極限分布解易知此鏈為不可約遍歷鏈.故其平穩(wěn)分布就是極限分布例2

設(shè)齊次馬爾可夫鏈的狀態(tài)空間S={0,1,2,3,4},其一步轉(zhuǎn)移概率矩陣為求它的平穩(wěn)分布解易知是不可約鏈,且為遍歷鏈.故其平穩(wěn)分布存在且唯一.平穩(wěn)分布為例3設(shè)有狀態(tài)空間S={0,1,2,3,4,5,6}的齊次馬爾可夫鏈其一步轉(zhuǎn)移概率矩陣為(1)試對S進行分類，并說明各狀態(tài)類型(2)求平穩(wěn)分布，其平穩(wěn)分布是否唯一？為什么？(3)

求2501634(1)(2)

由(1)知,該鏈有三個不同的正常返不可約閉集所以平穩(wěn)分布不唯一三個閉集對應(yīng)的轉(zhuǎn)移概率矩陣分別為解方程組平穩(wěn)分布為作業(yè):3,4,5,7,9,11,12,13,14(2),(4),(6),15,16.隨機過程

Stochasticprocesses東華大學(xué)信息學(xué)院自動化系高尚策Email:gaosc@引言本課程的研究對象

概率論主要是以一個或有限個隨機變量為研究對象的.隨著科學(xué)技術(shù)的不斷發(fā)展,人們發(fā)現(xiàn)幾乎一切可觀察現(xiàn)象都具有隨機性.必須對一些隨機現(xiàn)象的變化過程進行研究.即需要研究無窮多個隨機變量隨機過程是概率論的深入和發(fā)展.它是研究客觀世界中隨機演變過程的規(guī)律性的學(xué)科.隨機過程的理論與方法在自動控制、雷達與通信、生物工程、天文氣象、地質(zhì)能源、社會科學(xué)及工程技術(shù)、經(jīng)濟管理等許多領(lǐng)域有著極為廣泛的應(yīng)用。課程任務(wù)掌握隨機過程的基本概念.掌握隨機過程的基本理論和分析方法.具備處理隨機現(xiàn)象的思想與方法.具有應(yīng)用隨機過程的理論和方法來分析問題和解決問題的能力.基本內(nèi)容

隨機過程基本概念隨機分析