隨機過程的主要數(shù)字特征

1、隨機過程的主要數(shù)字特征第一講隨機過程的基本概念一、隨機過程的定義Part 1：隨機變量在介紹隨機過程之前，我們先回憶一下隨機變量是如何定義的。這一部分是概統(tǒng)中的內(nèi)容，在這里我們主要對一些有用的概念做一個簡單的回顧。在概率論中的一個基本概念是隨機試驗，這種試驗的結(jié)果不能預(yù)先確定。一個隨機試驗所有可能的基本結(jié)果的集合稱為此試驗的樣本空間，記為S SS。隨機變量就是定義在樣本空間S SS上的實值單值函數(shù)，它給樣本空間S SS中的每一個結(jié)果都指定了一個實數(shù)值與之對應(yīng)。隨機變量的定義：設(shè)隨機試驗的樣本空間為S SS，若X=X(e)X=X(e)X=X(e)為定義在樣本空間S SS的實值單值函數(shù)，則稱X=X

2、(e)X=X(e)X=X(e)為隨機變量。這里的eS ein SeS代表樣本空間的元素，稱為樣本點。用映射的方式，我們可以將隨機變量表示為X(e):SR X(e):StomathbbRX(e):SR。Part 2：隨機過程隨機過程是一族隨機變量，主要用于描述隨時間變化的隨機現(xiàn)象。隨機過程的定義：設(shè)S SS是樣本空間，TR TsubsetmathbbRTR，如果對tTforall tin TtT，X(t)X(t)X(t)是S SS上的隨機變量，則稱X(t):tTX(t):tin TX(t):tT是S SS上的隨機過程，稱T TT為時間參數(shù)空間。用映射的方式，我們可以將隨機過程表示為X(t,e):

3、TSR X(t,e):Ttimes StomathbbRX(t,e):TSR?？梢钥闯?，隨機過程是一個二元實值單值函數(shù)。不過這樣的定義未免有些抽象，比較容易的理解方式是單獨考慮每個參數(shù)。任意給定tT tin TtT，則有X(t,)X(t,cdot)X(t,)是SR StomathbbRSR上的函數(shù)，即為S SS上的隨機變量，其含義為隨機過程在t tt時刻的狀態(tài)。任意給定eS ein SeS，則有X(,e)X(cdot,e)X(,e)是TR TtomathbbRTR上的函數(shù)，稱為隨機過程的樣本軌道或樣本曲線，其含義為隨機過程在T TT上的一次實現(xiàn)。我們將X(t)X(t)X(t)的所有可能取值的全

4、體稱為狀態(tài)空間，記為I II。根據(jù)時間參數(shù)空間T TT和狀態(tài)空間I II的不同類別，我們可以將隨機過程分為以下四種情況：離散時間離散狀態(tài)的隨機過程、離散時間連續(xù)狀態(tài)的隨機過程、連續(xù)時間離散狀態(tài)的隨機過程、連續(xù)時間連續(xù)狀態(tài)的隨機過程。二、有限維分布和數(shù)字特征Part 1：有限維分布由于隨機過程在任一時刻的狀態(tài)都是隨機變量，因此我們可以也利用概率分布和數(shù)字特征來刻畫一個隨機過程的統(tǒng)計性質(zhì)。首先我們介紹隨機過程的概率分布，這里我們需要引入有限維分布的概念。一維分布函數(shù)：給定隨機過程X(t):tTX(t):tin TX(t):tT，對于每一個固定的tT tin TtT，隨機變量X(t)X(t)X(t)

5、的分布函數(shù)一般與t tt有關(guān)，記為F t(x)=P(X(t)x),xR,F_t(x)=P(X(t)leq x),quad xinmathbbR,Ft(x)=P(X(t)x),xR,稱為隨機過程X(t):tTX(t):tin TX(t):tT的一維分布函數(shù)。當(dāng)t tt取遍T TT中的所有元素時，我們可以得到一系列的分布函數(shù)，將這些分布函數(shù)的全體所構(gòu)成的集合稱為一維分布函數(shù)族，記為F X(x;t):tTleftF_X(x;t):tin TrightFX(x;t):tT。一維分布函數(shù)族刻畫了隨機過程在各個單獨時刻的統(tǒng)計特性。二維分布函數(shù)：對于固定的s,tT s,tin Ts,tT，將二元隨機變量(X

6、(s),X(t)(X(s),X(t)(X(s),X(t)的聯(lián)合分布函數(shù)記為F s,t(x,y)=P(X(s)x,X(t)y),xR,yR,F_s,t(x,y)=P(X(s)leq x,X(t)leq y),quad xinmathbbR,quad yinmathbbR,Fs,t(x,y)=P(X(s)x,X(t)y),xR,yR,稱為隨機過程X(t):tTX(t):tin TX(t):tT的二維分布函數(shù)。n nn維分布函數(shù)：為了描述隨機過程在不同時刻狀態(tài)之間的關(guān)系，對任意n nn個不同時刻t 1,t 2,t nT t_1,t_2,cdots,t_nin Tt1,t2,tnT引入n nn維隨機變

7、量(X(t 1),X(t 2),X(t n)(X(t_1),X(t_2),cdots,X(t_n)(X(t1),X(t2),X(tn)的分布函數(shù)，記為F t 1,t 2,t n(x 1,x 2,x n)=P(X(t 1)x 1,X(t 2)x 2,X(t n)x n),x iR,i=1,2,n,Ft1,t2,tn(x1,x2,xn)=P(X(t1)x1,X(t2)x2,X(tn)xn),xiR,i=1,2,n,Ft1,t2,tn(x1,x2,xn)=P(X(t1)x1,X(t2)x2,X(tn)xn),xiR,i=1,2,n,Ft1,t2,tn(x1,x2,xn)=P(X(t1)x1,X(t2

8、)x2,X(tn)xn),xiR,i=1,2,n,稱為隨機過程X(t):tTX(t):tin TX(t):tT的n nn維分布函數(shù)。對于固定的n nn，類似地我們將所有n nn維分布函數(shù)所構(gòu)成的集合稱為n nn維分布函數(shù)族，記為F t 1,t 2,t n(x 1,x 2,x n):t iT,i=1,2,nF_t_1,t_2,cdots,t_n(x_1,x_2,cdots,x_n):t_iin T,i=1,2,cdots,nFt1,t2,tn(x1,x2,xn):tiT,i=1,2,n。當(dāng)n nn充分大時，n nn維分布函數(shù)能夠近似地描述隨機過程的統(tǒng)計性質(zhì)。我們把所有可能的n nn維分布統(tǒng)稱為有

9、限維分布。如果我們進一步地讓n nn取遍所有正整數(shù)，把任意維分布函數(shù)族的元素都放在一起，便可以得到一個更大的集合。這就是隨機過程X(t):tTX(t):tin TX(t):tT的有限維分布函數(shù)族，記為F t 1,t 2,t n(x 1,x 2,x n):n=1,2,t iT,i=1,2,n.leftF_t_1,t_2,cdots,t_n(x_1,x_2,cdots,x_n):n=1,2,cdots,t_iin T,i=1,2,cdots,nright.Ft1,t2,tn(x1,x2,xn):n=1,2,tiT,i=1,2,n.為了便于理解，我們可以將有限維分布函數(shù)族用集合的并表示：n=1F t

10、 1,t 2,t n(x 1,x 2,x n):t iT,i=1,2,n.bigcup_n=1inftyF_t_1,t_2,cdots,t_n(x_1,x_2,cdots,x_n):t_iin T,i=1,2,cdots,n.n=1Ft1,t2,tn(x1,x2,xn):tiT,i=1,2,n.Kolmogorov定理：有限維分布函數(shù)族完全地確定了隨機過程的統(tǒng)計性質(zhì)。以上就是關(guān)于隨機過程的概率分布的內(nèi)容，從概念上理解較為抽象，需要結(jié)合題目加以練習(xí)。這里需要強調(diào)一點，隨機過程在不同的時間點的隨機變量不一定獨立，其聯(lián)合分布需要根據(jù)具體過程的性質(zhì)加以計算。Part 2：數(shù)字特征Kolmogorov定

11、理可以告訴我們，一個隨機過程的有限維分布函數(shù)族包含了關(guān)于這個隨機過程的所有信息。但在實際工作中，我們很難確定一個隨機過程完整的有限維分布函數(shù)族，因此我們需要引入某些數(shù)字特征來反映隨機過程的主要性質(zhì)。一般地，隨機過程的數(shù)字特征是定義在時間參數(shù)空間T TT上的函數(shù)。對于隨機過程X(t):tTX(t):tin TX(t):tT，我們主要研究它的均值函數(shù)、方差函數(shù)、自協(xié)方差函數(shù)和自相關(guān)函數(shù)。這里我們也會介紹一些由這些數(shù)字特征誘導(dǎo)出來的其他數(shù)字特征，例如均方函數(shù)和標(biāo)準(zhǔn)差函數(shù)。均值函數(shù)：X(t)=EX(t)mu_X(t)=rm EX(t)X(t)=EX(t)。二階矩函數(shù)：X 2(t)=EX(t)2psi_

12、X2(t)=rm EleftX(t)right2X2(t)=EX(t)2。方差函數(shù)：X 2(t)=V a r(X(t)sigma_X2(t)=rm Var(X(t)X2(t)=Var(X(t)。標(biāo)準(zhǔn)差函數(shù)：X(t)=X 2(t)sigma_X(t)=sqrtsigma_X2(t)X(t)=X2(t)。自相關(guān)函數(shù)：r X(s,t)=EX(s)X(t)r_X(s,t)=rm EX(s)X(t)rX(s,t)=EX(s)X(t)。自協(xié)方差函數(shù)：C X(s,t)=C o v(X(s),X(t)C_X(s,t)=rm Cov(X(s),X(t)CX(s,t)=Cov(X(s),X(t)。利用期望、方差和

13、協(xié)方差的運算性質(zhì)，我們可以得到隨機過程的數(shù)字特征之間的關(guān)系：二階矩函數(shù)和自相關(guān)函數(shù)具有如下關(guān)系：X 2(t)=r X(t,t).psi_X2(t)=r_X(t,t).X2(t)=rX(t,t).方程函數(shù)和自協(xié)方差函數(shù)具有如下關(guān)系：X 2(t)=C X(t,t).sigma2_X(t)=C_X(t,t).X2(t)=CX(t,t).自協(xié)方差函數(shù)和自相關(guān)函數(shù)具有如下關(guān)系：C X(s,t)=r X(s,t)X(s)X(t).C_X(s,t)=r_X(s,t)-mu_X(s)mu_X(t).CX(s,t)=rX(s,t)X(s)X(t).自相關(guān)函數(shù)和自協(xié)方差函數(shù)是對稱函數(shù)：r X(s,t)=r X(t

14、,s),C X(s,t)=C X(t,s).r_X(s,t)=r_X(t,s),quad C_X(s,t)=C_X(t,s).rX(s,t)=rX(t,s),CX(s,t)=CX(t,s).Part 3：特殊隨機過程在隨機過程的數(shù)字特征中，我們關(guān)注最多的就是均值函數(shù)和自協(xié)方差函數(shù)。一方面是因為其他的數(shù)字特征都可以由均值函數(shù)和自協(xié)方差函數(shù)誘導(dǎo)得出，另一方面是因為均值函數(shù)和自協(xié)方差函數(shù)已經(jīng)概括了隨機過程較為核心的性質(zhì)。我們從這兩個數(shù)字特征出發(fā)，介紹一些特殊的隨機過程。二階矩過程：如果對每一個tT tin TtT，隨機過程X(t):tTX(t):tin TX(t):tT的二階矩EX(t)2rm EX

15、(t)2EX(t)2都存在，則稱該隨機過程為二階矩過程。這里二階矩EX(t)2rm EX(t)2EX(t)2存在的含義是EX(t)2rm EleftX(t)right2inftyEX(t)2。可以證明，二階矩過程的均值函數(shù)、方差函數(shù)、自相關(guān)函數(shù)和自協(xié)方差函數(shù)都是存在的。正態(tài)過程：對于隨機過程X(t):tTX(t):tin TX(t):tT，如果它的每一個有限維分布都是正態(tài)分布，則稱該隨機過程為正態(tài)過程或高斯過程。正態(tài)過程是一種特殊的二階矩過程。正態(tài)過程的統(tǒng)計性質(zhì)完全由它的均值函數(shù)和自協(xié)方差函數(shù)所確定，即正態(tài)過程的有限維分布完全由它的均值函數(shù)和自協(xié)方差函數(shù)所確定。白噪聲過程：設(shè)隨機過程X(t):

16、tTX(t):tin TX(t):tT是零均值隨機過程，如果對任意的st sneq ts=t都有r X(s,t)=0 r_X(s,t)=0rX(s,t)=0，則稱該隨機過程是白噪聲過程。三、二維隨機過程Part 1：二維隨機過程在實際問題中，我們有時需要研究兩個或兩個以上隨機過程及它們之間的統(tǒng)計關(guān)系。除了單獨研究各個隨機過程的統(tǒng)計性質(zhì)之外，還需要將幾個隨機過程作為整體，進一步研究其統(tǒng)計性質(zhì)。這里我們主要討論一下二維隨機過程的定義和隨機過程的獨立性。二維隨機過程的定義：設(shè)X(t):tTX(t):tin TX(t):tT和Y(t):tTY(t):tin TY(t):tT是依賴于同一時間參數(shù)tT t

17、in TtT的隨機過程，對于任意的tT tin TtT，都有(X(t),Y(t)(X(t),Y(t)(X(t),Y(t)是二維隨機向量，則稱(X(t),Y(t):tT(X(t),Y(t):tin T(X(t),Y(t):tT為二維隨機過程。隨機過程的獨立性：對于隨機過程X(t):tTX(t):tin TX(t):tT和Y(t):tTY(t):tin TY(t):tT，如果對任意的正整數(shù)n nn和m mm以及任意的實數(shù)t 1,t 2,t nT t_1,t_2cdots,t_nin Tt1,t2,tnT和t 1,t 2,t mT t_1,t_2,cdots,t_min Tt1,t2,tmT，都有n

18、 nn維隨機向量(X(t 1),X(t 2),X(t n)(X(t_1),X(t_2),cdots,X(t_n)(X(t1),X(t2),X(tn)和m mm維隨機向量(Y(t 1),Y(t 2),Y(t m)(Y(t_1),Y(t_2),cdots,Y(t_m)(Y(t1),Y(t2),Y(tm)相互獨立，則稱隨機過程X(t)X(t)X(t)和Y(t)Y(t)Y(t)相互獨立。Part 2：二維隨機過程的數(shù)字特征二維隨機過程的統(tǒng)計性質(zhì)同樣可以用概率分布和數(shù)字特征來刻畫，由于二維隨機過程的有限維分布并不常用，且在實際問題中往往很難求出，因此我們只介紹二維隨機過程的數(shù)字特征。關(guān)于數(shù)字特征，除了每個隨機過程各自的均值函數(shù)和自相關(guān)函數(shù)之外，我們還需要引入互相關(guān)函數(shù)和互協(xié)方差函數(shù)，用來刻畫一個二維隨機過程中的兩個隨機過程之間的關(guān)系。互相關(guān)函數(shù)：r X Y(s,t)=EX(s)Y(t)r_XY(s,t)=rm EleftX(s)Y(t)rightrXY(s,t)=EX(s)Y(t)。互協(xié)方差函數(shù)：C X Y(s,t)=C o v(X(s),Y(t)C