隨機過程的基本概念和基本類型

1、第二章隨機過程的基本概念和基本類型教學目的：（1）掌握隨機過程的定義；（2）了解有限維分布族和 Kolmogorov 定理；（3）掌握獨立增量過程和獨立平穩(wěn)增量過程概念。教學重點：（1）有限維分布和 Kolmogorov 定理；（2）隨機過程的基本類型。教學難點：（1）有限維分布和 Kolmogorov 定理。2.1基本概念教學目的： 掌握隨機過程的定義；了解隨機過程的按狀態(tài)集和參數(shù)的分類。教學重點： 隨機過程的定義。在概率論中，我們研究了隨機變量，n 維隨機向量。在極限定理中，我們研究了無窮多個隨機變量，但局限在它們相互獨立的情形。將上述情形加以推廣，即研究一族無窮多個、相互有關的隨機變量，

2、這就是隨機過程。定義 2.1 ：設 ( , , P) 是一概率空間，對每一個參數(shù)t T ,X (t ,) 是一定義在概率空間 (, , P) 上的隨機變量，則稱隨機變量族 X T X (t ,); tT , 為該概率空間上的一隨機過程。 T 稱為參數(shù)集。隨機過程的兩種描述方法：用映射表示X T ， X (t,) : TR，即 X(, )是一定義在 T上的二元單值函數(shù)， 固定 tT , X (t, ) 是一定義在樣本空間上的函數(shù)，即為一隨機變量； 對于固定的 0， X (t, 0 ) 是一個關于參數(shù) tT 的函數(shù)，通常稱為樣本函數(shù)， 或稱隨機過程的一次實現(xiàn)。 記號 X (t,) 有時記為 X t

3、 ( ) 或簡記為 X (t).參數(shù) T 一般表示時間或空間。參數(shù)常用的一般有：(1)TN0 0,1,2, 此時稱之為隨機序列或 時間 序列隨機序列寫為，. X (n)n0或0,1,. X n , n(2)T0, 1,2, (3)T a, b 其中 a可以取 0或, b可以取.當參數(shù)取可列集時，一般稱隨機過程為隨機序列。隨機過程 X (t); tT 可能取值的全體所構成的集合稱為此隨機過程的狀態(tài)空間，記作S. S 中的元素稱為狀態(tài)。狀態(tài)空間可以由復數(shù)、實數(shù)或更一般的抽象空間構成。根據(jù) T和 S的不同過程可以分成不同的類：參數(shù)空間分類：離散參數(shù)如 T0,1,2 連續(xù)參數(shù)如T t | t0離散狀態(tài)

4、取值是離散的狀態(tài)空間分類：S連續(xù)狀態(tài)取值是連續(xù)的S隨機過程分為以下四類：(1)離散參數(shù)離散型隨機過程；(2) 連續(xù)參數(shù)離散型隨機過程；(3) 連續(xù)參數(shù)連續(xù)型隨機過程；(4) 離散參數(shù)連續(xù)型隨機過程。以隨機過程的統(tǒng)計特征或概率特征的分類，一般有：獨立增量過程；二階矩過程；平穩(wěn)過程；Poission過程；更新過程；X (t)Markov 過程；鞅；維納過程。隨機過程舉例例 2.1 隨機游動：一醉漢在路上行走，以 概率 p前進一步，以概率 1 p后退一步（假設其步長相 同）,以X (t )記 他在 t時刻在路上的位置，則 X (t)就是直線上的隨機游動 .例 2.2 拋擲一枚硬幣，樣本空間為cos

5、t , 當出現(xiàn) 2t ， 當出現(xiàn)S H ,T 定義：H 時t(,)T 時其中 P H P T 1/ 2, 則 X (t) , t(,) 是一 隨機過程。例 2.3 Brown運動：英國植物學家 Brown 注意到 漂浮在液面上的微小粒子不斷進行無規(guī)則的運動，這種運動后來稱為 Brown 運 動。同時分子大量隨機碰撞的結果。記( X (t),Y (t)為粒子在平面坐標上的 位置，則它是平面上的Brown 運動。2.2 有限維分布與Kolmogvrov 定理教學目的：掌握隨機過程有限維分布函數(shù)的定義和性質；會求隨機過程的均值函數(shù)、協(xié)方差函數(shù)、方差函數(shù)、自相關函數(shù)；了解Kolmogvrov 定理。教

6、學重點：隨機過程的有限維分布函數(shù)；隨機過程的數(shù)字特征（均值函數(shù)、協(xié)方差函數(shù)、方差函數(shù)、自相關函數(shù)） 。教學難點：隨機過程有限維分布；Kolmogvrov 定理。一、隨機過程的分布函數(shù)1. 一維分布函數(shù)設 X (t )是一隨機過程，稱F( x)F (t, x)P X (t )x為的一維分布函數(shù).t X (t )若f (t, x) 0, 使得Ft (x)F (t , x)xf (t , y)dy則稱 f (t, x) 為 X (t) 的一-維概率密度 .2.二維分布函數(shù)設二維隨機向量 ( X (t1), X (t2 )(t1, t2 )T ，F(xiàn)t1 ,t(x1,x2)F(,t2,x1,x2)()x

7、1,(t 2)x22t1P X t1X稱為二維隨機向量 (X(),() 的分布函數(shù)。t1X t 2x1x2若f (t1, t2 , x1, x2 ) 0, Ft1 , t2 ( x1 , x2 ) F (t1, t2 , x1, x2 )-f (t1, t2 , y1 , y2 )dy1dy2則稱 f (t1, t2 , x1, x2 )為二維概率密度 .3. n 維分布函數(shù)n維隨機向量 ( X (t1), X (t2 ), X (tn )的聯(lián)合分布函數(shù)為Ft 1 , ,tn ( x1, xn )F (t1,t n ; x1 , , xn )()x1,(tn)xnP X t1X若f (t1 ,

8、 tn ; x1, xn )0,Ft 1 , ,tn (x1 , xn )F (t1 , , tn ; x1 , , xn )x1xndyn-f (t1, , tn ; y1 , , yn )dy1稱為 n維隨機向量 ( X (t1 ), X (t2 ), X (tn ) 的n維分布函數(shù) . 則稱 f (t1 , ,tn ; x1 , , xn )為 n維概率密度 .4. 有限維分布族一維、二維， n維分布函數(shù)的全體: Ft1 , , tn ( x1 , xn )，t1, tnT , n1稱為有限維分布族5. 有限維分布族的性質(1) 對稱性Ft j, ,t jn(x j1 , x jn )F

9、 (t j1 , t j n ; xj1 , , xj n)1(),X()P Xt j1x j1t jnx jn(t1)x1, ,X(tn)xnP XFt, ,t(x1, xn )F (t1 , , tn ; x1, , xn )1n（ 2）相容性對于mn 有Ft j , , t jm,t jm 1, , t j(x1, , xm , , , )Ft j , ,t j( x1, , xm )1n1m注 1：隨機過程的統(tǒng)計特性完全由它的有限維分布族決定。注 2：有限維分布族與有限維特征函數(shù)族相互唯一確定。問題：一個隨機過程 X (t ); tT 的有限維分布族，是否描述了該過程的全部概率特性？定

10、理：（Kolmogorov 存在性定理）設分布函數(shù)族 Ft 1 , ,tn (x1 , xn )，t1,tnT , n1 滿足以上提到的對稱性和相容性，則必有一隨機過程 X (t ); t使 ( ,)，, , 1 恰好是T，F(xiàn)t1, ,t nx1xnt1t n T n X (t ); tT 的有限維分布族，即：Ft1 , ,t n ( x1 , xn )P X (t1 )x1, X (t n )xn 定理說明： X (t ); tT 的有限維分布族包含了 X (t ); tT 的所有概率信息。例2.4 袋中有一個白球，兩個紅球，每隔單位時間從袋中 任取一球后放回， 對每一個確定的 t對應隨機變

11、量t如果對 t時取得紅球X (t )3et如果對 t時取得白球試求這個隨機過程的一維分布函數(shù)族 .例 2.5 利用拋擲硬幣的試驗定 義一個隨機過程 .X (t)cos t, 出現(xiàn)正面t R2t， 出現(xiàn)反面設出現(xiàn)正面反面的概率是相同的。(1)寫出 X (t)的所有樣本函數(shù)（實現(xiàn)）；(2)寫出 X (t )的以為分布函數(shù)F1 ( x; 1 )和 F1( x;1).2Kolmogorov定理說明，隨機過程的 有限維分布族 是隨機過程概率特征的完整描述，但在實際問題 中，要知道隨機過程的全部有限維分布族是不可 能的。因此，人們想到了用隨機過程的某些特征來刻畫隨機過程的概率特征。二、隨機過程的數(shù)字特征1

12、.均值函數(shù)隨機過程 X (t ); tT 的均值函數(shù)定義為：（假設是存在的）X (t) ? m(t)E X (t)注：m(t)是X (t)的所有樣本函數(shù)在時刻t的函數(shù)值的平均，它表示隨機過程 X (t）在時刻 t的擺動中心。2. 方差函數(shù)隨機過程 X (t); tT 的方差函數(shù)定義為：D ( X (t)E X (t )X (t ) 2E X (t )m(t) 2 注1：均方差函數(shù)(t）D(t) 表示 X (t )在各個時刻 t對于均值 m(t )的偏離程度。注2：若t, 2 (), 稱()是二階矩過程。T E XtX t3. ( 自) 協(xié)方差函數(shù)X (t )， t1, t2T 的狀態(tài) X (t

13、1 )， X (t2 )的二階中心混合矩X (t1, t2 ) ? E X (t1 )m(t1) X (t 2 )m(t 2 )-X (t )的自協(xié)方差函數(shù)，簡稱 協(xié)方差函數(shù)。當t1t2時， D X (t) Var X (t)X (t,t )E X (t )m(t) 2E X (t )E( X (t ) 2E X (t) 2 E( X (t) 24. ( 自) 相關函數(shù)X (t )， t1, t2T 的狀態(tài) X (t1 )，X (t2 )的二階原點混合矩RX (t1, t2 ) ? E X (t1 ) X (t 2 ) -X (t)的自相關函數(shù)，簡稱相 關函數(shù)。注1：當E X (t )m(t

14、) 0時， (,t2)(,t2)RX t1X t1注 2： X (t1, t2 )RX (t1, t2 ) - m(t1 )m(t 2 )注3： X (t1 , t2 )及RX (t1 , t2 )反映了隨機過程 X (t )在 時刻 t1和t2時的線性相關程度。注 4：對兩個隨機過程的關系 ，要引進互協(xié)方差函數(shù) 或互相關函數(shù)來描述它們的線性關系。5. ( 互) 協(xié)方差函數(shù)設 X (t)，tT，Y(t)，tT 是兩個二階矩過程， 則稱(,t2) ? (t1)()(t2)(t 2)XY t1E XmX t1YmY-X (t)， Y (t)的互協(xié)方差函數(shù)。其中： mX (t )E X (t),mY

15、 (t )EY (t )6. 互相關函數(shù)RXY (t1 , t2 ) ? E X (t1 )Y (t2 ) -X (t )，Y(t)的互相關函數(shù)。注：XY (t1, t2 )RXY (t1 ,t 2 ) - mX (t1)mY (t2 )7.互不相關若XY (t1 , t2 )0, 稱X (t)， Y(t)互不相關。注：若 X (t ),Y(t )互不相關，則RXY (t1 ,t 2 )mX (t1 )mY (t 2 )即E X (t1 )Y (t2 )E X (t1) EY(t2 )8.特征函數(shù)記：X (u1, u2 ,un ; t1 ,t2 ,t n ) ? Eexp iu1 X (t1)

16、un X (t n )稱X (u1, u2 ,un ; t1 ,t2 ,t n ), t1,t 2 , tnT , n1 為隨機過程 X (t ); tT 的有限維特征函數(shù)族。例 2.6 設隨機過程 X (t)U cos2t，其中 U是隨機變量，且E(U )5， D (U )5.求：（1）均值函數(shù)；（2）協(xié)方差函數(shù)；（3）方差函數(shù) .例 2.7 設有兩個隨機過程 X (t)Ut 2，Y(t )Ut 3, 其中 U是隨機變量，且 D(U )5.試求它們的互協(xié)方差函數(shù)。作業(yè) 1 設A, B是兩個隨機變量 , 試求隨機過程 X (t )At3B，tT(,)的均值函數(shù)和自相關函數(shù) .若A, B相互獨

17、立, 且 A N (1,4), B U (0,2), 則mX (t)及 RX (t1, t2 )為多少？2.3隨機過程的基本類型教學目的：了解嚴平穩(wěn)過程的定義； 掌握寬平穩(wěn)過程的定義， 會判斷一個隨機過程是否是寬平穩(wěn)過程； 掌握均值遍歷性定理； 了解協(xié)方差函數(shù)遍歷性定理；掌握獨立增量過程和平穩(wěn)增量過程的定義。教學重點：寬平穩(wěn)過程的判定； 均值遍歷性定理； 獨立增量過程和平穩(wěn)增量過程的定義。教學難點：寬平穩(wěn)過程的判定；均值遍歷性定理；協(xié)方差函數(shù)遍歷性定理；一、嚴平穩(wěn)過程定義 1：設隨機過程 X (t)，tT, 若對 n（ n1,2,), t1, , tnT和任意實數(shù) ，當t1 , ,tnT 時，

18、X t1),Xtn)和Xt1),X(tn)有 相同的分布函( (數(shù)，即F (t1 , tn ; x1 , xn )P X (t1 )x1 , X (tn )xn P X (t1)x1, X (tn)xn F (t1 ,t n; x1 , xn )則 X (t)， tT 稱為嚴平穩(wěn)過程 .平穩(wěn)過程的參數(shù) T :可以是連續(xù)的，如 t 0,),( ,)可以是離散的， 如t 0,1, 2, 0,1,2,二、嚴平穩(wěn)過程的特點1. 嚴平穩(wěn)過程 X (t)的一維概率密度 f (t; x)與t無關；二維概率密度 f (t1, t2 ; x1 , x2 ) 僅與t1t 2有關，而與時間的起點無關。2. 若嚴平穩(wěn)

19、過程存在二階 矩(即()2),則E X t（1）均值函數(shù)為常數(shù)： m (t) E X (t)m（ ）協(xié)方差函數(shù)自 相關函數(shù)RX (t1, t2 )僅是時間差tt的函數(shù) .2X (t1 , t2 ), ( )12三、寬平穩(wěn)過程 ( 簡稱平穩(wěn)過程 )定義 2：設隨機過程 X (t)，tT, 如果它滿足：（1） X (t)是二階矩過程；2(即所以二階矩存在()E Xt（2）均值函數(shù)為常數(shù)： 即 m(t)E X (t) m;（ ）協(xié)方差函數(shù)自相關函數(shù)RX (t1, t2 ) 僅依賴于時間差t1 t2.3X (t1, t2 ), ( )則稱 X (t )為寬平穩(wěn)過程，或二階 平穩(wěn)過程 . 當 T為整數(shù)集

20、時， 稱 X (t) 為平穩(wěn)時間序列 .注 1： 嚴平穩(wěn)過程不一定是寬 平穩(wěn)過程。因為：嚴平穩(wěn)過程不一 定是二階矩 過程。若嚴平穩(wěn) 過程存在二階矩，則它 一定是寬平穩(wěn)過程 .注 2： 寬平穩(wěn)過程也不一定是 嚴平穩(wěn)過程。因為：寬平穩(wěn)過程只保證一階矩二階矩不隨時間的 推移而改變，這當然不能保證其有限維分布不隨時 間而推移。例 2.8 設 X (t ) 是相互獨立同分布的隨 機變量序列 , 其中 T 0, 1, 2, 且均 值和方差分別為 E X (t )0 ， D X (t )2 , 試討論 X (t)的平穩(wěn)性。例 .9 設隨機序列 X (t)sin 2 t , tT, 其中 T1,2,是 0,1

21、上服從均勻分布的隨機變量，試討論隨機序 列 X (t )的平穩(wěn)性 .當 X (t)t0時，討論其平穩(wěn)性 .四、平穩(wěn)過程相關函數(shù)的性質性質 1：RX(0)2 () 0E Xt性質 2：RX( )RX (0)柯西 - 許瓦茲不等式：| E( XY) |2(EX 2)(EY2 )或 | E(XY) |(EX 2 )(EY 2 )結論： (自)相關函數(shù) RX ( )在0時取得最大值 .性質 3：RX( )是偶函數(shù)，即 RX(- ) RX()性質 4： RX ( )是非負定的 . 即對任意數(shù)組 t1,tnT和任意 n個不全為零的 實數(shù)a1 ,a2 , , an 都有nnai a j RX (tit j

22、) 0i 1j 1注：自相關函數(shù)的非負定性 是平穩(wěn)過程最本質的特性，因為，任一連續(xù)函數(shù)，只要具有非負定性，那么該函數(shù)必定是某平穩(wěn)過程的自相關函數(shù) .性質 8： 2|RXY()| RX (0)RY (0)性質 9：若平穩(wěn)過程 X (t)與Y(t )是平穩(wěn)相關的，則其和 Z (t )X (t )Y(t)也是平 穩(wěn)過程 , 其相關函數(shù)為RZ( ) RX( )RY( ) RXY( ) RYX( )例 2.10 ：設S(t )是一周期為 T的函數(shù)， U 0, T，稱 X (t ) S(t)為隨 機相位周期過程，試討論它的平穩(wěn)性 .五、獨立增量過程定義1 設 X (t )tT 是一隨機過程, 若對任意正整

23、 數(shù)n,nN ,及t1 ,tnT，t1t2tn 1tn , 隨機過程的增量：X (t2 ) - X (t1)，X (t3 ) - X (t2 )， ， X (tn ) - X (tn 1 )是相互獨立的，則稱 X (t)為獨立增量過程。i例 2.11 ：設 X (n), n0,1,2, 是相互獨立的隨機序列 ，令Y (i)X ( n),則n 0 Y(i ), i0,1,2, 是一獨立增量過程.若對任何t1 , t2T 有X (t1h)X (t1)d X (t2h)X (t2 )則稱 X (t ), tT 為平穩(wěn)增量過程.兼有獨立增量和平穩(wěn)增量的過程稱為平穩(wěn)獨立增量過程。定義2 若二階矩過程 X

24、 (t), tT 對任意的t1t2t3t4 ,t1 ,t 2 , t3 ,t4T，有EX (t2 )X (t1 ) X (t4 )X (t3)0則稱 X (t ), tT 為正交增量過程。六、遍歷性定理(1) X n , n 0,1,2, 其中 X n 為獨立同分布隨機 變量序列，(2 );(X n),0,1,2, .EXnEm n(2) Yn Y, n 0,1,2, ,其中 是隨機變量2).Y, E(Y對 (1) 而言，由大數(shù)定律知，1 n 1m( .)，1 n 1Y Y ，即經(jīng)過X ia s 但在 (2)中，in i 0n i 0對時間的平均后，隨機性沒有任何改變。 于是自然產(chǎn)生這樣的問題

25、：在何種條件下，平穩(wěn)過程對時間的平均值可以等于過程的均值？這一問題稱為平穩(wěn)過程的遍歷性問題。這是平穩(wěn)過程研究中的一個重要課題。對于平穩(wěn)過程 X n , n0,1,2, 重要的是確定它的均值 m和它的協(xié)方差函數(shù)( )(或相關函數(shù) R( )。由于 E( X n ) m，為估計 m，就必須對隨機過程 X n , n0,1,2, 作大量觀察 .以 Xt 記第 j次觀察 中時刻的值j0,1,2,由大數(shù)定律知，可以用j ( )t, n.1nX k (t )m n k1來估計 m。同樣，為了估計協(xié)方差(), 也可以用( )1n(t)( )n k 1X kmX k tm來估計。然而對隨機過程作多次觀察一般來說

26、很難 做到。容易做到的是作一次觀察，獲得一條樣本路 徑, 我們希望由這一次觀察來估計 m和 ( )。對于一般的隨機過程這是不可能的, 但是對于平穩(wěn)過程 ,只要 加上一些條件，就可以加上一些條件，就可以較好的估計，這就是遍歷性定理。定義 1: 設 X (t),t為一平穩(wěn)過程，若 X Lim 1Tm 或 當X (t )dtT2TT參數(shù)空間 TZ時，1NX (k)mXLim2 N 1 k NN則稱 X (t ),t的均值有遍歷性。這里 的極 限是指均方意義下的極限，即Lim E |1TX (t)dt m |2 0T 2T T定義 2:設 X (t),t為一平穩(wěn)過程，若( ) Lim 1T( X (t) m)( X (t ) m)dt( )T2TT或當參數(shù)空間TZ時，1N( )Lim( X (k) m)( X (k ) m)( )2N 1 kNN則稱 X (t ),t的協(xié)方差有遍歷性 . 這里的極 限是指均方意義下的極限.若隨機過程 (或隨機序列 )的均值和協(xié)方差函數(shù)都 具有 遍歷性，則稱此隨機過程有遍歷性。上述的定義中，如