信號檢測與估計理論 第二章 基礎(chǔ)知識

1、信號檢測與估計理論信號檢測與估計理論第二章第二章 信號檢測與信號檢測與估計理論的基礎(chǔ)知識估計理論的基礎(chǔ)知識引言引言l待處理信號待處理信號目標(biāo)：目標(biāo)：l建立信號模型；建立信號模型；l進(jìn)行統(tǒng)計描述；進(jìn)行統(tǒng)計描述；l研究統(tǒng)計平均量之間的關(guān)系；研究統(tǒng)計平均量之間的關(guān)系；l統(tǒng)計特性的應(yīng)用。統(tǒng)計特性的應(yīng)用。隨機(jī)變量及其統(tǒng)計描述隨機(jī)變量及其統(tǒng)計描述l隨機(jī)變量的基本概念隨機(jī)變量的基本概念 是定義在概率空間是定義在概率空間 上的單值實函數(shù)，上的單值實函數(shù)，若對任一實數(shù)若對任一實數(shù) x ，有，有稱稱 為隨機(jī)變量。為隨機(jī)變量。 x(,)P F xFx概率事件域樣本空間或集合 x例如：用五色球抽獎， =紅，藍(lán)，黃，綠

2、，白，球的數(shù)量百分比分別為0.1%,0.5%,2%,10%,87.4%，對應(yīng)的中獎額分別是1000,500,100,50,10元，則中獎額 是一個隨機(jī)變量。 x 紅 藍(lán) 黃 綠 白 1000 500 100 50 10 概率 0.001 0.005 0.02 0.1 0.874 x隨機(jī)變量及其統(tǒng)計描述隨機(jī)變量及其統(tǒng)計描述概率、隨機(jī)變量與隨機(jī)過程（第概率、隨機(jī)變量與隨機(jī)過程（第4版），版），【美美】A.帕普里斯帕普里斯 S.U.佩萊佩萊 著；保錚等譯著；保錚等譯P55：隨機(jī)變量是賦予實驗的每一個結(jié)果 的一個數(shù)，記為 。在擲骰子實驗中，賦予每個結(jié)果 一個數(shù)量，有(b) 相同的實驗中，把數(shù)1賦予每一

3、個偶數(shù)結(jié)果，數(shù)0賦予么一個奇數(shù)結(jié)果，有【定義】一個隨機(jī)變量是定義在實驗結(jié)果所構(gòu)成的集合S上的一個函數(shù)。隨機(jī)變量x是對每個結(jié)果 給定一個數(shù) 的過程。產(chǎn)生的函數(shù)必須滿足下面兩個條件：. 對每個x ，集合x x是一個事件；. 事件 x= 和事件 x= - 的概率等于零。即 P x = =0 Px= - =0if10ifix1610,60ffxx1352460,1ffffffxxxxxx x x隨機(jī)變量及其統(tǒng)計描述隨機(jī)變量及其統(tǒng)計描述概率密度函數(shù)（概率密度函數(shù)（Probability Density Function, PDF）事件事件 的概率的概率 取決于取決于 x 的值。的值。 Pxx xx一維累

4、積分布函數(shù)（一維累積分布函數(shù)（Cumulative Distribution Function, CDF）隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述隨機(jī)變量的概率密度函數(shù)隨機(jī)變量的概率密度函數(shù)隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述隨機(jī)變量的統(tǒng)計平均量隨機(jī)變量的統(tǒng)計平均量1. 隨機(jī)變量的均值表征方法：隨機(jī)變量的數(shù)字特征表征方法：隨機(jī)變量的數(shù)字特征 或稱或稱 矩矩理論意義：概率密度函數(shù)理論意義：概率密度函數(shù)實際操作：實際操作：通過對有限觀測數(shù)據(jù)的估計獲得通過對有限觀測數(shù)據(jù)的估計獲得隨機(jī)變量及其統(tǒng)計描述隨機(jī)變量及其統(tǒng)計描述隨機(jī)變量的統(tǒng)計平均量隨機(jī)變量的統(tǒng)計平均

5、量2. 隨機(jī)變量的矩m階原點矩：m階中心矩：以上數(shù)字特征都是隨機(jī)變量函數(shù)的數(shù)學(xué)期望；以上數(shù)字特征都是隨機(jī)變量函數(shù)的數(shù)學(xué)期望；m階原點矩和階原點矩和m階中心距可以互相唯一表示。階中心距可以互相唯一表示。隨機(jī)變量及其統(tǒng)計描述隨機(jī)變量及其統(tǒng)計描述隨機(jī)變量的統(tǒng)計平均量隨機(jī)變量的統(tǒng)計平均量2. 隨機(jī)變量的矩隨機(jī)變量及其統(tǒng)計描述隨機(jī)變量及其統(tǒng)計描述切比雪夫不等式切比雪夫不等式 xxpxd)()(221.122 xxpxxd)( 22 22Px 221P x得得 ( )Px xxxpd)(2 表征了隨機(jī)變量相對于均值的離散程度。隨機(jī)變量及其統(tǒng)計描述隨機(jī)變量及其統(tǒng)計描述隨機(jī)變量的統(tǒng)計平均量隨機(jī)變量的統(tǒng)計平均量

6、2. 隨機(jī)變量的矩隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述隨機(jī)變量的統(tǒng)計平均量隨機(jī)變量的統(tǒng)計平均量3. 隨機(jī)變量的中值4. 隨機(jī)變量的眾數(shù)將隨機(jī)變量 的概率密度函數(shù) 一分為二，各占50%面積的分界點，稱為隨機(jī)變量 的中值，又稱中位數(shù)，記 。 xpx隨機(jī)變量 的概率密度函數(shù) 的峰值對應(yīng)的 x 值，稱為隨機(jī)變量 的眾數(shù)，記為 。 xp xx x x x隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述隨機(jī)變量的統(tǒng)計平均量隨機(jī)變量的統(tǒng)計平均量一階原點矩一階原點矩隨機(jī)變量取值的中心點隨機(jī)變量取值的中心點二階中心矩二階中心矩隨機(jī)變量取值對于均值的分散程度隨機(jī)變量取值對于均值

7、的分散程度三階中心矩三階中心矩衡量隨機(jī)的分布是否有偏衡量隨機(jī)的分布是否有偏四階中心矩四階中心矩隨機(jī)變量的分布在均值附近的陡峭程度隨機(jī)變量的分布在均值附近的陡峭程度在實際應(yīng)用中，高于在實際應(yīng)用中，高于4階的矩很少使用。階的矩很少使用。二階中心距（方差）的值越大，表示隨機(jī)變量取值分散程度大，一階二階中心距（方差）的值越大，表示隨機(jī)變量取值分散程度大，一階原點矩（均值）的代表性差原點矩（均值）的代表性差; 方差的值越小方差的值越小, 則表示隨機(jī)變量的取值比較集中則表示隨機(jī)變量的取值比較集中, 以均值作為隨機(jī)變量以均值作為隨機(jī)變量取值的代表性好。取值的代表性好。隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述隨機(jī)變量、

8、隨機(jī)矢量及其統(tǒng)計描述常用的隨機(jī)變量舉例：常用的隨機(jī)變量舉例： 均勻分布隨機(jī)變量均勻分布隨機(jī)變量的PDF曲線隨機(jī)變量及其統(tǒng)計描述隨機(jī)變量及其統(tǒng)計描述2. 高斯分布隨機(jī)變量高斯分布隨機(jī)變量標(biāo)準(zhǔn)高斯分布隨機(jī)變量的PDF曲線高斯分布隨機(jī)變量的PDF曲線（ ）022211( )exp-22p xxx 對于標(biāo)準(zhǔn)正態(tài)分布：( )1 3 510nnE xnnn 為偶數(shù)為奇數(shù)隨機(jī)變量及其統(tǒng)計描述隨機(jī)變量及其統(tǒng)計描述2. 高斯分布隨機(jī)變量高斯分布隨機(jī)變量對于標(biāo)準(zhǔn)正態(tài)分布：2-11( )exp22xxtdt累計分布函數(shù) 2111( )exp22xQ xxtdt 右尾概率 211exp22Q xxx實用的近似公式：對

9、數(shù)縱軸考察某個隨機(jī)變量的右尾概率可以判斷該變量是否近似服從高斯分布。隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述3. 三角對稱分布隨機(jī)變量三角對稱分布隨機(jī)變量三角對稱分布隨機(jī)變量的PDF曲線 三角對稱分布隨機(jī)變量的PDF曲線(0ba) 隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述4. Chi-Square (Central) 12211( )exp022200p xxxxx2 1以表示，自由度 假定為整數(shù),且。21 iiixxx，E( );var( )2xx2PDF 時，為指數(shù)：11( )exp02200p xxxxPDF隨著 變大，變?yōu)楦咚埂?0( )expu

10、utt dt 0,1ix N若 ，則 獨立同分布。隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述4. Chi-Square (Central) 12211( )exp022200p xxxxx適合性檢驗適合性檢驗：檢驗觀測數(shù)與依照某種假設(shè)或分布模型計算得到的：檢驗觀測數(shù)與依照某種假設(shè)或分布模型計算得到的理論數(shù)據(jù)之間一致性，以便判斷該假設(shè)或模型是否與實際觀測數(shù)理論數(shù)據(jù)之間一致性，以便判斷該假設(shè)或模型是否與實際觀測數(shù)相吻合。相吻合。獨立性檢驗獨立性檢驗：通過觀測數(shù)與理論數(shù)之間的一致性判斷事件之間的：通過觀測數(shù)與理論數(shù)之間的一致性判斷事件之間的獨立性，即判斷兩個事件是否是獨立事件或處理

11、間差異是否顯著。獨立性，即判斷兩個事件是否是獨立事件或處理間差異是否顯著。隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述關(guān)于單邊、雙邊指數(shù)分布隨機(jī)變量關(guān)于單邊、雙邊指數(shù)分布隨機(jī)變量 （指數(shù)分布的無記憶性指數(shù)分布的無記憶性）單邊指數(shù)分布隨機(jī)變量的PDF曲線（0） 雙邊指數(shù)分布隨機(jī)變量的PDF曲線（0） 隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述指數(shù)分布的無記憶性指數(shù)分布的無記憶性對連續(xù)非負(fù)隨機(jī)變量x，若對任意t， 滿足該隨機(jī)變量服從指數(shù)分布。()t stsP xtseP xts xseP xtP xse 11txFtP xtQ te 0s P xts xsP xt

12、 泊松事件流的等待時間（相繼兩次出現(xiàn)之間的間隔）；泊松事件流的等待時間（相繼兩次出現(xiàn)之間的間隔）；非老化性元件非老化性元件的壽命（元件不老化，僅由于突然故障而毀壞）；的壽命（元件不老化，僅由于突然故障而毀壞）；近似地作為高可靠性的復(fù)雜部件、機(jī)器或系統(tǒng)的失效分布模型近似地作為高可靠性的復(fù)雜部件、機(jī)器或系統(tǒng)的失效分布模型 。隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述5. Chi-Square (Noncentral) 241211( )exp02200 xp xxIxxx21 ,1 , iiiiixxxx若則， 獨立同分布。 NE( );var( )24xx應(yīng)用：應(yīng)用：可參考卡方

13、可參考卡方檢驗相關(guān)文獻(xiàn)檢驗相關(guān)文獻(xiàn)隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述6. F（Central）非中心化非中心化 F PDF由非中心卡方分布隨機(jī)變量與一個中心化卡方分布由非中心卡方分布隨機(jī)變量與一個中心化卡方分布隨機(jī)變量比值得到。隨機(jī)變量比值得到。1122xxx12221212xxxx，和 相互獨立，x若其中，有 112112221112122221,022p xxxxF 分布用于似然比檢驗，可用于檢驗總體方差是否相等。分布用于似然比檢驗，可用于檢驗總體方差是否相等。隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述7.瑞利（瑞利（Rayleigh）分布隨機(jī)變

14、量）分布隨機(jī)變量 瑞利分布隨機(jī)變量的PDF曲線（2=1）隨機(jī)變量 的均值和方差：窄帶高斯過程的包絡(luò)分布屬于瑞利分布。窄帶高斯過程的包絡(luò)分布屬于瑞利分布。222 xxyy若 是瑞利隨機(jī)變量，有，其中。應(yīng)用：測量；通信領(lǐng)域。隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計描述7.瑞利（瑞利（Rayleigh）分布隨機(jī)變量）分布隨機(jī)變量 當(dāng)一個隨機(jī)二維向量的兩個分量呈獨立的、有著相同的方差的正態(tài)當(dāng)一個隨機(jī)二維向量的兩個分量呈獨立的、有著相同的方差的正態(tài)分布時，這個向量的模呈瑞利分布。分布時，這個向量的模呈瑞利分布。 瑞利分布是最常見的用于描述平坦衰落信號接收包絡(luò)或獨立多徑分量瑞利分布是最常見

15、的用于描述平坦衰落信號接收包絡(luò)或獨立多徑分量接受包絡(luò)統(tǒng)計時變特性的一種分布類型。兩個正交高斯噪聲信號之和接受包絡(luò)統(tǒng)計時變特性的一種分布類型。兩個正交高斯噪聲信號之和的包絡(luò)服從瑞利分布。的包絡(luò)服從瑞利分布。 例如：射擊彈落點坐標(biāo)例如：射擊彈落點坐標(biāo) 是一個相互獨立的二維隨機(jī)變量。是一個相互獨立的二維隨機(jī)變量。其中：其中： 與與 均服從正態(tài)分布均服從正態(tài)分布 ， 與與 相互獨立。相互獨立。 的概率的概率密度函數(shù)為密度函數(shù)為( , ) (0,)N221tg22222exp0( )200rrrf rr隨機(jī)變量及其統(tǒng)計描述隨機(jī)變量及其統(tǒng)計描述8.廣義瑞利（廣義瑞利（Rayleigh）分布隨機(jī)變量）分布隨

16、機(jī)變量 廣義瑞利分布隨機(jī)變量的PDF曲線（2=1）關(guān)于蒙特卡洛性能評估關(guān)于蒙特卡洛性能評估Steven M. Kay 譯著譯著 P482若不能通過解析的方法或閉合形式確定隨機(jī)變量超過某一給定值的概率時，須借助蒙特卡洛計算機(jī)模擬。若希望計算一個隨機(jī)變量或統(tǒng)計量T超過某個門限的概率，例如觀察到數(shù)據(jù)集 ，其中且 獨立同分布，計算本例中，容易證明：若假定不能使用解析或數(shù)值計算方法，可以用計算機(jī)模擬來確定0, 1,. 1xxx N 2 0,x n x n101Pr Nnx nN1201 0,/;NnTx nNN2Pr TQN關(guān)于蒙特卡洛性能評估關(guān)于蒙特卡洛性能評估Steven M. Kay 譯著譯著 P

17、482數(shù)據(jù)產(chǎn)生數(shù)據(jù)產(chǎn)生產(chǎn)生產(chǎn)生N個獨立的個獨立的 隨機(jī)變量隨機(jī)變量 ；對隨機(jī)變量的實現(xiàn)，計算對隨機(jī)變量的實現(xiàn)，計算 重復(fù)過程重復(fù)過程M次，得到次，得到 x n20,12,.MT TT101 ;NnTx nNPMMMiT概率計算概率計算對對 超過超過 的次數(shù)計數(shù)，稱為的次數(shù)計數(shù)，稱為 ；用用 來估計概率來估計概率 。Pr T關(guān)于蒙特卡洛性能評估關(guān)于蒙特卡洛性能評估Steven M. Kay 譯著譯著 P482M=10000M=1000M=100隨機(jī)矢量及其統(tǒng)計描述隨機(jī)矢量及其統(tǒng)計描述1. 隨機(jī)矢量的概念隨機(jī)矢量的概念設(shè)設(shè) 是一概率空間，是一概率空間， 是分別定義在該概率空間上的是分別定義在該概率

18、空間上的N個隨機(jī)變量，則由個隨機(jī)變量，則由N個隨機(jī)變量個隨機(jī)變量構(gòu)成的矢量構(gòu)成的矢量稱為稱為N維隨機(jī)矢量。維隨機(jī)矢量。隨機(jī)矢量及其統(tǒng)計描述隨機(jī)矢量及其統(tǒng)計描述2. 隨機(jī)矢量的概率密度函數(shù)隨機(jī)矢量的概率密度函數(shù)F(x)稱為隨機(jī)矢量 的N維累積分布函數(shù)；p(x)稱為隨機(jī)矢量 的N維聯(lián)合概率密度函數(shù)。隨機(jī)矢量及其統(tǒng)計描述隨機(jī)矢量及其統(tǒng)計描述3. 隨機(jī)矢量和協(xié)方差矩陣隨機(jī)矢量和協(xié)方差矩陣如果如果 與與 互不相關(guān)，互不相關(guān)， ，則協(xié)方差，則協(xié)方差 為對角陣。為對角陣。隨機(jī)矢量及其統(tǒng)計描述隨機(jī)矢量及其統(tǒng)計描述4. 統(tǒng)計獨立性和獨立同分布統(tǒng)計獨立性和獨立同分布隨機(jī)矢量如果對于任意的 和所有的其N維聯(lián)合概率密

19、度函數(shù) 都能表示為則稱隨機(jī)變量 之間是相互統(tǒng)計獨立的。若隨機(jī)變量 對于全部的N都有相同的一維概率密度函數(shù)，則稱 是具有獨立同分布的N維隨機(jī)矢量。隨機(jī)矢量及其統(tǒng)計描述隨機(jī)矢量及其統(tǒng)計描述5. 聯(lián)合高斯隨機(jī)矢量聯(lián)合高斯隨機(jī)矢量N維聯(lián)合高斯隨機(jī)矢量 的每個分量 都服從一維高斯分布；(2)聯(lián)合高斯隨機(jī)矢量 的線性變換仍然是聯(lián)合高斯隨機(jī)矢量。隨機(jī)變量的函數(shù)隨機(jī)變量的函數(shù) 已知變換前隨機(jī)變量的概率密度函數(shù)，需要確定變換已知變換前隨機(jī)變量的概率密度函數(shù)，需要確定變換后的隨機(jī)變量的概率密度函數(shù)，稱為雅克比變換。后的隨機(jī)變量的概率密度函數(shù)，稱為雅克比變換。Jacobian Transformation1. 一維

20、隨機(jī)變量的情況一維隨機(jī)變量的情況若反函數(shù)存在，若反函數(shù)存在， 且連續(xù)可導(dǎo)，且連續(xù)可導(dǎo)，則則 的概率密度函數(shù)為的概率密度函數(shù)為其中，其中，隨機(jī)變量的函數(shù)隨機(jī)變量的函數(shù)2. N維隨機(jī)矢量的變換維隨機(jī)矢量的變換隨機(jī)變量的特征函數(shù)隨機(jī)變量的特征函數(shù)1. 隨機(jī)變量特征函數(shù)的定義隨機(jī)變量特征函數(shù)的定義 的的 和和 構(gòu)成一對傅里葉變換對。構(gòu)成一對傅里葉變換對。復(fù)值隨機(jī)變量復(fù)值隨機(jī)變量 的均值的均值 稱為稱為 的特征函數(shù)。的特征函數(shù)。隨機(jī)變量的特征函數(shù)隨機(jī)變量的特征函數(shù)2. 特征函數(shù)的主要性質(zhì)特征函數(shù)的主要性質(zhì)(1) 特征函數(shù)存在的必然性特征函數(shù)存在的必然性隨機(jī)變量的特征函數(shù)隨機(jī)變量的特征函數(shù)(2) 隨機(jī)變量

21、線性變換的特征函數(shù)隨機(jī)變量線性變換的特征函數(shù)(3) 相互統(tǒng)計獨立隨機(jī)變量之和的特征函數(shù)相互統(tǒng)計獨立隨機(jī)變量之和的特征函數(shù)隨機(jī)變量的特征函數(shù)隨機(jī)變量的特征函數(shù)(3) 相互統(tǒng)計獨立隨機(jī)變量之和的特征函數(shù)相互統(tǒng)計獨立隨機(jī)變量之和的特征函數(shù)隨機(jī)變量的特征函數(shù)隨機(jī)變量的特征函數(shù)3. N個相互統(tǒng)計獨立高斯隨機(jī)變量之和的概率密度函數(shù)個相互統(tǒng)計獨立高斯隨機(jī)變量之和的概率密度函數(shù)設(shè)隨機(jī)變量設(shè)隨機(jī)變量 是均值為是均值為 ，方差為，方差為 的相互統(tǒng)計獨立的高斯隨機(jī)變量，其特征函數(shù)為的相互統(tǒng)計獨立的高斯隨機(jī)變量，其特征函數(shù)為若若有有結(jié)論：結(jié)論： 仍然是高斯分布，有仍然是高斯分布，有 ， 。隨機(jī)變量的特征函數(shù)隨機(jī)變量的

22、特征函數(shù)3. N個相互統(tǒng)計獨立高斯隨機(jī)變量之和的概率密度函數(shù)個相互統(tǒng)計獨立高斯隨機(jī)變量之和的概率密度函數(shù)設(shè)隨機(jī)變量設(shè)隨機(jī)變量 是獨立同分布的高斯隨機(jī)變量，是獨立同分布的高斯隨機(jī)變量，有有 ，方差為，方差為 。則。則 令令有有結(jié)論：結(jié)論： 是是 ， 的高斯隨機(jī)變量。的高斯隨機(jī)變量。隨機(jī)變量的特征函數(shù)隨機(jī)變量的特征函數(shù)4. 隨機(jī)變量的特征函數(shù)與原點矩之間的關(guān)系隨機(jī)變量的特征函數(shù)與原點矩之間的關(guān)系隨機(jī)變量的特征函數(shù)隨機(jī)變量的特征函數(shù)4. 隨機(jī)變量的特征函數(shù)與原點矩之間的關(guān)系隨機(jī)變量的特征函數(shù)與原點矩之間的關(guān)系隨機(jī)矢量的聯(lián)合特征函數(shù)隨機(jī)矢量的聯(lián)合特征函數(shù)4. 隨機(jī)變量的特征函數(shù)與原點矩之間的關(guān)系隨機(jī)變

23、量的特征函數(shù)與原點矩之間的關(guān)系隨機(jī)矢量隨機(jī)矢量 的的N維聯(lián)合概率密度函數(shù)為維聯(lián)合概率密度函數(shù)為則則N維聯(lián)合特征函數(shù)定義為維聯(lián)合特征函數(shù)定義為若若 是相互獨立的隨機(jī)變量，有是相互獨立的隨機(jī)變量，有 隨機(jī)過程概念和定義隨機(jī)過程概念和定義1. 隨機(jī)過程的基本概念隨機(jī)過程的基本概念所研究對象具有隨時間演變的隨機(jī)現(xiàn)象，對其變化過程獨立地重復(fù)所研究對象具有隨時間演變的隨機(jī)現(xiàn)象，對其變化過程獨立地重復(fù)進(jìn)行多次觀測，所得到的結(jié)果是時間進(jìn)行多次觀測，所得到的結(jié)果是時間 t 的函數(shù)，每次觀測之前不能的函數(shù)，每次觀測之前不能預(yù)知所得結(jié)果，這樣的過程是一個隨機(jī)過程。預(yù)知所得結(jié)果，這樣的過程是一個隨機(jī)過程。舉例：心電圖

24、；噪聲測定；育苗實驗等等。舉例：心電圖；噪聲測定；育苗實驗等等。 隨機(jī)過程的概念和定義隨機(jī)過程的概念和定義2. 隨機(jī)過程的定義隨機(jī)過程的定義設(shè)設(shè) 是一概率空間，是一概率空間，T 是一個實參數(shù)集，定義在是一個實參數(shù)集，定義在T和和 上的二元函數(shù)上的二元函數(shù) ，若對于任意固定的，若對于任意固定的 ， 是概率空間上的隨機(jī)變量，對任意固定的是概率空間上的隨機(jī)變量，對任意固定的 ， 是概率空間上的隨機(jī)函數(shù)，則稱是概率空間上的隨機(jī)函數(shù)，則稱為一隨機(jī)過程，其中為一隨機(jī)過程，其中 t 和和 都是變量。都是變量。 隨機(jī)過程的統(tǒng)計描述隨機(jī)過程的統(tǒng)計描述圖2.10連續(xù)隨機(jī)過程 的M個樣本函數(shù)圖形 隨機(jī)過程的統(tǒng)計描述

25、隨機(jī)過程的統(tǒng)計描述隨機(jī)過程的二維及隨機(jī)過程的二維及N維累積分布函數(shù)和聯(lián)合概率密度函數(shù)維累積分布函數(shù)和聯(lián)合概率密度函數(shù) 隨機(jī)過程的統(tǒng)計平均量隨機(jī)過程的統(tǒng)計平均量1. 隨機(jī)過程的均值隨機(jī)過程的均值2. 隨機(jī)過程的均方值隨機(jī)過程的均方值3. 隨機(jī)過程的方差隨機(jī)過程的方差 隨機(jī)過程的統(tǒng)計平均量隨機(jī)過程的統(tǒng)計平均量4. 隨機(jī)過程的自相關(guān)函數(shù)隨機(jī)過程的自相關(guān)函數(shù)5. 隨機(jī)過程的自協(xié)方差函數(shù)隨機(jī)過程的自協(xié)方差函數(shù) 隨機(jī)過程的統(tǒng)計平均量隨機(jī)過程的統(tǒng)計平均量6. 隨機(jī)過程的互相關(guān)函數(shù)隨機(jī)過程的互相關(guān)函數(shù)7. 隨機(jī)過程的互協(xié)方差函數(shù)隨機(jī)過程的互協(xié)方差函數(shù) 隨機(jī)過程的平穩(wěn)性隨機(jī)過程的平穩(wěn)性1. 隨機(jī)過程的平穩(wěn)性分類

26、隨機(jī)過程的平穩(wěn)性分類u嚴(yán)格平穩(wěn)的隨機(jī)過程嚴(yán)格平穩(wěn)的隨機(jī)過程 隨機(jī)過程隨機(jī)過程x(t)經(jīng)過時間平移經(jīng)過時間平移t后，其統(tǒng)計特性保持不變。后，其統(tǒng)計特性保持不變。u廣義平穩(wěn)的隨機(jī)過程廣義平穩(wěn)的隨機(jī)過程 若隨機(jī)過程若隨機(jī)過程x(t)的平均統(tǒng)計量滿足一定條件，稱為廣義平穩(wěn)隨機(jī)過程。的平均統(tǒng)計量滿足一定條件，稱為廣義平穩(wěn)隨機(jī)過程。 (1)均值與時間無關(guān)均值與時間無關(guān)；(2)自相關(guān)函數(shù)只取決于時間間隔自相關(guān)函數(shù)只取決于時間間隔.u非平穩(wěn)的隨機(jī)過程非平穩(wěn)的隨機(jī)過程 既不滿足嚴(yán)格平穩(wěn)隨機(jī)過程，也不滿足廣義平穩(wěn)條件的隨機(jī)過程。既不滿足嚴(yán)格平穩(wěn)隨機(jī)過程，也不滿足廣義平穩(wěn)條件的隨機(jī)過程。 隨機(jī)過程的平穩(wěn)性隨機(jī)過程的

27、平穩(wěn)性嚴(yán)格平穩(wěn)隨機(jī)過程嚴(yán)格平穩(wěn)隨機(jī)過程 嚴(yán)格隨機(jī)過程嚴(yán)格隨機(jī)過程x(t)的一維概率密度函數(shù)與時間的一維概率密度函數(shù)與時間t無關(guān)。無關(guān)。 嚴(yán)格隨機(jī)過程嚴(yán)格隨機(jī)過程x(t)的二維聯(lián)合概率密度函數(shù)僅與時間間隔的二維聯(lián)合概率密度函數(shù)僅與時間間隔t有關(guān)。有關(guān)。 隨機(jī)過程的平穩(wěn)性隨機(jī)過程的平穩(wěn)性若隨機(jī)過程若隨機(jī)過程x(t)的統(tǒng)計平均量滿足下述條件，為廣義平穩(wěn)隨機(jī)過程的統(tǒng)計平均量滿足下述條件，為廣義平穩(wěn)隨機(jī)過程 （1）x(t)的均值是與時間的均值是與時間t無關(guān)的常數(shù)無關(guān)的常數(shù) （2）x(t)的自相關(guān)函數(shù)只取決于時間間隔，與起始時間無關(guān)的自相關(guān)函數(shù)只取決于時間間隔，與起始時間無關(guān)2. 嚴(yán)格平穩(wěn)與廣義平穩(wěn)隨機(jī)過

28、程的關(guān)系嚴(yán)格平穩(wěn)與廣義平穩(wěn)隨機(jī)過程的關(guān)系u如果嚴(yán)格平穩(wěn)的隨機(jī)過程是二階矩過程，必定是廣義平穩(wěn)隨機(jī)過程；如果嚴(yán)格平穩(wěn)的隨機(jī)過程是二階矩過程，必定是廣義平穩(wěn)隨機(jī)過程；u廣義平穩(wěn)的隨機(jī)過程不一定是嚴(yán)格平穩(wěn)的，除非該過程是高斯分布的。廣義平穩(wěn)的隨機(jī)過程不一定是嚴(yán)格平穩(wěn)的，除非該過程是高斯分布的。 隨機(jī)過程的平穩(wěn)性隨機(jī)過程的平穩(wěn)性3. 平穩(wěn)隨機(jī)過程的統(tǒng)計平均量平穩(wěn)隨機(jī)過程的統(tǒng)計平均量隨機(jī)過程的平穩(wěn)性隨機(jī)過程的平穩(wěn)性4. 聯(lián)合平穩(wěn)隨機(jī)過程及其統(tǒng)計特性聯(lián)合平穩(wěn)隨機(jī)過程及其統(tǒng)計特性兩個平穩(wěn)的隨機(jī)過程的互相關(guān)函數(shù)僅與時間間隔有關(guān)，與時刻無關(guān)，兩個平穩(wěn)的隨機(jī)過程的互相關(guān)函數(shù)僅與時間間隔有關(guān)，與時刻無關(guān)，則這兩個隨

29、機(jī)過程是聯(lián)合平穩(wěn)的隨機(jī)過程。則這兩個隨機(jī)過程是聯(lián)合平穩(wěn)的隨機(jī)過程。隨機(jī)過程的遍歷性隨機(jī)過程的遍歷性1. 時間平均量時間平均量具有遍歷性的隨機(jī)過程：可以從隨機(jī)過程全體可能樣本函數(shù)的集合中，具有遍歷性的隨機(jī)過程：可以從隨機(jī)過程全體可能樣本函數(shù)的集合中，取一個具有代表性的樣本函數(shù)來獲得該過程的全部統(tǒng)計特性。取一個具有代表性的樣本函數(shù)來獲得該過程的全部統(tǒng)計特性。隨機(jī)過程的遍歷性隨機(jī)過程的遍歷性2. 各態(tài)遍歷的隨機(jī)過程各態(tài)遍歷的隨機(jī)過程各態(tài)歷經(jīng)隨機(jī)過程各態(tài)歷經(jīng)隨機(jī)過程 x(t) 的任何統(tǒng)計平均量都能夠以概率的任何統(tǒng)計平均量都能夠以概率1由該過程的由該過程的 某個單獨樣本函數(shù)的時間平均求得；某個單獨樣本函

30、數(shù)的時間平均求得；(2) 各態(tài)歷經(jīng)隨機(jī)過程各態(tài)歷經(jīng)隨機(jī)過程 x(t) 的任一單獨樣本函數(shù)在足夠長的時間內(nèi)，先后的任一單獨樣本函數(shù)在足夠長的時間內(nèi)，先后 經(jīng)歷了該隨機(jī)過程的各種可能狀態(tài)。經(jīng)歷了該隨機(jī)過程的各種可能狀態(tài)。均值具有遍歷性：自相關(guān)函數(shù)具有遍歷性：隨機(jī)過程的遍歷性隨機(jī)過程的遍歷性3. 隨機(jī)過程的平穩(wěn)性與遍歷性的關(guān)系隨機(jī)過程的平穩(wěn)性與遍歷性的關(guān)系若隨機(jī)過程 x(t) 具有均值和自相關(guān)函數(shù)的遍歷性， 為常數(shù)， 與時間間隔 有關(guān)， 遍歷過程一定是平穩(wěn)過程；理論角度：并非所有的平穩(wěn)過程都是遍歷的， 實際：幾乎所有的平穩(wěn)過程都是各態(tài)歷經(jīng)的。 可以把平穩(wěn)隨機(jī)過程 x(t) 的一個樣本函數(shù)在 時刻的采

31、樣作為 隨機(jī)變量 x( ) 來處理。 隨機(jī)過程的正交性、不相關(guān)性和統(tǒng)計獨立性隨機(jī)過程的正交性、不相關(guān)性和統(tǒng)計獨立性1. 定義定義若 x(t)是相互正交的隨機(jī)變量過程。若 x(t)是互不相關(guān)的隨機(jī)變量過程。 等價條件：若x(t) 是平穩(wěn)隨機(jī)過程隨機(jī)過程的正交性、不相關(guān)性和統(tǒng)計獨立性隨機(jī)過程的正交性、不相關(guān)性和統(tǒng)計獨立性1. 定義定義設(shè) 是隨機(jī)過程 在不同時刻 的隨機(jī)變量，若其N維聯(lián)合概率密度函數(shù)對于任意 和所有時刻 都能表示為：則稱 是相互統(tǒng)計獨立的隨機(jī)變量過程。 隨機(jī)過程的正交性、不相關(guān)性和統(tǒng)計獨立性隨機(jī)過程的正交性、不相關(guān)性和統(tǒng)計獨立性2. 關(guān)系關(guān)系若 ， ， 相互正交隨機(jī)變量過程等價為互不

32、相關(guān)隨機(jī)變量過程。(2) 若 是一個相互統(tǒng)計獨立隨機(jī)變量過程，則一定是一個 互不相關(guān)隨機(jī)變量過程。(3) 若 是一個互不相關(guān)隨機(jī)變量過程，不一定是相互統(tǒng)計 獨立隨機(jī)變量過程，除非服從聯(lián)合高斯分布。隨機(jī)過程的正交性、不相關(guān)性和統(tǒng)計獨立性隨機(jī)過程的正交性、不相關(guān)性和統(tǒng)計獨立性兩個隨機(jī)過程兩個隨機(jī)過程 和和 之間的關(guān)系之間的關(guān)系相互正交 (2) 互不相關(guān) 或(3) 聯(lián)合平穩(wěn)隨機(jī)過程， 相互正交 互不相關(guān) 或 (4) 相互統(tǒng)計獨立平穩(wěn)隨機(jī)過程的功率譜密度平穩(wěn)隨機(jī)過程的功率譜密度1. 功率譜密度功率譜密度平穩(wěn)隨機(jī)過程的功率譜密度平穩(wěn)隨機(jī)過程的功率譜密度2. 功率譜密度的主要性質(zhì)功率譜密度的主要性質(zhì)平穩(wěn)隨

33、機(jī)過程 的功率譜密度 表示該過程的平均功率在頻域上的分布，與時域自相關(guān)函數(shù) 是傅里葉對關(guān)系。平穩(wěn)隨機(jī)過程的功率譜密度平穩(wěn)隨機(jī)過程的功率譜密度3. 聯(lián)合平穩(wěn)隨機(jī)過程的互功率譜密度聯(lián)合平穩(wěn)隨機(jī)過程的互功率譜密度線性系統(tǒng)對隨機(jī)過程的響應(yīng)線性系統(tǒng)對隨機(jī)過程的響應(yīng)duutxuhty)()()(圖2.11 線性時不變系統(tǒng)典型自衡系統(tǒng)脈沖響應(yīng)曲線響應(yīng)的平穩(wěn)性響應(yīng)的平穩(wěn)性 對于線性時不變系統(tǒng)，輸入是一個平穩(wěn)隨機(jī)過程，對于線性時不變系統(tǒng)，輸入是一個平穩(wěn)隨機(jī)過程，則響應(yīng)也是一個平穩(wěn)隨機(jī)過程。則響應(yīng)也是一個平穩(wěn)隨機(jī)過程。響應(yīng)的統(tǒng)計平均量響應(yīng)的統(tǒng)計平均量響應(yīng)與輸入的功率譜密度的關(guān)系：響應(yīng)與輸入的功率譜密度的關(guān)系：響應(yīng)

34、的統(tǒng)計平均量響應(yīng)的統(tǒng)計平均量高斯噪聲、白噪聲和有色噪聲高斯噪聲、白噪聲和有色噪聲高斯噪聲高斯噪聲1. 中心極限定理中心極限定理一般條件下， N 個相互統(tǒng)計獨立的隨機(jī)變量 之和 ，在 的極限情況下，其概率密度函數(shù)趨于高斯分布，不論每個變量 的具體分布。高斯噪聲、白噪聲和有色噪聲高斯噪聲、白噪聲和有色噪聲2. 高斯噪聲的統(tǒng)計描述高斯噪聲的統(tǒng)計描述3. 不相關(guān)性與統(tǒng)計獨立性不相關(guān)性與統(tǒng)計獨立性N 個高斯隨機(jī)變量 之間是互不相關(guān)的，則它們也是相互統(tǒng)計獨立的。高斯噪聲、白噪聲和有色噪聲高斯噪聲、白噪聲和有色噪聲白噪聲和高斯白噪聲白噪聲和高斯白噪聲白噪聲：功率譜密度均勻分布在整個頻率軸上。白噪聲也可定義為白噪聲也可定義為：均值為0，自相關(guān)函數(shù) 為 函數(shù)的噪聲隨機(jī)過程，其任意兩個不同時刻的隨機(jī)變量互不相關(guān)。高斯白噪聲高斯白噪聲：概率密度函數(shù)是高斯分布，頻域的功率譜密度是均勻分布，其任意兩個或以上不同時刻的隨機(jī)變量互不相