信號(hào)檢測(cè)與估計(jì)理論 第二章 基礎(chǔ)知識(shí)

信號(hào)檢測(cè)與估計(jì)理論第二章信號(hào)檢測(cè)與估計(jì)理論的基礎(chǔ)知識(shí)引言待處理信號(hào)目標(biāo)：建立信號(hào)模型；進(jìn)行統(tǒng)計(jì)描述；研究統(tǒng)計(jì)平均量之間的關(guān)系；統(tǒng)計(jì)特性的應(yīng)用。隨機(jī)變量及其統(tǒng)計(jì)描述隨機(jī)變量的基本概念是定義在概率空間上的單值實(shí)函數(shù)，若對(duì)任一實(shí)數(shù)x

，有稱(chēng)為隨機(jī)變量。概率事件域樣本空間或集合例如：用五色球抽獎(jiǎng)，={紅，藍(lán)，黃，綠，白}，球的數(shù)量百分比分別為0.1%,0.5%,2%,10%,87.4%，對(duì)應(yīng)的中獎(jiǎng)?lì)~分別是1000,500,100,50,10元，則中獎(jiǎng)?lì)~是一個(gè)隨機(jī)變量。紅藍(lán)黃綠白

10005001005010概率

0.0010.0050.020.10.874隨機(jī)變量及其統(tǒng)計(jì)描述概率、隨機(jī)變量與隨機(jī)過(guò)程（第4版），【美】A.帕普里斯S.U.佩萊著；保錚等譯P55：隨機(jī)變量是賦予實(shí)驗(yàn)的每一個(gè)結(jié)果的一個(gè)數(shù)，記為。在擲骰子實(shí)驗(yàn)中，賦予每個(gè)結(jié)果一個(gè)數(shù)量，有(b)相同的實(shí)驗(yàn)中，把數(shù)1賦予每一個(gè)偶數(shù)結(jié)果，數(shù)0賦予么一個(gè)奇數(shù)結(jié)果，有【定義】一個(gè)隨機(jī)變量是定義在實(shí)驗(yàn)結(jié)果所構(gòu)成的集合S上的一個(gè)函數(shù)。隨機(jī)變量x是對(duì)每個(gè)結(jié)果給定一個(gè)數(shù)的過(guò)程。產(chǎn)生的函數(shù)必須滿足下面兩個(gè)條件：Ⅰ.對(duì)每個(gè)x

，集合{x

x}是一個(gè)事件；Ⅱ.事件{x=}和事件{x=-}的概率等于零。即

P{x=}=0P{x=-}=0隨機(jī)變量及其統(tǒng)計(jì)描述概率密度函數(shù)（ProbabilityDensityFunction,PDF）事件的概率取決于

x

的值。一維累積分布函數(shù)（CumulativeDistributionFunction,CDF）隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計(jì)描述隨機(jī)變量的概率密度函數(shù)隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計(jì)描述隨機(jī)變量的統(tǒng)計(jì)平均量1.隨機(jī)變量的均值表征方法：隨機(jī)變量的數(shù)字特征或稱(chēng)矩理論意義：概率密度函數(shù)實(shí)際操作：通過(guò)對(duì)有限觀測(cè)數(shù)據(jù)的估計(jì)獲得隨機(jī)變量及其統(tǒng)計(jì)描述隨機(jī)變量的統(tǒng)計(jì)平均量2.隨機(jī)變量的矩m階原點(diǎn)矩：m階中心矩：以上數(shù)字特征都是隨機(jī)變量函數(shù)的數(shù)學(xué)期望；m階原點(diǎn)矩和m階中心距可以互相唯一表示。隨機(jī)變量及其統(tǒng)計(jì)描述隨機(jī)變量的統(tǒng)計(jì)平均量2.隨機(jī)變量的矩隨機(jī)變量及其統(tǒng)計(jì)描述切比雪夫不等式得隨機(jī)變量及其統(tǒng)計(jì)描述隨機(jī)變量的統(tǒng)計(jì)平均量2.隨機(jī)變量的矩隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計(jì)描述隨機(jī)變量的統(tǒng)計(jì)平均量3.隨機(jī)變量的中值4.隨機(jī)變量的眾數(shù)將隨機(jī)變量的概率密度函數(shù)一分為二，各占50%面積的分界點(diǎn)，稱(chēng)為隨機(jī)變量的中值，又稱(chēng)中位數(shù)，記。隨機(jī)變量的概率密度函數(shù)的峰值對(duì)應(yīng)的

x值，稱(chēng)為隨機(jī)變量的眾數(shù)，記為。隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計(jì)描述隨機(jī)變量的統(tǒng)計(jì)平均量一階原點(diǎn)矩——隨機(jī)變量取值的中心點(diǎn)二階中心矩——隨機(jī)變量取值對(duì)于均值的分散程度三階中心矩——衡量隨機(jī)的分布是否有偏四階中心矩——隨機(jī)變量的分布在均值附近的陡峭程度在實(shí)際應(yīng)用中，高于4階的矩很少使用。二階中心距（方差）的值越大，表示隨機(jī)變量取值分散程度大，一階原點(diǎn)矩（均值）的代表性差;方差的值越小,則表示隨機(jī)變量的取值比較集中,以均值作為隨機(jī)變量取值的代表性好。隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計(jì)描述常用的隨機(jī)變量舉例：均勻分布隨機(jī)變量均勻分布隨機(jī)變量的PDF曲線隨機(jī)變量及其統(tǒng)計(jì)描述2.高斯分布隨機(jī)變量標(biāo)準(zhǔn)高斯分布隨機(jī)變量的PDF曲線高斯分布隨機(jī)變量的PDF曲線（）對(duì)于標(biāo)準(zhǔn)正態(tài)分布：隨機(jī)變量及其統(tǒng)計(jì)描述2.高斯分布隨機(jī)變量對(duì)于標(biāo)準(zhǔn)正態(tài)分布：累計(jì)分布函數(shù)右尾概率實(shí)用的近似公式：對(duì)數(shù)縱軸考察某個(gè)隨機(jī)變量的右尾概率可以判斷該變量是否近似服從高斯分布。隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計(jì)描述3.三角對(duì)稱(chēng)分布隨機(jī)變量三角對(duì)稱(chēng)分布隨機(jī)變量的PDF曲線三角對(duì)稱(chēng)分布隨機(jī)變量的PDF曲線(0<b<a)隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計(jì)描述4.Chi-Square(Central)

若，則獨(dú)立同分布。隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計(jì)描述4.Chi-Square(Central)

適合性檢驗(yàn)：檢驗(yàn)觀測(cè)數(shù)與依照某種假設(shè)或分布模型計(jì)算得到的理論數(shù)據(jù)之間一致性，以便判斷該假設(shè)或模型是否與實(shí)際觀測(cè)數(shù)相吻合。獨(dú)立性檢驗(yàn)：通過(guò)觀測(cè)數(shù)與理論數(shù)之間的一致性判斷事件之間的獨(dú)立性，即判斷兩個(gè)事件是否是獨(dú)立事件或處理間差異是否顯著。隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計(jì)描述關(guān)于單邊、雙邊指數(shù)分布隨機(jī)變量（指數(shù)分布的無(wú)記憶性）單邊指數(shù)分布隨機(jī)變量的PDF曲線（β＞0）雙邊指數(shù)分布隨機(jī)變量的PDF曲線（β＞0）隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計(jì)描述指數(shù)分布的無(wú)記憶性對(duì)連續(xù)非負(fù)隨機(jī)變量x，若對(duì)任意t，滿足該隨機(jī)變量服從指數(shù)分布。泊松事件流的等待時(shí)間（相繼兩次出現(xiàn)之間的間隔）；非老化性元件的壽命（元件不老化，僅由于突然故障而毀壞）；近似地作為高可靠性的復(fù)雜部件、機(jī)器或系統(tǒng)的失效分布模型。隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計(jì)描述5.Chi-Square(Noncentral)

應(yīng)用：可參考卡方檢驗(yàn)相關(guān)文獻(xiàn)隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計(jì)描述6.F（Central）非中心化FPDF由非中心卡方分布隨機(jī)變量與一個(gè)中心化卡方分布隨機(jī)變量比值得到。若其中，有F分布用于似然比檢驗(yàn)，可用于檢驗(yàn)總體方差是否相等。隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計(jì)描述7.瑞利（Rayleigh）分布隨機(jī)變量

瑞利分布隨機(jī)變量的PDF曲線（σ2=1）隨機(jī)變量的均值和方差：窄帶高斯過(guò)程的包絡(luò)分布屬于瑞利分布。應(yīng)用：測(cè)量；通信領(lǐng)域。隨機(jī)變量、隨機(jī)矢量及其統(tǒng)計(jì)描述7.瑞利（Rayleigh）分布隨機(jī)變量

當(dāng)一個(gè)隨機(jī)二維向量的兩個(gè)分量呈獨(dú)立的、有著相同的方差的正態(tài)分布時(shí)，這個(gè)向量的模呈瑞利分布。瑞利分布是最常見(jiàn)的用于描述平坦衰落信號(hào)接收包絡(luò)或獨(dú)立多徑分量接受包絡(luò)統(tǒng)計(jì)時(shí)變特性的一種分布類(lèi)型。兩個(gè)正交高斯噪聲信號(hào)之和的包絡(luò)服從瑞利分布。例如：射擊彈落點(diǎn)坐標(biāo)是一個(gè)相互獨(dú)立的二維隨機(jī)變量。其中：與均服從正態(tài)分布，與相互獨(dú)立。的概率密度函數(shù)為隨機(jī)變量及其統(tǒng)計(jì)描述8.廣義瑞利（Rayleigh）分布隨機(jī)變量

廣義瑞利分布隨機(jī)變量的PDF曲線（σ2=1）關(guān)于蒙特卡洛性能評(píng)估StevenM.Kay譯著P482若不能通過(guò)解析的方法或閉合形式確定隨機(jī)變量超過(guò)某一給定值的概率時(shí)，須借助蒙特卡洛計(jì)算機(jī)模擬。若希望計(jì)算一個(gè)隨機(jī)變量或統(tǒng)計(jì)量T超過(guò)某個(gè)門(mén)限的概率，例如觀察到數(shù)據(jù)集，其中且獨(dú)立同分布，計(jì)算本例中，容易證明：若假定不能使用解析或數(shù)值計(jì)算方法，可以用計(jì)算機(jī)模擬來(lái)確定關(guān)于蒙特卡洛性能評(píng)估StevenM.Kay譯著P482數(shù)據(jù)產(chǎn)生產(chǎn)生N個(gè)獨(dú)立的隨機(jī)變量；對(duì)隨機(jī)變量的實(shí)現(xiàn)，計(jì)算重復(fù)過(guò)程M次，得到概率計(jì)算對(duì)超過(guò)的次數(shù)計(jì)數(shù)，稱(chēng)為；用來(lái)估計(jì)概率。關(guān)于蒙特卡洛性能評(píng)估StevenM.Kay譯著P482M=10000M=1000M=100隨機(jī)矢量及其統(tǒng)計(jì)描述1.隨機(jī)矢量的概念設(shè)是一概率空間，是分別定義在該概率空間上的N個(gè)隨機(jī)變量，則由N個(gè)隨機(jī)變量構(gòu)成的矢量稱(chēng)為N維隨機(jī)矢量。隨機(jī)矢量及其統(tǒng)計(jì)描述2.隨機(jī)矢量的概率密度函數(shù)F(x)稱(chēng)為隨機(jī)矢量的N維累積分布函數(shù)；p(x)稱(chēng)為隨機(jī)矢量的N維聯(lián)合概率密度函數(shù)。隨機(jī)矢量及其統(tǒng)計(jì)描述3.隨機(jī)矢量和協(xié)方差矩陣如果與互不相關(guān)，，則協(xié)方差

為對(duì)角陣。隨機(jī)矢量及其統(tǒng)計(jì)描述4.統(tǒng)計(jì)獨(dú)立性和獨(dú)立同分布隨機(jī)矢量如果對(duì)于任意的和所有的其N(xiāo)維聯(lián)合概率密度函數(shù)都能表示為則稱(chēng)隨機(jī)變量之間是相互統(tǒng)計(jì)獨(dú)立的。若隨機(jī)變量對(duì)于全部的N都有相同的一維概率密度函數(shù)，則稱(chēng)是具有獨(dú)立同分布的N維隨機(jī)矢量。隨機(jī)矢量及其統(tǒng)計(jì)描述5.聯(lián)合高斯隨機(jī)矢量N維聯(lián)合高斯隨機(jī)矢量的每個(gè)分量都服從一維高斯分布；(2)聯(lián)合高斯隨機(jī)矢量的線性變換仍然是聯(lián)合高斯隨機(jī)矢量。隨機(jī)變量的函數(shù)已知變換前隨機(jī)變量的概率密度函數(shù)，需要確定變換后的隨機(jī)變量的概率密度函數(shù)，稱(chēng)為雅克比變換。JacobianTransformation1.一維隨機(jī)變量的情況若反函數(shù)存在，且連續(xù)可導(dǎo)，則的概率密度函數(shù)為其中，隨機(jī)變量的函數(shù)2.N維隨機(jī)矢量的變換隨機(jī)變量的特征函數(shù)1.隨機(jī)變量特征函數(shù)的定義

的和構(gòu)成一對(duì)傅里葉變換對(duì)。復(fù)值隨機(jī)變量的均值稱(chēng)為

的特征函數(shù)。隨機(jī)變量的特征函數(shù)2.特征函數(shù)的主要性質(zhì)(1)特征函數(shù)存在的必然性隨機(jī)變量的特征函數(shù)(2)隨機(jī)變量線性變換的特征函數(shù)(3)相互統(tǒng)計(jì)獨(dú)立隨機(jī)變量之和的特征函數(shù)隨機(jī)變量的特征函數(shù)(3)相互統(tǒng)計(jì)獨(dú)立隨機(jī)變量之和的特征函數(shù)隨機(jī)變量的特征函數(shù)3.N個(gè)相互統(tǒng)計(jì)獨(dú)立高斯隨機(jī)變量之和的概率密度函數(shù)設(shè)隨機(jī)變量是均值為，方差為的相互統(tǒng)計(jì)獨(dú)立的高斯隨機(jī)變量，其特征函數(shù)為若有結(jié)論：仍然是高斯分布，有，。隨機(jī)變量的特征函數(shù)3.N個(gè)相互統(tǒng)計(jì)獨(dú)立高斯隨機(jī)變量之和的概率密度函數(shù)設(shè)隨機(jī)變量是獨(dú)立同分布的高斯隨機(jī)變量，有，方差為。則令有結(jié)論：是，的高斯隨機(jī)變量。隨機(jī)變量的特征函數(shù)4.隨機(jī)變量的特征函數(shù)與原點(diǎn)矩之間的關(guān)系隨機(jī)變量的特征函數(shù)4.隨機(jī)變量的特征函數(shù)與原點(diǎn)矩之間的關(guān)系隨機(jī)矢量的聯(lián)合特征函數(shù)4.隨機(jī)變量的特征函數(shù)與原點(diǎn)矩之間的關(guān)系隨機(jī)矢量的N維聯(lián)合概率密度函數(shù)為則N維聯(lián)合特征函數(shù)定義為若是相互獨(dú)立的隨機(jī)變量，有

隨機(jī)過(guò)程概念和定義1.隨機(jī)過(guò)程的基本概念所研究對(duì)象具有隨時(shí)間演變的隨機(jī)現(xiàn)象，對(duì)其變化過(guò)程獨(dú)立地重復(fù)進(jìn)行多次觀測(cè)，所得到的結(jié)果是時(shí)間t的函數(shù)，每次觀測(cè)之前不能預(yù)知所得結(jié)果，這樣的過(guò)程是一個(gè)隨機(jī)過(guò)程。舉例：心電圖；噪聲測(cè)定；育苗實(shí)驗(yàn)等等。

隨機(jī)過(guò)程的概念和定義2.隨機(jī)過(guò)程的定義設(shè)是一概率空間，T是一個(gè)實(shí)參數(shù)集，定義在T和上的二元函數(shù)，若對(duì)于任意固定的，

是概率空間上的隨機(jī)變量，對(duì)任意固定的，

是概率空間上的隨機(jī)函數(shù)，則稱(chēng)為一隨機(jī)過(guò)程，其中t和都是變量。

隨機(jī)過(guò)程的統(tǒng)計(jì)描述圖2.10連續(xù)隨機(jī)過(guò)程的M個(gè)樣本函數(shù)圖形

隨機(jī)過(guò)程的統(tǒng)計(jì)描述隨機(jī)過(guò)程的二維及N維累積分布函數(shù)和聯(lián)合概率密度函數(shù)

隨機(jī)過(guò)程的統(tǒng)計(jì)平均量1.隨機(jī)過(guò)程的均值2.隨機(jī)過(guò)程的均方值3.隨機(jī)過(guò)程的方差

隨機(jī)過(guò)程的統(tǒng)計(jì)平均量4.隨機(jī)過(guò)程的自相關(guān)函數(shù)5.隨機(jī)過(guò)程的自協(xié)方差函數(shù)

隨機(jī)過(guò)程的統(tǒng)計(jì)平均量6.隨機(jī)過(guò)程的互相關(guān)函數(shù)7.隨機(jī)過(guò)程的互協(xié)方差函數(shù)

隨機(jī)過(guò)程的平穩(wěn)性1.隨機(jī)過(guò)程的平穩(wěn)性分類(lèi)嚴(yán)格平穩(wěn)的隨機(jī)過(guò)程

隨機(jī)過(guò)程x(t)經(jīng)過(guò)時(shí)間平移△t后，其統(tǒng)計(jì)特性保持不變。廣義平穩(wěn)的隨機(jī)過(guò)程

若隨機(jī)過(guò)程x(t)的平均統(tǒng)計(jì)量滿足一定條件，稱(chēng)為廣義平穩(wěn)隨機(jī)過(guò)程。

(1)均值與時(shí)間無(wú)關(guān)；(2)自相關(guān)函數(shù)只取決于時(shí)間間隔.非平穩(wěn)的隨機(jī)過(guò)程

既不滿足嚴(yán)格平穩(wěn)隨機(jī)過(guò)程，也不滿足廣義平穩(wěn)條件的隨機(jī)過(guò)程。

隨機(jī)過(guò)程的平穩(wěn)性嚴(yán)格平穩(wěn)隨機(jī)過(guò)程

嚴(yán)格隨機(jī)過(guò)程x(t)的一維概率密度函數(shù)與時(shí)間t無(wú)關(guān)。

嚴(yán)格隨機(jī)過(guò)程x(t)的二維聯(lián)合概率密度函數(shù)僅與時(shí)間間隔△t有關(guān)。

隨機(jī)過(guò)程的平穩(wěn)性若隨機(jī)過(guò)程x(t)的統(tǒng)計(jì)平均量滿足下述條件，為廣義平穩(wěn)隨機(jī)過(guò)程

（1）x(t)的均值是與時(shí)間t無(wú)關(guān)的常數(shù)

（2）x(t)的自相關(guān)函數(shù)只取決于時(shí)間間隔，與起始時(shí)間無(wú)關(guān)2.嚴(yán)格平穩(wěn)與廣義平穩(wěn)隨機(jī)過(guò)程的關(guān)系如果嚴(yán)格平穩(wěn)的隨機(jī)過(guò)程是二階矩過(guò)程，必定是廣義平穩(wěn)隨機(jī)過(guò)程；廣義平穩(wěn)的隨機(jī)過(guò)程不一定是嚴(yán)格平穩(wěn)的，除非該過(guò)程是高斯分布的。

隨機(jī)過(guò)程的平穩(wěn)性3.平穩(wěn)隨機(jī)過(guò)程的統(tǒng)計(jì)平均量隨機(jī)過(guò)程的平穩(wěn)性4.聯(lián)合平穩(wěn)隨機(jī)過(guò)程及其統(tǒng)計(jì)特性?xún)蓚€(gè)平穩(wěn)的隨機(jī)過(guò)程的互相關(guān)函數(shù)僅與時(shí)間間隔有關(guān)，與時(shí)刻無(wú)關(guān)，則這兩個(gè)隨機(jī)過(guò)程是聯(lián)合平穩(wěn)的隨機(jī)過(guò)程。隨機(jī)過(guò)程的遍歷性1.時(shí)間平均量具有遍歷性的隨機(jī)過(guò)程：可以從隨機(jī)過(guò)程全體可能樣本函數(shù)的集合中，取一個(gè)具有代表性的樣本函數(shù)來(lái)獲得該過(guò)程的全部統(tǒng)計(jì)特性。隨機(jī)過(guò)程的遍歷性2.各態(tài)遍歷的隨機(jī)過(guò)程各態(tài)歷經(jīng)隨機(jī)過(guò)程x(t)的任何統(tǒng)計(jì)平均量都能夠以概率1由該過(guò)程的某個(gè)單獨(dú)樣本函數(shù)的時(shí)間平均求得；(2)各態(tài)歷經(jīng)隨機(jī)過(guò)程x(t)的任一單獨(dú)樣本函數(shù)在足夠長(zhǎng)的時(shí)間內(nèi)，先后

經(jīng)歷了該隨機(jī)過(guò)程的各種可能狀態(tài)。均值具有遍歷性：自相關(guān)函數(shù)具有遍歷性：隨機(jī)過(guò)程的遍歷性3.隨機(jī)過(guò)程的平穩(wěn)性與遍歷性的關(guān)系若隨機(jī)過(guò)程x(t)具有均值和自相關(guān)函數(shù)的遍歷性，

為常數(shù)，

與時(shí)間間隔有關(guān)，遍歷過(guò)程一定是平穩(wěn)過(guò)程；理論角度：并非所有的平穩(wěn)過(guò)程都是遍歷的，

實(shí)際：幾乎所有的平穩(wěn)過(guò)程都是各態(tài)歷經(jīng)的。

可以把平穩(wěn)隨機(jī)過(guò)程x(t)的一個(gè)樣本函數(shù)在時(shí)刻的采樣作為

隨機(jī)變量x()來(lái)處理。

隨機(jī)過(guò)程的正交性、不相關(guān)性和統(tǒng)計(jì)獨(dú)立性1.定義若

x(t)是相互正交的隨機(jī)變量過(guò)程。若x(t)是互不相關(guān)的隨機(jī)變量過(guò)程。

等價(jià)條件：若x(t)是平穩(wěn)隨機(jī)過(guò)程隨機(jī)過(guò)程的正交性、不相關(guān)性和統(tǒng)計(jì)獨(dú)立性1.定義設(shè)是隨機(jī)過(guò)程在不同時(shí)刻