估計理論隨機信號理

1、2021/2/111 2021/2/112 聲納系統(tǒng)聲納系統(tǒng)-利用聲波信號確定船只的位置利用聲波信號確定船只的位置 圖象處理圖象處理-使用紅外檢測是否有飛機出現(xiàn)使用紅外檢測是否有飛機出現(xiàn) 圖象分析圖象分析-根據(jù)照相機的圖象估計目標的位置根據(jù)照相機的圖象估計目標的位置 和方向和方向, ,用機器人抓目標時是必須的用機器人抓目標時是必須的 生物醫(yī)學(xué)生物醫(yī)學(xué)-估計胎兒的心率估計胎兒的心率 控制控制-估計汽艇的位置估計汽艇的位置, ,以便采用正確的導(dǎo)航行以便采用正確的導(dǎo)航行 為為, ,如如LoranLoran系統(tǒng)系統(tǒng) 地震學(xué)地震學(xué)-檢測地下是否有油田檢測地下是否有油田, ,并根據(jù)油層和巖并根據(jù)油層和巖

2、層的密度層的密度, ,根據(jù)聲反射來估計油田的地下距離。根據(jù)聲反射來估計油田的地下距離。 2021/2/113 所有這些問題都有一個共同的特點所有這些問題都有一個共同的特點, ,那就是從含有那就是從含有 噪聲的數(shù)據(jù)集中去提取我們所需要的有用信息噪聲的數(shù)據(jù)集中去提取我們所需要的有用信息, ,這這 些有用信息可能是些有用信息可能是“目標出現(xiàn)與否目標出現(xiàn)與否”、“數(shù)字源數(shù)字源 發(fā)射的是發(fā)射的是0 0還是還是1 1”或者或者“目標的距離目標的距離”、“目標的目標的 方位方位”, ,或或”目標的速度目標的速度”等等, ,由于噪聲固有的隨由于噪聲固有的隨 機性機性, ,因此因此, ,有用信息的提取必須采用統(tǒng)

3、計的方法有用信息的提取必須采用統(tǒng)計的方法, , 這些統(tǒng)計方法的基礎(chǔ)就是檢測理論與估計理論這些統(tǒng)計方法的基礎(chǔ)就是檢測理論與估計理論, ,就就 是本課程后續(xù)章節(jié)學(xué)習(xí)的內(nèi)容。是本課程后續(xù)章節(jié)學(xué)習(xí)的內(nèi)容。 2021/2/114 7.1 估計的基本概念估計的基本概念 7.2 性能指標性能指標 7.3 Cramer-Rao Bound:估計性能界估計性能界 7.4 最大似然估計最大似然估計 使似然函數(shù)最大使似然函數(shù)最大,適用于常量估計適用于常量估計 7.5 貝葉斯估計貝葉斯估計:已知代價函數(shù)及先驗概率已知代價函數(shù)及先驗概率,使估計付出的平均代價最小使估計付出的平均代價最小 7.6 線性最小均方誤差估計線性

4、最小均方誤差估計:已知估計量的一、二階矩已知估計量的一、二階矩,使均方使均方 誤差最小的誤差最小的 7.7 最小二乘估計最小二乘估計:觀測與估計偏差的平方和最小觀測與估計偏差的平方和最小 2021/2/115 估計問題通常是以下三種情況估計問題通常是以下三種情況: n 根據(jù)觀測樣本直接對觀測樣本的各類統(tǒng)計特性作出估計根據(jù)觀測樣本直接對觀測樣本的各類統(tǒng)計特性作出估計; n 根據(jù)觀測樣本根據(jù)觀測樣本,對觀測樣本中的信號中的未知的待定參量作對觀測樣本中的信號中的未知的待定參量作 出估計出估計,稱為信號的參量估計問題稱為信號的參量估計問題,又分為又分為點估計點估計和和區(qū)間估計區(qū)間估計; n 根據(jù)觀測樣

5、本對隨時間變化的信號作出波形估計根據(jù)觀測樣本對隨時間變化的信號作出波形估計,又稱為又稱為過過 程估計程估計。 2021/2/116 信源信源s( ) P( ) 混合混合 P(n) n 估計規(guī)則估計規(guī)則 估計估計 ( ) z 觀測空間觀測空間 信號參量估計的統(tǒng)計推斷模型信號參量估計的統(tǒng)計推斷模型 2021/2/117 例例 2021/2/118 一般情況下一般情況下,可以認為估計結(jié)果與觀測數(shù)據(jù)由一個映射關(guān)系確定可以認為估計結(jié)果與觀測數(shù)據(jù)由一個映射關(guān)系確定 ),( 21N zzzf 2021/2/119 1 1、估計量的性能標準、估計量的性能標準 無偏性無偏性 如果估計量的均值等于非隨機參量或等于

6、隨機參量的均如果估計量的均值等于非隨機參量或等于隨機參量的均 值值,則稱估計量具有無偏性。即滿足則稱估計量具有無偏性。即滿足: 對于確定量對于確定量,有有: 對于隨機量對于隨機量,有有: E EE 2021/2/1110 有效性有效性 對于無偏估計對于無偏估計,如果估計的方差越小如果估計的方差越小,表明估計量的取值越表明估計量的取值越 集中于真值附近集中于真值附近,估計的性能越好。估計的性能越好。 2 ( )( ) VarEE 2021/2/1111 對于有偏估計對于有偏估計,盡管估計的方差很小盡管估計的方差很小,但估計的但估計的 誤差可能仍然很大。誤差可能仍然很大。 2021/2/1112

7、有效性有效性 對于無偏估計對于無偏估計,如果估計的方差越小如果估計的方差越小,表明估計量的取值越表明估計量的取值越 集中于真值附近集中于真值附近,估計的性能越好。估計的性能越好。 2 ( )( ) VarEE 用估計的方差還不能準確地描述估計的性能用估計的方差還不能準確地描述估計的性能,所以我們可以所以我們可以 用均方誤差作為評價估計量性能的一個指標。用均方誤差作為評價估計量性能的一個指標。 2 ( ) MseE 2021/2/1113 一致性一致性 即對于任意小數(shù)即對于任意小數(shù) ,若有若有: 則估計量則估計量 為為一致一致估計量。估計量。 若滿足若滿足 則稱為則稱為均方一致均方一致估計量。估

8、計量。 12 lim( ,)0 N N Pz zz 2 lim()0 N N E z 2021/2/1114 2021/2/1115 2021/2/1116 2021/2/1117 0 0 )(m 1N ) 1( N 2 . 0 4 . 0 6 . 0 8 . 0 1 2021/2/1118 2021/2/1119 2021/2/1120 2021/2/1121 2021/2/1122 Fisher信息量信息量 2021/2/1123 2021/2/1124 2021/2/1125 CRLB的其他拓展應(yīng)用的其他拓展應(yīng)用 隨機參量估計的隨機參量估計的CRLB 21 ( )() MseEI 2 2

9、 2 ln( , )ln( , ) p zp z IEE 參量函數(shù)的參量函數(shù)的CRLB:估計目標為估計目標為 1 ( )( ) ( )T TT TT CI ( )T 2 2 2 ( ) () ( ) ln( | ) T Var p z E 標量函數(shù)關(guān)系標量函數(shù)關(guān)系 矢量函數(shù)關(guān)系矢量函數(shù)關(guān)系 2021/2/1126 應(yīng)用舉例應(yīng)用舉例 2021/2/1127 應(yīng)用舉例應(yīng)用舉例 1 42 2 0 1 1 2 44 46 0 0 1 ()() 0 ( ) 1 1 ()0 () 22 N ix i N N ix ix i i N N ExmE NN Exm Exm I 信息矩陣最終結(jié)果信息矩陣最終結(jié)果

10、2021/2/1128 1 1、最大似然估計、最大似然估計 (Maximum Likelihood Estimate) 似然函數(shù)似然函數(shù) 0 (| )pxx 2021/2/1129 例例1、高斯白噪聲中的直流電平估計、高斯白噪聲中的直流電平估計-未知參數(shù)。設(shè)有未知參數(shù)。設(shè)有N次次 獨立觀測獨立觀測zi=A+vi ,i=1,2,.N,其中其中viN(0, 2),A為未知參為未知參 數(shù)數(shù), 2已知已知,求求A的最大似然估計。的最大似然估計。 /2 2 22 1 11 ( /)exp() 22 N N i i fAzA z 1 1 N mli i Azz N 2021/2/1130 例例2、設(shè)有、設(shè)

11、有N次獨立觀測次獨立觀測zi=vi ,i=1,2,.N,其中其中viN(0, 2), 求求 2 的最大似然估計。的最大似然估計。 /2 22 22 1 11 ( /)exp 22 N N i i fz z 22 1 1 N mli i z N 2021/2/1131 例例3、高斯白噪聲中的直流電平估計、高斯白噪聲中的直流電平估計-未知參數(shù)與未知方未知參數(shù)與未知方 差。設(shè)有差。設(shè)有N次獨立觀測次獨立觀測zi=A+vi ,i=1,2,.N,其中其中 vN(0, 2), 2、A均為未知參數(shù)均為未知參數(shù),求求A和和 2的最大似然估計。的最大似然估計。 /2 2 22 1 11 ( / )exp() 2

12、2 N N i i fzA z =A 2T 2 2 1 1 () ml N ml i i z A zz N 2021/2/1132 2021/2/1133 1 1、貝葉斯估計、貝葉斯估計 在已知代價函數(shù)及先驗概率基礎(chǔ)上在已知代價函數(shù)及先驗概率基礎(chǔ)上,使估計付出的平均使估計付出的平均 代價最小。代價最小。 設(shè)觀測值為設(shè)觀測值為z,待估參量為待估參量為 。 估計誤差估計誤差: 設(shè)代價函數(shù)設(shè)代價函數(shù): 貝葉斯估計準則貝葉斯估計準則: ( ) z ( ) min ( )zE C ( )C 2021/2/1134 ( )( ,( ) ( ,( )( , ) ( ,( )(| )( ) (| ) ( )

13、E CE Cz Czfz d dz Czfz df z dz Cz f z dz ( , ( ) ( | )Czfz d 最小 條件平均代價條件平均代價 統(tǒng)計平均代價統(tǒng)計平均代價: 等價于使下式最小等價于使下式最小: 2021/2/1135 2 ( ,)()C 2 2、典型代價函數(shù)及貝葉斯估計、典型代價函數(shù)及貝葉斯估計 平方代價平方代價: ( , )|C 絕對值代價：絕對值代價： 1,| 2 () 0,| 2 C ， 均勻代價：均勻代價： 2021/2/1136 最小均方估計最小均方估計(Minimal Square) 對對 求導(dǎo)數(shù)求導(dǎo)數(shù),并使其等于零并使其等于零: 得得: 即即 ,也稱為也稱

14、為條件均值估計條件均值估計。 2 (| )()(| )Czfz d 最小 ( | ) 2( | )2( | ) dCz fz dfz d d (| )fz d | Ez 2 ( ,)()C 平方代價平方代價: 2021/2/1137 條件中位數(shù)估計條件中位數(shù)估計(Median)(Median) 對對 求導(dǎo)數(shù)求導(dǎo)數(shù),并使其等于零并使其等于零,得得: 可見可見,估計為條件概率密度估計為條件概率密度 的中位數(shù)。的中位數(shù)。 (| )|(| ) ()(| )()(| ) Czfz d fz dfz d (| )(| ) abs abs fz dfz d (| )fz ( , )|C 絕對值代價：絕對值代

15、價： 2021/2/1138 最大后驗概率估計最大后驗概率估計( (maximal posterior probability) 應(yīng)當選擇應(yīng)當選擇 ,使它處在后驗概率使它處在后驗概率 的最大處。的最大處。 最大后驗概率方程最大后驗概率方程: 或或 2 2 (| )1(| ) map map Czfz d (| ) 0 map fz (| )fz ln(| ) 0 map fz 1,| 2 () 0,| 2 C ， 均勻代價：均勻代價： 2021/2/1139 由關(guān)系式由關(guān)系式: 兩邊取對數(shù)并對兩邊取對數(shù)并對 求導(dǎo)求導(dǎo),得最大后驗概率方程的另一形式得最大后驗概率方程的另一形式: ( |)( )

16、(| ) ( ) f zf fz f z ln( |)ln( ) 0 map f zf 2021/2/1140 例例1設(shè)觀測為設(shè)觀測為 ,其中被估計量其中被估計量A在在-A0,A0上均勻分布上均勻分布, 測量噪聲測量噪聲vN(0, ),求求A的最大后驗概率估計和最小均方估計。的最大后驗概率估計和最小均方估計。 zAv 2 v 2 2 1() ( |)exp 22 v v zA f z A ( |) ( ) (| ) ( ) f z A f A f A z f z ( |) ( ) ( |) ( ) (| ) ( ) ( |) ( ) ms Af z A f A dA f z A f A AAf

17、 A z dAAdA f z f z A f A dA 2021/2/1141 例例2 高斯白噪聲中的直流電平估計高斯白噪聲中的直流電平估計- -高斯先驗分布。設(shè)有高斯先驗分布。設(shè)有N N次獨立次獨立 觀測觀測z zi i=A+v=A+vi i,i=1,2,.N,i=1,2,.N, ,其中其中vN(0, )vN(0, ), ,A A , ,求求A A的的 估計。估計。 2 2 (,) AA N ( |) ( ) (| ) ( |) ( ) fA f A f A fA f A dA z z z 2 | 2 2 | | 11 exp() 2 2 A z A z A z A 2021/2/1142

18、1 1、線性最小均方估計、線性最小均方估計(linear minimum mean (linear minimum mean square error estimation) square error estimation) 前提前提:不知道不知道 ,知道知道 的一、二階矩特性的一、二階矩特性 準則準則:使均方誤差最小的線性估計使均方誤差最小的線性估計 實現(xiàn)實現(xiàn): 選擇適當?shù)南禂?shù)選擇適當?shù)南禂?shù)ai及及b,使估計均方誤差最小。使估計均方誤差最小。 1 N lmsii i a zb ( )f 2 2 1 ( )() min N ii i MseEEa zb 2021/2/1143 ()0 jlms

19、j EzEz 1 N ii i bEa E z 正交條件正交條件 1 0 N iij i Ea zb z 正交條件是信號最佳線性濾波和估計算法的基礎(chǔ)正交條件是信號最佳線性濾波和估計算法的基礎(chǔ),在隨機信在隨機信 號處理中占有十分重要的地位。號處理中占有十分重要的地位。 2021/2/1144 性能分析性能分析: 線性最小均方估計為無偏估計線性最小均方估計為無偏估計,即有即有: 線性最小均方估計的均方誤差等于誤差與被估計量乘線性最小均方估計的均方誤差等于誤差與被估計量乘 積的統(tǒng)計均值積的統(tǒng)計均值,即即: 其中其中: lms EE 2 EE lms 2021/2/1145 例例1、設(shè)觀測模型為設(shè)觀測

20、模型為zi=s+vi ,i=1,2,.,其中隨機參量其中隨機參量s以等概以等概 率取率取-2,-1,0,1,2諸值諸值,噪聲干擾噪聲干擾vi以等概率取以等概率取-1,0,1諸值諸值, 且且Esvi=0, ,試根據(jù)一次、二次、三次觀測數(shù)試根據(jù)一次、二次、三次觀測數(shù) 據(jù)求參量據(jù)求參量s的線性最小均方估計。的線性最小均方估計。 2 ijv Ev v = ij 2021/2/1146 1 1、最小二乘估計（、最小二乘估計（Least square estimationLeast square estimation） 前提前提:適用于線性觀測模型適用于線性觀測模型; 不規(guī)定估計的概率或統(tǒng)計描述不規(guī)定估計

21、的概率或統(tǒng)計描述; 需要關(guān)于被估計量的觀測信號模型需要關(guān)于被估計量的觀測信號模型 ; 準則準則:使觀測與估計偏差的平方和最小。使觀測與估計偏差的平方和最小。 假定觀測模型為線性假定觀測模型為線性,即觀測數(shù)據(jù)即觀測數(shù)據(jù)zk與參量與參量 1, 2, M之之 間服從間服從: 其中其中hk1,hk2,hkM為已知常系數(shù)。為已知常系數(shù)。 1122kkkkMMk zhhhnNk, 2 , 1 2021/2/1147 將觀測方程用矢量及矩陣表示將觀測方程用矢量及矩陣表示: 最小二乘估計是使觀測與估計偏差的平方和最小最小二乘估計是使觀測與估計偏差的平方和最小,即即: zHn min T JzHzH ( )min T W JzHW zH 1 TT ls H HH z最小二乘估計為：最小二乘估計為： 1 () TT lsw H WHH Wz 加權(quán)最小二乘估計為：加權(quán)最小二乘估計為： 2021/2/1148 性能分析性能分析: 對于線性觀測模型對于線性觀測模型,最小二乘估計是線性估計最小二乘估計是線性估計,對測量噪聲對測量噪聲 的統(tǒng)計特性無任何假設(shè)的統(tǒng)計特性無任何假設(shè),應(yīng)用十分廣泛應(yīng)用十分廣泛; 若噪聲均值為零若噪聲均值為零,最小二乘估計為無偏估計最小二乘估計為無偏估計,即有即有