信號處理理論與技術(shù)：第三章 估計理論

信號處理的根本任務是要提取有用的信息，有用信息是通過檢測、估計的方法對信號進行處理后提取出來的，所以、檢測、估計的信號處理方法是信號處理技術(shù)的理論基礎(chǔ)，它的應用領(lǐng)域十分廣泛。

12

聲納系統(tǒng)----利用聲波信號確定船只的位置

圖象處理----使用紅外檢測是否有飛機出現(xiàn)

圖象分析----根據(jù)照相機的圖象估計目標的位置和方向，用機器人抓目標時是必須的

生物醫(yī)學----估計胎兒的心率

控制----估計汽艇的位置，以便采用正確的導航行為，如Loran系統(tǒng)

地震學----檢測地下是否有油田，并根據(jù)油層和巖層的密度，根據(jù)聲反射來估計油田的地下距離。3所有這些問題都有一個共同的特點，那就是從含有噪聲的數(shù)據(jù)集中去提取我們所需要的有用信息，這些有用信息可能是“目標出現(xiàn)與否”、“數(shù)字源發(fā)射的是0還是1”或者“目標的距離”、“目標的方位”，或”目標的速度”等，由于噪聲固有的隨機性，因此，有用信息的提取必須采用統(tǒng)計的方法，這些統(tǒng)計方法的基礎(chǔ)就是檢測理論與估計理論。43.估計理論3.1估計的基本概念3.2性能指標3.3Cramer-RaoBound：估計性能界3.4最大似然估計

使似然函數(shù)最大，適用于常量估計3.5貝葉斯估計：已知代價函數(shù)及先驗概率，使估計付出的平均代價最小3.6線性最小均方誤差估計：已知估計量的一、二階矩,使均方

誤差最小的

3.3最小二乘估計：觀測與估計偏差的平方和最小5估計問題通常是以下三種情況：

根據(jù)觀測樣本直接對觀測樣本的各類統(tǒng)計特性作出估計；

根據(jù)觀測樣本，對觀測樣本中的信號中的未知的待定參量作出估計，稱為信號的參量估計問題，又分為點估計和區(qū)間估計；

根據(jù)觀測樣本對隨時間變化的信號作出波形估計，又稱為過程估計。3.1估計的基本概念6信源s()P()混合P(n)n估計規(guī)則估計()z觀測空間信號參量估計的統(tǒng)計推斷模型3.1估計的基本概念7例3.1估計的基本概念83.1估計的基本概念一般情況下，可以認為估計結(jié)果與觀測數(shù)據(jù)由一個映射關(guān)系確定

91、估計量的性能標準無偏性

如果估計量的均值等于非隨機參量或等于隨機參量的均值，則稱估計量具有無偏性。即滿足：對于確定量，有：對于隨機量，有：3.2性能指標10有效性

對于無偏估計，如果估計的方差越小，表明估計量的取值越集中于真值附近，估計的性能越好。3.2性能指標11對于有偏估計，盡管估計的方差很小，但估計的誤差可能仍然很大。3.2性能指標12有效性

對于無偏估計，如果估計的方差越小，表明估計量的取值越集中于真值附近，估計的性能越好。用估計的方差還不能準確地描述估計的性能，所以我們可以用均方誤差作為評價估計量性能的一個指標。3.2性能指標13一致性

即對于任意小數(shù)，若有：

則估計量

為一致估計量。若滿足則稱為均方一致估計量。3.2性能指標143.2性能指標153.2性能指標163.2性能指標173.2性能指標183.3Cramer-RaoBound193.3Cramer-RaoBound203.3Cramer-RaoBound213.3Cramer-RaoBound22Fisher信息量3.3Cramer-RaoBound233.3Cramer-RaoBound243.3Cramer-RaoBound25263.3Cramer-RaoBoundCRLB的其他拓展應用隨機參量估計的CRLB

參量函數(shù)的CRLB：估計目標為

標量函數(shù)關(guān)系

矢量函數(shù)關(guān)系

273.3Cramer-RaoBound應用舉例283.3Cramer-RaoBound應用舉例信息矩陣最終結(jié)果

2930復參數(shù)估計的CRB31321、最大似然估計3.4最大似然估計(MaximumLikelihoodEstimate)似然函數(shù)

333.4最大似然估計

最大似然估計的性質(zhì)：最大似然估計一般不是無偏的，但其偏差可以通過對估計值某個合適的常數(shù)加以消除；最大似然估計是一致估計；最大似然估計給出優(yōu)效估計，如果它存在的話；對于大的N，最大似然估計

為高斯分布，并且其均值為θ，方差為343.4最大似然估計

最大似然估計的性能分析Cramer-Rao不等式取等于號的條件為35例1、高斯白噪聲中的直流電平估計-未知參數(shù)。設有N次獨立觀測zi=A+vi

，i=1,2,….N，其中vi~N(0,2)，A為未知參數(shù)，2已知，求A的最大似然估計。

3.4最大似然估計363.4最大似然估計373.4最大似然估計可求得最大似然估計為383.4最大似然估計參數(shù)變換的最大似然估計393.4最大似然估計40例3、實際問題：信道干擾和噪聲的聯(lián)合估計，模型3.4最大似然估計A:信道增益S(n):發(fā)送信號，

假設為PAM調(diào)制I:確定性干擾v(n):高斯噪聲求信干噪比：41似然函數(shù)：3.4最大似然估計對數(shù)似然函數(shù)：42令導數(shù)為03.4最大似然估計=043迭代求解-----初始化3.4最大似然估計44CRLB3.4最大似然估計其中453.4最大似然估計仿真結(jié)果463.4最大似然估計仿真結(jié)果473.4最大似然估計仿真結(jié)果48（Bayes，Thomas）(1302─1361)

貝葉斯是英國數(shù)學家.1302年生于倫敦；1361年4月13日卒于坦布里奇韋爾斯.

貝葉斯是一位自學成才的數(shù)學家.曾助理宗教事務，后來長期擔任坦布里奇韋爾斯地方教堂的牧師.1342年，貝葉斯被選為英國皇家學會會員.

如今在概率、數(shù)理統(tǒng)計學中以貝葉斯姓氏命名的有貝葉斯公式、貝葉斯風險、貝葉斯決策函數(shù)、貝葉斯決策規(guī)則、貝葉斯估計量、貝葉斯方法、貝葉斯統(tǒng)計等等.

3.5貝葉斯估計49

貝葉斯方法是基于貝葉斯定理而發(fā)展起來用于系統(tǒng)地闡述和解決統(tǒng)計問題的方法(SamuelKotz和吳喜之,2000)。貝葉斯推斷的基本方法是將關(guān)于未知參數(shù)的先驗信息與樣本信息綜合，再根據(jù)貝葉斯定理，得出后驗信息，然后根據(jù)后驗信息去推斷未知參數(shù)(茆詩松和王靜龍等,1998年)。

“貝葉斯提出了一種歸納推理的理論(貝葉斯定理)，以后被一些統(tǒng)計學者發(fā)展為一種系統(tǒng)的統(tǒng)計推斷方法，稱為貝葉斯方法.”──摘自《中國大百科全書》（數(shù)學卷）3.5貝葉斯估計50

統(tǒng)計學有兩個主要學派:頻率學派與貝葉斯學派.它們之間有異同,貝葉斯統(tǒng)計是在與經(jīng)典統(tǒng)計的爭論中發(fā)展起來,主要的爭論有:1.未知參數(shù)可否作為隨機變量?2.事件的概率是否一定的頻率解釋?3.概率是否可用經(jīng)驗來確定?……….三種信息的概念經(jīng)典統(tǒng)計學派規(guī)定統(tǒng)計推斷使用兩種信息:

總體信息

樣本信息

而貝葉斯學派認為是三種信息:

總體信息

樣本信息

先驗信息先驗分布與后驗分布3.5貝葉斯估計51-基本原理

3.5貝葉斯估計52

-基本原理3.5貝葉斯估計53-基本原理3.5貝葉斯估計54-基本原理3.5貝葉斯估計后驗概率55-基本原理3.5貝葉斯估計561、貝葉斯估計

在已知代價函數(shù)及先驗概率基礎(chǔ)上，使估計付出的平均代價最小。設觀測值為z，待估參量為。估計誤差：設代價函數(shù)：貝葉斯估計準則：3.5貝葉斯估計57條件平均代價統(tǒng)計平均代價：等價于使下式最?。?.5貝葉斯估計582、典型代價函數(shù)及貝葉斯估計3.5貝葉斯估計平方代價：絕對值代價：均勻代價：59最小均方估計(MinimalSquare)對

求導數(shù)，并使其等于零：得：即

，也稱為條件均值估計。3.5貝葉斯估計平方代價：60條件中位數(shù)估計(Median)對

求導數(shù)，并使其等于零，得：可見，估計為條件概率密度

的中位數(shù)。3.5貝葉斯估計絕對值代價：61最大后驗概率估計(maximalposteriorprobability)應當選擇

，使它處在后驗概率

的最大處。最大后驗概率方程：

或3.5貝葉斯估計均勻代價：62由關(guān)系式：兩邊取對數(shù)并對求導，得最大后驗概率方程的另一形式：3.5貝葉斯估計63例1設觀測為

，其中被估計量A在[-A0,A0]上均勻分布,測量噪聲v~N(0,)，求A的最大后驗概率估計和最小均方估計。

3.5貝葉斯估計64例2高斯白噪聲中的直流電平估計-高斯先驗分布。設有N次獨立觀測zi=A+vi,i=1,2,….N，其中v~N(0,)，A~，求A的估計。

3.5貝葉斯估計651、線性最小均方估計(linearminimummeansquareerrorestimation)

前提：不知道

，

知道

的一、二階矩特性

準則：使均方誤差最小的線性估計

實現(xiàn)：

選擇適當?shù)南禂?shù)ai及b，使估計均方誤差最小。3.6線性最小均方估計663.6線性最小均方估計67正交條件正交條件是信號最佳線性濾波和估計算法的基礎(chǔ)，在隨機信號處理中占有十分重要的地位。3.6線性最小均方估計正交性原理:誤差與數(shù)據(jù)正交68性能分析：線性最小均方估計為無偏估計3.6線性最小均方估計69估計的均方誤差=03.6線性最小均方估計702.矢量形式的最小均方估計3.6線性最小均方估計71矢量函數(shù)的求導常用求導公式3.6線性最小均方估計723.6線性最小均方估計733.6線性最小均方估計743.6線性最小均方估計75b=0的特殊情況3.6線性最小均方估計76例：

高斯白噪聲中具有高斯概率密度的恒定電平估計773.6線性最小均方估計783.6線性最小均方估計79標量形式：由無偏性可確定系數(shù)b由正交原理可確定系數(shù)ai矢量形式：3.6線性最小均方估計80例子：信道均衡器設計通過對接收信號的線性組合，從x恢復出y更一般化的信號估計問題：基于接收信號，構(gòu)造一定結(jié)構(gòu)的估計器，從中恢復出期望的信號（又稱信號估計問題）。3.6線性最小均方估計81例子：信道均衡器設計輸入H(z)輸出噪聲通過對接收信號不同時刻的線性組合，從x恢復出y信道模型：3.6線性最小均方估計82期望信號估計信號實現(xiàn)最佳濾波的常用準則：最小均方誤差線性估計：導致簡單的濾波器求解算法易于進行性能分析3.6線性最小均方估計83期望信號平均功率觀測信號和期望信號的互相關(guān)觀測信號的相關(guān)矩陣3.6線性最小均方估計841、最小二乘估計（Leastsquareestimation）

前提：適用于線性觀測模型；

不規(guī)定估計的概率或統(tǒng)計描述；

需要關(guān)于被估計量的觀測信號模型;準則：使觀測與估計偏差的平方和最小。

3.3最小二乘估計85假設觀測數(shù)據(jù)與未知參數(shù)之間的矩陣方程為其中：X是一組觀測值，A是N×p（p≤N)維系數(shù)矩陣，為已知；是一個N維“擬合誤差”向量，未知。，為已知；θ是一個p維的未知數(shù)向量，3.3最小二乘估計86最小二乘法估計準則：使誤差平方和最小，既有

由此得到的的估值記為為了描述方便，令，展開為

令偏導得零

，叫做最小二乘估計。3.3最小二乘估計87以上方程有兩類不同的解，分析過程如下。非奇異，稱可以唯一確定，有

2)Rank(A)<p奇異，稱更一般地說，如果參數(shù)在不同值給出的抽樣空間上的有相同分布，則稱這一參數(shù)是不可以辯識的。是可識別的，是不可識別。1)Rank(A)=p此時也就是說未知參數(shù)此時3.3最小二乘估計883.3最小二乘估計89例：根據(jù)以下對二維矢量θ的兩次觀測：求出θ的線性最小二乘估計矢量。

解：由兩次觀測方程，可得矩陣形式觀測方程為：3.3最小二乘估計90利用線性最小二乘矢量的構(gòu)造公式，得：3.3最小二乘估計91加權(quán)最小二乘估計

我們考慮更一般的情況，即考慮由下面公式給出的加權(quán)誤差函數(shù)，

其中W為加權(quán)系數(shù)矩陣。的估計使最小化，既有令偏導得零現(xiàn)在我們來求3.3最小二乘估計92

當誤差向量的各分量不僅具有相同的方差，而且還不相關(guān)時，最小二乘估計具有在最小方差的意義上是最佳的但是如果誤差分量具有不相同的方差，或者分量之間是相關(guān)的，此時很明顯，最小二乘估計不是最佳的，通過加權(quán)可獲得更小誤差，可以