估計(jì)理論隨機(jī)信號(hào)理課件

聲納系統(tǒng)----利用聲波信號(hào)確定船只的位置圖象處理----使用紅外檢測(cè)是否有飛機(jī)出現(xiàn)圖象分析

----

根據(jù)照相機(jī)的圖象估計(jì)目標(biāo)的位置和方向，用機(jī)器人抓目標(biāo)時(shí)是必須的生物醫(yī)學(xué)----估計(jì)胎兒的心率控制

----

估計(jì)汽艇的位置，以便采用正確的導(dǎo)航行為，如Loran系統(tǒng)地震學(xué)

----

檢測(cè)地下是否有油田，并根據(jù)油層和巖層的密度，根據(jù)聲反射來估計(jì)油田的地下距離。所有這些問題都有一個(gè)共同的特點(diǎn)，那就是從含有噪聲的數(shù)據(jù)集中去提取我們所需要的有用信息，這些有用信息可能是“目標(biāo)出現(xiàn)與否”、“數(shù)字源發(fā)射的是0還是1”或者“目標(biāo)的距離”、“目標(biāo)的方位”，或”目標(biāo)的速度”等，由于噪聲固有的隨機(jī)性，因此，有用信息的提取必須采用統(tǒng)計(jì)的方法，這些統(tǒng)計(jì)方法的基礎(chǔ)就是檢測(cè)理論與估計(jì)理論，就是本課程后續(xù)章節(jié)學(xué)習(xí)的內(nèi)容。7.1

估計(jì)的基本概念7.2

性能指標(biāo)7.3

Cramer-RaoBound：估計(jì)性能界7.4

最大似然估計(jì)使似然函數(shù)最大，適用于常量估計(jì)7.5

貝葉斯估計(jì)：已知代價(jià)函數(shù)及先驗(yàn)概率，使估計(jì)付出的平均代價(jià)最小7.6

線性最小均方誤差估計(jì)：已知估計(jì)量的一、二階矩,使均方誤差最小的7.7

最小二乘估計(jì)：觀測(cè)與估計(jì)偏差的平方和最小估計(jì)問題通常是以下三種情況：n

根據(jù)觀測(cè)樣本直接對(duì)觀測(cè)樣本的各類統(tǒng)計(jì)特性作出估計(jì)；n

根據(jù)觀測(cè)樣本，對(duì)觀測(cè)樣本中的信號(hào)中的未知的待定參量作出估計(jì)，稱為信號(hào)的參量估計(jì)問題，又分為點(diǎn)估計(jì)和區(qū)間估計(jì)；n

根據(jù)觀測(cè)樣本對(duì)隨時(shí)間變化的信號(hào)作出波形估計(jì)，又稱為過程估計(jì)。信源s()P()觀測(cè)空間z估計(jì)()混合估計(jì)規(guī)則nP(n)信號(hào)參量估計(jì)的統(tǒng)計(jì)推斷模型例一般情況下，可以果與數(shù)據(jù)由一個(gè)映射關(guān)系確定1、估計(jì)量的性能標(biāo)準(zhǔn)

無偏性如果估計(jì)量的均值等于非隨機(jī)參量或等于隨機(jī)參量的均值，則稱估計(jì)量具有無偏性。即滿足：對(duì)于確定量，有：對(duì)于隨機(jī)量，有：

有效性對(duì)于無偏估計(jì)，如果估計(jì)的方差越小，表明估計(jì)量的取值越集中于真值附近，估計(jì)的性能越好。對(duì)于有偏估計(jì)，盡管估計(jì)的方差很小，但估計(jì)的誤差可能仍然很大。

有效性對(duì)于無偏估計(jì)，如果估計(jì)的方差越小，表明估計(jì)量的取值越集中于真值附近，估計(jì)的性能越好。用估計(jì)的方差還不能準(zhǔn)確地描述估計(jì)的性能，所以我們可以用均方誤差作為評(píng)價(jià)估計(jì)量性能的一個(gè)指標(biāo)。

一致性即對(duì)于任意小數(shù)，若有：則估計(jì)量

為一致估計(jì)量。若滿足則稱為均方一致估計(jì)量。Fisher信息量CRLB的其他拓展應(yīng)用隨機(jī)參量估計(jì)的CRLB參量函數(shù)的CRLB：估計(jì)目標(biāo)為標(biāo)量函數(shù)關(guān)系矢量函數(shù)關(guān)系應(yīng)用舉例應(yīng)用舉例信息矩陣最終結(jié)果(MaximumLikelihoodEstimate)1、最大似然估計(jì)似然函數(shù)例1、高斯白噪聲中的直流電平估計(jì)-未知參數(shù)。設(shè)有N次獨(dú)立觀測(cè)z

=A+v

，i=1,2,….N，其中v

~N(0,

)，A為未知2iii參數(shù)，

已知，求A的最大似然估計(jì)。2例2、設(shè)有N次獨(dú)立觀測(cè)z

=v

，i=1,2,….N，其中v

~N(0,2)iii，求2的最大似然估計(jì)。例3、高斯白噪聲中的直流電平估計(jì)-未知參數(shù)與未知方差。設(shè)有N次獨(dú)立觀測(cè)z

=A+v

，i=1,2,….N，其中iiv~N(0,22、A均為未知參數(shù)，求A和

的2最大似然估)，計(jì)。=[A

2]T1、貝葉斯估計(jì)在已知代價(jià)函數(shù)及先驗(yàn)概率基礎(chǔ)上，使估計(jì)付出的平均代價(jià)最小。設(shè)觀測(cè)值為z，待估參量為。估計(jì)誤差：設(shè)代價(jià)函數(shù)：貝葉斯估計(jì)準(zhǔn)則：統(tǒng)計(jì)平均代價(jià)：條件平均代價(jià)等價(jià)于使下式最?。?、典型代價(jià)函數(shù)及貝葉斯估計(jì)平方代價(jià)：絕對(duì)值代價(jià)：均勻代價(jià)：平方代價(jià)：

最小均方估計(jì)(MinimalSquare)對(duì)

求導(dǎo)數(shù)，并使其等于零：得：即，也稱為條件均值估計(jì)。絕對(duì)值代價(jià)：條件中位數(shù)估計(jì)(Median)對(duì)

求導(dǎo)數(shù)，并使其等于零，得：可見，估計(jì)為條件概率密度的中位數(shù)。均勻代價(jià)：最大后驗(yàn)概率估計(jì)(maximal

posterior

probability)應(yīng)當(dāng)選擇，使它處在后驗(yàn)概率的最大處。最大后驗(yàn)概率方程：或由關(guān)系式：兩邊取對(duì)數(shù)并對(duì)求導(dǎo)，得最大后驗(yàn)概率方程的另一形式：例1設(shè)觀測(cè)為，其中被估計(jì)量A在[-A,A

]上均勻分布,0測(cè)量噪聲v~N(0,

)，求A的最大后驗(yàn)概率估計(jì)和最小均方估計(jì)。0例2高斯白噪聲中的直流電平估計(jì)-高斯先驗(yàn)分布。設(shè)有N次獨(dú)立觀測(cè)z

=A+v

,i=1,2,….N，其中v~N(0,

)，A~，求iiA的估計(jì)。1、線性最小均方估計(jì)(linearminimummeansquareerrorestimation)前提：不知道，知道

的一、二階矩特性準(zhǔn)則：使均方誤差最小的線性估計(jì)實(shí)現(xiàn)：選擇適當(dāng)?shù)南禂?shù)a

及b，使估計(jì)均方誤差最小。i正交條件正交條件是信號(hào)最佳線性濾波和估計(jì)算法的基礎(chǔ)，在隨機(jī)信號(hào)處理中占有十分重要的地位。性能分析：線性最小均方估計(jì)為無偏估計(jì)，即有：線性最小均方估計(jì)的均方誤差等于誤差與被估計(jì)量乘積的統(tǒng)計(jì)均值，即：其中：例1、設(shè)觀測(cè)模型為z

=s+v

，i=1,2,..，其中隨機(jī)參量s以等ii概率取{-2,-1,0,1,2}諸值，噪聲干擾v

以等概率取{-1,0,1}諸i值，且E[sv

]=0，，試根據(jù)一次、二次、三i次觀測(cè)數(shù)據(jù)求參量s的線性最小均方估計(jì)。1、最小二乘估計(jì)（Leastsquareestimation）前提：適用于線性觀測(cè)模型；不規(guī)定估計(jì)的概率或統(tǒng)計(jì)描述；需要關(guān)于被估計(jì)量的觀測(cè)信號(hào)模型;準(zhǔn)則：使觀測(cè)與估計(jì)偏差的平方和最小。假定觀測(cè)模型為線性，即觀測(cè)數(shù)據(jù)z

與參量

，

，…，k12

之間服從：M其中h

，h

，…，h

為已知常系數(shù)。k1k2kM將觀測(cè)方程用矢量及矩陣表示：最小二乘估計(jì)是使觀測(cè)與估計(jì)偏差的平方和最小，即：最小二乘估計(jì)為：加權(quán)最小二乘估計(jì)為：性能分析：對(duì)于線性觀測(cè)模型，最小二乘估計(jì)是線性估計(jì)，對(duì)測(cè)量噪聲的統(tǒng)計(jì)特性無任何假設(shè)，應(yīng)用十分廣泛；若噪聲均值為零，最小二乘估計(jì)為無偏估計(jì)，即有：性能分析：最小二乘估計(jì)的均方誤差為：對(duì)于加權(quán)最小二乘估計(jì)，如果有一些模型的知識(shí)，如E(v)=0，，當(dāng)時(shí)，估計(jì)誤差的方差