雷達(dá)數(shù)據(jù)處理及應(yīng)用（第四版） 課件 第2章 參數(shù)估計(jì)

于洪波雷達(dá)數(shù)據(jù)處理及應(yīng)用雷達(dá)數(shù)據(jù)處理及應(yīng)用

第2章參數(shù)估計(jì)2參數(shù)估計(jì)1.參數(shù)估計(jì)定義參數(shù)估計(jì)狀態(tài)估計(jì)1參數(shù)估計(jì)的概念參數(shù)估計(jì)為根據(jù)一組與未知參數(shù)有關(guān)的觀測(cè)數(shù)據(jù)按照某種準(zhǔn)則推算出未知參數(shù)的值。這時(shí)得到的估計(jì)在該準(zhǔn)則下是最優(yōu)的。參數(shù)估計(jì)示意圖黑盒子

設(shè)z(j)是參數(shù)x的量測(cè)值(2.1)對(duì)于k個(gè)這樣的量測(cè)Zk={z(1),

z(2),…,

z(k)}={z(j),j=1,2,…,k}

按照某種準(zhǔn)則構(gòu)造函數(shù)

(2.2)就是在該準(zhǔn)則下對(duì)參數(shù)x的估計(jì)。2.估計(jì)準(zhǔn)則

代價(jià)函數(shù)(風(fēng)險(xiǎn)函數(shù))：是真實(shí)值和估計(jì)值的函數(shù)，通常用表示。對(duì)于單參量估計(jì)常把代價(jià)函數(shù)設(shè)定為估計(jì)誤差的函數(shù)，即。貝葉斯提出的平均代價(jià)最小的估計(jì)準(zhǔn)則。選擇估計(jì)使平均代價(jià)達(dá)到最小。平均代價(jià)（平均風(fēng)險(xiǎn)）z的函數(shù)由條件概率密度函數(shù)可得條件平均代價(jià)或條件平均風(fēng)險(xiǎn)此時(shí)所得到的估計(jì)為貝葉斯估計(jì)。(1)均勻代價(jià)函數(shù)

均勻代價(jià)函數(shù)-Δ/2Δ/210最大后驗(yàn)估計(jì)三種典型的代價(jià)函數(shù)(2)

誤差平方代價(jià)函數(shù)

誤差平方代價(jià)函數(shù)0最小均方誤差估計(jì)(3)誤差絕對(duì)值代價(jià)函數(shù)誤差絕對(duì)值代價(jià)函數(shù)條件中位數(shù)估計(jì)0將均勻代價(jià)函數(shù)代入條件平均代價(jià)函數(shù)中可得2四種基本的估計(jì)方法后驗(yàn)概率密度函數(shù)圖1.最大后驗(yàn)估計(jì)(maximumaposterior

estimate

)意義：在給定量測(cè)Zk的條件下，參數(shù)x落在最大后驗(yàn)估計(jì)某個(gè)鄰域內(nèi)的概率要比落在其它任何值相同鄰域內(nèi)的概率要大。最大后驗(yàn)估計(jì)由貝葉斯準(zhǔn)則

參數(shù)x的ML，即

2.最大似然估計(jì)(maximumlikelihoodestimate)最大后驗(yàn)估計(jì)和最大似然估計(jì)哪個(gè)更好？例2.1設(shè)觀測(cè)數(shù)據(jù)為其中：x為待估計(jì)的參數(shù)，w為量測(cè)噪聲，且w~N(0,σ2)，參數(shù)x與噪聲w是不相關(guān)的。(1)求最大似然估計(jì);(2)當(dāng)參數(shù)x具有單邊指數(shù)先驗(yàn)概率密度函數(shù)，即求它的最大后驗(yàn)估計(jì)。解:（1）最大似然估計(jì)w~N(0,σ2)由題意可知，且z=x+w，則z~N(x,σ2)參數(shù)x的似然函數(shù)從數(shù)學(xué)上講，估計(jì)算法的實(shí)際就是求某個(gè)給定的指數(shù)函數(shù)的極值問(wèn)題。似然方程參數(shù)x的似然函數(shù)=0(2)最大后驗(yàn)估計(jì)由于可得最大后驗(yàn)方程由最大后驗(yàn)方程確定的估計(jì)即為最大后驗(yàn)估計(jì)。即當(dāng)時(shí)，可使達(dá)到極大。若并且a→0，此時(shí)由已知條件可知將誤差平方代價(jià)函數(shù)代入條件平均代價(jià)函數(shù)中可得3.最小均方誤差估計(jì)(MinimumMean-SquareErrorEstimation)選取使達(dá)到極小，即可得到最小均方誤差估計(jì)。使均方誤差達(dá)到極小的x值的估計(jì)稱為最小均方誤差估計(jì)。最小均方誤差估計(jì)(MMSE)(2.9)它的解是條件均值，用條件概率密度函數(shù)可表示為

(2.10)最小均方誤差估計(jì)是無(wú)偏估計(jì)；估計(jì)的均方誤差即為估計(jì)誤差的方差；最小均方誤差估計(jì)的均方誤差陣小于任何其它估計(jì)準(zhǔn)則所得到的均方誤差陣。最小均方誤差估計(jì)的性質(zhì)4.最小二乘估計(jì)(Least-SquaresEstimation)對(duì)于量測(cè)

(2.6)k時(shí)刻參數(shù)x的最小二乘估計(jì)是指使該時(shí)刻誤差的平方和達(dá)到最小的x值，即

(2.7)最大后驗(yàn)估計(jì)

最大似然估計(jì)

最小二乘估計(jì)

最小均方誤差估計(jì)最大后驗(yàn)估計(jì)需要知道似然函數(shù)和待估計(jì)參數(shù)的先驗(yàn)概率密度函數(shù)；最大似然估計(jì)只需要知道似然函數(shù)；最小均方誤差估計(jì)只需要知道一、二階統(tǒng)計(jì)矩，而不需要其它概率假定；最小二乘估計(jì)去掉了全部概率假定，把估計(jì)問(wèn)題作為確定性的最優(yōu)化問(wèn)題來(lái)處理，其可看作不斷放寬統(tǒng)計(jì)要求的最后一步。隨機(jī)模型：參數(shù)是具有先驗(yàn)的概率密度函數(shù)p(x)的隨機(jī)變量，估計(jì)常用的方法為貝葉斯方法，包括最大后驗(yàn)估計(jì)(MAP)、最小均方誤差估計(jì)(MMSE)。非隨機(jī)模型：參數(shù)有一個(gè)未知的真實(shí)值x0，估計(jì)常用的方法為非貝葉斯方法，包括最大似然估計(jì)(ML)、最小二乘估計(jì)(LS)。例題2.2

假定接收到的目標(biāo)量測(cè)數(shù)據(jù)為k個(gè)，即其中x為待估計(jì)的隨機(jī)變量，求(1)參數(shù)x的最小二乘估計(jì)；(2)若w(j)為獨(dú)立、同分布的零均值高斯分布隨機(jī)變量，方差為σ2，求參數(shù)x的最大似然估計(jì)。解：（1）最小二乘估計(jì)，由定義有設(shè)由則可得即該情況下參數(shù)x的最小二乘估計(jì)是樣本均值。對(duì)其求一階和二階導(dǎo)數(shù)有(2)最大似然估計(jì)

高斯情況下，隨機(jī)變量X和Y相互獨(dú)立的充要條件為相關(guān)系數(shù)ρ=0。即ρ=0，所以不同時(shí)刻測(cè)量數(shù)據(jù)z(i)和z(j)(i≠j)之間是統(tǒng)計(jì)獨(dú)立的。例題2.3

雷達(dá)測(cè)量數(shù)據(jù)為z=x+w(2.11)其中：x為待估計(jì)的參數(shù)，w為量測(cè)噪聲，且w~N(0,σ2)。若已知參數(shù)x的先驗(yàn)信息為：x是高斯隨機(jī)變量，且其均值為、方差為σ02，參數(shù)x與噪聲w是不相關(guān)的，試?yán)脺y(cè)量數(shù)據(jù)對(duì)參數(shù)x做出估計(jì)，要求得到的估計(jì)值圍繞著待估計(jì)參數(shù)波動(dòng)最小。解：參數(shù)x的最小均方誤差估計(jì)似然函數(shù)為

通過(guò)對(duì)x配平和重新排列指數(shù)，可得參數(shù)x的后驗(yàn)概率密度函數(shù)為

(2.20)其中：最大后驗(yàn)估計(jì)

最大似然估計(jì)

最小均方誤差估計(jì)小結(jié)

最小二乘估計(jì)于洪波雷達(dá)數(shù)據(jù)處理及應(yīng)用雷達(dá)數(shù)據(jù)處理及應(yīng)用

第2章參數(shù)估計(jì)1．無(wú)偏性對(duì)于具有真實(shí)值x0的非隨機(jī)參數(shù)x，如果則說(shuō)估計(jì)是無(wú)偏的。若在的極限情況下上式成立，則稱為漸近無(wú)偏估計(jì)，否則為有偏估計(jì)。

一、估計(jì)性質(zhì)稱為以作為參數(shù)x的估計(jì)的系統(tǒng)誤差。

對(duì)于具有先驗(yàn)概率密度函數(shù)p(x)的隨機(jī)變量x，如果則說(shuō)估計(jì)是無(wú)偏的。如果在的極限情況下上式成立，則稱為漸近無(wú)偏估計(jì)，否則為有偏估計(jì)。稱為以作為參數(shù)x的估計(jì)的系統(tǒng)誤差。無(wú)偏估計(jì)的實(shí)際意義:無(wú)系統(tǒng)誤差.2．估計(jì)誤差的方差設(shè)和都是根據(jù)觀測(cè)值z(mì)1,z2,…,zk做出的隨機(jī)參數(shù)x的無(wú)偏估計(jì)，若有則稱估計(jì)較有效。對(duì)于具有真實(shí)值x0的非隨機(jī)參數(shù)x的無(wú)偏估計(jì)對(duì)于隨機(jī)參數(shù)x的無(wú)偏估計(jì)

一致估計(jì)是指隨著可利用的觀測(cè)數(shù)據(jù)數(shù)量的增加，估計(jì)器給出的估計(jì)值越來(lái)越趨近于真實(shí)值。3．一致估計(jì)X(t)x1(t)x2(t)x3(t)┇xn(t)┇如果則稱隨機(jī)序列{ξ

n}均方收斂于ξ。

如果隨著接收樣本數(shù)量的增加，均方誤差的極限等于零，即則稱估計(jì)是均方一致（相合）的。若某個(gè)估計(jì)為一致估計(jì)，則隨著接收樣本數(shù)的增加估計(jì)性能將變得更好。4．有效估計(jì)(EfficientEstimators)

有效估計(jì)：若某參數(shù)估計(jì)為無(wú)偏估計(jì)，且對(duì)應(yīng)的均方誤差達(dá)到克拉美-羅下界(CRLB)，則稱該估計(jì)為有效估計(jì)。

克拉美-羅下限揭示了無(wú)偏估計(jì)量估計(jì)方差的最小值，稱此最小值為克拉美-羅下限（Cramer-Rao-CRLB）。

如果非隨機(jī)參數(shù)x的估計(jì)是無(wú)偏估計(jì)，并且參數(shù)估計(jì)對(duì)應(yīng)的均方誤差不小于Cramer-Rao下界(CRLB)

則估計(jì)誤差方差等于CRLB的估計(jì)稱為非隨機(jī)參數(shù)x的有效估計(jì)。其中：是Fisher信息

對(duì)于非隨機(jī)參數(shù)而言，如果存在達(dá)到CRLB的估計(jì)量，那么這個(gè)估計(jì)就是最大似然估計(jì)，這時(shí)最大似然估計(jì)就是最好的，若有效估計(jì)不存在，其最大似然估計(jì)則不能認(rèn)為是有效估計(jì)。結(jié)論：

如果隨機(jī)參數(shù)x的估計(jì)是無(wú)偏估計(jì)，并且其均方誤差是有界的

則估計(jì)誤差方差等于CRLB的估計(jì)稱為隨機(jī)參數(shù)x的有效估計(jì)。其中：

例題2.3

量測(cè)方程z=x+w，其中x為待估計(jì)的參數(shù)，量測(cè)噪聲w~N(0,σ2)，參數(shù)x與噪聲w是不相關(guān)的。(1)當(dāng)參數(shù)x為未知常數(shù)時(shí)，可求得其最大似然估計(jì)和最小二乘估計(jì)為(2)當(dāng)參數(shù)x是具有均值、方差σ02的高斯隨機(jī)變量時(shí)，可求得其最大后驗(yàn)估計(jì)和最小均方誤差估計(jì)為例題2.5

判斷例題2.3給出的四種估計(jì)是不是無(wú)偏估計(jì)？哪一個(gè)估計(jì)效果更好？是否為有效估計(jì)？解：參數(shù)x的ML估計(jì)、LS估計(jì)、MAP估計(jì)和MMSE估計(jì)都是無(wú)偏估計(jì)。

參數(shù)x的ML估計(jì)和MAP估計(jì)誤差的方差分別為當(dāng)參數(shù)x為未知的常數(shù)時(shí)當(dāng)參數(shù)x為隨機(jī)變量時(shí)由隨機(jī)變量有效估計(jì)的定義有

最小均方誤差估計(jì)是使均方誤差達(dá)到極小的x值，即二、靜態(tài)向量情況下的參數(shù)估計(jì)高斯情況下

1.最小均方誤差估計(jì)2.線性最小均方誤差估計(jì)所謂線性最小均方誤差估計(jì)，就是假定所求的估計(jì)量是觀測(cè)量的線性函數(shù)，以估計(jì)誤差方差矩陣達(dá)到最小作為最優(yōu)估計(jì)的性能指標(biāo)的估計(jì)方法。步驟：(1)估計(jì)是觀測(cè)量的線性函數(shù);(2)無(wú)偏性;(3)均方誤差最小。x線性最小均方誤差估計(jì)的幾何表示觀測(cè)空間估計(jì)誤差-正交性設(shè)估計(jì)量是觀測(cè)量z

的線性函數(shù)其中：b為非隨機(jī)向量，A為非隨機(jī)矩陣。(1)構(gòu)造觀測(cè)量的線性函數(shù)(2)無(wú)偏性(3)正交性(4)估計(jì)的均方誤差例題：設(shè)觀測(cè)模型為zi=x+vi,i=1,2,…其中隨機(jī)變量x以等概率取{-2,-1,0,1,2}諸值，噪聲干擾vi以等概率取{-1,0,1}諸值，且E{xvi}=0，E{vivj}=，試根據(jù)1次、2次、3次測(cè)量數(shù)據(jù)求參量x的線性最小均方誤差估計(jì)，并問(wèn)隨著觀測(cè)數(shù)據(jù)的增多線性最小均方估計(jì)呈現(xiàn)什么趨勢(shì)？

解：無(wú)偏性由正交條件2次測(cè)量數(shù)據(jù)3次測(cè)量數(shù)據(jù)線性最小均方誤差估計(jì)需要知道被估計(jì)量x和觀測(cè)量z的一、二階矩，即均值E[x]、E[z]，方差Var[x]、Var[z]和協(xié)方差Cov[x,z]。一、估計(jì)性質(zhì)無(wú)偏性方差有效估計(jì)一致估計(jì)小結(jié)二、線性最小均方誤差估計(jì)于洪波雷達(dá)數(shù)據(jù)處理及應(yīng)用雷達(dá)數(shù)據(jù)處理及應(yīng)用

第2章參數(shù)估計(jì)1．無(wú)偏性對(duì)于具有真實(shí)值x0的非隨機(jī)參數(shù)x，如果則說(shuō)估計(jì)是無(wú)偏的。若在的極限情況下上式成立，則稱為漸近無(wú)偏估計(jì)，否則為有偏估計(jì)。

一、估計(jì)性質(zhì)稱為以作為參數(shù)x的估計(jì)的系統(tǒng)誤差。

對(duì)于具有先驗(yàn)概率密度函數(shù)p(x)的隨機(jī)變量x，如果則說(shuō)估計(jì)是無(wú)偏的。如果在的極限情況下上式成立，則稱為漸近無(wú)偏估計(jì)，否則為有偏估計(jì)。稱為以作為參數(shù)x的估計(jì)的系統(tǒng)誤差。無(wú)偏估計(jì)的實(shí)際意義:無(wú)系統(tǒng)誤差.2．估計(jì)誤差的方差設(shè)和都是根據(jù)觀測(cè)值z(mì)1,z2,…,zk做出的隨機(jī)參數(shù)x的無(wú)偏估計(jì)，若有則稱估計(jì)較有效。對(duì)于具有真實(shí)值x0的非隨機(jī)參數(shù)x的無(wú)偏估計(jì)對(duì)于隨機(jī)參數(shù)x的無(wú)偏估計(jì)

一致估計(jì)是指隨著可利用的觀測(cè)數(shù)據(jù)數(shù)量的增加，估計(jì)器給出的估計(jì)值越來(lái)越趨近于真實(shí)值。3．一致估計(jì)X(t)x1(t)x2(t)x3(t)┇xn(t)┇如果則稱隨機(jī)序列{ξ

n}均方收斂于ξ。

如果隨著接收樣本數(shù)量的增加，均方誤差的極限等于零，即則稱估計(jì)是均方一致（相合）的。若某個(gè)估計(jì)為一致估計(jì)，則隨著接收樣本數(shù)的增加估計(jì)性能將變得更好。4．有效估計(jì)(EfficientEstimators)

有效估計(jì)：若某參數(shù)估計(jì)為無(wú)偏估計(jì)，且對(duì)應(yīng)的均方誤差達(dá)到克拉美-羅下界(CRLB)，則稱該估計(jì)為有效估計(jì)。

克拉美-羅下限揭示了無(wú)偏估計(jì)量估計(jì)方差的最小值，稱此最小值為克拉美-羅下限（Cramer-Rao-CRLB）。

如果非隨機(jī)參數(shù)x的估計(jì)是無(wú)偏估計(jì)，并且參數(shù)估計(jì)對(duì)應(yīng)的均方誤差不小于Cramer-Rao下界(CRLB)

則估計(jì)誤差方差等于CRLB的估計(jì)稱為非隨機(jī)參數(shù)x的有效估計(jì)。其中：是Fisher信息

對(duì)于非隨機(jī)參數(shù)而言，如果存在達(dá)到CRLB的估計(jì)量，那么這個(gè)估計(jì)就是最大似然估計(jì)，這時(shí)最大似然估計(jì)就是最好的，若有效估計(jì)不存在，其最大似然估計(jì)則不能認(rèn)為是有效估計(jì)。結(jié)論：

如果隨機(jī)參數(shù)x的估計(jì)是無(wú)偏估計(jì)，并且其均方誤差是有界的

則估計(jì)誤差方差等于CRLB的估計(jì)稱為隨機(jī)參數(shù)x的有效估計(jì)。其中：

例題2.3

量測(cè)方程z=x+w，其中x為待估計(jì)的參數(shù)，量測(cè)噪聲w~N(0,σ2)，參數(shù)x與噪聲w是不相關(guān)的。(1)當(dāng)參數(shù)x為未知常數(shù)時(shí)，可求得其最大似然估計(jì)和最小二乘估計(jì)為(2)當(dāng)參數(shù)x是具有均值、方差σ02的高斯隨機(jī)變量時(shí)，可求得其最大后驗(yàn)估計(jì)和最小均方誤差估計(jì)為例題2.5

判斷例題2.3給出的四種估計(jì)是不是無(wú)偏估計(jì)？哪一個(gè)估計(jì)效果更好？是否為有效估計(jì)？解：參數(shù)x的ML估計(jì)、LS估計(jì)、MAP估計(jì)和MMSE估計(jì)都是無(wú)偏估計(jì)。

參數(shù)x的ML估計(jì)和MAP估計(jì)誤差的方差分別為當(dāng)參數(shù)x為未知的常數(shù)時(shí)當(dāng)參數(shù)x