平穩(wěn)隨機(jī)過程估計(jì)理論

平穩(wěn)隨機(jī)過程估計(jì)理論1第1頁，共36頁，2023年，2月20日，星期一信號處理的根本任務(wù)是要提取有用的信息，有用信息是通過檢測、估計(jì)的方法對信號進(jìn)行處理后提取出來的，所以、檢測、估計(jì)的信號處理方法是信號處理技術(shù)的理論基礎(chǔ)，它的應(yīng)用領(lǐng)域十分廣泛。2第2頁，共36頁，2023年，2月20日，星期一3第3頁，共36頁，2023年，2月20日，星期一聲納系統(tǒng)----利用聲波信號確定船只的位置圖象處理----使用紅外檢測是否有飛機(jī)出現(xiàn)圖象分析----根據(jù)照相機(jī)的圖象估計(jì)目標(biāo)的位置和方向，用機(jī)器人抓目標(biāo)時是必須的生物醫(yī)學(xué)----估計(jì)胎兒的心率控制----估計(jì)汽艇的位置，以便采用正確的導(dǎo)航行為，如Loran系統(tǒng)地震學(xué)----檢測地下是否有油田，并根據(jù)油層和巖層的密度，根據(jù)聲反射來估計(jì)油田的地下距離。4第4頁，共36頁，2023年，2月20日，星期一所有這些問題都有一個共同的特點(diǎn)，那就是從含有噪聲的數(shù)據(jù)集中去提取我們所需要的有用信息，這些有用信息可能是“目標(biāo)出現(xiàn)與否”、“數(shù)字源發(fā)射的是0還是1”或者“目標(biāo)的距離”、“目標(biāo)的方位”，或”目標(biāo)的速度”等，由于噪聲固有的隨機(jī)性，因此，有用信息的提取必須采用統(tǒng)計(jì)的方法，這些統(tǒng)計(jì)方法的基礎(chǔ)就是檢測理論與估計(jì)理論，就是本課程后續(xù)章節(jié)學(xué)習(xí)的內(nèi)容。5第5頁，共36頁，2023年，2月20日，星期一§5.信號的估計(jì)問題5.1估計(jì)的基本概念5.2確定性信號處理的最小平方問題5.3隨機(jī)信號參數(shù)的最小均方估計(jì)5.4最小二乘估計(jì)：觀測與估計(jì)偏差的平方和最小5.5波形估計(jì)6第6頁，共36頁，2023年，2月20日，星期一估計(jì)問題通常是以下三種情況：根據(jù)觀測樣本直接對觀測樣本的各類統(tǒng)計(jì)特性作出估計(jì)；根據(jù)觀測樣本，對觀測樣本中的信號中的未知的待定參量作出估計(jì)，稱為信號的參量估計(jì)問題，又分為點(diǎn)估計(jì)和區(qū)間估計(jì)；根據(jù)觀測樣本對隨時間變化的信號作出波形估計(jì)，又稱為過程估計(jì)。5.1估計(jì)的基本概念7第7頁，共36頁，2023年，2月20日，星期一信源s()P()混合P(n)n估計(jì)規(guī)則估計(jì)()z觀測空間信號參量估計(jì)的統(tǒng)計(jì)推斷模型5.1估計(jì)的基本概念8第8頁，共36頁，2023年，2月20日，星期一估計(jì)問題基本要素5.1估計(jì)的基本概念概率傳遞機(jī)制估計(jì)準(zhǔn)則9第9頁，共36頁，2023年，2月20日，星期一5.2確定性信號最小平方估計(jì)例1實(shí)數(shù)二次型10第10頁，共36頁，2023年，2月20日，星期一5.2確定性信號最小平方估計(jì)11第11頁，共36頁，2023年，2月20日，星期一5.2確定性信號最小平方估計(jì)例2多項(xiàng)式由信號估計(jì)尋求12第12頁，共36頁，2023年，2月20日，星期一5.2確定性信號最小平方估計(jì)由可得使E為最小的向量估計(jì)的最小平方誤差為13第13頁，共36頁，2023年，2月20日，星期一5.2確定性信號最小平方估計(jì)14第14頁，共36頁，2023年，2月20日，星期一1、線性最小均方估計(jì)(linearminimummeansquareerrorestimation)設(shè)隨機(jī)參量與觀測數(shù)據(jù)z有關(guān)，且在觀測過程中不變，根據(jù)N個觀測數(shù)據(jù)｛z:z1,z2,…,zN｝,對參量作線性最小均方估計(jì)。規(guī)定估計(jì)量具有線性函數(shù)形式：選擇適當(dāng)?shù)南禂?shù)hk及b，使估計(jì)均方誤差最小。5.3隨機(jī)信號的線性最小均方估計(jì)15第15頁，共36頁，2023年，2月20日，星期一由上兩式即可求得b及系數(shù)hk。實(shí)現(xiàn)線性最小均方估計(jì)條件：通常稱為正交條件，即估計(jì)誤差與各個觀測數(shù)據(jù)乘積的統(tǒng)計(jì)均值等于零。5.3隨機(jī)信號的線性最小均方估計(jì)16第16頁，共36頁，2023年，2月20日，星期一性能分析：線性最小均方估計(jì)為無偏估計(jì)，即有：線性最小均方估計(jì)的均方誤差等于誤差與被估計(jì)量乘積的統(tǒng)計(jì)均值，即：其中：5.3隨機(jī)信號的線性最小均方估計(jì)17第17頁，共36頁，2023年，2月20日，星期一例1、在平穩(wěn)白噪聲背景中，對參量作線性最小均方估計(jì)。1)觀測數(shù)據(jù)為：其中a為信號幅值，E[a2]=A，E[a]=0；nk為均值為零、方差為的白噪聲，且信號幅值與噪聲不相關(guān)，求a的最佳線性估計(jì)。2)若觀測數(shù)據(jù)為：設(shè)E[s2]=S，E[s]=0；其余條件同(1)，試根據(jù)二個觀測數(shù)據(jù)求s的最佳線性估計(jì)。5.3隨機(jī)信號的線性最小均方估計(jì)18第18頁，共36頁，2023年，2月20日，星期一1、估計(jì)量的性能標(biāo)準(zhǔn)無偏性如果估計(jì)量的均值等于非隨機(jī)參量或等于隨機(jī)參量的均值，則稱估計(jì)量具有無偏性。即滿足：對于確定量，有：對于隨機(jī)量，有：5.4估計(jì)量的性能19第19頁，共36頁，2023年，2月20日，星期一有效性

對于無偏估計(jì)，如果估計(jì)的方差越小，表明估計(jì)量的取值越集中于真值附近，估計(jì)的性能越好。5.4估計(jì)量的性能20第20頁，共36頁，2023年，2月20日，星期一對于有偏估計(jì)，盡管估計(jì)的方差很小，但估計(jì)的誤差可能仍然很大。5.4估計(jì)量的性能21第21頁，共36頁，2023年，2月20日，星期一有效性

對于無偏估計(jì)，如果估計(jì)的方差越小，表明估計(jì)量的取值越集中于真值附近，估計(jì)的性能越好。用估計(jì)的方差還不能準(zhǔn)確地描述估計(jì)的性能，所以我們可以用均方誤差作為評價估計(jì)量性能的一個指標(biāo)。5.4估計(jì)量的性能22第22頁，共36頁，2023年，2月20日，星期一一致性即對于任意小數(shù)，若有：則估計(jì)量為一致估計(jì)量。若滿足則稱為均方一致估計(jì)量。5.4估計(jì)量的性能23第23頁，共36頁，2023年，2月20日，星期一例1、高斯白噪聲中的直流電平估計(jì)-未知參數(shù)。設(shè)有N次獨(dú)立觀測zi=A+vi，i=1,2,….N，其中vi~N(0,2)，2已知。5.4估計(jì)量的性能24第24頁，共36頁，2023年，2月20日，星期一2、克拉美－羅限(Cramer-RaoLowbound)

無偏估計(jì)量的估計(jì)方差的最小值非隨機(jī)參量任何無偏估計(jì)量的方差滿足等號成立的條件：克拉美-羅限5.4估計(jì)量的性能25第25頁，共36頁，2023年，2月20日，星期一2、克拉美－羅限(Cramer-Raobound)如果一個無偏估計(jì)，它的方差達(dá)到CRLB，那么，這個估計(jì)必定是最大似然估計(jì)。這時最大似然估計(jì)是最好的。但如果不存在達(dá)到CRLB的估計(jì)，最大似然估計(jì)就不一定是最好的估計(jì)。5.4估計(jì)量的性能26第26頁，共36頁，2023年，2月20日，星期一例2、高斯白噪聲中的DC電平。DC電平的最大似然估計(jì)的方差是否達(dá)到CRLB？它的估計(jì)方差是多少？

5.4估計(jì)量的性能27第27頁，共36頁，2023年，2月20日，星期一2、克拉美－羅限(Cramer-RaoLowbound)

無偏估計(jì)量的估計(jì)方差的最小值隨機(jī)參量任何無偏估計(jì)量的均方誤差滿足等號成立的條件：克拉美-羅限5.4估計(jì)量的性能28第28頁，共36頁，2023年，2月20日，星期一2、克拉美－羅限(Cramer-RaoLowbound)

無偏估計(jì)量的估計(jì)方差的最小值隨機(jī)參量如果有某個無偏估計(jì)達(dá)到CRLB,那么該估計(jì)必定是最大后驗(yàn)概率估計(jì).而最小均方估計(jì)的均方誤差也是最小的,所以這時最小均方估計(jì)與最大后驗(yàn)概率估計(jì)等價.5.4估計(jì)量的性能29第29頁，共36頁，2023年，2月20日，星期一例2高斯白噪聲中的直流電平估計(jì)-高斯先驗(yàn)分布。設(shè)有N次獨(dú)立觀測zi=A+vi,i=1,2,….N，其中v~N(0,)，A~，求A的估計(jì)的CRLB。

5.4估計(jì)量的性能30第30頁，共36頁，2023年，2月20日，星期一1、波形估計(jì)參量估計(jì)適用于非時變參量，無法解決時變參量估計(jì)問題。關(guān)于時變參量甚至?xí)r變信號本身的估計(jì)稱為時變信號估計(jì)或波形估計(jì)，因此波形估計(jì)又稱過程估計(jì)。波形估計(jì)其實(shí)質(zhì)就是給定有用信號和加性噪聲的混合波形，尋求一種線性運(yùn)算作用于此混合波形，使信號與噪聲實(shí)現(xiàn)最佳分離，最佳的含義是使估計(jì)的均方誤差最小，故又稱為最佳線性濾波理論。5.5波形估計(jì)31第31頁，共36頁，2023年，2月20日，星期一波形估計(jì)通常分為濾波、平滑、預(yù)測三種基本估計(jì)。濾波：根據(jù)當(dāng)前和過去的觀測值{z(k),k=n0,n0+1,...,n}對信號s(n)進(jìn)行估計(jì)(Filtering)；預(yù)測:根據(jù)當(dāng)前和過去的觀測值{z(k),k=n0,n0+1,...,nf}對未來時刻n(n>nf)的信號s(n)進(jìn)行估計(jì)，預(yù)測也稱為外推；(Prediction)根據(jù)某一區(qū)間的觀測數(shù)據(jù){z(k),k=n0,n0+1,...,nf}對區(qū)間內(nèi)的某一個時刻n(n0<n<nf)的信號進(jìn)行估計(jì)，內(nèi)插也稱為平滑。(Smoothing)。5.5波形估計(jì)32第32頁，共36頁，2023年，2月20日，星期一2、維納濾波線性最小均方估計(jì)是觀測的線性函數(shù)，它可以看作為觀測序列通過離散時間線性系統(tǒng)，即Wiener-Hopf方程

濾波器系數(shù)的選擇：正交原理5.5波形估計(jì)33第33頁，共36頁，2023年，2月20日，星期一假定信號和觀測過程是平穩(wěn)隨機(jī)序列，并且是聯(lián)合平穩(wěn)隨機(jī)序列，系統(tǒng)為因果的線性時不變離散時間線性系統(tǒng)5.5波形估計(jì)34第34頁，共36頁，2023年，2月20日，星期一維納濾波器信號s(n)與觀測噪聲統(tǒng)計(jì)獨(dú)立時，維納濾波器為：觀測為白噪聲時，維納濾波器為：5.5波形估計(jì)35第35頁，共36頁，2023年，2月20日，星期一 維納濾波和卡爾曼濾波是實(shí)現(xiàn)從噪聲中提取信號，完成信號波形估計(jì)的兩種線性最佳估計(jì)方法。 維納濾波需要設(shè)計(jì)維納濾波器，它的求解要求知道隨機(jī)信號的統(tǒng)計(jì)特性，即相關(guān)函數(shù)或功率譜密度。當(dāng)信號的功率譜為有理譜時，采用譜分