隨機(jī)信號(hào)的統(tǒng)計(jì)最優(yōu)濾波技術(shù)

2023/8/18大連理工大學(xué)1第11章隨機(jī)信號(hào)的統(tǒng)計(jì)最優(yōu)濾波技術(shù)大連理工大學(xué)碩士研究生校管課程信號(hào)處理與數(shù)據(jù)分析電子信息與電氣工程學(xué)部2023/8/18大連理工大學(xué)1

內(nèi)容概要§11.1引言§11.2維納濾波器的基本原理與方法§11.3維納預(yù)測(cè)器（略）§11.4卡爾曼濾波器簡(jiǎn)介（略）§11.5統(tǒng)計(jì)最優(yōu)濾波技術(shù)的應(yīng)用舉例2023/8/18大連理工大學(xué)2§11.1

引言2023/8/18大連理工大學(xué)311.1.1經(jīng)典濾波器與統(tǒng)計(jì)最優(yōu)濾波器信號(hào)濾波（filtering）根據(jù)輸入信號(hào)x(t)在當(dāng)前時(shí)刻和以前時(shí)刻的狀態(tài)估計(jì)信號(hào)預(yù)測(cè)（prediction）根據(jù)輸入信號(hào)x(t)在當(dāng)前時(shí)刻和以前時(shí)刻的狀態(tài)來(lái)估計(jì)其在未來(lái)某個(gè)時(shí)刻的狀態(tài)。信號(hào)平滑（smoothing）或插值（interpolation）濾波器根據(jù)x(t)在t時(shí)刻以外的數(shù)據(jù)估計(jì)出x(t)在t時(shí)刻的數(shù)據(jù)。2023/8/18大連理工大學(xué)4濾波器的概念所謂濾波器實(shí)際上是一個(gè)信號(hào)處理的系統(tǒng)，可由模擬電路、數(shù)字電路或計(jì)算機(jī)程序等軟硬件構(gòu)成，其功能是允許某一部分頻率的信號(hào)通過(guò)，而另一部分頻率的信號(hào)則受到較大的衰減和抑制，從而達(dá)到抑制噪聲提取信號(hào)的目的。濾波器的大致分類：模擬濾波器和數(shù)字濾波器；低通、高通、帶通、帶阻和全通濾波器；有源濾波器和無(wú)源濾波器；時(shí)變?yōu)V波器和時(shí)不變?yōu)V波器；線性濾波器和非線性濾波器。2023/8/18大連理工大學(xué)52023/8/18大連理工大學(xué)6經(jīng)典濾波器和現(xiàn)代濾波器經(jīng)典濾波器一般假定輸入信號(hào)x(n)中的有用成分和希望去除的成分各自占有不同的頻段；如果有用信號(hào)與噪聲干擾等無(wú)用成分的頻譜相互重疊時(shí)，經(jīng)典濾波器就無(wú)能為力現(xiàn)代濾波器（統(tǒng)計(jì)最優(yōu)濾波器）不依靠信號(hào)與噪聲的頻率差別來(lái)進(jìn)行噪聲擬制和信號(hào)提?。灰罁?jù)某些統(tǒng)計(jì)最優(yōu)準(zhǔn)則，從帶噪聲的觀測(cè)信號(hào)中對(duì)與有用信號(hào)或信號(hào)的參數(shù)進(jìn)行估計(jì)；維納濾波器、卡爾曼濾波器、線性預(yù)測(cè)器和自適應(yīng)濾波器等11.1.2兩種主要的統(tǒng)計(jì)最優(yōu)濾波器（1）維納濾波器的概念是一類線性最優(yōu)濾波器的統(tǒng)稱；目的是從噪聲中提取有用信號(hào)。根據(jù)濾波器輸出信號(hào)與期望信號(hào)只差的均方值最小的最小均方誤差準(zhǔn)則，求得最優(yōu)線性濾波器的系數(shù)2023/8/18大連理工大學(xué)72023/8/18大連理工大學(xué)8附：維納生平簡(jiǎn)介諾伯特·維納(NorbertWiener，1894-1964)是美國(guó)數(shù)學(xué)家，控制論的創(chuàng)始人。維納1894年11月26日生于密蘇里州的哥倫比亞，1964年3月18日卒于斯德哥爾摩。維納在其70年的科學(xué)生涯中，先后涉足哲學(xué)、數(shù)學(xué)、物理學(xué)和工程學(xué)，最后轉(zhuǎn)向生物學(xué)，在各個(gè)領(lǐng)域中都取得了豐碩成果，稱得上是恩格斯頌揚(yáng)過(guò)的、本世紀(jì)多才多藝和學(xué)識(shí)淵博的科學(xué)巨人。他一生發(fā)表論文240多篇，著作14本。他的主要著作有《控制論》(1948)、《維納選集》(1964)和《維納數(shù)學(xué)論文集》(1980)。維納還有兩本自傳《昔日神童》和《我是一個(gè)數(shù)學(xué)家》。

2023/8/18大連理工大學(xué)9附：維納生平簡(jiǎn)介（續(xù)）維納是著名的神童。三歲半開(kāi)始讀書(shū)，生物學(xué)和天文學(xué)的初級(jí)科學(xué)讀物就成了他在科學(xué)方面的啟蒙書(shū)籍。七歲時(shí)，開(kāi)始深入物理學(xué)和生物學(xué)的領(lǐng)域，甚至超出了他父親的知識(shí)范圍。1903年（9歲），他開(kāi)始上學(xué)；1906年（12歲），高中畢業(yè)，同年9月入讀塔夫斯學(xué)院修讀數(shù)學(xué)；1909年（15歲）時(shí)他已取得學(xué)士學(xué)位，入讀哈佛大學(xué)研究動(dòng)物學(xué)。一年后他往康乃爾大學(xué)轉(zhuǎn)讀哲學(xué)。1912年，18歲的他取得哈佛大學(xué)數(shù)理邏輯的博士學(xué)位。2023/8/18大連理工大學(xué)10附：維納生平簡(jiǎn)介（續(xù)2）維納的主要成就：建立維納測(cè)度；引進(jìn)巴拿赫—維納空間；闡述位勢(shì)理論；發(fā)展調(diào)和分析；發(fā)現(xiàn)維納—霍普夫方法；提出維納濾波理論；開(kāi)創(chuàng)維納信息論；創(chuàng)立控制論2023/8/18大連理工大學(xué)11（2）卡爾曼濾波器的概念是一種以卡爾曼的名字命名的用于

線性時(shí)變系統(tǒng)的遞歸濾波器。將過(guò)去的測(cè)量估計(jì)誤差合并到新的

測(cè)量誤差中來(lái)估計(jì)將來(lái)的誤差，可

以用包含正交狀態(tài)變量的微分方程來(lái)描述?？柭鼮V波器的首次實(shí)現(xiàn)是由施密特（Schmidt）完成的。卡爾曼在美國(guó)航空航天（NASA）研究中心訪問(wèn)時(shí)，發(fā)現(xiàn)卡爾曼濾波器對(duì)于解決阿波羅計(jì)劃的軌道預(yù)測(cè)很有意義，并且后來(lái)在阿波羅飛船的導(dǎo)航電腦中實(shí)現(xiàn)上使用了這種濾波器。2023/8/18大連理工大學(xué)12附：卡爾曼生平簡(jiǎn)介魯?shù)婪颉た柭≧udolfEmilKalman）匈牙利裔美國(guó)數(shù)學(xué)家，1930年出生于匈牙利首都布達(dá)佩斯。1953年于麻省理工學(xué)院獲得電機(jī)工程學(xué)士，翌年碩士學(xué)位。1957年于哥倫比亞大學(xué)獲得博士學(xué)位。1964年至1971年任職斯坦福大學(xué)。1971年至1992年任佛羅里達(dá)大學(xué)數(shù)學(xué)系統(tǒng)理論中心（CenterforMathematicalSystemTheory）主任。1972起任瑞士蘇黎世聯(lián)邦理工學(xué)院數(shù)學(xué)系統(tǒng)理論中心主任直至退休。先居住于蘇黎世和佛羅里達(dá)。2009年獲美國(guó)國(guó)家科學(xué)獎(jiǎng)?wù)隆?/p>

§11.2維納濾波器的基本原理與方法2023/8/18大連理工大學(xué)132023/8/18大連理工大學(xué)14維納濾波的基本思路設(shè)計(jì)維納濾波器的過(guò)程，即是在最小均方誤差準(zhǔn)則下，尋求濾波器的單位脈沖響應(yīng)，或系統(tǒng)傳遞函數(shù)。11.2.1因果維納濾波器設(shè)線性離散系統(tǒng)的單位脈沖響應(yīng)為h(n)，若h(n)是因果的,其輸入信號(hào)x(n)是有用信號(hào)s(n)與觀測(cè)噪聲v(n)的線性組合維納濾波器的任務(wù)是使輸出y(n)是s(n)的估計(jì)。若h(n)是因果的，則輸出的可以看作是由當(dāng)前時(shí)刻的觀測(cè)值與過(guò)去時(shí)刻的觀測(cè)值x(n-1),x(n-2),…,的線性組合來(lái)估計(jì)的。2023/8/18大連理工大學(xué)152023/8/1816因果維納濾波器（續(xù)）誤差函數(shù)的最小均方誤差準(zhǔn)則表示為：

為了使均方誤差達(dá)到最小，對(duì)上式相對(duì)于各h(m),m=0,1,…求偏導(dǎo)，并令導(dǎo)數(shù)為0，有用相關(guān)函數(shù)表示上式，則得到維納-霍夫方程的離散形式大連理工大學(xué)2023/8/18大連理工大學(xué)17因果維納濾波器（續(xù)）從維納-霍夫方程中解出系統(tǒng)單位脈沖響應(yīng)h(n)，這就是最小均方誤差意義上的最優(yōu)，并得到最小均方誤差為11.2.2維納—霍夫方程的求解（1）有限脈沖響應(yīng)求解法設(shè)h(n)的序列長(zhǎng)度為N，則求導(dǎo)，并令導(dǎo)數(shù)為0，有2023/8/18大連理工大學(xué)182023/8/18大連理工大學(xué)19整理，有由上式可以寫(xiě)出N個(gè)線性方程為（11.16）2023/8/18大連理工大學(xué)20寫(xiě)為矩陣形式，有或式中為待求維納濾波器的單位脈沖響應(yīng)。信號(hào)的自相關(guān)矩陣2023/8/18大連理工大學(xué)202023/8/18大連理工大學(xué)21信號(hào)與待估計(jì)信號(hào)的互相關(guān)矢量若自相關(guān)陣是非奇異的，則進(jìn)一步求得最小均方誤差為若已知自相關(guān)函數(shù)和互相關(guān)函數(shù)，則由式（11.16）或式（11.19）所示的維納—霍夫方程就可以求解出最優(yōu)系統(tǒng)的單位脈沖響應(yīng)，從而在噪聲中估計(jì)出有用信號(hào)，實(shí)現(xiàn)最優(yōu)維納濾波。（11.19）2023/8/18大連理工大學(xué)22實(shí)際上，維納—霍夫方程的求解，可以采用類似于AR模型參數(shù)估計(jì)的方法（例如Levinson-Durbin算法）來(lái)求解。若信號(hào)和噪聲滿足互不相關(guān)的條件，即若：則有：這樣，且2023/8/18大連理工大學(xué)23【例11.1】設(shè)廣義平穩(wěn)隨機(jī)信號(hào)表示為。已知信號(hào)與噪聲統(tǒng)計(jì)獨(dú)立，且，是均值為0方差為1的白噪聲。試：（1）設(shè)計(jì)一個(gè)的維納濾波器來(lái)估計(jì)有用信號(hào)。（2）求該維納濾波器的最小均方誤差。解：（1）由已知條件，有和則2023/8/18大連理工大學(xué)24【例11.1】（續(xù)）由此解得：（2）將的值代入最小均方誤差表達(dá)式，有若已知的值，則可以得到的估計(jì)值。如果增加維納濾波器的階數(shù)，則可以改善系統(tǒng)的估計(jì)精度，減小均方誤差。2023/8/18大連理工大學(xué)25（2）預(yù)白化求解法（略）方法關(guān)鍵是利用預(yù)白化濾波器將輸入信號(hào)x(n)轉(zhuǎn)化為白噪聲過(guò)程w(n),并進(jìn)一步求解維納-霍夫方程只要求得白化濾波器，就可以實(shí)現(xiàn)預(yù)白化，并進(jìn)一步確定對(duì)輸入信號(hào)的最優(yōu)估計(jì)。隨機(jī)信號(hào)x(n)可以看做白噪聲激勵(lì)一個(gè)線性系統(tǒng)所產(chǎn)生的響應(yīng)。2023/8/18大連理工大學(xué)252023/8/18大連理工大學(xué)26設(shè)該線性系統(tǒng)的z域系統(tǒng)函數(shù)為其中，表示隨機(jī)信號(hào)x(n)自功率譜密度函數(shù)的z域形式；和分別對(duì)應(yīng)中極點(diǎn)、零點(diǎn)在單位圓內(nèi)和單位圓外的部分。由于的零點(diǎn)和極點(diǎn)均在單位圓內(nèi)，是一個(gè)物理可實(shí)現(xiàn)的最小相位系統(tǒng)，1/B(z)也是一個(gè)物理可實(shí)現(xiàn)的最小相位系統(tǒng)。把x(n)作為系統(tǒng)的輸入，w(n)作為系統(tǒng)的輸出，從而實(shí)現(xiàn)輸入信號(hào)x(n)的預(yù)白化處理。2023/8/18大連理工大學(xué)27

虛線框的部分記為由上圖有：

2023/8/18大連理工大學(xué)28均方誤差為其中表示的單位脈沖響應(yīng)將代入上式，使均方誤差最小，等價(jià)于令于是有2023/8/18大連理工大學(xué)292023/8/18大連理工大學(xué)302023/8/18大連理工大學(xué)31【例11.2】參見(jiàn)書(shū)稿2023/8/18大連理工大學(xué)32【例11.3】2023/8/18大連理工大學(xué)33關(guān)于維納濾波的說(shuō)明維納濾波從理論上完美地解決了在最小均方誤差條件下的信號(hào)最佳估計(jì)問(wèn)題。但是，從實(shí)際應(yīng)用角度來(lái)看，卻存在不足：為了得到維納濾波器的單位沖激響應(yīng)，必須知道觀測(cè)信號(hào)的自相關(guān)函數(shù)與互相關(guān)函數(shù)。自相關(guān)函數(shù)可以利用觀測(cè)信號(hào)進(jìn)行估計(jì)?；ハ嚓P(guān)函數(shù)則需要信號(hào)的更多的信息。及時(shí)得到上述兩個(gè)相關(guān)函數(shù)，求解維納—霍夫方程仍是比較復(fù)雜的過(guò)程。2023/8/18大連理工大學(xué)33§11.3

維納預(yù)測(cè)器2023/8/18大連理工大學(xué)3411.3.1因果維納預(yù)測(cè)器略2023/8/18大連理工大學(xué)3511.3.2N步純預(yù)測(cè)器略2023/8/18大連理工大學(xué)3611.3.3一步線性維納預(yù)測(cè)器略2023/8/18大連理工大學(xué)37§11.4

卡爾曼濾波器簡(jiǎn)介2023/8/18大連理工大學(xué)382023/8/18大連理工大學(xué)39卡爾曼卡爾曼（RudolfE.Kalman），匈牙利數(shù)學(xué)家；1930年出生于匈牙利首都布達(dá)佩斯。1953，1954年于麻省理工學(xué)院分別獲得電機(jī)工程學(xué)士及碩士學(xué)位。1957年于哥倫比亞大學(xué)獲得博士學(xué)位；1964—1971年任職斯坦福大學(xué)。1971—1992年任佛羅里達(dá)大學(xué)數(shù)學(xué)系統(tǒng)理論中心主任。1972起任瑞士蘇黎世聯(lián)邦理工學(xué)院數(shù)學(xué)系統(tǒng)理論中心主任.2009年獲美國(guó)國(guó)家科學(xué)獎(jiǎng)?wù)??？柭鼮V波器源于他的博士論文和1960年發(fā)表的論文《ANewApproachtoLinearFilteringandPredictionProblems》2023/8/18大連理工大學(xué)3911.4.1卡爾曼濾波器的基本原理卡爾曼濾波器（Kalmanfilter）可以認(rèn)為是維納濾波器的推廣；它不僅可以適用于平穩(wěn)過(guò)程，而且可以適用于非平穩(wěn)過(guò)程；不僅可以用于線性濾波問(wèn)題，還可以用于非線性控制問(wèn)題，甚至可以用于多輸入-多輸出系統(tǒng)。其基本特點(diǎn)是在時(shí)域內(nèi)分析，并且應(yīng)用狀態(tài)空間分析方法。2023/8/18大連理工大學(xué)402023/8/18大連理工大學(xué)41重要的量2023/8/18大連理工大學(xué)41重要的量2023/8/18大連理工大學(xué)42狀態(tài)方程與觀測(cè)方程（又稱輸出方程）其中：為狀態(tài)矢量，是被估計(jì)的量；是輸入信號(hào)；是觀測(cè)數(shù)據(jù)；表示時(shí)刻的狀態(tài)矩陣；表示系統(tǒng)白噪聲；表示系統(tǒng)噪聲影響各狀態(tài)的程度；表示量測(cè)矩陣；為輸入矩陣；為觀測(cè)噪聲。

噪聲和為互不相關(guān)的0均值白噪聲，滿足：2023/8/18大連理工大學(xué)422023/8/18大連理工大學(xué)43卡爾曼濾波的基本思路與步驟卡爾曼濾波采用遞推算法；第一步：先不考慮系統(tǒng)噪聲的影響，由時(shí)刻的狀態(tài)變量估計(jì)值估計(jì)狀態(tài)變量和輸出信號(hào)的初步估計(jì)值：這樣，初步估計(jì)輸出值與實(shí)測(cè)輸出值的誤差為：2023/8/18大連理工大學(xué)44第二步：用第一步得到的輸出信號(hào)的誤差加權(quán)后校正狀態(tài)變量的估計(jì)值，即按照以下卡爾曼濾波方程求得濾波結(jié)果：式中，加權(quán)矩陣（增益矩陣）為：預(yù)測(cè)誤差的方差矩陣定義為：可以證明：2023/8/18大連理工大學(xué)442023/8/18大連理工大學(xué)45其中時(shí)刻的誤差方差矩陣定義為而它與的關(guān)系為卡爾曼濾波的關(guān)鍵：是計(jì)算加權(quán)矩陣的最佳值，使?fàn)顟B(tài)變量估計(jì)的誤差最小。只要滿足：就可以實(shí)現(xiàn)上述目標(biāo)。2023/8/18大連理工大學(xué)452023/8/18大連理工大學(xué)46計(jì)算公式：計(jì)算流程2023/8/18大連理工大學(xué)462023/8/18大連理工大學(xué)47【例】假定隨機(jī)信號(hào)是由一個(gè)0均值白噪聲序列激勵(lì)的一階遞歸系統(tǒng)所產(chǎn)生的廣義馬爾可夫過(guò)程，其信號(hào)模型和觀測(cè)模型為：和為統(tǒng)計(jì)獨(dú)立的白噪聲序列，有試描述最佳遞推的運(yùn)算過(guò)程。2023/8/18大連理工大學(xué)472023/8/18大連理工大學(xué)48【解】2023/8/18大連理工大學(xué)482023/8/18大連理工大學(xué)49卡爾曼濾波器的進(jìn)一步分析卡爾曼濾波器的遞推可以無(wú)限進(jìn)行下去，但實(shí)際問(wèn)題中，可能會(huì)發(fā)生發(fā)散，原因：（1）計(jì)算機(jī)字長(zhǎng)所引起數(shù)據(jù)舍入誤差的影響；常采用雙精度運(yùn)算或改用均方誤差陣的平方根。（2）待估計(jì)過(guò)程模型不夠精確；減小舊觀測(cè)值的權(quán)重，而增加信觀測(cè)值的權(quán)重。（3）由系統(tǒng)的不可觀測(cè)性引起，即指系統(tǒng)的狀態(tài)變量有隱含的，不能依據(jù)現(xiàn)有數(shù)據(jù)進(jìn)行估計(jì)；2023/8/18大連理工大學(xué)49§11.5

統(tǒng)計(jì)最優(yōu)濾波技術(shù)的應(yīng)用舉例2023/8/18大連理工大學(xué)502023/8/18大連理工大學(xué)511.維納濾波提取誘發(fā)電位1在人的頭皮表面，可以記錄到兩種腦電活動(dòng)，即自發(fā)腦電圖（electroencephalogram，EEG）和與一定刺激相關(guān)的腦電誘發(fā)電位（evoke