信號分析與處理 課件 ch07自適應(yīng)濾波

自適應(yīng)濾波“電氣工程、自動化專業(yè)系列教材信號分析與處理第七章01最優(yōu)波形估計1.最優(yōu)波形估計概述設(shè)信號x(k)為n維隨機列向量，現(xiàn)用m維觀測序列y(1),y(2),···,y(j)估計時刻時的信號x(k)，記為其中，8為jxm維向量。1.最優(yōu)波形估計概述觀測向量y(1),y(2),···,y(j)通常是隨機向量它們含有隨機觀測誤差，因此信號估計量x^(k|j)也是隨機向量。由于信號本身是隨時間變化的，在濾波理論中，稱此類估計為時變信號估計或波形估計。波形估計的實質(zhì)就是對隨機過程的估計，因此波形估計也稱為過程估計。1.最優(yōu)波形估計概述根據(jù)k和j的關(guān)系，波形估計可以分為以下3類:01當(dāng)k>j時，稱為預(yù)測，即用j時刻及其以前的觀測數(shù)據(jù)估計未來某時刻K的信號。02當(dāng)k=j時，稱為濾波，即用無時刻及其以前的觀測數(shù)據(jù)估計無時刻的信號。03當(dāng)k<j時，稱為平滑，即用現(xiàn)在時刻j及其以前的觀測數(shù)據(jù)估計k時刻的信號。平滑主要用于對已獲得觀測數(shù)據(jù)的事后分析。1.最優(yōu)波形估計概述在準(zhǔn)則函數(shù)g(·)取不同形式時，有不同的估計量x^(k|j)。最優(yōu)估計就是根據(jù)觀測數(shù)據(jù)按某種性能準(zhǔn)則確定函數(shù)g(·)，而由此得到的使性能準(zhǔn)則最優(yōu)的估計量x^(k|j)稱為信號x(k)的最優(yōu)估計量。最常用的性能準(zhǔn)則是最小估計誤差準(zhǔn)則。定義估計誤差為則估計誤差均方陣為1.最優(yōu)波形估計概述因此，式(7-5)實際上表明:估計量x^mv(k|j)各分量對被估計量x(k)各對應(yīng)分量的均方誤差之和為最小。這就是最小方差估計x^mv(k|j)為最優(yōu)的意義。該準(zhǔn)則稱為最小均方差(MinimumMean-SquareError，MMSE)準(zhǔn)則。1.最優(yōu)波形估計概述設(shè)x(k)和y(j)是聯(lián)合分布的，則即x(k)的最小方差估計x^mv(k|j)等于觀測y(j)條件下x(k)的數(shù)學(xué)期望。定理7-11.最優(yōu)波形估計概述最小方差估計有以下性質(zhì):定理7-101最小方差估計是無偏的，即E{x^mv(k|j)}=Ex(k)，由此可知02由于最小方差估計是無偏的，最小方差估計的估計誤差均方陣E{x~mv(k)x~Tmv(k)}等于估計誤差方差陣Var{x~mv(k)}，即1.最優(yōu)波形估計概述最小方差估計有以下性質(zhì):定理7-103任何其他估計的均方誤差陣或任何其他無偏估計的方差陣都大于最小方差估計的誤差方差陣，即最小方差估計具有最小的估計誤差方差陣。由于誤差方差陣是無偏估計的，也就是估計誤差的二階距表示誤差分布在零附近的密集程度，因此最小方差估計是一種最接近真值x(k)的估計。1.最優(yōu)波形估計概述設(shè)定理7-11.最優(yōu)波形估計概述被估計量x(k)在觀測y(j)=[yT(1)yT(2)yT(j)]T上的性最小方差估計元x^L(k|j))滿足以下無偏正交條件:由定理7-2可知，線性最小方差估計不僅是無偏估計，而且估計誤差與用于估計的所有觀測數(shù)據(jù)正交，這一結(jié)果稱為正交性原理。事實上，由正交性原理可以進一步推出即估計誤差也正交于最優(yōu)估計量x^L(k|j)。定理7-21.最優(yōu)波形估計概述定理7-2正交性原理經(jīng)常作為定理使用，它是線性最優(yōu)估計理論中的重要定理。此外，正交性原理也為驗證線性估計器是否工作于最優(yōu)狀態(tài)提供了理論依據(jù)。2.投影定理由正交性原理可知，線性最小方差估計的估計誤差與用于估計的所有觀測數(shù)據(jù)正交。從幾何的角度看，線性最小方差估計實際上就是被估計量在觀測子空間上的正交投影，圖7-1所示為向量x在線性子空間y上的投影。下面給出投影定理及其證明。在初等幾何中，一個點到一條直線的最短距離為垂直距離。與此對應(yīng)，從一個點到一個子空間的最短距離是點與子空間正交的距離。如果xεH，而M是向量空間H的有限維子空間，并且X不在子空間M內(nèi)，則最短距離問題就是求使向量x-y的長度最短的y(yεM)。2.投影定理設(shè)y1,y2,···,yn和x是歐幾里得空間中的元素，y是y1,y2,···,yn張成的線性子空間，則必定存在一個唯一的元素x^εy，使得證明:設(shè)x^是x在y上的正交投影，則定理7-3(投影定理)2.投影定理任取一向量zεy，且則有由式(7-17)和式(7-18)可知，x-x^任一yi(i=1,2,···,n)及它們的任何線性組合都是垂直的定理7-3(投影定理)2.投影定理因而有即式(7-20)表明:||x-x^||2是最小值，只有當(dāng)x-x^時，式(7-20)才取等號，即取最小值。定理7-3(投影定理)2.投影定理為了形象說明投影定理的幾何意義，圖7-2所示為y是2維線性子空間時的投影定理示意圖。在圖中，x^表示x在y上的正交投影，z表示x在y上的任意非正交投影，則有x^,z,z-x^εy，x^=x-x^為正交投影誤差，且x-z>x^。其中，x^是各種投影誤差的最小值，只有在z=x^時，該式取等號，說明正交投影是唯一的。定理7-3(投影定理)3.線性最優(yōu)濾波線性離散濾波器是一類應(yīng)用廣泛的濾波器。從應(yīng)用的角度出發(fā)，線性濾波器的數(shù)學(xué)分析和處理比較容易，而離散時間濾波器便于數(shù)字化實現(xiàn)。圖7-3所示為線性離散時間濾波器的原理框圖。濾波器的輸入序列為u(0),u(1),u(2)，···，濾波器的沖激響應(yīng)為w0,w1,w2,···。令y(k)代表濾波器在離散時刻k時的輸出，希望它是期望響應(yīng)d(k)的估計量。估計誤差的定義為期望響應(yīng)d(k)與濾波器輸出y(k)的差，即e(k)=d(k)-y(k)。對波器的要求是使估計誤差在某種統(tǒng)計意義下盡可能小。3.線性最優(yōu)濾波根據(jù)沖激響應(yīng)是有限長的還是無限長的，線性離散時間濾波器可以分為有限沖激響應(yīng)(FIR)濾波器和無限沖激響應(yīng)(ⅡR)濾波器，F(xiàn)濾波器是實際使用最為廣泛的線性濾波器。圖74所示為FIR濾波器的示意圖，F(xiàn)R濾波器有時也稱為線性橫向濾波器(LiearTransversalFilter)。估計誤差在某種統(tǒng)計意義下盡可能小的濾波器稱為這一統(tǒng)計意義下的最優(yōu)濾波器。采用最小均方差準(zhǔn)則的線性濾波器稱為線性最小均方差濾波器，常用的Wiener濾波器和Kalman濾波器都是線性最小均方差濾波器。3.線性最優(yōu)濾波線性離散時間濾波器的最優(yōu)設(shè)計問題可以表述如下:給定輸入序列u(0),u(1),u(2)，···，設(shè)計一個線性離散時間濾波器，其輸出y(k)為期望響應(yīng)d(k)的一個估計量，并且使其估計誤差e(k)=d(k)-(k)的均方誤差E{|e(k)|2}為最小。當(dāng)輸入信號、期望響應(yīng)及濾波器系數(shù)均在實數(shù)域內(nèi)時，均方誤差E{|e(k)|2}=E{e2(k)}。如沒有特別指明，本章以下內(nèi)容均在實數(shù)域內(nèi)討論。02Wiener(維納)濾波1.Wiener(維納)濾波與

Wiener-Hopf(維納-霍普夫)方程設(shè)接收信號x(k)由原始信號s(k)與一加性干擾v(k)的和構(gòu)成，即為了從x(k)中提取或恢復(fù)原始信號s(k)，需要設(shè)計一種濾波器，用于對x(k)進行濾波，使其輸出y(k)在某一準(zhǔn)則下為s(k)的最優(yōu)估計量s^(k)。Wiener濾波器是一個線性時不變系統(tǒng)，設(shè)其沖激響應(yīng)為w(k)，輸入為x(k)=s(k)+v(k),輸出為y(k)=s^(k)，則有其中，沖激響應(yīng)w(i)按照最小均方差準(zhǔn)則確定，即1.Wiener(維納)濾波與

Wiener-Hopf(維納-霍普夫)方程式中，e(k)為估計誤差，其定義式為式(7-21)中沒有指定的取值范圍，這是為了使該式適用于FIR、因果ⅡR和非因果ⅡR等不同情況。為了按式(7-23)所示的最小均方差準(zhǔn)則來確定Wiener濾波的沖激響應(yīng)，令J(k)對w(j)的導(dǎo)數(shù)等于零，即由此得到1.Wiener(維納)濾波與

Wiener-Hopf(維納-霍普夫)方程式(7-26)稱為正交方程，它表明任何時刻的估計誤差都與用于估計的所有數(shù)據(jù)正交(參見7.1.1節(jié)的正交性原理)。將式(7-24)和式(7-21)代入正交方程(7-26)，得式中，Rsx(m)為s(k)與x(k)的相關(guān)函數(shù);Rx(m)為x(k)的自相關(guān)函數(shù)。二者的定義式分別為式(7-27)稱為Wiener濾波器的標(biāo)準(zhǔn)方程或Wiener-Hopf方程。如果已知Rsx(m))和Rx(m)，則可以通過求解此方程獲得Wiener濾波器的沖激響應(yīng)。1.Wiener(維納)濾波與

Wiener-Hopf(維納-霍普夫)方程根據(jù)式(7-27)中的取值范圍，可以將Wiener濾波器分為以下3種情況:01FIRWiener濾波器，i從0到N-1取有限個整數(shù)值。02因果IIRWiener濾波器，i從0到+∞取無限個整數(shù)值。03非因果IIRWiener濾波器，i從-∞到+∞取所有整數(shù)值。Wiener濾波器可以用于信號的預(yù)測、濾波和平滑。2.FIRWiener(維納)濾波器Wiener濾波器的設(shè)計和計算可以歸結(jié)為根據(jù)已知的Rsx(m)和Rx(m)求解Wiener-Hopf方程，以得到?jīng)_激響應(yīng)或傳輸函數(shù)。需要指出的是，Wiener-Hopf方程的求解并不容易，但如果采用FIR濾波器獲取期望響應(yīng)的估計量，Wiener-Hopf方程的求解將大大簡化，由此獲得的最優(yōu)濾波器稱為FIRWiener濾波器。設(shè)濾波器沖激響應(yīng)序列的長度為N，沖激響應(yīng)向量為濾波器的輸入向量為則濾波器的輸出為2.FIRWiener(維納)濾波器由上可見，式(7-27)所示的Wiener-Hopf方程可以表示為其中，N維列向量是s(k)與x(k)的互相關(guān)函數(shù);N階方陣R是x(k)的自相關(guān)函數(shù)，即利用矩陣求逆的方法直接求解式(7-33)，可得wopt就是FIRWiener濾波器的沖激響應(yīng)Wiener濾波器的輸出s^(k)就是信號s(k)在輸入數(shù)據(jù)子空間上的正交投影，它是信號的最優(yōu)估計量。03Kalman(卡爾曼)濾波1.狀態(tài)估計與Kalman(卡爾曼)濾波20世紀(jì)60年代，Kalman等人提出了著名的Kaman濾波算法。Kalman濾波實際上是種數(shù)據(jù)處理的遞推算法，它克服了Wiener濾波需要所有歷史數(shù)據(jù)和求解困難的缺點，只需處理每一時刻獲得的最新觀測值，以遞推方式得到當(dāng)前時刻的信號估計量。Kalman濾波不僅可以應(yīng)用于平穩(wěn)過程，而且可以推廣到非平穩(wěn)過程，為隨機信號濾波的發(fā)展做出了重大貢獻(xiàn)，并得到了廣泛應(yīng)用。1.狀態(tài)估計與Kalman(卡爾曼)濾波Kalman濾波主要針對以下線性時變隨機系統(tǒng):1.狀態(tài)估計與Kalman(卡爾曼)濾波其中，Q(k)為對稱非負(fù)定矩陣;R(k)為對稱正定矩陣;δkj為克羅內(nèi)克(Kronecker)δ函數(shù)即初始狀態(tài)x(0)為隨機向量，且與w(k)和v(k)統(tǒng)計獨立:1.狀態(tài)估計與Kalman(卡爾曼)濾波Kalman濾波的基本思想:利用觀測數(shù)據(jù)對狀態(tài)變量的預(yù)測估計量進行修正，以得到狀態(tài)變量的最優(yōu)估計量，即最優(yōu)估計量=預(yù)測估計量+修正量這里采用的最優(yōu)估計量是在最小方差準(zhǔn)則下得到的。2.Kalman(卡爾曼)濾波遞推算法01濾波遞推方程為了根據(jù)k時刻及其以前的觀測數(shù)據(jù)y(k)={y(1),y(2),···,y(k)}求得k時刻狀態(tài)x(k)的最優(yōu)線性估計量x^(k|k)，先研究狀態(tài)的一步預(yù)測估計量x^(k|k-1)。為此，假定根據(jù)觀測序列y(k-1)={y(1),y(2),···,y(k-1)}已求得了k-1時刻狀態(tài)x(k-1)的最優(yōu)濾波估計量x^(k-1|k-1)，在沒有獲得新的(k時刻的)觀測數(shù)據(jù)y(k)時，可以先根據(jù)已有觀測數(shù)據(jù)y(k-1)對k時刻狀態(tài)進行預(yù)測估計，即求估計量x^(k|k-1)。下面推導(dǎo)x^(k|k-1)與已知的k-1時刻狀態(tài)的濾波估計量x^(k-1|k-1)之間的關(guān)系。2.Kalman(卡爾曼)濾波遞推算法01濾波遞推方程狀態(tài)的線性最小方差估計，按投影定理解釋，就是該狀態(tài)向量在線性觀測空間y上的正交投影。再根據(jù)投影定理中投影的線性運算性質(zhì)，即知狀態(tài)估計也服從式(7-37)，對于預(yù)測估計量x^(k|k-1)，則有2.Kalman(卡爾曼)濾波遞推算法01濾波遞推方程2.Kalman(卡爾曼)濾波遞推算法01濾波遞推方程2.Kalman(卡爾曼)濾波遞推算法02濾波增益矩陣算法。根據(jù)式(7-52)和式(7-38)，濾波估計誤差為為使估計誤差達(dá)到最小，根據(jù)正交投影定理，x~(k|k)應(yīng)與y(k)正交，即有2.Kalman(卡爾曼)濾波遞推算法02濾波增益矩陣算法。把式(7-53)和式(7-38)代入式(7-54)，并考慮到x~(k|k)、x^(k|k)與v(k)的正交性，則有或2.Kalman(卡爾曼)濾波遞推算法02濾波增益矩陣算法。若令預(yù)測估計誤差的方差則根據(jù)式(7-55)和式(7-42)，濾波估計誤差達(dá)到最小的增益矩陣為2.Kalman(卡爾曼)濾波遞推算法03濾波估計誤差的方差根據(jù)式(7-56)和式(7-53)，濾波估計誤差的方差為式中，預(yù)測估計誤差的方差2.Kalman(卡爾曼)濾波遞推算法03濾波估計誤差的方差根據(jù)式(7-56)和式(7-53)，濾波估計誤差的方差為式中，預(yù)測估計誤差的方差而2.Kalman(卡爾曼)濾波遞推算法03濾波估計誤差的方差考慮到x~(k-1|k-1)和w(k-1)具有正交性，可以得到若再對式(7-58)進行簡單的推導(dǎo)，P(k|k)還可寫成根據(jù)式(7-60)和式(7-57)，濾波增益的另一種表達(dá)式為2.Kalman(卡爾曼)濾波遞推算法綜上，離散Kalman濾波遞推算法可以歸納為表7-1。03濾波估計誤差的方差2.Kalman(卡爾曼)濾波遞推算法03濾波估計誤差的方差在應(yīng)用上述Kalman濾波遞推公式進行計算時，先要確定初始條件x^(0|0)和P(0|0)，然后隨著觀測數(shù)據(jù)的不斷到來,依次按照x^(k|k-1)→P(k|k-1)→K(k)→x^(k|k)→P(k|k)的順序逐步遞推、求解狀態(tài)估計量x^(k|k)。2.Kalman(卡爾曼)濾波遞推算法03濾波估計誤差的方差對上述Kalman濾波的說明如下:01Kalman濾波算法以“預(yù)測一新觀測數(shù)據(jù)-校正”的方式遞推進行，它不需要存儲任何歷史觀測數(shù)據(jù)，所以便于實時計算。02增益陣序列{K(k)}和誤差方差陣序列{P(k|k)}及{P(k|k-1)}等與觀測數(shù)據(jù)無關(guān)所以可將它們事先計算好并存儲起來，以進一步加快實時計算速度。03由{P(k|k)}和{P(k|k-1)}可以獲知濾波性能的相關(guān)信息。2.Kalman(卡爾曼)濾波遞推算法03濾波估計誤差的方差對上述Kalman濾波的說明如下:04誤差方差陣與Q(k)、R(k)緊密相關(guān)，對于不同的Q(k)和R(k)，方差隨時間的傳播特性就不一樣。增大過程噪聲強度Q(k)或增加狀態(tài)方程中的不確定性因素，R(k|k-1)增大,但K(k)也隨之增大；這說明，當(dāng)系統(tǒng)的不確定提高、一步預(yù)測估計的可信性下降時，Kalman濾波器能根據(jù)新的觀測數(shù)據(jù)加強對原估計量的校正，從而保證濾波估計量x^(k|k)與x(k)的接近度。當(dāng)R(k)較大時，說明觀測誤差較大，觀測數(shù)據(jù)不可靠，校正應(yīng)減弱。由式(7-57)可知，當(dāng)R(k)增大時，K(k)的確是下降的。2.Kalman(卡爾曼)濾波遞推算法03濾波估計誤差的方差對上述Kalman濾波的說明如下:05Kalman濾波估計是無偏估計?？梢宰C明:只要初始估計準(zhǔn)確，即初始估計滿足則式(7-62)對一切k成立。即濾波估計和預(yù)測估計都是無偏的。06新息序列{y~(k|k-1)}是一個零均值白噪聲序列。04自適應(yīng)濾波器的原理1.自適應(yīng)濾波器的基本概念一般來講，自適應(yīng)濾波器包括三個基本模塊:可調(diào)濾波器、性能評價和自適應(yīng)算法圖7-7所示為自適應(yīng)濾波器的原理圖?？烧{(diào)濾波器模塊通過對輸入信號進行濾波，形成輸出信號。在實際使用中，可調(diào)濾波器模塊可以采用FIR濾波器或IR濾波器等來實現(xiàn)。通?？烧{(diào)濾波器模塊的結(jié)構(gòu)是預(yù)先確定的，但其參數(shù)是可以調(diào)整的。性能評價模塊采用某一性能準(zhǔn)則對濾波器的性能進行評估，以確定是否與特定要求相符合。從應(yīng)用的角度出發(fā)，性能準(zhǔn)則不僅要反映濾波器的實際性能，還要便于數(shù)學(xué)處理和有利于實際系統(tǒng)的設(shè)計。自適應(yīng)算法根據(jù)性能評價結(jié)果、濾波器輸入和期望響應(yīng)等信息來確定如何修改濾波器參數(shù)，以改善濾波器的性能。1.自適應(yīng)濾波器的基本概念期望響應(yīng)對于自適應(yīng)濾波器是不可用的，因而自適應(yīng)通常又分為有監(jiān)督型和無監(jiān)督型兩類。在有監(jiān)督自適應(yīng)中，自適應(yīng)濾波器可以預(yù)先知道每一時刻的期望響應(yīng)，從而可以計算期望響應(yīng)和實際響應(yīng)的差，并以此為依據(jù)調(diào)整濾波器的系數(shù)。對有監(jiān)督型自適應(yīng)濾波器而言，圖7-7可以簡化為圖7-8，即輸入信號x(k)在通過可調(diào)濾波器后產(chǎn)生輸出信號)，對y(k)與期望響應(yīng)信號y(k)進行比較，形成估計誤差e(k)，采用某種自適應(yīng)算法，對濾波器系數(shù)進行調(diào)整，最終使估計誤差最小。期望響應(yīng)對于自適應(yīng)濾波器是不可用的，因而自適應(yīng)通常又分為有監(jiān)督型和無監(jiān)督型兩類。在有監(jiān)督自適應(yīng)中，自適應(yīng)濾波器可以預(yù)先知道每一時刻的期望響應(yīng)，從而可以計算期望響應(yīng)和實際響應(yīng)的差，并以此為依據(jù)調(diào)整濾波器的系數(shù)。對有監(jiān)督型自適應(yīng)濾波器而言，圖7-7可以簡化為圖7-8，即輸入信號x(k)在通過可調(diào)濾波器后產(chǎn)生輸出信號)，對y(k)與期望響應(yīng)信號y(k)進行比較，形成估計誤差e(k)，采用某種自適應(yīng)算法，對濾波器系數(shù)進行調(diào)整，最終使估計誤差最小。1.自適應(yīng)濾波器的基本概念在無監(jiān)督自適應(yīng)中，由于期望響應(yīng)不可知自適應(yīng)濾波器無法準(zhǔn)確計算出誤差，也無法根據(jù)所得誤差來改進性能，因而無監(jiān)督型自適應(yīng)濾波器需要額外的信息來彌補期望響應(yīng)不可知所帶來的問題。這些額外信息的形式取決于特定應(yīng)用，并且會對自適應(yīng)算法的性能和設(shè)計帶來很大的影響。本章只討論監(jiān)督型自適應(yīng)濾波器。1.自適應(yīng)濾波器的基本概念期望響應(yīng)對于自適應(yīng)濾波器是不可用的，因而自適應(yīng)通常又分為有監(jiān)督型和無監(jiān)督型兩類。在有監(jiān)督自適應(yīng)中，自適應(yīng)濾波器可以預(yù)先知道每一時刻的期望響應(yīng)，從而可以計算期望響應(yīng)和實際響應(yīng)的差，并以此為依據(jù)調(diào)整濾波器的系數(shù)。對有監(jiān)督型自適應(yīng)濾波器而言，圖7-7可以簡化為圖7-8，即輸入信號x(k)在通過可調(diào)濾波器后產(chǎn)生輸出信號)，對y(k)與期望響應(yīng)信號y(k)進行比較，形成估計誤差e(k)，采用某種自適應(yīng)算法，對濾波器系數(shù)進行調(diào)整，最終使估計誤差最小。對于自適應(yīng)濾波器，F(xiàn)IR濾波器和IR濾波器兩種形式都可以考慮，但FIR濾波器是實際應(yīng)用最廣泛的濾波器。原因很簡單，F(xiàn)IR濾波器僅有可調(diào)零點，因此它沒有IR濾波器因為兼有可調(diào)極點和零點而帶來的穩(wěn)定性問題。然而，我們不能由此斷定自適應(yīng)FIR濾波器總是穩(wěn)定的。事實上，自適應(yīng)濾波器的穩(wěn)定性不僅取決于濾波器結(jié)構(gòu)本身，還取決于調(diào)整其系數(shù)的自適應(yīng)算法。圖7-9所示為自適應(yīng)FIR濾波器(線性橫向濾波器)的原理圖。2.均方誤差與下降算法期望響應(yīng)對于自適應(yīng)濾波器是不可用的，因而自適應(yīng)通常又分為有監(jiān)督型和無監(jiān)督型兩類。在有監(jiān)督自適應(yīng)中，自適應(yīng)濾波器可以預(yù)先知道每一時刻的期望響應(yīng)，從而可以計算期望響應(yīng)和實際響應(yīng)的差，并以此為依據(jù)調(diào)整濾波器的系數(shù)。對有監(jiān)督型自適應(yīng)濾波器而言，圖7-7可以簡化為圖7-8，即輸入信號x(k)在通過可調(diào)濾波器后產(chǎn)生輸出信號)，對y(k)與期望響應(yīng)信號y(k)進行比較，形成估計誤差e(k)，采用某種自適應(yīng)算法，對濾波器系數(shù)進行調(diào)整，最終使估計誤差最小。自適應(yīng)濾波器設(shè)計最常用的準(zhǔn)則仍然是使濾波器實際輸出與期望響應(yīng)之間的均方誤差最小化的最小均方差準(zhǔn)則。考慮圖7-9所示的自適應(yīng)FIR濾波器，其輸入向量為加權(quán)向量(濾波器參數(shù)向量)為濾波器的輸出為則濾波器在飛時刻的估計誤差為2.均方誤差與下降算法定義均方誤差為準(zhǔn)則函數(shù)。由式(7-25)可知，準(zhǔn)則函數(shù)J(K)相對于濾波器參數(shù)向量w的梯度為定義梯度向量為2.均方誤差與下降算法根據(jù)式(7-68)，式(7-69)可以進一步表示為如下向量形式:或式中最常用的自適應(yīng)算法形式為下降算法，下降算法采用迭代方式計算權(quán)向量:式中，w(k+1)和w(k)分別為k+1時刻和時刻的權(quán)向量;μ(k)為k時刻的更新步長;v(k)為k時刻的更新方向向量。2.均方誤差與下降算法下降算法式(7-73)有兩種主要實現(xiàn)方式:自適應(yīng)梯度算法和自適應(yīng)Newton(牛頓)算法。自適應(yīng)梯度算法包括最小均方(LeastMeanSquare，LMS)類算法，自適應(yīng)Newton算法則包括遞推最小二乘(RecursiveLeastSquares，RLS)算法及其各種變形和改進算法。下面將介紹LMS算法和RLS算法。05最小均方(LMS)自適應(yīng)算法1.最速下降與最小均方(LMS)算法最常用的下降算法為梯度下降法，也稱為最速下降算法。在最速下降算法中，k時刻的更新方向向量v(k)取時刻的準(zhǔn)則函數(shù)J(K)的負(fù)梯度，即最速下降算法的統(tǒng)一形式為系數(shù)1/2的引入是為了數(shù)學(xué)上處理方便。將式(7-71)代入式(7-75)，可以得到權(quán)向量的更新方式:1.最速下降與最小均方(LMS)算法對上述更新方式進行以下幾點說明:01r-Rw(k)為誤差向量，由它確定權(quán)向量的更新方向。02參數(shù)μ(k)為時刻的更新步長，由該參數(shù)決定更新算法的收斂速度。03若自適應(yīng)算法趨于收斂，則r-Rw(k)→0(當(dāng)k→∞時)，即有也就是說，權(quán)向量收斂于式(7-36)所指的Wiener濾波器。1.最速下降與最小均方(LMS)算法由上可知，如果可以精確獲得每一時刻k的梯度向量▽VJ(k)，而且步長參數(shù)選擇合適，則由最速下降算法獲得的權(quán)向量將會收斂于最優(yōu)的Wiener解。但當(dāng)算法運行于未知環(huán)境時，不可能獲得梯度向量的精確值，此時只能根據(jù)觀測數(shù)據(jù)，對梯度向量進行估計。為了推導(dǎo)梯度向量▽VJ(k)的估計方法，最明顯的策略是利用式(7-70)，將數(shù)學(xué)期望項E{u(k)d(k)}和E{u(k)uT(k)}分別用它們各自的瞬時值u(k)d(k)和u(k)uT(k)代替，以得到真實梯度向量的估計量1.最速下降與最小均方(LMS)算法即瞬時梯度向量是對真實梯度向量的無偏估計。1.最速下降與最小均方(LMS)算法式(7-80)就是著名的最小均方(LMS)算法它是Widrow和Hof于20世紀(jì)60年代初提出的。為了便于理解和分析LMS算法，將式(7-80)進一步表示為以下3個基本公式:01濾波輸出公式:02估計誤差公式:03權(quán)向量自適應(yīng)公式:1.最速下降與最小均方(LMS)算法在上述LMS算法中，由步長參數(shù)從μ控制該算法達(dá)到最優(yōu)解的收斂速度。μ的取值大，則收斂速度較快。然而，如果μ的取值太大，算法會變得不穩(wěn)定，為了保證穩(wěn)定，μ的取值通常按照式(7-84)選擇式中，N為濾波器的長度;Pin為濾波器抽頭輸入信號的功率，Pin可以根據(jù)輸入信號的采樣值來估計。1.最速下降與最小均方(LMS)算法為了實現(xiàn)上述LMS算法的遞推計算，需要初始值w(0)，如果對于濾波器抽頭權(quán)向量有足夠的先驗知識，可以選擇一個合適的w(0)，否則可以設(shè)w(0)=0。綜上，自適應(yīng)FIR濾波器的基本LMS算法可以總結(jié)為表7-2。1.最速下降與最小均方(LMS)算法為了使LMS算法的數(shù)字實現(xiàn)穩(wěn)定,可以采用所謂的泄漏技巧(對應(yīng)著輸入?yún)?shù)leakage)。與基本LMS算法采用最小均方準(zhǔn)則不同，在泄漏LMS算法中，準(zhǔn)則函數(shù)的表達(dá)式為式中，a為一個正的控制參數(shù);e2(k)為估計誤差的平方;wT(k)w(k)為抽頭權(quán)向量w(k)中包含的能量。1.最速下降與最小均方(LMS)算法通過將上述準(zhǔn)則函數(shù)最小化，可以求得泄漏LMS算法抽頭權(quán)向量的更新方程:式中，a為正數(shù)，且滿足除了式(7-86)中的泄漏因子1-μ(k)a，泄漏LMS算法與基本LMS算法具有相同的數(shù)學(xué)形式。1.最速下降與最小均方(LMS)算法MATLAB(版本7)的濾波器設(shè)計工具箱提供了LMS算法實現(xiàn)函數(shù)，其調(diào)用格式為adaptfiltlms函數(shù)參數(shù)說明如表7-3所示。2.歸一化最小均方(LMS)算法自適應(yīng)LMS算法簡單，它既不需要計算輸入信號的相關(guān)函數(shù)，也不需要求矩陣的逆，因而得到了廣泛的應(yīng)用。但是，由于LMS算法采用梯度向量的瞬時估計，它有大的方差，以致不能獲得最優(yōu)濾波性能。此外，LMS自適應(yīng)濾波器收斂速度較慢。歸一化LMS(NomalizedLMS，NLMS)算法是一種常用的采用變步長方法加快算法收斂的改進LMS算法。2.歸一化最小均方(LMS)算法NLMS算法的權(quán)向量更新迭代公式為2.歸一化最小均方(LMS)算法MATLAB(版本7)的濾波器設(shè)計工具箱提供了NLMS算法實現(xiàn)函數(shù)，其調(diào)用格式為adaptfiltnlms函數(shù)參數(shù)說明如表7-4所示。3.分塊最小均方(LMS)算法雖然LMS算法簡單且易于實現(xiàn)，但是LMS算法針對一個樣點就調(diào)整一次濾波器權(quán)值計算量比較大。為了減小計算量，同時提升算法的穩(wěn)定性，在LMS算法的基礎(chǔ)上進行改進提出了塊處理LMS(BlockLMS，BLMS算法。BLMS算法針對一個包含若干樣點的數(shù)據(jù)塊才更新一次濾波器的權(quán)值。3.分塊最小均方(LMS)算法輸入數(shù)據(jù)序列經(jīng)過串一并變換器，被分成若干長度為工的數(shù)據(jù)塊，然后將這些數(shù)據(jù)塊-次一塊地送入長度為M的濾波器中，在收集到每一數(shù)據(jù)塊的輸出后，才進行濾波器抽頭權(quán)值的更新。分塊LMS算法中濾波器的自適應(yīng)過程是逐塊進行的，而不是像傳統(tǒng)LMS算法那樣逐個值進行。假設(shè)長度L的輸入數(shù)據(jù)塊表示為[u(k)u(k+1)..u(k+L-1)]T，可以按照下面的式子更新濾波器權(quán)值:3.分塊最小均方(LMS)算法在塊更新過程中，步長參數(shù)被認(rèn)為是保持不變的，即μ(k)=μ(k+1)=···=μ(k+L-1)=μ,那么將上面的式子全部相加，中間的式子左右相消，就可以得出BLMS算法權(quán)值的更新公式為了表示方便，我們將式(7-89)中的變量替換為nL，則得到式(7-90)。06遞推最小二乘(RLS)白適應(yīng)算法1.最小二乘法最小二乘(LeastSquares)法是1795年著名數(shù)學(xué)家高斯(Gauss)為了解決行星軌道參數(shù)估計問題而提出的。高斯認(rèn)為，在根據(jù)觀測數(shù)據(jù)推斷未知參數(shù)時，未知參數(shù)最合適的數(shù)值是這樣一個值，它使各項實際觀測值與計算值之間差值的平方乘以度量其精確度的數(shù)值以后的和最小。最小二乘法是目前應(yīng)用十分廣泛的估計方法。遞推最小二乘(RecursiveLeastSquares，RLS)算法是一類以最小二乘準(zhǔn)則為依據(jù)的迭代算法。與LMS算法相比，RLS算法收斂速度更快，但運算量顯著增加。1.最小二乘法遞推最小二乘(RecursiveLeastSquares，RLS)算法是一類以最小二乘準(zhǔn)則為依據(jù)的迭代算法。與LMS算法相比，RLS算法收斂速度更快，但運算量顯著增加?？紤]圖7-9所示的自適應(yīng)FIR濾波器，RLS算法的關(guān)鍵是使誤差二乘方時間平均最小化具體來講，就是要對初始時刻到當(dāng)前時刻所有誤差的平方進行平均，使其結(jié)果最小化，再按照這一準(zhǔn)則確定自適應(yīng)濾波器的權(quán)向量，即RLS算法的準(zhǔn)則函數(shù)為其中1.最小二乘法式中，d(i)為期望響應(yīng);y(i)為FIR濾波器的輸出響應(yīng)，即對于跟蹤非平穩(wěn)輸入信號，常引入一個指數(shù)加權(quán)因子對式(7-91)進行修正，即式中，指數(shù)加權(quán)因子λ(0<λ<1)稱為遺忘因子，其作用是對不同時刻的誤差加不同的權(quán)重，即新數(shù)據(jù)比舊數(shù)據(jù)更重要，舊數(shù)據(jù)的權(quán)值按指數(shù)規(guī)律衰減，越舊的數(shù)據(jù)對ε(k)的影響越小。1.最小二乘法按照式(7-94)最小化準(zhǔn)則確定最佳權(quán)向量。對式(7-91)求導(dǎo)，并令其等于零，可得式(7-95)即為最小二乘準(zhǔn)則所對應(yīng)的正交方程，經(jīng)整理，得到標(biāo)準(zhǔn)方程:根據(jù)式(7-93)，式(7-96)可以表示為1.最小二乘法定義則標(biāo)準(zhǔn)方程可以表示為該方程的解為