(中文)第三章 自適應(yīng)濾波器

1、現(xiàn)代數(shù)字信號處理第三章：自適應(yīng)濾波器內(nèi)容 1. 自適應(yīng)濾波器原理 2. 自適應(yīng)線性組合器 3. 均方誤差性能曲面 4. 最陡下降算法 5. LMS算法 6. RLS算法 7. 典型應(yīng)用：噪聲消除自適應(yīng)算法理論分析1。 自適應(yīng)濾波原理自適應(yīng)濾波原理1.學(xué)習(xí)和跟蹤（時變信號）2.帶有可調(diào)參數(shù)的最優(yōu)線性濾波器兩輸入兩輸出Two inputs and two outputs; FIR,IIR, and 格形（Lattice） 最小均方誤差和最小平方誤差準(zhǔn)則 nx ny nd線性濾波器性能評價自適應(yīng)方法 ne輸入信號輸出信號期望響應(yīng)誤差濾波器參數(shù))() 1()(nWnWnWoldnew3. 自適應(yīng)濾波器

2、的性能(1)失調(diào)量（Misadjustment）(2)計(jì)算復(fù)雜度（Computational complexity）(3)對時變統(tǒng)計(jì)量的跟蹤能力(4)結(jié)構(gòu)上：高模塊性，并行性等（是否適合硬件實(shí)現(xiàn)）(5)收斂速度(6)數(shù)值特性：數(shù)值穩(wěn)定性（對字長效應(yīng)不敏感），數(shù)值精確性 (7)魯棒性：對噪聲干擾不敏感，小能量干擾只能造成小估計(jì)誤差本章主要討論自適應(yīng)線性組合器（其分析和實(shí)現(xiàn)簡單，在大多數(shù)自適應(yīng)濾波系統(tǒng)中廣泛應(yīng)用）。多輸入多輸入自適應(yīng)線性組合器 Lkkknxnwny02。 自適應(yīng)線性組合器自適應(yīng)線性組合器一類具有自適應(yīng)參數(shù)的FIR數(shù)字濾波器。一般形式單輸入單輸入自適應(yīng)線性組合器 Lkkknxnwny

3、0 Lkkknxnwny0 Lkkknxnwny0 TLnwnwnwn10w min2neEnnyndnennnnnywxxwTT TLnxnxnxn1x TLnxnxnxn10 x多輸入單輸入 nnnndEnwPRwwTT2 LmmnxndEnxndEmPLPPPnndELmmnxnxEnxnxEmRRLRLRLRRRLRRRnnEmTmiixxxxxxxxxxxxxxxxxxxx, 1, 0,10, 1, 0,0110110 xPxxRT輸入信號輸入信號x的自相關(guān)矩陣的自相關(guān)矩陣R，期望信號，期望信號d和輸入信號和輸入信號x的互相關(guān)矩陣的互相關(guān)矩陣P3. 均方誤差性能曲面均方誤差性能曲面單

4、權(quán)重情況單權(quán)重情況: 拋物線拋物線性能曲面 nwPnwRndEnPRnwn020200200 , 0PRw兩個權(quán)系數(shù)兩個權(quán)系數(shù): 拋物面拋物面 nwPnwPnwnwRnwnwRndEnwnwPPnwnwRRRRnwnwndEnPPRRRRnwnwnT1010212021010102101202120102011010 , 0110 PRw權(quán)系數(shù)數(shù)目大于兩個情況：超拋物面權(quán)系數(shù)數(shù)目大于兩個情況：超拋物面 個權(quán)系數(shù): 一個 維空間內(nèi)的超拋物面 “碗底”點(diǎn)對應(yīng)于均方誤差最小點(diǎn)，也就是最優(yōu)權(quán)系數(shù)矢量 所在的點(diǎn)。對于一個二對于一個二次性能方程，存在唯一全局最優(yōu)權(quán)矢量，沒次性能方程，存在唯一全局最優(yōu)權(quán)矢量

5、，沒有局部最優(yōu)點(diǎn)存在有局部最優(yōu)點(diǎn)存在.1L2Lw梯度，最優(yōu)權(quán)矢量和最小均方誤差梯度，最優(yōu)權(quán)矢量和最小均方誤差 很多自適應(yīng)方法使用基于梯度的方法尋找可以達(dá)到最小均方誤差的權(quán)矢量。均方誤差性能曲面均方誤差性能曲面的梯度梯度定義為： PRww22 10nnwnnwnnwnnnnTL最優(yōu)權(quán)重矢量最優(yōu)權(quán)重矢量處梯度為零： PRwPRw1 022nn最小均方誤差：最小均方誤差： wPPRPPR2PPRRPRw2PRwwT1T1T1TTTndEndEndEndE22122min 與維納濾波器的最小均方誤差比較:1T1RR 2min2 E s nE s nT1ToptP R PP hThe same equa

6、tions背離矢量（背離最優(yōu)權(quán)重）背離矢量（背離最優(yōu)權(quán)重）均方誤差性能方程可寫為另一種形式： wPRwwTTndEn2權(quán)重背離矢量權(quán)重背離矢量:wwv在 坐標(biāo)系統(tǒng)中的性能曲面方程 wwRwwTminn RvvTminnv為了使 對于所有可能的 值為非負(fù)，有必要使所有 滿足 。 也就是說 必須是正定或者半正定。在實(shí)際的系統(tǒng)中，矩陣 總是正定的，有時半正定情況也會出現(xiàn)。Rvv2 梯度: 矢量 是權(quán)重矢量 對維納最優(yōu)權(quán)矢量 的背離。 任何背離都會導(dǎo)致均方誤差的一個增加量vwwRvvTRvvTminv0RvvTvRR4. 最陡下降法 基本思想：搜索性能曲面理想情況下（梯度可知）: 使用基于梯度的方法（

7、最陡下降法）實(shí)際情況（梯度多數(shù)不可知）: LMS方法（the Least-Mean-Square algorithm ） RLSRLS方法（方法（Recursive Least-Square AlgorithmRecursive Least-Square Algorithm）)()()() 1(2nWneEnWnW演示1: 基于梯度搜索均方誤差曲面的最小點(diǎn) nnnww1 為一個控制收斂速度和穩(wěn)定性的常數(shù)稱為自適應(yīng)步長步長。演示2:方程兩邊同減最優(yōu)權(quán)矢量11LTxxnnnnRQ Qq q幾個不同形式的權(quán)重更新方程 nnnnnnnnnnnnnnnnvIvvQvvQIvQvQIQvvQQIvvRIv

8、wwvwRwwRIww1111121 21212121 22 1 1 22 2 122nnnnnnnnn 1wwRwPwRwPwR PwIR wRw nvnvnvnvnvnvLLL211211211111000 1 20 ,1,2,nkkkv nvkL 20nnvIv 12nnvIvlim( )lim ( )lim( )nnnnnnwwv0v0lim20; lim 1 20 0, 1,nnknnkLImax10 2max00trLLkkkkE x nR 10trR穩(wěn)定和收斂條件：穩(wěn)定和收斂條件：可證明：自適應(yīng)過程的穩(wěn)定性max10 optoptTWWVWWQV0: )(Lkvnvknkk, 2

9、 , 1),0(21)(Lkwhennvkkn, 2 , 1, 121, 0)(lim最優(yōu)點(diǎn):時間迭代:穩(wěn)定條件:The deepest-descend method實(shí)際應(yīng)用中選取: 2110111( )LLkikiTr RE xn參數(shù)變更的回饋模型The deepest-descend method收斂速率 濾波器參數(shù)的收斂速度決定于自濾波器參數(shù)的收斂速度決定于自適應(yīng)步長的選擇適應(yīng)步長的選擇 在在主軸系統(tǒng)主軸系統(tǒng)中參數(shù)沿著各個參數(shù)中參數(shù)沿著各個參數(shù)坐標(biāo)軸獨(dú)立收斂。各個坐標(biāo)軸的坐標(biāo)軸獨(dú)立收斂。各個坐標(biāo)軸的收斂速度被各自的幾何比收斂速度被各自的幾何比 r 控制。控制。 需要注意的是，需要注意的是

10、，在自然坐標(biāo)系中在自然坐標(biāo)系中各個參數(shù)各個參數(shù)w w并不是獨(dú)立收斂的并不是獨(dú)立收斂的。這是我們?yōu)槭裁匆儞Q坐標(biāo)系到這是我們?yōu)槭裁匆儞Q坐標(biāo)系到主軸系統(tǒng)進(jìn)行收斂分析的原因。主軸系統(tǒng)進(jìn)行收斂分析的原因。)0(21)(knkkvnvkkLLrrrr212121211100kkr21幾何比 r 和自適應(yīng)步長對收斂的影響：穩(wěn)定(收斂)過阻尼臨界阻尼欠阻尼不穩(wěn)定 (不收斂)10210211210 , 11r01r10 r0r1r幾何比和自適應(yīng)步長對收斂的影響： 1112001, 101112nnv nvr vv nrerevr (1)權(quán)系數(shù)衰減時間常數(shù)權(quán)系數(shù)衰減到初始值的 需要花費(fèi)的時間。收斂速度：幾個時

11、間常數(shù)收斂速度：幾個時間常數(shù)1e 2222minmin2min1222min11min01 20001, 10211 ()2 124msemsemsennmsemsenvvrvnrererer 通常為迭代次數(shù)(2) 學(xué)習(xí)曲線時間常數(shù)學(xué)習(xí)曲線時間常數(shù)即均方誤差與最小均方誤即均方誤差與最小均方誤差的差值下降到初始差值差的差值下降到初始差值的的 時所花費(fèi)的時間。時所花費(fèi)的時間。1emse(3) 自適應(yīng)時間常數(shù)（用時間衡量學(xué)習(xí)曲線常數(shù)）frequency) sample( iteration)each for samples data( numberiteration wheresec , 1 sms

12、esmsemsefNfNT注意 最陡下降法具有更多的理論分析意義，實(shí)際操作時我們必須對其做很多近似。Least-Mean-Square Algorithm 最陡下降法在每次迭代時要求得到性能曲面梯度的估計(jì)值。 LMS 方法使用一個特別方法估計(jì)這個梯度（這個梯度對于自適應(yīng)的線性組合器是有效的） LMS 方法的優(yōu)勢在于: (1) 計(jì)算簡單方便 (2) 不需要離線的梯度估計(jì)或者數(shù)據(jù)副本 如果自適應(yīng)系統(tǒng)是一個自適應(yīng)線性組合器，并且輸入矢量和期望響應(yīng)在每次迭代時都可以得到，那么LMS方法通常是一個最好選擇。5. LMS 方法方法 nnennnnnnmethoddescentsteepestThennen

13、enennnnnnnnenneEnxwwwwxwww2 1: 2222 ( )e nd ny nd nnnTxwLMS 方法推導(dǎo)方法推導(dǎo)使用單次計(jì)算的估計(jì)誤差平方代替平方誤差的期望。 LMS使用單次誤差代替誤差平均，造成梯度和權(quán)矢量成為圍繞真值的隨機(jī)變量。 nnennnnnyndnennnyxwwwwwxT2 ,1LMS 自 適 應(yīng) 濾 波 器 nxnxnenwnwnwnwnwnwnT10101010211w舉例（2輸入線性組合器） 22 2 2 0EnE e nnEnd ny nEnnnd nnnBnEn TxxxxwRwPLMS方法對方法對梯度梯度的估計(jì)的均值為真實(shí)梯度的估計(jì)的均值為真實(shí)梯

14、度估計(jì)量的期望值與真實(shí)梯度的偏差為0。所以為無偏估計(jì) RwwRIRwPPwRIwxxPwwxxxwxwwTT22 22 22 22 21nEnEnEnnEnEnnnEnndEnEnneEnEnE RwwRIw221nn RwwRIw22 1nEnE nnennxww21 nnndnewxT最陡下降法LMS權(quán)矢量的均值權(quán)矢量的均值等于最陡下降法得到的權(quán)矢量等于最陡下降法得到的權(quán)矢量020406080100120140160180200-0.500.511.5020406080100120140160180200-0.500.511.5最陡下降LMS 單次020406080100120140160

15、180200-0.500.511.5020406080100120140160180200-0.500.511.5最陡下降LMS 多次平均 RwwRIw22 1nEnE RwwRIw221nn wwRIww02nn121kkrmax10 wwRIww02nnE LkknxE02 tr,tr10RR收斂條件收斂條件(1) 在最小均方誤差點(diǎn)在最小均方誤差點(diǎn) 附近的附近的梯度估計(jì)誤差梯度估計(jì)誤差min nNnn nnennNnx2 , 0(around )min(梯度估計(jì)噪聲 ) nN minminmin2244 cov cov44 4covQRQQQQQQQRxxxx11111TTnNnNnNEn

16、NnNEnNnnEneEnnneEnNnNEnNTTT權(quán)矢量噪聲權(quán)矢量噪聲 1, 2nnnne nn wwwwx(2)在最小均方誤差點(diǎn)在最小均方誤差點(diǎn) 附近的權(quán)矢量估計(jì)誤差附近的權(quán)矢量估計(jì)誤差min 012lim12022121 11010knNnknNnnNnnnNnnnNnnnNnnnnnnkknnkknIvIvIvvIvvRIvwwww(3)在最小均方誤差點(diǎn)在最小均方誤差點(diǎn) 附近的附近的權(quán)矢量噪聲方差權(quán)矢量噪聲方差 min 112nNnnvIv IQvQvIvvIvvIvvIIvvIvvIvIvIvvvwwww22min1min1min122222222covcovcov4covcovc

17、ov2 11112 11112 211112 11112 112 112 E cov1nnnNnnNnnNnNEnnEnNnNnnEnnNnNnnNnNnnEnNnnNnnnEnnNnnnNnnnnnTTTTTTTTTTT梯度估計(jì)噪聲的存在，使得收斂后的權(quán)矢量在最佳權(quán)矢量的附近隨機(jī)起伏。這意味著穩(wěn)態(tài)的均方誤差值在 附近隨機(jī)的改變。這個偏移量的期望值偏移量的期望值稱為超量EMSmin LkkknvEnnEnnEEexcessMSE02min vvRvvTT失失 調(diào)調(diào) 量量 (1) 超量EMS（Mean-Square Error） RIvvvTtr covmin0min02min22120min2

18、11011210101020LkkLkkkLLLLLLnvEexcessMSEnvEnvEnvEnvEnvnvEnvnvEnvnvEnvEnvnvEnvnvEnvnvEnvEnnEn Rtrmin0minLkkexcessMSE RtrminexcessMSEMavavmseLkkmseavmseLkkavLL41 ,11 ,1100 avLkkL1tr0RavmseLM41(2) 失調(diào)量 M實(shí)際應(yīng)用中，失調(diào)量，收斂速度和權(quán)系數(shù)的個數(shù)往往需要作一個折中，因此這個方程很有用。 通常自適應(yīng)過程在大概4倍學(xué)習(xí)曲線時間常數(shù)內(nèi)基本結(jié)束。 因此，失調(diào)量可認(rèn)為等于權(quán)重數(shù)目比上過渡時間權(quán)重數(shù)目比上過渡時間（4

19、倍時間常數(shù)）。特殊情況下所有特征值都相等：特殊情況下所有特征值都相等：mseavmseLLM4141msemseLmsemse10設(shè)計(jì)濾波器時的考慮設(shè)計(jì)濾波器時的考慮 trMR14 trmseLR假設(shè)要求失調(diào)量小于10，則過渡時間應(yīng)當(dāng)比權(quán)重數(shù)目大10倍。6. 自適應(yīng)的遞歸最小二乘方自適應(yīng)的遞歸最小二乘方(RLS)算法算法 維納濾波器的一種時間遞歸時間遞歸形式(收斂速度快)n維納濾波器nRLS 自適應(yīng)濾波器min)(2neE1xxxdW R P20( )minnn kke k遺忘因子 新數(shù)據(jù)比舊數(shù)據(jù)更加重要min)(02nkknke 100( )( )( )( )( )( )nnkTknnkxd

20、knnnnkknd kkwRPRXXPX( )( ), (1), ()Tkx kx kx kpX10 T01,pnw n w nwnw P0iiy kw k x kikkkkTTwxxw e kd ky k自相關(guān)矩陣：( )(1)( )( )TxxxxnnnnRRXX( )(1)( ) ( )xdxdnnn d nPPX互相關(guān)矢量:自相關(guān)矩陣逆的迭代形式：11)()() 1()(nXnXnRnRTxxxx相關(guān)的遞歸遞歸形式形式0( )( )( )nnkxdknd kkPX0( )( )( )nn kTknkkRXXBCBCCDBCBACCDBATTT1111A 和 B 是兩個正定矩陣)() 1()() 1()()() 1() 1()(111111nXnRnXnRnXnXnRnRnRxxTxxTxxxxxx關(guān)于矩陣逆的一個定理11( )( )( )(1)( ) ( ) (1)( )(1)( ) (1)xxxdxxnnnnnn e n nnnn e n nWRPWRXWWK1111(1) ( )( )1( )(1) ( )xxTxxnnnnnnRXKXRX