自適應(yīng)濾波器ppt課件

1、現(xiàn)代數(shù)字信號處置第三章：自順應(yīng)濾波器內(nèi)容 1. 自順應(yīng)濾波器原理 2. 自順應(yīng)線性組合器 3. 均方誤差性能曲面 4. 最陡下降算法 5. LMS算法 6. RLS算法 7. 典型運用：噪聲消除自順應(yīng)算法實際分析1。 自順應(yīng)濾波原理自順應(yīng)濾波原理學(xué)習(xí)和跟蹤時變信號帶有可調(diào)參數(shù)的最優(yōu)線性濾波器兩輸入兩輸出Two inputs and two outputs; FIR,IIR, and 格形Lattice 最小均方誤差和最小平方誤差準(zhǔn)那么 nx ny nd線性濾波器性能評價自順應(yīng)方法 ne輸入信號輸出信號期望呼應(yīng)誤差濾波器參數(shù))() 1()(nWnWnWoldnew3. 自順應(yīng)濾波器的性能失調(diào)量M

2、isadjustment計算復(fù)雜度Computational complexity對時變統(tǒng)計量的跟蹤才干構(gòu)造上：高模塊性，并行性等能否適宜硬件實現(xiàn)收斂速度數(shù)值特性：數(shù)值穩(wěn)定性對字長效應(yīng)不敏感，數(shù)值準(zhǔn)確性 魯棒性：對噪聲干擾不敏感，小能量干擾只能呵斥小估計誤差本章主要討論自順應(yīng)線性組合器其分析和實現(xiàn)簡單，在大多數(shù)自順應(yīng)濾波系統(tǒng)中廣泛運用。多輸入自順應(yīng)線多輸入自順應(yīng)線性組合器性組合器 Lkkknxnwny02。 自順應(yīng)線性組合器自順應(yīng)線性組合器一類具有自順應(yīng)參數(shù)的FIR數(shù)字濾波器。普通方式單輸入自順應(yīng)線性組合器單輸入自順應(yīng)線性組合器 Lkkknxnwny0 Lkkknxnwny0 Lkkknxnw

3、ny0 TLnwnwnwn10w min2neEnnyndnennnnnywxxwTT TLnxnxnxn1x TLnxnxnxn10 x多輸入單輸入 nnnndEnwPRwwTT2 LmmnxndEnxndEmPLPPPnndELmmnxnxEnxnxEmRRLRLRLRRRLRRRnnEmTmiixxxxxxxxxxxxxxxxxxxx, 1, 0,10, 1, 0,0110110 xPxxRT輸入信號輸入信號x的自相關(guān)矩陣的自相關(guān)矩陣R，期望信號，期望信號d和輸入信號和輸入信號x的相互關(guān)矩陣的相互關(guān)矩陣P3. 均方誤差性能曲面均方誤差性能曲面單權(quán)重情況單權(quán)重情況: 拋物線拋物線性能曲面

4、nwPnwRndEnPRnwn020200200 , 0PRw兩個權(quán)系數(shù)兩個權(quán)系數(shù): 拋物面拋物面 nwPnwPnwnwRnwnwRndEnwnwPPnwnwRRRRnwnwndEnPPRRRRnwnwnT1010212021010102101202120102011010 , 0110 PRw權(quán)系數(shù)數(shù)目大于兩個情況：超拋物面權(quán)系數(shù)數(shù)目大于兩個情況：超拋物面 個權(quán)系數(shù): 一個 維空間內(nèi)的超拋物面 “碗底點對應(yīng)于均方誤差最小點，也就是最優(yōu)權(quán)系數(shù)矢量 所在的點。對于一個二次性能方程，存在獨一全局最優(yōu)權(quán)矢量，沒有部分最優(yōu)點存在.1L2Lw梯度，最優(yōu)權(quán)矢量和最小均方誤差梯度，最優(yōu)權(quán)矢量和最小均方誤差

5、很多自順應(yīng)方法運用基于梯度的方法尋覓可以到達(dá)最小均方誤差的權(quán)矢量。均方誤差性能曲面的梯度定義為： PRww22 10nnwnnwnnwnnnnTL最優(yōu)權(quán)重矢量處梯度為零：最優(yōu)權(quán)重矢量處梯度為零： PRwPRw1 022nn最小均方誤差：最小均方誤差： wPPRPPR2PPRRPRw2PRwwT1T1T1TTTndEndEndEndE22122min 與維納濾波器的最小均方誤差比較:1T1RR 2min2 E s nE s nT1ToptP R PP hThe same equations背叛矢量背叛最優(yōu)權(quán)重背叛矢量背叛最優(yōu)權(quán)重均方誤差性能方程可寫為另一種方式： wPRwwTTndEn2權(quán)重背叛

6、矢量權(quán)重背叛矢量:wwv在 坐標(biāo)系統(tǒng)中的性能曲面方程 wwRwwTminn RvvTminnv為了使 對于一切能夠的 值為非負(fù)，有必要使一切 滿足 。 也就是說 必需是正定或者半正定。在實踐的系統(tǒng)中，矩陣 總是正定的，有時半正定情況也會出現(xiàn)。Rvv2 梯度: 矢量 是權(quán)重矢量 對維納最優(yōu)權(quán)矢量 的背叛。 任何背叛都會導(dǎo)致均方誤差的一個添加量vwwRvvTRvvTminv0RvvTvRR4. 最陡下降法 根本思想：搜索性能曲面 理想情況下梯度可知: 運用基于梯度的方法最陡下降法 實踐情況梯度多數(shù)不可知: LMS方法the Least-Mean-Square algorithm RLS方法Recu

7、rsive Least-Square Algorithm)()()() 1(2nWneEnWnW演示1: 基于梯度搜索均方誤差曲面的最小點 nnnww1 為一個控制收斂速度和穩(wěn)定性的常數(shù)稱為自順應(yīng)步長。演示2:方程兩邊同減最優(yōu)權(quán)矢量11LTxxnnnnRQ Qq q幾個不同方式的權(quán)重更新方程 nnnnnnnnnnnnnnnnvIvvQvvQIvQvQIQvvQQIvvRIvwwvwRwwRIww1111121 21212121 22 1 1 22 2 122nnnnnnnnn 1wwRwPwRwPwR PwIR wRw nvnvnvnvnvnvLLL211211211111000 1 20 ,

8、1,2,nkkkvnvkL 20nnvIv 12nnvIvlim( )lim ( )lim( )nnnnnnwwv0v0lim20; lim 1 20 0, 1,nnknnkLImax10 2max00trLLkkkkE x nR 10trR穩(wěn)定和收斂條件：穩(wěn)定和收斂條件：可證明：自順應(yīng)過程的穩(wěn)定性max10 optoptTWWVWWQV0: )(Lkvnvknkk, 2 , 1),0(21)(Lkwhennvkkn, 2 , 1, 121, 0)(lim最優(yōu)點:時間迭代:穩(wěn)定條件:The deepest-descend method實踐運用中選取: 2110111( )LLkikiTr RE

9、 xn參數(shù)變卦的回饋模型The deepest-descend method收斂速率 濾波器參數(shù)的收斂速度決議于自濾波器參數(shù)的收斂速度決議于自順應(yīng)步長的選擇順應(yīng)步長的選擇 在主軸系統(tǒng)中參數(shù)沿著各個參數(shù)在主軸系統(tǒng)中參數(shù)沿著各個參數(shù)坐標(biāo)軸獨立收斂。各個坐標(biāo)軸的坐標(biāo)軸獨立收斂。各個坐標(biāo)軸的收斂速度被各自的幾何比收斂速度被各自的幾何比 r 控制。控制。 需求留意的是，在自然坐標(biāo)系中需求留意的是，在自然坐標(biāo)系中各個參數(shù)各個參數(shù)w并不是獨立收斂的。并不是獨立收斂的。這是我們?yōu)槭裁匆儞Q坐標(biāo)系到這是我們?yōu)槭裁匆儞Q坐標(biāo)系到主軸系統(tǒng)進展收斂分析的緣由。主軸系統(tǒng)進展收斂分析的緣由。)0(21)(knkkvnvk

10、kLLrrrr212121211100kkr21幾何比 r 和自順應(yīng)步長對收斂的影響：穩(wěn)定(收斂)過阻尼臨界阻尼欠阻尼不穩(wěn)定 (不收斂)10210211210 , 11r01r10 r0r1r幾何比和自順應(yīng)步長對收斂的影響： 1112001, 101112nnv nvr vv nrerevr 權(quán)系數(shù)衰減時間常數(shù)權(quán)系數(shù)衰減到初始值的 需求破費的時間。收斂速度：幾個時間常數(shù)收斂速度：幾個時間常數(shù)1e 2222minmin2min1222min11min01 20001, 10211 ()2 124msemsemsennmsemsenvvrvnrererer 通常為迭代次數(shù)(2) 學(xué)習(xí)曲線時間常數(shù)學(xué)

11、習(xí)曲線時間常數(shù)即均方誤差與最小均方誤即均方誤差與最小均方誤差的差值下降到初始差值差的差值下降到初始差值的的 時所破費的時間。時所破費的時間。1emse(3) 自順應(yīng)時間常數(shù)用時間衡量學(xué)習(xí)曲線常數(shù)frequency) sample( iteration)each for samples data( numberiteration wheresec , 1 smsesmsemsefNfNT留意 最陡下降法具有更多的實際分析意義，實踐操作時我們必需對其做很多近似。Least-Mean-Square Algorithm 最陡下降法在每次迭代時要求得到性能曲面梯度的估計值。 LMS 方法運用一個特別方法

12、估計這個梯度這個梯度對于自順應(yīng)的線性組合器是有效的 LMS 方法的優(yōu)勢在于: (1) 計算簡一方便 (2) 不需求離線的梯度估計或者數(shù)據(jù)副本 假設(shè)自順應(yīng)系統(tǒng)是一個自順應(yīng)線性組合器，并且輸入矢量和期望呼應(yīng)在每次迭代時都可以得到，那么LMS方法通常是一個最好選擇。5. LMS 方法方法 nnennnnnnmethoddescentsteepestThennenenennnnnnnnenneEnxwwwwxwww2 1: 2222 ( )e nd ny nd nnnTxwLMS 方法推導(dǎo)方法推導(dǎo)運用單次計算的估計誤差平方替代平方誤差的期望。 LMS運用單次誤差替代誤差平均，呵斥梯度和權(quán)矢量成為圍繞真

13、值的隨機變量。 nnennnnnyndnennnyxwwwwwxT2 ,1LMS 自 適 應(yīng) 濾 波 器 nxnxnenwnwnwnwnwnwnT10101010211w舉例2輸入線性組合器 22 2 2 0EnE e nnEnd ny nEnnnd nnnBnEn TxxxxwRwPLMS方法對梯度的估計的均值為真實梯度方法對梯度的估計的均值為真實梯度估計量的期望值與真實梯度的偏向為0。所以為無偏估計 RwwRIRwPPwRIwxxPwwxxxwxwwTT22 22 22 22 21nEnEnEnnEnEnnnEnndEnEnneEnEnE RwwRIw221nn RwwRIw22 1nEn

14、E nnennxww21 nnndnewxT最陡下降法LMS權(quán)矢量的均值權(quán)矢量的均值等于最陡下降法得到的權(quán)矢量等于最陡下降法得到的權(quán)矢量020406080100120140160180200-0.500.511.5020406080100120140160180200-0.500.511.5最陡下降LMS 單次020406080100120140160180200-0.500.511.5020406080100120140160180200-0.500.511.5最陡下降LMS 多次平均 RwwRIw22 1nEnE RwwRIw221nn wwRIww02nn121kkrmax10 wwRI

15、ww02nnE LkknxE02 tr,tr10RR收斂條件收斂條件 在最小均方誤差點在最小均方誤差點 附近的梯度估計誤差附近的梯度估計誤差min nNnn nnennNnx2 , 0(around )min(梯度估計噪聲 ) nN minminmin2244 cov cov44 4covQRQQQQQQQRxxxx11111TTnNnNnNEnNnNEnNnnEneEnnneEnNnNEnNTTT權(quán)矢量噪聲權(quán)矢量噪聲 1, 2nnnne nn wwwwx(2)在最小均方誤差點在最小均方誤差點 附近的權(quán)矢量估計誤差附近的權(quán)矢量估計誤差min 012lim12022121 11010knNnkn

16、NnnNnnnNnnnNnnnNnnnnnnkknnkknIvIvIvvIvvRIvwwww(3)在最小均方誤差點在最小均方誤差點 附近的權(quán)矢量噪聲方差附近的權(quán)矢量噪聲方差 min 112nNnnvIv IQvQvIvvIvvIvvIIvvIvvIvIvIvvvwwww22min1min1min122222222covcovcov4covcovcov2 11112 11112 211112 11112 112 112 E cov1nnnNnnNnnNnNEnnEnNnNnnEnnNnNnnNnNnnEnNnnNnnnEnnNnnnNnnnnnTTTTTTTTTTT梯度估計噪聲的存在，使得收斂后

17、的權(quán)矢量在最正確權(quán)矢量的附近隨機起伏。這意味著穩(wěn)態(tài)的均方誤差值在 附近隨機的改動。這個偏移量的期望值稱為超量EMSmin LkkknvEnnEnnEEexcessMSE02min vvRvvTT失失 調(diào)調(diào) 量量 (1) 超量超量EMSMean-Square Error RIvvvTtr covmin0min02min22120min211011210101020LkkLkkkLLLLLLnvEexcessMSEnvEnvEnvEnvEnvnvEnvnvEnvnvEnvEnvnvEnvnvEnvnvEnvEnnEn Rtrmin0minLkkexcessMSE RtrminexcessMSEMa

18、vavmseLkkmseavmseLkkavLL41 ,11 ,1100 avLkkL1tr0RavmseLM41(2) 失調(diào)量 M實踐運用中，失調(diào)量，收斂速度和權(quán)系數(shù)的個數(shù)往往需求作一個折中，因此這個方程很有用。 通常自順應(yīng)過程在大約4倍學(xué)習(xí)曲線時間常數(shù)內(nèi)根本終了。 因此，失調(diào)量可以為等于權(quán)重數(shù)目比上過渡時間4倍時間常數(shù)。特殊情況下一切特征值都相等：特殊情況下一切特征值都相等：mseavmseLLM4141msemseLmsemse10設(shè)計濾波器時的思索設(shè)計濾波器時的思索 trMR14 trmseLR假設(shè)要求失調(diào)量小于10，那么過渡時間該當(dāng)比權(quán)重數(shù)目大10倍。6. 自順應(yīng)的遞歸最小二乘方自順

19、應(yīng)的遞歸最小二乘方(RLS)算法算法 維納濾波器的一種時間遞歸方式(收斂速度快)n維納濾波器nRLS 自順應(yīng)濾波器min)(2neE1xxxdW R P20( )minnn kke k遺忘因子 新數(shù)據(jù)比舊數(shù)據(jù)更加重要min)(02nkknke 100( )( )( )( )( )( )nnkTknnkxdknnnnkknd kkwRPRXXPX( )( ), (1), ()Tkx kx kx kpX10 T01,pnw n w nwnw P0iiy kw k x kikkkkTTwxxw e kd ky k自相關(guān)矩陣：( )(1)( )( )TxxxxnnnnRRXX( )(1)( ) ( )

20、xdxdnnn d nPPX相互關(guān)矢量:自相關(guān)矩陣逆的迭代方式：11)()() 1()(nXnXnRnRTxxxx相關(guān)的遞歸方式0( )( )( )nnkxdknd kkPX0( )( )( )nn kTknkkRXXBCBCCDBCBACCDBATTT1111A 和 B 是兩個正定矩陣)() 1()() 1()()() 1() 1()(111111nXnRnXnRnXnXnRnRnRxxTxxTxxxxxx關(guān)于矩陣逆的一個定理11( )( )( )(1)( ) ( ) (1)( )(1)( ) (1)xxxdxxnnnnnn e n nnnn e n nWRPWRXWWK1111(1) ( )( )1( )(1) ( )xxTxxnnnnnnRXKXRX(1)( )(1) ( )