現(xiàn)代數(shù)字信號處理(chap5 自適應濾波)(修訂版)(1)

1、主講教師主講教師: 何松華何松華 教授教授聯(lián)系方式聯(lián)系方式:(0731) 82687718 現(xiàn)代數(shù)字信號處理/自適應濾波第五章第五章 自適應濾波器自適應濾波器教學內(nèi)容教學內(nèi)容最小均方自適應橫向型濾波器最小均方自適應橫向型濾波器(LMS) 正則方程、梯度法、正則方程、梯度法、LMS算法算法遞歸最小二乘自適應濾波器遞歸最小二乘自適應濾波器(RLS) 原理、迭代算法原理、迭代算法自適應濾波器應用自適應濾波器應用 自適應對消器自適應對消器 前言前言一一、自適應濾波器的提出自適應濾波器的提出Weiner濾波器：輸入濾波器：輸入x(n)，期望輸出，期望輸出yd(n) 輸入輸入期望

2、輸出信號是廣義平穩(wěn)的；輸入期望輸出信號是廣義平穩(wěn)的；輸入期望輸出信號的期望輸出信號的相關及互相關特性是已知的。相關及互相關特性是已知的。自適應濾波器自適應濾波器( 兩層兩層)的含義：的含義： 輸入信號統(tǒng)計特性是未知的或知道甚少，或者其統(tǒng)計特性是時輸入信號統(tǒng)計特性是未知的或知道甚少，或者其統(tǒng)計特性是時變的，變的，自動適應輸入信號的統(tǒng)計特性自動適應輸入信號的統(tǒng)計特性,能夠根據(jù)輸入信號統(tǒng)計特性能夠根據(jù)輸入信號統(tǒng)計特性的變化自動調(diào)整其結構參數(shù)的變化自動調(diào)整其結構參數(shù)，以滿足某種最佳準則的要求。，以滿足某種最佳準則的要求。 ( )( )( )Doptz F zHzG z( )( )( )optF zHz

3、G z( )( )( )optF zHzG z平滑濾波D步預測1( )( )()xydRzF zG z1( )( ) ()xR zG z G z前言前言二、二、自適應濾波器的組成自適應濾波器的組成參數(shù)可調(diào)數(shù)字濾波器自適應算法x(n)d(n)y(n)e(n)_+濾波結構濾波結構 IIR、FIR、橫截型、格型、橫截型、格型 自適應算法自適應算法 LMS、RLS實際輸出期望輸出前言前言三、自適應濾波器的典型應用三、自適應濾波器的典型應用自適應系統(tǒng)建模自適應系統(tǒng)建模 回波抵消模型、控制模型、信道模型回波抵消模型、控制模型、信道模型自適應逆濾波自適應逆濾波 自適應均衡、盲解卷積自適應均衡、盲解卷積自適應

4、信號預測自適應信號預測 自適應預測編碼、變化檢測自適應預測編碼、變化檢測多傳感器干擾抵消多傳感器干擾抵消 陣列信號處理陣列信號處理(角分辨角分辨)與自適應波束形成與自適應波束形成始終保證誤差信號的方差或動態(tài)范圍為最小,降低編碼比特數(shù)移動通信:信道模型空間位置的變化而變化干擾信號的方向是未知的變化的電視現(xiàn)場直播信號前言前言四、自適應濾波器的典型應用舉例四、自適應濾波器的典型應用舉例通信中的回波抵消通信中的回波抵消 (電話交換機電話交換機)由于阻抗不匹配造成能量泄漏前言前言濾波器的參數(shù)自動適應C-混合器B-D的回波路徑僅剩B的話音,回音被對消前言前言自適應預測誤差編碼1( )()Niix na x

5、 ni 第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器Widrow B，Hoff M E Jr. Adaptive switching circuits. 1960線性線性(L)最小均方誤差最小均方誤差(MS)濾波器、最陡下降法濾波器、最陡下降法一、一、最佳濾波器的正則方程最佳濾波器的正則方程d(n)自適應算法x(n)y(n)+_e(n)z-1z-1z-1w1(n)w1(n)wM (n)濾波器的參數(shù) 不再是常數(shù),而是與n有關的變量iw第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器 為平穩(wěn)信號情況下的線性為平穩(wěn)信號情況下的線性FIR濾波濾波10( )( ) ()Miy nh i x ni最優(yōu)濾波器的

6、參數(shù)最優(yōu)濾波器的參數(shù) 與時間與時間n無關無關 ( )|0,1,.,1h iiM( )x n 為非平穩(wěn)信號情況下的線性為非平穩(wěn)信號情況下的線性FIR濾波濾波10( )( , ) ()Miy nh n i x ni最優(yōu)濾波器的參數(shù)最優(yōu)濾波器的參數(shù) 與時間與時間n有關有關 ( , )|0,1,.,1h n iiM( )x n記( )( ,1)iw nh n i(1,2,.,)iMM-1階線性濾波器第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器1( )( )( )( )( ) (1)Miie nd ny nd nw n x ni 定義：定義：12( )( )( )( )TMnw nw nwnW( ) (

7、 )(1)(1)Tnx nx nx nMX( )( )( )( )( )( )( )TTe nd nnnd nnnWXXW均方誤差性能函數(shù)均方誤差性能函數(shù)2()( )( )fE e nnW則：則：1( )( ) (1)Miiy nw n x ni 對于非平穩(wěn)過程,數(shù)學期望不再是常數(shù)矢量函數(shù)的含義?第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器2()( )( )( )TfEd nnnWXW2( )2( )( )( )TE dnE d nnnXW( )( )( )( )TTEnnnnWXXW定義：定義： ( )( )E d nnPX( )( )TxEnnRXX 矢量 標量W()f W行矢量 矩陣 列

8、矢量 =標量(列矢量,互相關矢量)自相關矩陣(列矢量行矢量)第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器222( ) ( ) (1) ( ) (1) (1) ( )(1) (1) (1) (1) ( ) (1) (1)(1)xE xnE x n x nE x n x nME x nx nE xnE x nx nME x nMx nE x nMx nE xnMR2( )( )2( )( )( )TTxnE dnnnnP WWR WxoptR WP1optxWR P22minmin( )( )ToptE e nE dnP W ( ) ( ), ( ) (1),., ( ) (1)TE d n x

9、nE d n x nE d n x nMP( )22( )0( )xnnn PR WW標量對矢量的導數(shù)為矢量根據(jù)矩陣論中的二次型求導原理，當TxxR = R則：則：第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器平穩(wěn)平穩(wěn)Rx , P 已知情況下正則方程的求解已知情況下正則方程的求解1optxWR PxR滿秩滿秩直接矩陣求逆算法直接矩陣求逆算法最陡下降法最陡下降法(牛頓梯度法牛頓梯度法)LevinsonDurbin算法算法LMS算法、算法、RLS算法算法運算量大，且在非平穩(wěn)情況下對每個運算量大，且在非平穩(wěn)情況下對每個n都要求逆都要求逆格形自適應濾波器格形自適應濾波器LMS算法的基礎,同樣可以避免矩陣

10、求逆運算Rx , P 未知情況下以及非平穩(wěn)正則方程的求解未知情況下以及非平穩(wěn)正則方程的求解二、梯度法二、梯度法(Gradient-Method) 最陡下降法最陡下降法(The method of Steepest Descent)第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器1 算法算法 (牛頓梯度法牛頓梯度法) (一維情況一維情況)optW1W2W2( )( )nE e n( )W nmin( )( )0( )EnnW n(1)( )( )W nW nn ( )0( )EnW n(1)( )( )W nW nn LMS算法的基礎，必須先進行介紹W(n)=W1 時W(n)=W2 時向左搜索向右搜

11、索第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器( )(1)( ) ( )( )( )nnnnnnWWWW梯度梯度 的極性約束方向，的極性約束方向， 控制步長控制步長收斂速度收斂速度精度。精度。 ( )n22212( )( )( )( )( ),( )( )( )( )ME e nE e nE e nnnnw nw nwnW1optxW(n)WRP22( )n xPR W當當算法收斂算法收斂(1)( )nnWW(1)( )2 ( )0,1,2nnnnxWWPR W統(tǒng)計特性P、Rx已知的情況下,一旦給定初始權值W(0),則收斂路徑確定見前面的推導第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器2. W

12、的的收斂條件收斂條件自相關矩陣Rx的本征分解理論120.00.0.000 xMR QQQTTxQ RQ 11()TTTxRQQQ QQ Q由Rx的特征根構成的對角矩陣由Rx的特征向量構成的矩陣根據(jù)特征向量矩陣的正交性QTQ=I本征分解對推導分析的好處:轉(zhuǎn)化為對角矩陣運算處理一定能收斂到最優(yōu)解嗎?上式兩邊取轉(zhuǎn)置并利用性質(zhì)1TxRQ QQ Q證:第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器2. W的的收斂條件收斂條件(1)( )2 ( )nnnoptoptxxoptWWWWR WR W定義誤差矢量定義誤差矢量 (1)(1)nnoptVWW(1)( )2( )2 ( )nnnnxxVVR VIR V

13、T-1xRQQQQ12(,)Mdiag xR非負定、對稱，存在正交矩陣非負定、對稱，存在正交矩陣 ，即，即 (1)2( )nn-1VQ I Q V非負定的含義：根據(jù)矩陣理論，自相關矩陣是非負定的0m-1TQQQ滿足滿足 (1)( )2 ( )nnnxWWPR W根據(jù)1optxWRP則有則有: 則則: 第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器定義定義 ( )( )( )nnn-1TVQ VQ V11(1)(1)(2)(0)nnQnVVIV(0)(0)ToptVQ WW(0)(0)optVWW1(1)2(0)VQ I Q V121(2)2(1)2(0)VQ I Q VQ I Q V11(1)2

14、(0)nnVQ IQ V則則 Q的正交性對角矩陣第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器11112(12),(12)nnnMIdiag|1 2| 11,2,kkMmax10lim(2)0nnIlim( )lim( )0nnV nQV nlim( )optnnWW或或 時，時， 當當 滿足條件滿足條件 1(1)(1 2)(0)nkkkv nvmax12maxM 的第k個元素(1)nV 的第k個元素(0)Vlim( )0knvnlim( )0nV n第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器( )(12)(0)1nkkkv nvkM( )( )optW nWV n,1( )(0)(12)Mn

15、kkoptk iiiiw nwq v,1(0)1inMkoptk iiiwq vekM( )optWQV n共M個指數(shù)過程，收斂取決于最慢的指數(shù)過程(i最小的)1ln(1 2)ii指數(shù)收斂因子收斂路徑分析第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器3. 均方誤差序列的收斂性以及收斂精度均方誤差序列的收斂性以及收斂精度2( )( )2( )( )( )nE dnnnnTTxP WWR Wmin2( )( )( )nnnTTToptxP WP WWR Wmin( )( )TnnoptxoptWWRWW2( )( )2( )( )( )nE dnnnnTTxP WWR WxoptR WP22minm

16、in( )( )E e nE dnToptP Wmin2( )( )( )nnnTTToptxoptoptxxWR WWR WWR W第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器min( )( )( )nnnTxVR Vmin( )( )nnTTVQQ Vmin( )( )TV n V nmin(0)(2)(2)(0)TnnVIIV2min(0)(2)(0)TnVIV22min1(12)(0)Mnkkkkvnmin( )n根據(jù)定義根據(jù)對角矩陣乘積交換律|1 2| 1k選擇收斂步長u滿足：( )( )nnTVQ V根據(jù)權值收斂特性性能曲面函數(shù)第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器4. 二維

17、情況下誤差性能曲面舉例二維情況下誤差性能曲面舉例minmin( )( )( )( )( )TnnnV nV nTxVR Vw2minw1w1optv2v1w2opt12TWww112212, ,TToptoptoptVWWwwwwv v(0)(1)(1)(0)xxxxxrrRrr12ToptoptoptWwwmin2min121 22(0)2 (1)(0)TxxxxV R Vrvrv vrv關于的橢圓椎面函數(shù)12,v v第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器令令minCC 為常數(shù)為常數(shù)等高線等高線min22min1 122TVVvv221 122vvC2212121/vvCC1v2v2v

18、1w2w1v大特征值對應短軸，收斂 (逼近最優(yōu)點) 快第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器牛頓梯度法牛頓梯度法舉例舉例: 預測預測12( )(1)( )(1)y nx na x na x n ( )(1)d nx n估計估計12,a ax(n)z-1z-1w1w2( )y n2min (1)(1) Ex nx n第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器a1a2121/2min1-0.19500.920.09652-0.97500.951.50.530.07313-1.59550.951.8180.182100.03224-1.91140.951.9570.019

19、81000.0038情況2的說明 ( ) ( ) ( ) (1)10.5 (1) ( ) (1) (1)0.51xE x n x nE x n x nRE x nx nE x nx n已知: (1) ( ) (1) (1)0.50.4625TTPE x nx nE x nx n第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器 的兩個特征根分別為11.5xR20.51120.9750.95optxaWRPa 2min0.975( )10.50.46250.07310.95ToptE dn P W練習5.1：根據(jù)表中的其他情況的1、 2以及Rx性質(zhì)(對稱，且對角元素值相等)反推矩陣Rx，根據(jù)a1、 a

20、2以及Rx反推P并計算min第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器取max00.31/(0)0,0TW則(1)(0)2 ( )625 0.3, 0.2775TTnxWWPR W0.30.510.50.3(2)0.60.27750.46250.510.2775 0.50325, 0.6635TW0.503250.510.50.50325(3)0.60.66350.46250.510.6635 0.70035, 0.693875TW當n足夠大時,( )0.975, 0.95TW n 統(tǒng)計特性已知時,只有在大矩陣情況下才體現(xiàn)運算上的優(yōu)勢第一節(jié)第一節(jié) LMS自適應濾波器自適應濾

21、波器三、三、LMS算法算法 (Least Mean Square) 1. B.Widrow和M.E.Hoff 1960年 權值遞推算法(0)(0)(0)(0)TedXW給定任意的初始權值矢量給定任意的初始權值矢量 以及合適的步長 ，從n=0開始(0)W1( )( ) (1)( )( )MTiiy nw n x niWn X n ( )( )y nd n12( )( ),( ),.,( )TMW nw n w nwn( ) ( ), (1),., (1)TX nx n x nx nM一般采用全零的矢量第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器( )( )( )( )Te nd nXn W n1

22、2W nW nn()( )( )2( )( )( )2( ) ( )ne nnn e n W WXW( )2( ) ( )nn e n=WX單個誤差樣本的平方單個誤差樣本的平方 隨機梯度隨機梯度隨機變量隨機變量隨機路徑隨機路徑無須事先知道P、Rx等統(tǒng)計特性,自動適應其統(tǒng)計特性,并收斂到最優(yōu)權值2(0)(0)(0)2(0) (0)ee W WXW00210200eWW( )( )( )( )( ) ( )WX然后由 、 、 計算 、 ；依此類推1W( )1e( )1d( )1X( )2W( )標量矢量第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器LMS算法流程算法流程 假設輸入數(shù)據(jù)從n0=0開始，

23、在n=0的邊界附近構造矢量時， 的值可以用零代替( 1), ( 2)., (1)xxxMH:共軛轉(zhuǎn)置*:共軛復數(shù)據(jù)情況同樣適用矢量LMS算法流程第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器LMS算法框圖算法框圖jjjjXeWW21Xjyjdjw1jw2jw3jwNjZ-1Z-2xjxj-1xj-2xj-N+1ej2. 權矢量收斂性權矢量收斂性第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器幾點假設幾點假設)(),(ndnX聯(lián)合平穩(wěn)聯(lián)合平穩(wěn)( )( )( )nnn r梯度矢量的隨機估計誤差梯度矢量的隨機估計誤差( )( )nn optV=WW權值估計誤差矢量權值估計誤差矢量X(n)和和 不相關不相關

24、( )nW雖然 只與矢量X(n-1)有關,該假設比較牽強,X(n)與X(n-1)之間有重疊,以下證明為不嚴格的證明,但在應用上尚未出現(xiàn)明顯的問題( )nW 處的理論梯度與實際梯度的誤差( )nW第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器 ( )( )( )EnEnEnr ( )Enn 梯度估計矢量是無偏的梯度估計矢量是無偏的(含義含義)22( )2 ( ) ( )( )( )TxPR E W nE X n d nXn W n 22( )22( )0 xxPR E W nPR E W n 22( )( )( )( )( ) ( )( )( )( )( )( )2 ( ) ( )( )( )|T

25、W W nW W nTW nW nE enEd nXn W nnW nW nE X n d nXn W n 22( )xPR W n ( )2( ) ( )nn e n X( )( )( )( )Te nd nXn W n不相關假設第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器(1)( )( )( )V nV nnr n (2) ( )xIR E V n(1)(1)optnnVWW(1)( )( )( )( )( )nnnnnn WWWr(1)( )( )( )E V nE V nEnE r n( )22( )xoptxE V nR WR E W n( )2( )xE V nR E V n定義則

26、前面已證明為0P( )22( )xnPR W n 第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器令令( )( )nn-1Q VV(1)(2) ( )EnEnVIV1(2)(0)nEIV(0)(0)(0)-1ToptVQ VQ WW (1)(2) ( )EnEnxVIRV1TxRQ QQ Q2( )En-1Q I QV原式兩邊同乘Q-1根據(jù)遞推原理第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器( )(1 2)(0)1nkkkE v nE vkM ( )( )optE W nWE V n,1 ( ) ( )Mkkoptk ikiE v nE w nwq ( )optWQE V n,1 (0)(1 2)

27、 1Mnkoptk iiiikwq E vM要求: ;收斂速度取決于 最大的項或 最小的項,特征值的散度 越大，則收斂時間愈長。|1 2| 1i|1 2|iiminmax第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器max01/收斂條件收斂條件n( )optE W nW( )0E V n211(1)MMxiiitr RE xni maxxtr R可取可取2110( )xtr RME xn根據(jù)矩陣理論更嚴格地滿足收斂條件期望意義上收斂12201( )( )NnE xnxnNN足夠大時3. 估計誤差能量的收斂性估計誤差能量的收斂性第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器( )( )( )( )T

28、e nd nnnWX( )( )( )( )TToptoptd nnnnWXWWX22( )( ( )( )( ) ( )( )( )( )ToptTToptoptE e nEd nnnEnnnnWXWWXXWWmin( )( )( ) ( )TTEnnnnVXXVmin ( )( )( )( )TTtr EnnnnVVXX根據(jù)最佳估計時的誤差 與X(n)不相關的原理( )( )Toptd nnWX練習5.3:該矩陣對角線元素值的和為( )( )( ) ( )TTnnnnVXXV第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器2min1( ) MiiiE v nmin ( )( ) Ttr E V

29、 n Vn tr ABtr BA2min( ) ( )( )TxE e ntr Enn RVVmin ( )( )TTtr E V n Vn Q Q將QT移到前面去相乘w與x無關,則v與x無關2min1( ( )var ( )MiiiiE v nv n第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器 均方誤差收斂條件均方誤差收斂條件max10 ( )0iE v n2min1( )var ( )MiiiE e nv n超量均方誤差 結論結論: LMS算法使用隨機梯度算法使用隨機梯度, 權值收斂為均值意權值收斂為均值意 義上的收斂義上的收斂(在最優(yōu)權矢量附近左右擺動在最優(yōu)權矢量附近左右擺動), 平平

30、均誤差能量大于牛頓梯度法的最小誤差能量均誤差能量大于牛頓梯度法的最小誤差能量4. 超量均方誤差超量均方誤差第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器2min1( )limvar ( )MexiiniVE ev n根據(jù)根據(jù)(1)( )( )( )V nV nnr n ( )22( )xnPR W n 可以得到可以得到 (1)(2) ( )( )xV nIR V nr n練習5.41(1)(2)( )( )V nI V nQ r n221(1) (1)(2)( ) ( ) ( )( ) TTTE V nVnIE V n VnE Q r n rn Q假設r(n)與v(n)不相關xoptPR W對角

31、矩陣相乘的位置可交換性,假設權系數(shù)誤差之間互不相關如何求方差?第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器n 當時(1) (1)( ) ( )TTE V nVnE V n Vn( )( )( )( )2( ) ( )nnnnX n e n r理想穩(wěn)態(tài)情況下誤差矢量( )0n121min( )( ) 4 ( )4TxE Q r n rn QE e n Q R Q22min( ) ( )(2)( ) ( )4TTE VVIE VV 在maxmax121.M時的近似解為min( ) ( )TE VVI練習第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器min1exxVtr R定義：失調(diào)量定義：失調(diào)量值越

32、大，失調(diào)量大值越大，失調(diào)量大2min1( )limvar ( )MexiiniVE ev n1var ( )Miiivminmin1limMixnitr R 10 xtr Rvar ( )iv 為矩陣 對角線元素上的值( ) ( )TE VV22(2)4442III注:第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器lim( )kkoptnE w nw 當當n足夠大時足夠大時, 權值在最優(yōu)點附近擾動權值在最優(yōu)點附近擾動;并非依概率并非依概率1收收斂于最優(yōu)權值斂于最優(yōu)權值擾動所帶來的超量均方誤差為擾動所帶來的超量均方誤差為minminxtr R因此因此,當當n足夠大時足夠大時, 權值在最優(yōu)點附近擾動

33、是比較小的權值在最優(yōu)點附近擾動是比較小的,1( )(0)(12)Mnkkoptk iiiiE w nwq v ,1( )(0)(1 2)( )Mnkkoptk iiikiw nwq vn收斂路徑中的噪聲第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器5. 應用：自適應均衡應用：自適應均衡碼間干擾現(xiàn)代通信中一般設置訓練比特反射波個數(shù)延遲幅度未知重構的部分數(shù)據(jù)y(n)第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器+x(n)y(n)d(n)e(n)通信信號數(shù)據(jù)發(fā)生器信道hn高斯白噪聲發(fā)生器自適應均衡器+I(n)v(n)收發(fā)同步后接收端根據(jù)已知的訓練比特重構的I(n)訓練比特是位置固定的0,1取值已知比特當

34、自適應均衡器為信道hn的逆濾波器時，y(n)=I(N)；均衡器達到理想效果第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器121cos0,1,220nnnhWothersW3.5r(0)1.09631.15681.22641.3022r(1)0.43880.55960.67290.7774r(2)0.04810.07830.11320.1511min0.33390.21360.12560.0656max2.02952.37612.72633.0707實際信道012( )( )(1)(2)x nh y nh y nh y n直射波兩個反射波第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波

35、器W=3.5W=3.3W=3.1W=2.9u = 0.075W越大, 反射波越強，則收斂精度越低第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器W=2.9u=0.075u=0.025u=0.0075u越小,則收斂速度越慢,但收斂精度越高第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器0100200300400500-2-1012origan signa0100200300400500-2-1012signa through channal corrupted by noise0100200300400500-2-1012output of ALE0100200300400500-2-1012error

36、 of ALE第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器梯度法與梯度法與LMS算法：算法：1.統(tǒng)計梯度與隨機梯度統(tǒng)計梯度與隨機梯度2.梯度法在梯度法在n趨于無窮時能收斂到最小均方誤趨于無窮時能收斂到最小均方誤差差 ，這是，這是因為每次迭代都使用了精確的梯因為每次迭代都使用了精確的梯度向量。度向量。LMS算法在算法在n趨于無窮時，最小均方誤趨于無窮時，最小均方誤差大于差大于 。這是因為存在梯度估計誤差。這是因為存在梯度估計誤差。3.3.梯度法定義了明確的學習曲線梯度法定義了明確的學習曲線( (收斂路徑收斂路徑) )，該曲，該曲線反映了均方誤差對迭代次數(shù)的變化情況。線反映了均方誤差對迭代次數(shù)的變

37、化情況。LMS算法學習曲線由噪聲和衰減指數(shù)和組成，算法學習曲線由噪聲和衰減指數(shù)和組成，噪聲的幅度通常隨步長參數(shù)噪聲的幅度通常隨步長參數(shù)u u的減小而減小。的減小而減小。 minmin第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器課程上機實驗6：線性信道均衡中的LMS梯度算法實現(xiàn)采用Matlab或VB語言編程 (1) 參照實驗3的方法產(chǎn)生均值為0，根方差為0.01的、正態(tài)白噪聲序列 ( )|1,2,.,200v nn ( )|1,2,.,100,0,1,0,0,1,0,1,1,1b ii (2) 假設信源發(fā)送的前10個比特為訓練比特,為 假設信源發(fā)送的后10個比特為信息比特,為 ( )|11,12

38、,.,201,0,0,0,1,1,0,0,0,1b ii 收發(fā)雙方按通信協(xié)議約定的,收方已知收方未知第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器 (3) 假設在接收端的采樣率為每個調(diào)制脈沖采集10點,采樣后數(shù)字基帶信號的數(shù)字角頻率為0.21,A=1,則接收到的直射波采樣信號(經(jīng)同步后)可以表示為 (10)2( ) 1cos0.21(1)|1,2,.,10;1,2,.,20aijb iAjji ( )0.3 (2)0.2 (4)5,6,.,2001( )( )0.3 (2)3,4( )1,2a na na nnx na na nna nn (4) 假設有兩個反射波,相對于直射波的延時分別為2,4

39、;幅度系數(shù)分別為0.3,0.2;則合成的信號為 ( )1( )( )|1,2,.,200 x nx nv nn (5) 加上信道噪聲后的信號為 ASK調(diào)制第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器 (6) 畫出直射回波a(n)以及帶有信道噪聲以及碼間干擾的信號x(n)的波形圖,計算平均誤差 2002111 ( )( )200nex na n1002160.5 1/( )100nuxn (7) 設置自適應濾波器的抽頭數(shù)M=6,搜索步長取為 初始權值設置為 ( )0|1,2,.,6w ii利用訓練比特對應的前100點數(shù)據(jù)計算權值,偽代碼為可以改變抽頭數(shù)以及步長,比較收斂效果假設數(shù)組的下標只能從1

40、開始的修正第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器 6 to 100( )( )( )0 1 to 6( )( )(1)( ) ( )( )( ) 1 to 6( )( )2(1)( ) forid ia iy iforjy iy ix ijw jnext je id iy iforjw jw jux ije inext jnext i 期望值觀察最終得到的權值 ( )|1,2,.,6w ii (8) 用得到的權值對信息比特對應的后100點數(shù)據(jù)進行濾波處理 前100點的期望輸出是已知的可以多次運行上述過程,以前一次的運行結果為初值;觀察是否可以改善均衡效果第一節(jié)第一節(jié) LMS自適應濾波器自

41、適應濾波器 1 to 100( )0 1 to 6( )( )(1001)( ) 1 to 100( )(100)( ) foriy iforjy iy ix ijw jnext jnext iforied iaiy inext i畫出誤差序列ed(n)的波形圖;畫出均衡后的序列y(n)的波形圖,觀察其與a(n)波形圖的后半部分的差異性遠小于x(n)與a(n)的差異性偽代碼,需要根據(jù)具體的語言進行修正第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器 (9) 計算信道均衡后的平均誤差 1002112 ( )(100)100ney na n比較其與e1的差異性(遠小于e1)觀察ed(n)的波形圖中的個

42、別毛刺點(誤差絕對值較大的點),思考:為什么個別毛刺點對誤碼率影響不大?思考:如果信號幅度A不為1且未知,是否對信道均衡產(chǎn)生影響? 按A=2重復實驗(期望輸出保持不變,則濾波輸出下降到1/A,輸出波形的調(diào)制方式形狀不變)第一節(jié)第一節(jié) LMS自適應濾波器自適應濾波器 在期望輸出不變的情況下,為了將不同A情況下的均衡結果進行有意義的比較,必須對誤差能量進行功率歸一化. 200221111 ( )( )200nex na nA信道均衡前,功率歸一化后的平均誤差能量1002112 ( )(100)/100ney na nA信道均衡后,功率歸一化后的平均誤差能量比較e1,e2,觀察信道均衡效果第二節(jié)第二

43、節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器一、一、RLS算法與算法與LMS算法算法 (RLS: Recursive Least Square)LMS算法偽最小均方誤差準則，一類數(shù)據(jù)的最佳濾波器算法偽最小均方誤差準則，一類數(shù)據(jù)的最佳濾波器 RLS算法最小二乘準則，一組數(shù)據(jù)的最佳濾波器算法最小二乘準則，一組數(shù)據(jù)的最佳濾波器 二、最小二乘原理二、最小二乘原理 e(n) d(n) y(n) x(n) w(0) w(1) w(M-1) z-1 z-1 z-1 有限長度輸入信號為 (0),1xx ix N M(MN)階線性濾波器 1,),0(Mwiww期望輸出信號為 (0),1 , (2)dd id N

44、d NM遞歸的實際上對同類的不同數(shù)據(jù)有不同的解第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器( )( )( )e id iy i代價函數(shù)代價函數(shù)2()| ( )|miniWe i2、數(shù)據(jù)窗范圍、數(shù)據(jù)窗范圍 1、輸入輸出方程、代價函數(shù)、輸入輸出方程、代價函數(shù) (0): (1) 0(1): 0 1(1): 1(2):12yMy MMy NNMNy NMNNM當已知的輸入數(shù)據(jù)為x(n)(n=0,1,N-1),則其中輸出y(0), y(1), , y(M-2)牽涉到nN-1的輸入數(shù)據(jù)x(n);必須對邊界外的數(shù)據(jù)進行假定為什么不考慮nN+M-2?10( )( ) () Mmy iw m x im

45、輸入數(shù)據(jù)范圍第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器(1) 協(xié)方差法：使得協(xié)方差法：使得n=M-1到到N-1范圍內(nèi)的誤差能量最小，范圍內(nèi)的誤差能量最小，不牽涉到不牽涉到0，N-1之外的輸入數(shù)據(jù)，無須任何假定之外的輸入數(shù)據(jù)，無須任何假定121,1iMiN12( )( ), (1), (1) ( , )Tnx nx nx nMni iX(1),(),(1)X MX MXNA(1)()(1)(2)(1)(2)(0)(1)()x Mx Mx Nx Mx Mx Nxxx NM定義數(shù)據(jù)矢量定義數(shù)據(jù)矩陣n時刻進入濾波器的數(shù)據(jù)第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器(2) 自相關法

46、：使得自相關法：使得n=0到到N+M-2全部范圍內(nèi)的誤差能全部范圍內(nèi)的誤差能量最小，假設量最小，假設 0，N-1之外的輸入數(shù)據(jù)都為零之外的輸入數(shù)據(jù)都為零120,2iiNM(0)(1)(2)AXXXNM(0)(1)(1)(1)000(0)(2)(2)(1)000(0)()(1)(1)xxx Mx Nxx Mx Nx Nxx N Mx N Mx N12( )( ), (1), (1) ( , )Tnx nx nx nMni iX第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器(3) 前加窗法：使得前加窗法：使得n=0到到N-1范圍內(nèi)的誤差能量最小，范圍內(nèi)的誤差能量最小，不牽涉大于不牽涉大于n

47、N-1時刻的輸入數(shù)據(jù)，對其不做任何假定；時刻的輸入數(shù)據(jù)，對其不做任何假定；但假設但假設n0的輸入數(shù)據(jù)為零的輸入數(shù)據(jù)為零120,1iiN(0)(1)(1)(1)0(0)(2)(2)00(0)()xxx Mx Nxx Mx Nxx NM(0)(1)(1)AXXXN12( )( ), (1), (1) ( , )Tnx nx nx nMni iX第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器(4) 后加窗法：使得后加窗法：使得n=M-1到到N+M-2范圍內(nèi)的誤差能量范圍內(nèi)的誤差能量最小最小,不牽涉不牽涉nN-1的輸入數(shù)據(jù)為零的輸入數(shù)據(jù)為零121,2iMiNM(1)(1)00(2)(2)(1)

48、0(0)()(1)(1)x Mx Nx Mx Nx Nxx NMx NMx N(1)()(2)AXMXMXNM12( )( ), (1), (1) ( , )Tnx nx nx nMni iX第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器3、正則方程、正則方程 (0)(1)(1)()(1)0(0)(2)(1)(2)00(0)(1)()xxx Mx Mx Nxx Mx Mx NAxxx NM01nN(前加窗前加窗)其他加窗情況作為練習,自己推導.為什么以前加窗作為重點?期望輸出都有定義定義濾波器輸出信號矢量定義濾波器輸出信號矢量: (0), (1),., (1)TYyyy N定義權矢量定

49、義權矢量: (0), (1),., (1)TWwww MMN維M維N維第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器則有則有: TYA W定義誤差信號矢量定義誤差信號矢量: (0), (1),., (1)TEeee N定義期望信號矢量定義期望信號矢量: (0), (1),., (1)Tddd Nb( )( )( )e nd ny n則有則有: TEYA Wbb誤差信號能量誤差信號能量: 120()( )() () NTTTTnTTTTTTWe nE EA WA Wb bb A WW AbW AA WbbN維N維標量第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器min ()W()

50、0WW根據(jù)標量對矢量的二次型的求導公式得到根據(jù)標量對矢量的二次型的求導公式得到: 220TAbAA WM維1() ()TWAAAbM維MN, NMM MMN, N1M 1定義樣本自相關矩陣定義樣本自相關矩陣: TxRAA第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器0 00 1011 011111 01111( , )( , )( ,)( , )( , )( ,)(, )(, )(,)xxxxxxxxxxrrrMrrrMr Mr Mr MMR對稱；但對角線元素值不同,不滿足Toepliz的兩個條件其中其中: 10( ,)() ()0,1Nxnr l mx nm x nll mM定義定義

51、: 011Tqqq M ( )( )()qAb其中其中: 10( )( ) ()01Nnq ld n x nllM 第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器xR Wq則得到正則方程則得到正則方程11()TxWRqAAAbminTTTTTTTE Eb bb A WW AbW AA W1()TTTTb bb AAAAb最小誤差能量為：最小誤差能量為： 一般不滿足Toepliz性質(zhì)，有沒有遞歸算法避免大矩陣的直接求逆運算？是要解決的主要問題,后面介紹將解代入TTb bq W第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器20( )( )01nn iine i三、三、(遞歸最小二乘

52、遞歸最小二乘)RLS自適應自適應 橫向濾波器橫向濾波器( )(0)(1)( )nXXX nA( )( ), (1), (1)0Tix ix ix iMin X(0)(1)( )0(0)(1)00(1)xxx nxx nx nM( ) (0),(1),( )Tnddd nb當前誤差能量積累(離當前時刻越遠，加權越小)定義只討論前加窗情況A(n)是矩陣A的前n+1列當前輸入數(shù)據(jù)矩陣當前輸出數(shù)據(jù)矢量第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器10002000( )0000000nnn ( ) (0)(1)( )Tneee ne( )( )( )nnnTbAW120,nndiag則有定義TE

53、bA W將輸入數(shù)據(jù)段為0到N-1情況下的矩陣形式表示形式推廣到輸入數(shù)據(jù)段為0到n情況下的矩陣形式表示形式,目的? 中n的含義?( )nW當前誤差數(shù)據(jù)矢量當前最優(yōu)權值矢量第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器( )( ) ( ) ( )nnnnTee( )( )( )( )nnnnTebAW1122( ) ( )( ) ( )Tnnnn ee111222( ) ( )( ) ( )( )( )( )nnnnnnnTebAW( )b n( )A n則有 的定義？適用?12( )n根據(jù)最小二乘原理， 參照 情況的解，得到該線性方程組解為( )|0W WnW( )e n矢量E TbA

54、W第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器1( ) ( )( )( )TTW nAn A nAb n1( ) ( )xRn q n111122221( )( ) ( )( )( )( )( ) ( )TTnnnnnnnnTTTAAAb1( ) ( )( )( ) ( ) ( )nnnnnnTAAAb此處， 、 的定義為( )xR n( )q n第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器20( ) ( ) ( )( )( )( )( )( )nTTn iTibnn b nqn W nd iqn W n0( )( ) ( )( )( )( )Txnn iTiR nA nn

55、 A nX i Xi0( )( ) ( ) ( ) ( )nn iiq nA nnnX i d ibmin( )( ) ( )( )( )TTnbn b nqn W n矢量標量( )n將 解代入 表達式( )W n練習：根據(jù)上述矩陣的定義以及對角矩陣相乘的性質(zhì)第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器0110( )( ) ( )( )( )( )( )(1)( )( ) nn iTixnniTTiTxR nX i XiX n XnR nX iXnXniX 如何遞推求解，避免矩陣求逆如何遞推求解，避免矩陣求逆?1101( )( ) ( )( ) ( )( ) ( )(1)( ) (

56、)nnn iniiiq nX i d iX i d iX n d nq nX n d n 、 都是MM的矩陣( )xR n(1)xR n1( )( ) ( )xW nRn q n 、 的遞推關系？則可求出權的遞推( )xR n(1)xR n第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器11TEFCD C矩陣求逆定理：如果矩陣求逆定理：如果E、F為正定矩陣，且滿足為正定矩陣，且滿足下面推導下面推導 與與 的關系的關系1( )xRn1(1)xRn11()TTEFFC D C FCC F則有則有觀察觀察( )(1)( )( )TxxR nR nX n XnE1FCTC1D C為列矢量時，D只

57、能為標量，CTFC也為標量設設第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器1( ),(1),( ),1xxER nFR nCX nD令令111( )(1)xxRnRn1( )( )xP nRn21111(1)( )( )(1)1( )(1)( )TxxTxRnX n Xn RnXn RnX n令令11(1)( )( )1( ) (1)( )TP nX nK nXn P nX n增益系數(shù)增益系數(shù)11( )(1)( )( ) (1)TP nP nK n Xn P n有有有有第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器11( )(1)( )( )( ) (1)( )TK nP n

58、X nK n Xn P nX n1( )( ) ( )( ) ( )xW nRn q nP n q n( ) (1)( )( ) ( )P n q nP n X n d n(1) (1)( )( ) (1) (1)( ) ( )TP nq nK n Xn P nq nK n d n11(1)( )( ) (1)( )TP nK n Xn P nX n ( )( )P n X n將K(n)表達式的分母移到左邊相乘，再移位根據(jù)q(n)的遞推式根據(jù)p(n)的遞推式第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器(1)( )( )(1)( ) ( )TW nK n Xn W nK n d n11

59、(1) (1)( )( )(1) (1)( ) ( )TxxRnq nK n Xn Rnq nK n d n(1)( )(1) ( )TK n d nW nXn W n(1)( ) ( )KnnnW( )( )(1)(Td nXn W nn先驗估計誤差先驗估計誤差;要求要求 與與具有最小誤差，在未獲具有最小誤差，在未獲得得 之前，以之前，以 作為作為d(n)先驗估計先驗估計( )( )TXn Wn( )d n( )W n( )(1)TXn Wn 第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器( )( )(1)(Td nXn W nn小節(jié)小節(jié)( 1)PI初始條件初始條件：( 1)0W 遞

60、推算法遞推算法：( )(1)( ) ( )KW nW nnn11( )(1)( )( ) (1)TP nP nK n Xn P n11(1)( )( )1( ) (1)( )TP nX nK nXn P nX n(M維矢量)對n=0, 1, , N-1,執(zhí)行上述遞歸迭代運算，則最終的為所求(1)W N MM維對角矩陣，為任意較小的正數(shù)沒有出現(xiàn)任何的矩陣求逆運算(M維矢量)(標量)第二節(jié)第二節(jié) 最小二乘自適應濾波器最小二乘自適應濾波器前向加窗法前向加窗法:( 1)0W ( 1)PI從從 n=0 迭代到迭代到 n=N-1協(xié)方差法協(xié)方差法:(2)0W M (2)P MI從從 n=M-1 迭代到迭代到