現(xiàn)代數(shù)字信號(hào)處理(chap5自適應(yīng)濾波)(修訂版)(1)

1、主講教師主講教師: 何松華何松華 教授教授聯(lián)系方式聯(lián)系方式:(0731) 82687718 現(xiàn)代數(shù)字信號(hào)處理/自適應(yīng)濾波第五章第五章 自適應(yīng)濾波器自適應(yīng)濾波器教學(xué)內(nèi)容教學(xué)內(nèi)容最小均方自適應(yīng)橫向型濾波器最小均方自適應(yīng)橫向型濾波器(LMS) 正則方程、梯度法、正則方程、梯度法、LMS算法算法遞歸最小二乘自適應(yīng)濾波器遞歸最小二乘自適應(yīng)濾波器(RLS) 原理、迭代算法原理、迭代算法自適應(yīng)濾波器應(yīng)用自適應(yīng)濾波器應(yīng)用 自適應(yīng)對(duì)消器自適應(yīng)對(duì)消器 前言前言一一、自適應(yīng)濾波器的提出自適應(yīng)濾波器的提出Weiner濾波器：輸入濾波器：輸入x(n)，期望輸出，期望輸出yd(n) 輸入輸入期望

2、輸出信號(hào)是廣義平穩(wěn)的；輸入期望輸出信號(hào)是廣義平穩(wěn)的；輸入期望輸出信號(hào)的期望輸出信號(hào)的相關(guān)及互相關(guān)特性是已知的。相關(guān)及互相關(guān)特性是已知的。自適應(yīng)濾波器自適應(yīng)濾波器( 兩層兩層)的含義：的含義： 輸入信號(hào)統(tǒng)計(jì)特性是未知的或知道甚少，或者其統(tǒng)計(jì)特性是時(shí)輸入信號(hào)統(tǒng)計(jì)特性是未知的或知道甚少，或者其統(tǒng)計(jì)特性是時(shí)變的，變的，自動(dòng)適應(yīng)輸入信號(hào)的統(tǒng)計(jì)特性自動(dòng)適應(yīng)輸入信號(hào)的統(tǒng)計(jì)特性,能夠根據(jù)輸入信號(hào)統(tǒng)計(jì)特性能夠根據(jù)輸入信號(hào)統(tǒng)計(jì)特性的變化自動(dòng)調(diào)整其結(jié)構(gòu)參數(shù)的變化自動(dòng)調(diào)整其結(jié)構(gòu)參數(shù)，以滿足某種最佳準(zhǔn)則的要求。，以滿足某種最佳準(zhǔn)則的要求。 ( )( )( )Doptz F zHzG z( )( )( )optF zHz

3、G z( )( )( )optF zHzG z平滑濾波D步預(yù)測(cè)1( )( )()xydRzF zG z1( )( ) ()xR zG z G z前言前言二、二、自適應(yīng)濾波器的組成自適應(yīng)濾波器的組成參數(shù)可調(diào)數(shù)字濾波器自適應(yīng)算法x(n)d(n)y(n)e(n)_+濾波結(jié)構(gòu)濾波結(jié)構(gòu) IIR、FIR、橫截型、格型、橫截型、格型 自適應(yīng)算法自適應(yīng)算法 LMS、RLS實(shí)際輸出期望輸出前言前言三、自適應(yīng)濾波器的典型應(yīng)用三、自適應(yīng)濾波器的典型應(yīng)用自適應(yīng)系統(tǒng)建模自適應(yīng)系統(tǒng)建模 回波抵消模型、控制模型、信道模型回波抵消模型、控制模型、信道模型自適應(yīng)逆濾波自適應(yīng)逆濾波 自適應(yīng)均衡、盲解卷積自適應(yīng)均衡、盲解卷積自適應(yīng)

4、信號(hào)預(yù)測(cè)自適應(yīng)信號(hào)預(yù)測(cè) 自適應(yīng)預(yù)測(cè)編碼、變化檢測(cè)自適應(yīng)預(yù)測(cè)編碼、變化檢測(cè)多傳感器干擾抵消多傳感器干擾抵消 陣列信號(hào)處理陣列信號(hào)處理(角分辨角分辨)與自適應(yīng)波束形成與自適應(yīng)波束形成始終保證誤差信號(hào)的方差或動(dòng)態(tài)范圍為最小,降低編碼比特?cái)?shù)移動(dòng)通信:信道模型空間位置的變化而變化干擾信號(hào)的方向是未知的變化的電視現(xiàn)場(chǎng)直播信號(hào)前言前言四、自適應(yīng)濾波器的典型應(yīng)用舉例四、自適應(yīng)濾波器的典型應(yīng)用舉例通信中的回波抵消通信中的回波抵消 (電話交換機(jī)電話交換機(jī))由于阻抗不匹配造成能量泄漏前言前言濾波器的參數(shù)自動(dòng)適應(yīng)C-混合器B-D的回波路徑僅剩B的話音,回音被對(duì)消前言前言自適應(yīng)預(yù)測(cè)誤差編碼1( )()Niix na x

5、 ni 第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器Widrow B，Hoff M E Jr. Adaptive switching circuits. 1960線性線性(L)最小均方誤差最小均方誤差(MS)濾波器、最陡下降法濾波器、最陡下降法一、一、最佳濾波器的正則方程最佳濾波器的正則方程d(n)自適應(yīng)算法x(n)y(n)+_e(n)z-1z-1z-1w1(n)w1(n)wM (n)濾波器的參數(shù) 不再是常數(shù),而是與n有關(guān)的變量iw第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器 為平穩(wěn)信號(hào)情況下的線性為平穩(wěn)信號(hào)情況下的線性FIR濾波濾波10( )( ) ()Miy nh i x ni最優(yōu)濾波器的

6、參數(shù)最優(yōu)濾波器的參數(shù) 與時(shí)間與時(shí)間n無關(guān)無關(guān) ( )|0,1,.,1h iiM( )x n 為非平穩(wěn)信號(hào)情況下的線性為非平穩(wěn)信號(hào)情況下的線性FIR濾波濾波10( )( , ) ()Miy nh n i x ni最優(yōu)濾波器的參數(shù)最優(yōu)濾波器的參數(shù) 與時(shí)間與時(shí)間n有關(guān)有關(guān) ( , )|0,1,.,1h n iiM( )x n記( )( ,1)iw nh n i(1,2,.,)iMM-1階線性濾波器第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器1( )( )( )( )( ) (1)Miie nd ny nd nw n x ni 定義：定義：12( )( )( )( )TMnw nw nwnW( ) (

7、 )(1)(1)Tnx nx nx nMX( )( )( )( )( )( )( )TTe nd nnnd nnnWXXW均方誤差性能函數(shù)均方誤差性能函數(shù)2()( )( )fE e nnW則：則：1( )( ) (1)Miiy nw n x ni 對(duì)于非平穩(wěn)過程,數(shù)學(xué)期望不再是常數(shù)矢量函數(shù)的含義?第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器2()( )( )( )TfEd nnnWXW2( )2( )( )( )TE dnE d nnnXW( )( )( )( )TTEnnnnWXXW定義：定義： ( )( )E d nnPX( )( )TxEnnRXX 矢量 標(biāo)量W()f W行矢量 矩陣 列

8、矢量 =標(biāo)量(列矢量,互相關(guān)矢量)自相關(guān)矩陣(列矢量行矢量)第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器222( ) ( ) (1) ( ) (1) (1) ( )(1) (1) (1) (1) ( ) (1) (1)(1)xE xnE x n x nE x n x nME x nx nE xnE x nx nME x nMx nE x nMx nE xnMR2( )( )2( )( )( )TTxnE dnnnnP WWR WxoptR WP1optxWR P22minmin( )( )ToptE e nE dnP W ( ) ( ), ( ) (1),., ( ) (1)TE d n x

9、nE d n x nE d n x nMP( )22( )0( )xnnn PR WW標(biāo)量對(duì)矢量的導(dǎo)數(shù)為矢量根據(jù)矩陣論中的二次型求導(dǎo)原理，當(dāng)TxxR = R則：則：第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器平穩(wěn)平穩(wěn)Rx , P 已知情況下正則方程的求解已知情況下正則方程的求解1optxWR PxR滿秩滿秩直接矩陣求逆算法直接矩陣求逆算法最陡下降法最陡下降法(牛頓梯度法牛頓梯度法)LevinsonDurbin算法算法LMS算法、算法、RLS算法算法運(yùn)算量大，且在非平穩(wěn)情況下對(duì)每個(gè)運(yùn)算量大，且在非平穩(wěn)情況下對(duì)每個(gè)n都要求逆都要求逆格形自適應(yīng)濾波器格形自適應(yīng)濾波器LMS算法的基礎(chǔ),同樣可以避免矩陣

10、求逆運(yùn)算Rx , P 未知情況下以及非平穩(wěn)正則方程的求解未知情況下以及非平穩(wěn)正則方程的求解二、梯度法二、梯度法(Gradient-Method) 最陡下降法最陡下降法(The method of Steepest Descent)第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器1 算法算法 (牛頓梯度法牛頓梯度法) (一維情況一維情況)optW1W2W2( )( )nE e n( )W nmin( )( )0( )EnnW n(1)( )( )W nW nn ( )0( )EnW n(1)( )( )W nW nn LMS算法的基礎(chǔ)，必須先進(jìn)行介紹W(n)=W1 時(shí)W(n)=W2 時(shí)向左搜索向右搜

11、索第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器( )(1)( ) ( )( )( )nnnnnnWWWW梯度梯度 的極性約束方向，的極性約束方向， 控制步長(zhǎng)控制步長(zhǎng)收斂速度收斂速度精度。精度。 ( )n22212( )( )( )( )( ),( )( )( )( )ME e nE e nE e nnnnw nw nwnW1optxW(n)WRP22( )n xPR W當(dāng)當(dāng)算法收斂算法收斂(1)( )nnWW(1)( )2 ( )0,1,2nnnnxWWPR W統(tǒng)計(jì)特性P、Rx已知的情況下,一旦給定初始權(quán)值W(0),則收斂路徑確定見前面的推導(dǎo)第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器2. W

12、的的收斂條件收斂條件自相關(guān)矩陣Rx的本征分解理論120.00.0.000 xMR QQQTTxQ RQ 11()TTTxRQQQ QQ Q由Rx的特征根構(gòu)成的對(duì)角矩陣由Rx的特征向量構(gòu)成的矩陣根據(jù)特征向量矩陣的正交性QTQ=I本征分解對(duì)推導(dǎo)分析的好處:轉(zhuǎn)化為對(duì)角矩陣運(yùn)算處理一定能收斂到最優(yōu)解嗎?上式兩邊取轉(zhuǎn)置并利用性質(zhì)1TxRQ QQ Q證:第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器2. W的的收斂條件收斂條件(1)( )2 ( )nnnoptoptxxoptWWWWR WR W定義誤差矢量定義誤差矢量 (1)(1)nnoptVWW(1)( )2( )2 ( )nnnnxxVVR VIR V

13、T-1xRQQQQ12(,)Mdiag xR非負(fù)定、對(duì)稱，存在正交矩陣非負(fù)定、對(duì)稱，存在正交矩陣 ，即，即 (1)2( )nn-1VQ I Q V非負(fù)定的含義：根據(jù)矩陣?yán)碚?，自相關(guān)矩陣是非負(fù)定的0m-1TQQQ滿足滿足 (1)( )2 ( )nnnxWWPR W根據(jù)1optxWRP則有則有: 則則: 第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器定義定義 ( )( )( )nnn-1TVQ VQ V11(1)(1)(2)(0)nnQnVVIV(0)(0)ToptVQ WW(0)(0)optVWW1(1)2(0)VQ I Q V121(2)2(1)2(0)VQ I Q VQ I Q V11(1)2

14、(0)nnVQ IQ V則則 Q的正交性對(duì)角矩陣第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器11112(12),(12)nnnMIdiag|1 2| 11,2,kkMmax10lim(2)0nnIlim( )lim( )0nnV nQV nlim( )optnnWW或或 時(shí)，時(shí)， 當(dāng)當(dāng) 滿足條件滿足條件 1(1)(1 2)(0)nkkkv nvmax12maxM 的第k個(gè)元素(1)nV 的第k個(gè)元素(0)Vlim( )0knvnlim( )0nV n第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器( )(12)(0)1nkkkv nvkM( )( )optW nWV n,1( )(0)(12)Mn

15、kkoptk iiiiw nwq v,1(0)1inMkoptk iiiwq vekM( )optWQV n共M個(gè)指數(shù)過程，收斂取決于最慢的指數(shù)過程(i最小的)1ln(1 2)ii指數(shù)收斂因子收斂路徑分析第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器3. 均方誤差序列的收斂性以及收斂精度均方誤差序列的收斂性以及收斂精度2( )( )2( )( )( )nE dnnnnTTxP WWR Wmin2( )( )( )nnnTTToptxP WP WWR Wmin( )( )TnnoptxoptWWRWW2( )( )2( )( )( )nE dnnnnTTxP WWR WxoptR WP22minm

16、in( )( )E e nE dnToptP Wmin2( )( )( )nnnTTToptxoptoptxxWR WWR WWR W第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器min( )( )( )nnnTxVR Vmin( )( )nnTTVQQ Vmin( )( )TV n V nmin(0)(2)(2)(0)TnnVIIV2min(0)(2)(0)TnVIV22min1(12)(0)Mnkkkkvnmin( )n根據(jù)定義根據(jù)對(duì)角矩陣乘積交換律|1 2| 1k選擇收斂步長(zhǎng)u滿足：( )( )nnTVQ V根據(jù)權(quán)值收斂特性性能曲面函數(shù)第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器4. 二維

17、情況下誤差性能曲面舉例二維情況下誤差性能曲面舉例minmin( )( )( )( )( )TnnnV nV nTxVR Vw2minw1w1optv2v1w2opt12TWww112212, ,TToptoptoptVWWwwwwv v(0)(1)(1)(0)xxxxxrrRrr12ToptoptoptWwwmin2min121 22(0)2 (1)(0)TxxxxV R Vrvrv vrv關(guān)于的橢圓椎面函數(shù)12,v v第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器令令minCC 為常數(shù)為常數(shù)等高線等高線min22min1 122TVVvv221 122vvC2212121/vvCC1v2v2v

18、1w2w1v大特征值對(duì)應(yīng)短軸，收斂 (逼近最優(yōu)點(diǎn)) 快第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器牛頓梯度法牛頓梯度法舉例舉例: 預(yù)測(cè)預(yù)測(cè)12( )(1)( )(1)y nx na x na x n ( )(1)d nx n估計(jì)估計(jì)12,a ax(n)z-1z-1w1w2( )y n2min (1)(1) Ex nx n第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器a1a2121/2min1-0.19500.920.09652-0.97500.951.50.530.07313-1.59550.951.8180.182100.03224-1.91140.951.9570.019

19、81000.0038情況2的說明 ( ) ( ) ( ) (1)10.5 (1) ( ) (1) (1)0.51xE x n x nE x n x nRE x nx nE x nx n已知: (1) ( ) (1) (1)0.50.4625TTPE x nx nE x nx n第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器 的兩個(gè)特征根分別為11.5xR20.51120.9750.95optxaWRPa 2min0.975( )10.50.46250.07310.95ToptE dn P W練習(xí)5.1：根據(jù)表中的其他情況的1、 2以及Rx性質(zhì)(對(duì)稱，且對(duì)角元素值相等)反推矩陣Rx，根據(jù)a1、 a

20、2以及Rx反推P并計(jì)算min第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器取max00.31/(0)0,0TW則(1)(0)2 ( )625 0.3, 0.2775TTnxWWPR W0.30.510.50.3(2)0.60.27750.46250.510.2775 0.50325, 0.6635TW0.503250.510.50.50325(3)0.60.66350.46250.510.6635 0.70035, 0.693875TW當(dāng)n足夠大時(shí),( )0.975, 0.95TW n 統(tǒng)計(jì)特性已知時(shí),只有在大矩陣情況下才體現(xiàn)運(yùn)算上的優(yōu)勢(shì)第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾

21、波器三、三、LMS算法算法 (Least Mean Square) 1. B.Widrow和M.E.Hoff 1960年 權(quán)值遞推算法(0)(0)(0)(0)TedXW給定任意的初始權(quán)值矢量給定任意的初始權(quán)值矢量 以及合適的步長(zhǎng) ，從n=0開始(0)W1( )( ) (1)( )( )MTiiy nw n x niWn X n ( )( )y nd n12( )( ),( ),.,( )TMW nw n w nwn( ) ( ), (1),., (1)TX nx n x nx nM一般采用全零的矢量第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器( )( )( )( )Te nd nXn W n1

22、2W nW nn()( )( )2( )( )( )2( ) ( )ne nnn e n W WXW( )2( ) ( )nn e n=WX單個(gè)誤差樣本的平方單個(gè)誤差樣本的平方 隨機(jī)梯度隨機(jī)梯度隨機(jī)變量隨機(jī)變量隨機(jī)路徑隨機(jī)路徑無須事先知道P、Rx等統(tǒng)計(jì)特性,自動(dòng)適應(yīng)其統(tǒng)計(jì)特性,并收斂到最優(yōu)權(quán)值2(0)(0)(0)2(0) (0)ee W WXW00210200eWW( )( )( )( )( ) ( )WX然后由 、 、 計(jì)算 、 ；依此類推1W( )1e( )1d( )1X( )2W( )標(biāo)量矢量第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器LMS算法流程算法流程 假設(shè)輸入數(shù)據(jù)從n0=0開始，

23、在n=0的邊界附近構(gòu)造矢量時(shí)， 的值可以用零代替( 1), ( 2)., (1)xxxMH:共軛轉(zhuǎn)置*:共軛復(fù)數(shù)據(jù)情況同樣適用矢量LMS算法流程第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器LMS算法框圖算法框圖jjjjXeWW21Xjyjdjw1jw2jw3jwNjZ-1Z-2xjxj-1xj-2xj-N+1ej2. 權(quán)矢量收斂性權(quán)矢量收斂性第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器幾點(diǎn)假設(shè)幾點(diǎn)假設(shè))(),(ndnX聯(lián)合平穩(wěn)聯(lián)合平穩(wěn)( )( )( )nnn r梯度矢量的隨機(jī)估計(jì)誤差梯度矢量的隨機(jī)估計(jì)誤差( )( )nn optV=WW權(quán)值估計(jì)誤差矢量權(quán)值估計(jì)誤差矢量X(n)和和 不相關(guān)不相關(guān)

24、( )nW雖然 只與矢量X(n-1)有關(guān),該假設(shè)比較牽強(qiáng),X(n)與X(n-1)之間有重疊,以下證明為不嚴(yán)格的證明,但在應(yīng)用上尚未出現(xiàn)明顯的問題( )nW 處的理論梯度與實(shí)際梯度的誤差( )nW第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器 ( )( )( )EnEnEnr ( )Enn 梯度估計(jì)矢量是無偏的梯度估計(jì)矢量是無偏的(含義含義)22( )2 ( ) ( )( )( )TxPR E W nE X n d nXn W n 22( )22( )0 xxPR E W nPR E W n 22( )( )( )( )( ) ( )( )( )( )( )( )2 ( ) ( )( )( )|T

25、W W nW W nTW nW nE enEd nXn W nnW nW nE X n d nXn W n 22( )xPR W n ( )2( ) ( )nn e n X( )( )( )( )Te nd nXn W n不相關(guān)假設(shè)第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器(1)( )( )( )V nV nnr n (2) ( )xIR E V n(1)(1)optnnVWW(1)( )( )( )( )( )nnnnnn WWWr(1)( )( )( )E V nE V nEnE r n( )22( )xoptxE V nR WR E W n( )2( )xE V nR E V n定義則

26、前面已證明為0P( )22( )xnPR W n 第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器令令( )( )nn-1Q VV(1)(2) ( )EnEnVIV1(2)(0)nEIV(0)(0)(0)-1ToptVQ VQ WW (1)(2) ( )EnEnxVIRV1TxRQ QQ Q2( )En-1Q I QV原式兩邊同乘Q-1根據(jù)遞推原理第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器( )(1 2)(0)1nkkkE v nE vkM ( )( )optE W nWE V n,1 ( ) ( )Mkkoptk ikiE v nE w nwq ( )optWQE V n,1 (0)(1 2)

27、 1Mnkoptk iiiikwq E vM要求: ;收斂速度取決于 最大的項(xiàng)或 最小的項(xiàng),特征值的散度 越大，則收斂時(shí)間愈長(zhǎng)。|1 2| 1i|1 2|iiminmax第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器max01/收斂條件收斂條件n( )optE W nW( )0E V n211(1)MMxiiitr RE xni maxxtr R可取可取2110( )xtr RME xn根據(jù)矩陣?yán)碚摳鼑?yán)格地滿足收斂條件期望意義上收斂12201( )( )NnE xnxnNN足夠大時(shí)3. 估計(jì)誤差能量的收斂性估計(jì)誤差能量的收斂性第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器( )( )( )( )T

28、e nd nnnWX( )( )( )( )TToptoptd nnnnWXWWX22( )( ( )( )( ) ( )( )( )( )ToptTToptoptE e nEd nnnEnnnnWXWWXXWWmin( )( )( ) ( )TTEnnnnVXXVmin ( )( )( )( )TTtr EnnnnVVXX根據(jù)最佳估計(jì)時(shí)的誤差 與X(n)不相關(guān)的原理( )( )Toptd nnWX練習(xí)5.3:該矩陣對(duì)角線元素值的和為( )( )( ) ( )TTnnnnVXXV第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器2min1( ) MiiiE v nmin ( )( ) Ttr E V

29、 n Vn tr ABtr BA2min( ) ( )( )TxE e ntr Enn RVVmin ( )( )TTtr E V n Vn Q Q將QT移到前面去相乘w與x無關(guān),則v與x無關(guān)2min1( ( )var ( )MiiiiE v nv n第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器 均方誤差收斂條件均方誤差收斂條件max10 ( )0iE v n2min1( )var ( )MiiiE e nv n超量均方誤差 結(jié)論結(jié)論: LMS算法使用隨機(jī)梯度算法使用隨機(jī)梯度, 權(quán)值收斂為均值意權(quán)值收斂為均值意 義上的收斂義上的收斂(在最優(yōu)權(quán)矢量附近左右擺動(dòng)在最優(yōu)權(quán)矢量附近左右擺動(dòng)), 平平

30、均誤差能量大于牛頓梯度法的最小誤差能量均誤差能量大于牛頓梯度法的最小誤差能量4. 超量均方誤差超量均方誤差第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器2min1( )limvar ( )MexiiniVE ev n根據(jù)根據(jù)(1)( )( )( )V nV nnr n ( )22( )xnPR W n 可以得到可以得到 (1)(2) ( )( )xV nIR V nr n練習(xí)5.41(1)(2)( )( )V nI V nQ r n221(1) (1)(2)( ) ( ) ( )( ) TTTE V nVnIE V n VnE Q r n rn Q假設(shè)r(n)與v(n)不相關(guān)xoptPR W對(duì)角

31、矩陣相乘的位置可交換性,假設(shè)權(quán)系數(shù)誤差之間互不相關(guān)如何求方差?第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器n 當(dāng)時(shí)(1) (1)( ) ( )TTE V nVnE V n Vn( )( )( )( )2( ) ( )nnnnX n e n r理想穩(wěn)態(tài)情況下誤差矢量( )0n121min( )( ) 4 ( )4TxE Q r n rn QE e n Q R Q22min( ) ( )(2)( ) ( )4TTE VVIE VV 在maxmax121.M時(shí)的近似解為min( ) ( )TE VVI練習(xí)第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器min1exxVtr R定義：失調(diào)量定義：失調(diào)量值越

32、大，失調(diào)量大值越大，失調(diào)量大2min1( )limvar ( )MexiiniVE ev n1var ( )Miiivminmin1limMixnitr R 10 xtr Rvar ( )iv 為矩陣 對(duì)角線元素上的值( ) ( )TE VV22(2)4442III注:第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器lim( )kkoptnE w nw 當(dāng)當(dāng)n足夠大時(shí)足夠大時(shí), 權(quán)值在最優(yōu)點(diǎn)附近擾動(dòng)權(quán)值在最優(yōu)點(diǎn)附近擾動(dòng);并非依概率并非依概率1收收斂于最優(yōu)權(quán)值斂于最優(yōu)權(quán)值擾動(dòng)所帶來的超量均方誤差為擾動(dòng)所帶來的超量均方誤差為minminxtr R因此因此,當(dāng)當(dāng)n足夠大時(shí)足夠大時(shí), 權(quán)值在最優(yōu)點(diǎn)附近擾動(dòng)

33、是比較小的權(quán)值在最優(yōu)點(diǎn)附近擾動(dòng)是比較小的,1( )(0)(12)Mnkkoptk iiiiE w nwq v ,1( )(0)(1 2)( )Mnkkoptk iiikiw nwq vn收斂路徑中的噪聲第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器5. 應(yīng)用：自適應(yīng)均衡應(yīng)用：自適應(yīng)均衡碼間干擾現(xiàn)代通信中一般設(shè)置訓(xùn)練比特反射波個(gè)數(shù)延遲幅度未知重構(gòu)的部分?jǐn)?shù)據(jù)y(n)第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器+x(n)y(n)d(n)e(n)通信信號(hào)數(shù)據(jù)發(fā)生器信道hn高斯白噪聲發(fā)生器自適應(yīng)均衡器+I(n)v(n)收發(fā)同步后接收端根據(jù)已知的訓(xùn)練比特重構(gòu)的I(n)訓(xùn)練比特是位置固定的0,1取值已知比特當(dāng)

34、自適應(yīng)均衡器為信道hn的逆濾波器時(shí)，y(n)=I(N)；均衡器達(dá)到理想效果第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器121cos0,1,220nnnhWothersW3.5r(0)1.09631.15681.22641.3022r(1)0.43880.55960.67290.7774r(2)0.04810.07830.11320.1511min0.33390.21360.12560.0656max2.02952.37612.72633.0707實(shí)際信道012( )( )(1)(2)x nh y nh y nh y n直射波兩個(gè)反射波第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波

35、器W=3.5W=3.3W=3.1W=2.9u = 0.075W越大, 反射波越強(qiáng)，則收斂精度越低第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器W=2.9u=0.075u=0.025u=0.0075u越小,則收斂速度越慢,但收斂精度越高第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器0100200300400500-2-1012origan signa0100200300400500-2-1012signa through channal corrupted by noise0100200300400500-2-1012output of ALE0100200300400500-2-1012error

36、 of ALE第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器梯度法與梯度法與LMS算法：算法：1.統(tǒng)計(jì)梯度與隨機(jī)梯度統(tǒng)計(jì)梯度與隨機(jī)梯度2.梯度法在梯度法在n趨于無窮時(shí)能收斂到最小均方誤趨于無窮時(shí)能收斂到最小均方誤差差 ，這是，這是因?yàn)槊看蔚际褂昧司_的梯因?yàn)槊看蔚际褂昧司_的梯度向量。度向量。LMS算法在算法在n趨于無窮時(shí)，最小均方誤趨于無窮時(shí)，最小均方誤差大于差大于 。這是因?yàn)榇嬖谔荻裙烙?jì)誤差。這是因?yàn)榇嬖谔荻裙烙?jì)誤差。3.3.梯度法定義了明確的學(xué)習(xí)曲線梯度法定義了明確的學(xué)習(xí)曲線( (收斂路徑收斂路徑) )，該曲，該曲線反映了均方誤差對(duì)迭代次數(shù)的變化情況。線反映了均方誤差對(duì)迭代次數(shù)的變

37、化情況。LMS算法學(xué)習(xí)曲線由噪聲和衰減指數(shù)和組成，算法學(xué)習(xí)曲線由噪聲和衰減指數(shù)和組成，噪聲的幅度通常隨步長(zhǎng)參數(shù)噪聲的幅度通常隨步長(zhǎng)參數(shù)u u的減小而減小。的減小而減小。 minmin第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器課程上機(jī)實(shí)驗(yàn)6：線性信道均衡中的LMS梯度算法實(shí)現(xiàn)采用Matlab或VB語言編程 (1) 參照實(shí)驗(yàn)3的方法產(chǎn)生均值為0，根方差為0.01的、正態(tài)白噪聲序列 ( )|1,2,.,200v nn ( )|1,2,.,100,0,1,0,0,1,0,1,1,1b ii (2) 假設(shè)信源發(fā)送的前10個(gè)比特為訓(xùn)練比特,為 假設(shè)信源發(fā)送的后10個(gè)比特為信息比特,為 ( )|11,12

38、,.,201,0,0,0,1,1,0,0,0,1b ii 收發(fā)雙方按通信協(xié)議約定的,收方已知收方未知第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器 (3) 假設(shè)在接收端的采樣率為每個(gè)調(diào)制脈沖采集10點(diǎn),采樣后數(shù)字基帶信號(hào)的數(shù)字角頻率為0.21,A=1,則接收到的直射波采樣信號(hào)(經(jīng)同步后)可以表示為 (10)2( ) 1cos0.21(1)|1,2,.,10;1,2,.,20aijb iAjji ( )0.3 (2)0.2 (4)5,6,.,2001( )( )0.3 (2)3,4( )1,2a na na nnx na na nna nn (4) 假設(shè)有兩個(gè)反射波,相對(duì)于直射波的延時(shí)分別為2,4

39、;幅度系數(shù)分別為0.3,0.2;則合成的信號(hào)為 ( )1( )( )|1,2,.,200 x nx nv nn (5) 加上信道噪聲后的信號(hào)為 ASK調(diào)制第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器 (6) 畫出直射回波a(n)以及帶有信道噪聲以及碼間干擾的信號(hào)x(n)的波形圖,計(jì)算平均誤差 2002111 ( )( )200nex na n1002160.5 1/( )100nuxn (7) 設(shè)置自適應(yīng)濾波器的抽頭數(shù)M=6,搜索步長(zhǎng)取為 初始權(quán)值設(shè)置為 ( )0|1,2,.,6w ii利用訓(xùn)練比特對(duì)應(yīng)的前100點(diǎn)數(shù)據(jù)計(jì)算權(quán)值,偽代碼為可以改變抽頭數(shù)以及步長(zhǎng),比較收斂效果假設(shè)數(shù)組的下標(biāo)只能從1

40、開始的修正第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器 6 to 100( )( )( )0 1 to 6( )( )(1)( ) ( )( )( ) 1 to 6( )( )2(1)( ) forid ia iy iforjy iy ix ijw jnext je id iy iforjw jw jux ije inext jnext i 期望值觀察最終得到的權(quán)值 ( )|1,2,.,6w ii (8) 用得到的權(quán)值對(duì)信息比特對(duì)應(yīng)的后100點(diǎn)數(shù)據(jù)進(jìn)行濾波處理 前100點(diǎn)的期望輸出是已知的可以多次運(yùn)行上述過程,以前一次的運(yùn)行結(jié)果為初值;觀察是否可以改善均衡效果第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自

41、適應(yīng)濾波器 1 to 100( )0 1 to 6( )( )(1001)( ) 1 to 100( )(100)( ) foriy iforjy iy ix ijw jnext jnext iforied iaiy inext i畫出誤差序列ed(n)的波形圖;畫出均衡后的序列y(n)的波形圖,觀察其與a(n)波形圖的后半部分的差異性遠(yuǎn)小于x(n)與a(n)的差異性偽代碼,需要根據(jù)具體的語言進(jìn)行修正第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器 (9) 計(jì)算信道均衡后的平均誤差 1002112 ( )(100)100ney na n比較其與e1的差異性(遠(yuǎn)小于e1)觀察ed(n)的波形圖中的個(gè)

42、別毛刺點(diǎn)(誤差絕對(duì)值較大的點(diǎn)),思考:為什么個(gè)別毛刺點(diǎn)對(duì)誤碼率影響不大?思考:如果信號(hào)幅度A不為1且未知,是否對(duì)信道均衡產(chǎn)生影響? 按A=2重復(fù)實(shí)驗(yàn)(期望輸出保持不變,則濾波輸出下降到1/A,輸出波形的調(diào)制方式形狀不變)第一節(jié)第一節(jié) LMS自適應(yīng)濾波器自適應(yīng)濾波器 在期望輸出不變的情況下,為了將不同A情況下的均衡結(jié)果進(jìn)行有意義的比較,必須對(duì)誤差能量進(jìn)行功率歸一化. 200221111 ( )( )200nex na nA信道均衡前,功率歸一化后的平均誤差能量1002112 ( )(100)/100ney na nA信道均衡后,功率歸一化后的平均誤差能量比較e1,e2,觀察信道均衡效果第二節(jié)第二

43、節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器一、一、RLS算法與算法與LMS算法算法 (RLS: Recursive Least Square)LMS算法偽最小均方誤差準(zhǔn)則，一類數(shù)據(jù)的最佳濾波器算法偽最小均方誤差準(zhǔn)則，一類數(shù)據(jù)的最佳濾波器 RLS算法最小二乘準(zhǔn)則，一組數(shù)據(jù)的最佳濾波器算法最小二乘準(zhǔn)則，一組數(shù)據(jù)的最佳濾波器 二、最小二乘原理二、最小二乘原理 e(n) d(n) y(n) x(n) w(0) w(1) w(M-1) z-1 z-1 z-1 有限長(zhǎng)度輸入信號(hào)為 (0),1xx ix N M(MN)階線性濾波器 1,),0(Mwiww期望輸出信號(hào)為 (0),1 , (2)dd id N

44、d NM遞歸的實(shí)際上對(duì)同類的不同數(shù)據(jù)有不同的解第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器( )( )( )e id iy i代價(jià)函數(shù)代價(jià)函數(shù)2()| ( )|miniWe i2、數(shù)據(jù)窗范圍、數(shù)據(jù)窗范圍 1、輸入輸出方程、代價(jià)函數(shù)、輸入輸出方程、代價(jià)函數(shù) (0): (1) 0(1): 0 1(1): 1(2):12yMy MMy NNMNy NMNNM當(dāng)已知的輸入數(shù)據(jù)為x(n)(n=0,1,N-1),則其中輸出y(0), y(1), , y(M-2)牽涉到nN-1的輸入數(shù)據(jù)x(n);必須對(duì)邊界外的數(shù)據(jù)進(jìn)行假定為什么不考慮nN+M-2?10( )( ) () Mmy iw m x im

45、輸入數(shù)據(jù)范圍第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器(1) 協(xié)方差法：使得協(xié)方差法：使得n=M-1到到N-1范圍內(nèi)的誤差能量最小，范圍內(nèi)的誤差能量最小，不牽涉到不牽涉到0，N-1之外的輸入數(shù)據(jù)，無須任何假定之外的輸入數(shù)據(jù)，無須任何假定121,1iMiN12( )( ), (1), (1) ( , )Tnx nx nx nMni iX(1),(),(1)X MX MXNA(1)()(1)(2)(1)(2)(0)(1)()x Mx Mx Nx Mx Mx Nxxx NM定義數(shù)據(jù)矢量定義數(shù)據(jù)矩陣n時(shí)刻進(jìn)入濾波器的數(shù)據(jù)第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器(2) 自相關(guān)法

46、：使得自相關(guān)法：使得n=0到到N+M-2全部范圍內(nèi)的誤差能全部范圍內(nèi)的誤差能量最小，假設(shè)量最小，假設(shè) 0，N-1之外的輸入數(shù)據(jù)都為零之外的輸入數(shù)據(jù)都為零120,2iiNM(0)(1)(2)AXXXNM(0)(1)(1)(1)000(0)(2)(2)(1)000(0)()(1)(1)xxx Mx Nxx Mx Nx Nxx N Mx N Mx N12( )( ), (1), (1) ( , )Tnx nx nx nMni iX第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器(3) 前加窗法：使得前加窗法：使得n=0到到N-1范圍內(nèi)的誤差能量最小，范圍內(nèi)的誤差能量最小，不牽涉大于不牽涉大于n

47、N-1時(shí)刻的輸入數(shù)據(jù)，對(duì)其不做任何假定；時(shí)刻的輸入數(shù)據(jù)，對(duì)其不做任何假定；但假設(shè)但假設(shè)n0的輸入數(shù)據(jù)為零的輸入數(shù)據(jù)為零120,1iiN(0)(1)(1)(1)0(0)(2)(2)00(0)()xxx Mx Nxx Mx Nxx NM(0)(1)(1)AXXXN12( )( ), (1), (1) ( , )Tnx nx nx nMni iX第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器(4) 后加窗法：使得后加窗法：使得n=M-1到到N+M-2范圍內(nèi)的誤差能量范圍內(nèi)的誤差能量最小最小,不牽涉不牽涉nN-1的輸入數(shù)據(jù)為零的輸入數(shù)據(jù)為零121,2iMiNM(1)(1)00(2)(2)(1)

48、0(0)()(1)(1)x Mx Nx Mx Nx Nxx NMx NMx N(1)()(2)AXMXMXNM12( )( ), (1), (1) ( , )Tnx nx nx nMni iX第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器3、正則方程、正則方程 (0)(1)(1)()(1)0(0)(2)(1)(2)00(0)(1)()xxx Mx Mx Nxx Mx Mx NAxxx NM01nN(前加窗前加窗)其他加窗情況作為練習(xí),自己推導(dǎo).為什么以前加窗作為重點(diǎn)?期望輸出都有定義定義濾波器輸出信號(hào)矢量定義濾波器輸出信號(hào)矢量: (0), (1),., (1)TYyyy N定義權(quán)矢量定

49、義權(quán)矢量: (0), (1),., (1)TWwww MMN維M維N維第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器則有則有: TYA W定義誤差信號(hào)矢量定義誤差信號(hào)矢量: (0), (1),., (1)TEeee N定義期望信號(hào)矢量定義期望信號(hào)矢量: (0), (1),., (1)Tddd Nb( )( )( )e nd ny n則有則有: TEYA Wbb誤差信號(hào)能量誤差信號(hào)能量: 120()( )() () NTTTTnTTTTTTWe nE EA WA Wb bb A WW AbW AA WbbN維N維標(biāo)量第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器min ()W()

50、0WW根據(jù)標(biāo)量對(duì)矢量的二次型的求導(dǎo)公式得到根據(jù)標(biāo)量對(duì)矢量的二次型的求導(dǎo)公式得到: 220TAbAA WM維1() ()TWAAAbM維MN, NMM MMN, N1M 1定義樣本自相關(guān)矩陣定義樣本自相關(guān)矩陣: TxRAA第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器0 00 1011 011111 01111( , )( , )( ,)( , )( , )( ,)(, )(, )(,)xxxxxxxxxxrrrMrrrMr Mr Mr MMR對(duì)稱；但對(duì)角線元素值不同,不滿足Toepliz的兩個(gè)條件其中其中: 10( ,)() ()0,1Nxnr l mx nm x nll mM定義定義

51、: 011Tqqq M ( )( )()qAb其中其中: 10( )( ) ()01Nnq ld n x nllM 第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器xR Wq則得到正則方程則得到正則方程11()TxWRqAAAbminTTTTTTTE Eb bb A WW AbW AA W1()TTTTb bb AAAAb最小誤差能量為：最小誤差能量為： 一般不滿足Toepliz性質(zhì)，有沒有遞歸算法避免大矩陣的直接求逆運(yùn)算？是要解決的主要問題,后面介紹將解代入TTb bq W第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器20( )( )01nn iine i三、三、(遞歸最小二乘

52、遞歸最小二乘)RLS自適應(yīng)自適應(yīng) 橫向?yàn)V波器橫向?yàn)V波器( )(0)(1)( )nXXX nA( )( ), (1), (1)0Tix ix ix iMin X(0)(1)( )0(0)(1)00(1)xxx nxx nx nM( ) (0),(1),( )Tnddd nb當(dāng)前誤差能量積累(離當(dāng)前時(shí)刻越遠(yuǎn)，加權(quán)越小)定義只討論前加窗情況A(n)是矩陣A的前n+1列當(dāng)前輸入數(shù)據(jù)矩陣當(dāng)前輸出數(shù)據(jù)矢量第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器10002000( )0000000nnn ( ) (0)(1)( )Tneee ne( )( )( )nnnTbAW120,nndiag則有定義TE

53、bA W將輸入數(shù)據(jù)段為0到N-1情況下的矩陣形式表示形式推廣到輸入數(shù)據(jù)段為0到n情況下的矩陣形式表示形式,目的? 中n的含義?( )nW當(dāng)前誤差數(shù)據(jù)矢量當(dāng)前最優(yōu)權(quán)值矢量第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器( )( ) ( ) ( )nnnnTee( )( )( )( )nnnnTebAW1122( ) ( )( ) ( )Tnnnn ee111222( ) ( )( ) ( )( )( )( )nnnnnnnTebAW( )b n( )A n則有 的定義？適用?12( )n根據(jù)最小二乘原理， 參照 情況的解，得到該線性方程組解為( )|0W WnW( )e n矢量E TbA

54、W第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器1( ) ( )( )( )TTW nAn A nAb n1( ) ( )xRn q n111122221( )( ) ( )( )( )( )( ) ( )TTnnnnnnnnTTTAAAb1( ) ( )( )( ) ( ) ( )nnnnnnTAAAb此處， 、 的定義為( )xR n( )q n第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器20( ) ( ) ( )( )( )( )( )( )nTTn iTibnn b nqn W nd iqn W n0( )( ) ( )( )( )( )Txnn iTiR nA nn

55、 A nX i Xi0( )( ) ( ) ( ) ( )nn iiq nA nnnX i d ibmin( )( ) ( )( )( )TTnbn b nqn W n矢量標(biāo)量( )n將 解代入 表達(dá)式( )W n練習(xí)：根據(jù)上述矩陣的定義以及對(duì)角矩陣相乘的性質(zhì)第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器0110( )( ) ( )( )( )( )( )(1)( )( ) nn iTixnniTTiTxR nX i XiX n XnR nX iXnXniX 如何遞推求解，避免矩陣求逆如何遞推求解，避免矩陣求逆?1101( )( ) ( )( ) ( )( ) ( )(1)( ) (

56、)nnn iniiiq nX i d iX i d iX n d nq nX n d n 、 都是MM的矩陣( )xR n(1)xR n1( )( ) ( )xW nRn q n 、 的遞推關(guān)系？則可求出權(quán)的遞推( )xR n(1)xR n第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器11TEFCD C矩陣求逆定理：如果矩陣求逆定理：如果E、F為正定矩陣，且滿足為正定矩陣，且滿足下面推導(dǎo)下面推導(dǎo) 與與 的關(guān)系的關(guān)系1( )xRn1(1)xRn11()TTEFFC D C FCC F則有則有觀察觀察( )(1)( )( )TxxR nR nX n XnE1FCTC1D C為列矢量時(shí)，D只

57、能為標(biāo)量，CTFC也為標(biāo)量設(shè)設(shè)第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器1( ),(1),( ),1xxER nFR nCX nD令令111( )(1)xxRnRn1( )( )xP nRn21111(1)( )( )(1)1( )(1)( )TxxTxRnX n Xn RnXn RnX n令令11(1)( )( )1( ) (1)( )TP nX nK nXn P nX n增益系數(shù)增益系數(shù)11( )(1)( )( ) (1)TP nP nK n Xn P n有有有有第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器11( )(1)( )( )( ) (1)( )TK nP n

58、X nK n Xn P nX n1( )( ) ( )( ) ( )xW nRn q nP n q n( ) (1)( )( ) ( )P n q nP n X n d n(1) (1)( )( ) (1) (1)( ) ( )TP nq nK n Xn P nq nK n d n11(1)( )( ) (1)( )TP nK n Xn P nX n ( )( )P n X n將K(n)表達(dá)式的分母移到左邊相乘，再移位根據(jù)q(n)的遞推式根據(jù)p(n)的遞推式第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器(1)( )( )(1)( ) ( )TW nK n Xn W nK n d n11

59、(1) (1)( )( )(1) (1)( ) ( )TxxRnq nK n Xn Rnq nK n d n(1)( )(1) ( )TK n d nW nXn W n(1)( ) ( )KnnnW( )( )(1)(Td nXn W nn先驗(yàn)估計(jì)誤差先驗(yàn)估計(jì)誤差;要求要求 與與具有最小誤差，在未獲具有最小誤差，在未獲得得 之前，以之前，以 作為作為d(n)先驗(yàn)估計(jì)先驗(yàn)估計(jì)( )( )TXn Wn( )d n( )W n( )(1)TXn Wn 第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器( )( )(1)(Td nXn W nn小節(jié)小節(jié)( 1)PI初始條件初始條件：( 1)0W 遞

60、推算法遞推算法：( )(1)( ) ( )KW nW nnn11( )(1)( )( ) (1)TP nP nK n Xn P n11(1)( )( )1( ) (1)( )TP nX nK nXn P nX n(M維矢量)對(duì)n=0, 1, , N-1,執(zhí)行上述遞歸迭代運(yùn)算，則最終的為所求(1)W N MM維對(duì)角矩陣，為任意較小的正數(shù)沒有出現(xiàn)任何的矩陣求逆運(yùn)算(M維矢量)(標(biāo)量)第二節(jié)第二節(jié) 最小二乘自適應(yīng)濾波器最小二乘自適應(yīng)濾波器前向加窗法前向加窗法:( 1)0W ( 1)PI從從 n=0 迭代到迭代到 n=N-1協(xié)方差法協(xié)方差法:(2)0W M (2)P MI從從 n=M-1 迭代到迭代到