lms及其改進(jìn)算法研究畢業(yè)論文

1、計算機(jī)與通信學(xué)院本科生畢業(yè)論文lms及其改進(jìn)算法研究作 者：潘松偉學(xué) 號：06250423專 業(yè)：通信工程班 級：通信4班指導(dǎo)教師：王維芳答辯時間：2010年6月lms及其改進(jìn)算法研究the study of lms algorithm and its improve algorithms摘 要 因lms算法具有低計算復(fù)雜度、在平穩(wěn)環(huán)境中的收斂性好、其均值無偏地收斂到wiener解和利用有限精度實(shí)現(xiàn)算法時的穩(wěn)定性等特性，使lms算法成為自適應(yīng)算法中應(yīng)用最廣泛的算法。對lms算法及其改進(jìn)算法進(jìn)行了研究，探討了步長因子對各種算法收斂性、穩(wěn)定性的影響。并用matlab對其學(xué)習(xí)曲線、收斂速度等進(jìn)行了仿

2、真分析。結(jié)果表明，變步長的取值尤為重要，如果（n）取較大值則具有較快的收斂速度，如果（n）取值很小，則mlms算法近似等效于lms算法。它們的自適應(yīng)過程較快，性能有了很大改進(jìn)。abstractbecause of low computational complexity, stable environment in the convergence of good, unbiased and its mean converges to the wiener solution and implementation algorithms using finite precision stabilit

3、y and other characteristics, lms algorithm as adaptive algorithm in the application of the most a wide range of algorithms.we have a detailed study on lms algotithm and its complementary algotithm,disscused the step-sizes influent for the algorithms convergence speed and stability. and using matlab

4、simulated the learning curve, convergence speed of lms algotithm.the result observed that the value of variable step-size （n）is very important,if it is a bigger may have a fast convergence speed,but if not ,the nlms algotithm can instead the lms algotithm in the characteristics. in addition , they h

5、ave a fast adaptive course and greatly progress in performance. keywords：lms algorithm，adaptive，nlms algorithm，variable step，matlab simulation.1.1 自適應(yīng)濾波理論的發(fā)展早在20世紀(jì)40年代，就對平穩(wěn)隨即信號建立了維納濾波理論。根據(jù)有用信號和干擾噪聲的統(tǒng)計特性（自相關(guān)函數(shù)或功率譜），以線性最小均方誤差估計準(zhǔn)則所設(shè)計的最佳濾波器，稱為維納濾波器。這種濾波器能最大程度地濾除干擾噪聲，提取有用信號。但是，當(dāng)輸入信號的統(tǒng)計特性偏離設(shè)計條件，則它就不再是最佳的了

6、，這在實(shí)際應(yīng)用中受到了限制。到60年代初，由于空間技術(shù)的發(fā)展，出現(xiàn)了卡爾曼濾波理論，即利用狀態(tài)變量模型對非平穩(wěn)、多輸入多輸出隨機(jī)序列作最優(yōu)估計?，F(xiàn)在，卡爾曼濾波器已成功地應(yīng)用到許多領(lǐng)域，它既可對平穩(wěn)的和非平穩(wěn)的隨機(jī)信號作線性最佳濾波，也可作非線性濾波。實(shí)質(zhì)上，維納濾波器是卡爾曼濾波器的一個特例。若設(shè)計卡爾曼濾波器時，必須知道產(chǎn)生輸入過程的系統(tǒng)的狀態(tài)方程和測量方程，即要求對信號和噪聲的統(tǒng)計特性有先驗(yàn)知識。但在實(shí)際中，往往難以預(yù)知這些統(tǒng)計特性，因此實(shí)現(xiàn)不了真正的最佳濾波。widrow b.等于1967年提出的自適應(yīng)濾波理論，可使自適應(yīng)濾波系統(tǒng)的參數(shù)自動地調(diào)整而達(dá)到最佳狀況，而且在設(shè)計時，只需要很少

7、的或是根本不需要任何關(guān)于信號與噪聲的先驗(yàn)統(tǒng)計知識。這種濾波器的實(shí)現(xiàn)差不多像維納濾波器那樣簡單，而濾波性能幾乎如卡爾曼濾波器一樣好。因此，近十年來，自適應(yīng)濾波理論的方法得到了迅速發(fā)展。圖1-1 自適應(yīng)濾波器原理圖圖1-1描述的是一個通用的自適應(yīng)濾波估計問題，圖中離散時間線性系統(tǒng)表示一個可編程濾波器，它的沖擊響應(yīng)為h(n)，或稱其為濾波參數(shù)6。自適應(yīng)濾波器輸出信號為y(n)，所期望的響應(yīng)信號為d(n)，誤差信號e(n)為d(n) 與y(n)之差。這里，期望響應(yīng)信號d(n) 是根據(jù)不同用途來選擇的，自適應(yīng)濾波器的輸出信號y(n)是對期望響應(yīng)信號d(n)進(jìn)行估計的，濾波參數(shù)受誤差信號e(n)的控制并自

8、動調(diào)整，使y(n)得估計值等于所期望的響應(yīng)d(n).因此，自適應(yīng)濾波器與普通濾波器不同，它的沖擊響應(yīng)或?yàn)V波參數(shù)是隨外部環(huán)境的變化而變化的，經(jīng)過一段自動調(diào)整的收斂時間達(dá)到最佳濾波的要求。但是，自適應(yīng)濾波器本身有一個重要的自適應(yīng)算法，這個算法可以根據(jù)輸入、輸出及原參數(shù)量值，按照一定準(zhǔn)則改變?yōu)V波參量，以使它本身能有效地跟蹤外部環(huán)境的變化。通常，自適應(yīng)濾波器是線性的，因而也是一種線性移變?yōu)V波器。當(dāng)然，它可推廣到自適應(yīng)非線性濾波器。在圖1-1中，離散時間線性系統(tǒng)可以分為兩類基本結(jié)構(gòu)，其中一類為非遞歸型橫向結(jié)構(gòu)的數(shù)字濾波器，它具有有限的記憶，因而稱之為有限沖激響應(yīng)（fir）系統(tǒng)，即自適應(yīng)fir濾波器。另一

9、類為遞歸型數(shù)字濾波器結(jié)構(gòu)，理論上，它具有無限的記憶，因而稱之為無限沖激響應(yīng)（iir）系統(tǒng)，即自適應(yīng)iir濾波器。對于上述兩類自適應(yīng)濾波器，還可以根據(jù)不同的濾波理論和算法，分為結(jié)構(gòu)不同的自適應(yīng)濾波器，它們的濾波器性能也不完全相同。1.2 自適應(yīng)lms算法的發(fā)展1.2.1 lms算法歷史 1955-1966年期間美國通用公司在研制天線的過程中，為抑制旁瓣，由windows和hoff在60年代初提出了基本lms算法6。隨后又發(fā)展出了歸一化算法和加遺忘因子lms算法。1977年，makjoul提出了格型濾波器，并由此發(fā)展出lms自適應(yīng)格型濾波器算法。herzberg、cohen和beery提出了延時l

10、ms（dlms）算法。2002年，尚勇，吳順君，項海格提出了并行延時lms算法。此外，還有復(fù)數(shù)lms算法、數(shù)據(jù)塊lms算法等，在此就不一一列舉了。1.2.2 lms算法的現(xiàn)狀 因lms算法具有低計算復(fù)雜度、在平穩(wěn)環(huán)境中的收斂性好、其均值無偏地收斂到wiener解和利用有限精度實(shí)現(xiàn)算法時的穩(wěn)定性等特性，使lms算法成為自適應(yīng)算法中應(yīng)用最廣泛的算法。由于lms算法的廣泛應(yīng)用，以及在實(shí)際條件下，為解決實(shí)際問題，基于lms算法的新lms類算法不斷出現(xiàn)。1.2.3 lms算法的發(fā)展前景 因lms算法是自適應(yīng)濾波器中應(yīng)用最廣泛的算法，所以可以說，自適應(yīng)濾波的發(fā)展前景也就是lms算法的發(fā)展前景。它主要包括以

11、下幾個方面的應(yīng)用：1、系統(tǒng)辨識和建模(system identification and modeling)。自適應(yīng)濾波器作為估計未知系統(tǒng)特性的模型。2、自適應(yīng)信道均衡(adaptive channel equlization)。在數(shù)字通信中采用自適應(yīng)信道均衡器，可以減小傳輸失真，以及盡可能地利用信道帶寬。3、回波消除(echo cancellation)。在2線和4線環(huán)路電話系統(tǒng)中，線路間存在雜散電路耦合，這些雜散導(dǎo)致阻抗不匹配，從而形成了信號的反射，也就是我們在線路兩端聽到的回聲。這種回波能對高速數(shù)據(jù)傳輸造成災(zāi)難性的后果?；夭ㄏ褪穷A(yù)先估計一個回波，然后用返回信號來減此回波，從而達(dá)到回波

12、消除的目的。消除心電圖中的電源干擾就是它的一個具體應(yīng)用。4、線性預(yù)測編碼（linear predictive coding）。近年來，對語音波形進(jìn)行編碼，它可以大大降低數(shù)據(jù)傳輸率。在接收端使用lpc分析得到的參數(shù)，通過話音合成器重構(gòu)話音。合成器實(shí)際上是一個離散的隨時間變化的時變線性濾波器。時變線性濾波器既當(dāng)作預(yù)測器使用，又當(dāng)作合成器使用。分析語音波形時作預(yù)測器使用，合成語音時作話音生成模型使用。5、自適應(yīng)波束形成（adaptive beaamforming）。頻譜資源越來越緊張，利用現(xiàn)有頻譜資源進(jìn)一步擴(kuò)展容量成為通信發(fā)展的一個重要問題。智能天線技術(shù)利用陣列天線替代常規(guī)天線，它能夠降低系統(tǒng)干擾，

13、提高系統(tǒng)容量和頻譜效率，因此智能天線技術(shù)受到廣泛關(guān)注。自適應(yīng)束波形成通過調(diào)節(jié)天線各陣元的加權(quán)幅度和相位，來改變陣列的方向圖，使陣列天線的主瓣對準(zhǔn)期望用戶，從而提高接收信噪比，滿足某一準(zhǔn)則下的最佳接收。在雷達(dá)與聲納的波束形成中，自適應(yīng)濾波器用于波束方向控制，并可在方向圖中提供一個零點(diǎn)以便消除不希望的干擾。其應(yīng)用還有噪聲中信號的濾波、跟蹤、譜線增強(qiáng)以及預(yù)測等。第二章 自適應(yīng)lms算法的研究2.1 概述自適應(yīng)算法中使用最廣的是下降算法，下降算法的實(shí)現(xiàn)方式有兩種：自適應(yīng)梯度算法和自適應(yīng)高斯-牛頓算法。自適應(yīng)高斯-牛頓算法包括rls算法及其變型和改進(jìn)型，自適應(yīng)梯度算法包括lms算法及其變型和改進(jìn)型2,6

14、。 濾波器設(shè)計準(zhǔn)則是使濾波器實(shí)際輸出y(n)與期望響應(yīng)d(n)之間的均方誤差j（n）為最小，這稱為最小均方誤差（mmse）準(zhǔn)則。圖2-1fir濾波器的自適應(yīng)實(shí)現(xiàn) 圖2.1為fir濾波器的自適應(yīng)實(shí)現(xiàn)的原理圖。所謂自適應(yīng)實(shí)現(xiàn)是指；m階fir濾波器的抽頭權(quán)系數(shù)w0,w1,wm-1可以根據(jù)估計誤差e(n)的大小自動調(diào)節(jié)，使得某個代價函數(shù)最小6,7。 定義均方誤差j(n)為代價函數(shù)，因?yàn)闉V波器在n時刻的估計誤差 e(n)=d(n)-whx(n) (2-1)所以代價函數(shù) j(n)=e|e(n)|2=e|d(n)-wh(n)|2 (2-2)由此可得j(n)的梯度 j(n)=2 ex(n) h(n)w(n)-

15、2ex(n)d(n) (2-3)2.2 lms算法最陡下降算法不需要知道誤差特性曲面的先驗(yàn)知識，其算法就能收斂到最佳維納解，且與起始條件無關(guān)6。但是最陡下降算法的主要限制是它需要準(zhǔn)確測得每次迭代的梯度矢量，這妨礙了它的應(yīng)用。為了減少計算復(fù)雜度和縮短自適應(yīng)收斂時間許多學(xué)者對這方面的新算法進(jìn)行了研究。1960年，美國斯坦福大學(xué)的windrow等提出了最小均方（lms）算法，這是一種用瞬時值估計梯度矢量的方法，即 (2-4)可見，這種瞬時估計法是無偏的，因?yàn)樗钠谕礶確實(shí)等于矢量。所以，按照自適應(yīng)濾波器濾波系數(shù)矢量的變化與梯度矢量估計的方向之間的關(guān)系，可以先寫出lms算法的公式如下： （2-5a）

16、 （2-5b）將式e(n)=d(n)-y(n)和式（2-1）代入到上式中，可得到 = （2-6）圖2-2 自適應(yīng)lms算法信號流圖由上式可以得到自適應(yīng)lms算法的信號流圖，這是一個具有反饋形式的模型，如圖2-2所示。如同最陡下降法，我們利用時間n=0的濾波系數(shù)矢量為任意的起始值w(0),然后開始lms算法的計算，其步驟如下。（1） 由現(xiàn)在時刻n的濾波器濾波系數(shù)矢量估值，輸入信號矢量x(n)以及期望信號d(n)，計算誤差信號：e(n)=d(n)- （2-7）（2） 利用遞歸法計算濾波器系數(shù)矢量的更新估值： （2-8） 將時間指數(shù)n增加1，回到步驟（1），重復(fù)上述計算步驟，一直到達(dá)穩(wěn)態(tài)為止。由此可

17、見，自適應(yīng)lms算法簡單，它既不要計算輸入信號的相關(guān)函數(shù)，又不要求矩陣之逆，因而得到了廣泛的應(yīng)用。但是，由于lms算法采用梯度矢量的瞬時估計，它有大的方差，以致不能獲得最優(yōu)濾波性能3。下面我們來分析lms算法的性能。2.2.1自適應(yīng)收斂性自適應(yīng)濾波器系數(shù)矢量的起始值w(0)是任意的常數(shù)，應(yīng)用lms算法調(diào)節(jié)濾波器系數(shù)具有隨機(jī)性而使系數(shù)矢量w(n)帶來非平穩(wěn)過程。通常為了簡化lms算法的統(tǒng)計分析，往往假設(shè)算法連續(xù)迭代之間存在以下的充分條件：(1) 每個輸入信號樣本矢量x(n)與過去全部樣本矢量x(k),k=0,1,n-1是統(tǒng)計獨(dú)立的，不相關(guān)的，即有ex(n)xh(k)=0; k=0,1,n-1 (

18、2-9) (2) 每個輸入信號樣本矢量x(n)與全部過去的期望信號d(k), k=0,1,n-1也是統(tǒng)計獨(dú)立的，即有 ex(n)d(k)=0; k=0,1,n-1 (2-10) (3) 期望信號樣本d(n)依賴于輸入過程樣本矢量x(n)，但全部過去的期望信號樣本是獨(dú)立的。 (4)濾波器抽頭輸入信號矢量x(n)與期望信號d(n)包含著全部n的共同的高斯分布隨即變量。通常，將基于上述基本假設(shè)的lms算法的統(tǒng)計分析稱為獨(dú)立理論（gendependence theory）6.由式（2-6）可知，自適應(yīng)濾波器在n+1時刻的濾波系數(shù)矢量 依賴與三個輸入：（1） 輸入過程的過去樣本矢量x(k), k=n,n

19、-1,0;（2） 期望信號的以前樣本值d(k), k=n,n-1,0;（3） 濾波器系數(shù)矢量的起始值。 從上述基本假設(shè)（1）和（2）的觀點(diǎn)來看，我們可發(fā)現(xiàn)濾波器系數(shù)矢量是與x(n+1)和d(n+1)獨(dú)立無關(guān)。這點(diǎn)是很有用的，而且在后續(xù)分析中將被重復(fù)使用。當(dāng)然，有許多實(shí)際問題對于輸入過程與期望信號并不滿足上述基本假設(shè)。盡管如此，lms算法的實(shí)踐經(jīng)驗(yàn)證明，在有足夠的關(guān)于自適應(yīng)過程結(jié)構(gòu)信息的條件下，基于這些假設(shè)所分析的結(jié)果仍可用作可靠的設(shè)計指導(dǎo)準(zhǔn)則，技術(shù)某些問題帶有依賴的數(shù)據(jù)樣本。為了分析問題，現(xiàn)在我們將系數(shù)誤差矢量w(n)代入式（2-6）的右邊，得到 =式中，是最佳濾波系數(shù)矢量，w(n)是誤差矢量

20、。如將移至等式左邊，則-等于系數(shù)誤差的跟新值，于是上式可寫成w(n+1)= （2-11）對于上式兩邊取數(shù)學(xué)期望，得到 = （2-12）顯然，上式中r為輸入信號矢量x(n)的相關(guān)矩陣，而p為輸入信號矢量x(n)與期望信號d(n)的互相關(guān)矩陣。根據(jù)自適應(yīng)濾波的正則方程的矩陣式，上式右邊第二項應(yīng)等于零。由此可簡寫成 （2-13）我們可以看出，lms算法與前述最陡下降算法有相同的精確數(shù)學(xué)表達(dá)式。因此，要使lms算法收斂于均值，必須使步長參數(shù)滿足下列條件： （2-14）這里是相關(guān)矩陣r的最大特征值。在此條件下，當(dāng)?shù)嬎愦螖?shù)n接近于時，自適應(yīng)濾波系數(shù)w(n)近似等于最佳維納解w0.2.2.2平均mse學(xué)

21、習(xí)曲線如前節(jié)所述，最陡下降算法每次迭代都要精確計算梯度矢量，使自適應(yīng)橫向?yàn)V波器權(quán)矢量或?yàn)V波系數(shù)矢量w(n)能達(dá)到最佳維納解w0 ，這時濾波器均方誤差（mse）為最小，即式中，是期望信號d(n)的方差。 （2-15）學(xué)習(xí)曲線定義為均方誤差隨迭代計算次數(shù)n的變化關(guān)系，如式（2-16）所描述的包含指數(shù)項之和： （2-16）圖2-3單條學(xué)習(xí)曲線式中每個指數(shù)項對應(yīng)于算法的固有模式，模式的數(shù)目等于濾波器加權(quán)數(shù)。顯而易見，由于上式中，故當(dāng)n,最陡下降算法均方誤差（）=min.但lms算法用瞬時值估計梯度存在誤差的噪聲估計，結(jié)果使濾波器權(quán)矢量估值只能近似于最佳維納解，這意味著濾波均方誤差隨著迭代次數(shù)n的增加而

22、出現(xiàn)小波動地減少，最后，（）不是等于min而是稍大于其值，如圖2-3所示。如果步長參數(shù)選用得越少，則這種噪化指數(shù)衰減曲線上的波動幅度將減小，即學(xué)習(xí)曲線的平滑度越好6。但是，對于自適應(yīng)橫向?yàn)V波器總體來說，假設(shè)每個濾波器lms算法用相同的步長和同等的起始系數(shù)矢量w(0)，并從同一統(tǒng)計群體隨機(jī)地選取各個平穩(wěn)的各態(tài)歷經(jīng)的輸入信號，由此計算自適應(yīng)濾波器總體平均學(xué)習(xí)曲線。濾波器的均方誤差 （2-17）式中，稱為濾波系數(shù)的誤差矢量。為了求總體平均rms，對式（2-17）兩邊取數(shù)學(xué)期望值，有 由矩陣?yán)碚撝械仁?，上式右邊第二項可以可寫?（2-18）式中k(n)=，稱之為濾波權(quán)系數(shù)誤差的相關(guān)矩陣，因此，平均rm

23、s可以寫出 （2-19）式中，k（n）可以遞歸地進(jìn)行計算。下面我們推導(dǎo)這個遞歸公式。首先把式（2-11）遞歸計算式寫成這里，。將上式與其共軛轉(zhuǎn)置矩陣右乘，得到對上式兩邊取數(shù)學(xué)期望，由于與x(n)不相關(guān)，且認(rèn)為與x(n)也不相關(guān)，又，于是得到的遞歸計算公式： (2-20)利用酉矩陣相似性變換法，有 (2-21a)這里，是對角線矩陣所含的相關(guān)矩陣r的特征值，矩陣q是由這些特征值相關(guān)聯(lián)的特征矢量所確定的酉矩陣。注意到矩陣是實(shí)值，并且令 （2-21b）注意，這里x(n)是一個對角線矩陣。加上酉矩陣性質(zhì),由式（2-21）得到 （2-22）因?yàn)槭菍蔷€矩陣，矩陣x(n)的對角元素是，i=1,2,m,上式又

24、可寫成 （2-23）其次，我們利用式（2-21）所描述的變換關(guān)系，將式（2-20）遞歸計算公式重新寫成 （2-24）上式表明，只需要計算其對角線項元素，就可得到 ， i=1,2,m當(dāng)n趨于時，則與的極限相等，于是由上式與式（2-23）得到 （2-25）我們定義超量均方誤差等于總體平均的均方誤差e()與最小均方誤差之差值，即 = trrk() = （2-26）顯然，如果能使總體平均e(n)收斂于最終穩(wěn)定值，當(dāng)且僅當(dāng)步長參數(shù)必須滿足下列條件： （2-27a）或 （2-27b）這里，i=1,2,m是相關(guān)矩陣r的特征值，m是自適應(yīng)濾波器橫向抽頭數(shù)或階數(shù)。當(dāng)此條件被滿足時，lms算法是絕對收斂的，這是從

25、均方值域保證穩(wěn)定的條件。如果將其與均方值域所討論的穩(wěn)定條件式（2-14）相比較看，由于僅是 中的一個最大值，所以，由式（2-27）所表示的穩(wěn)定條件既是必要的又是充分的。2.2.3 失調(diào)在自適應(yīng)濾波器中，失調(diào)（misnadjustment）m是衡量其濾波性能的一個技術(shù)指標(biāo)，它被定義為總體平均超量均方誤差值與最小均方誤差值之比，即m= （2-28）把式（2-26）代入上式中，得到 m= （2-29） 通常所用值很小，因此，失調(diào)又可近似表示為 m= （2-30）顯而易見，自適應(yīng)濾波器lms算法的穩(wěn)態(tài)失調(diào)與步長成正比。把算法的總體平均學(xué)習(xí)曲線的時間常數(shù)寫成的逆數(shù)，而平均特征值應(yīng)等于 ，則濾波器穩(wěn)定失調(diào)

26、m又可由式（2-29）寫成m= （2-31）上面諸式表明：（1）失調(diào)為自適應(yīng)lms算法提供了一個很有用的測度，比如10失調(diào)意味著自適應(yīng)算法所產(chǎn)生的總體平均mse高于最小均方誤差的增量值為10；（2）失調(diào)是隨濾波系數(shù)數(shù)目線性增加的；（3）失調(diào)可以做的任意小，只要選用大的時間常數(shù)，也就是小的步長值即可。但是，濾波器自適應(yīng)收斂過程需要長的時間，影響了濾波器自學(xué)習(xí)、自訓(xùn)練的速度，所以，自適應(yīng)濾波器lms算法的失調(diào)與自適應(yīng)收斂過程之間存在著矛盾，如何縮短收斂過程，而且有很小的失調(diào)，這是值得研究的問題。2.2.4 縮短收斂過程的方法根據(jù)自適應(yīng)濾波器權(quán)系數(shù)調(diào)節(jié)的遞歸計算公式可以看出，lms算法的迭代公式為

27、為了縮短收斂過程，概括起來可以從如下三個方面進(jìn)行設(shè)計：第一，采用不同的梯度估值，如lms牛頓算法，它估計時采用了輸入矢量相關(guān)函數(shù)的估值，使得收斂速度大大快于上述經(jīng)典的lms算法，因?yàn)樗诘^程中采用了更多的有關(guān)輸入信號矢量的信息。第二，對收斂因子步長選用不同方法。步長的大小決定著算法的收斂速度和達(dá)到穩(wěn)態(tài)的失調(diào)量的大小。對于常數(shù)的值來說，收斂速度和失調(diào)量是一對矛盾，要想得到較快的收斂速度可選用大的值，這將導(dǎo)致較大的失調(diào)量；如果要滿足失調(diào)量的要求，則收斂速度受到制約。因此，人們研究了采用變步長的方法來克服這一矛盾。自適應(yīng)過程開始時，取用較大的值以保證較快的收斂速度，然后讓值逐漸減小，以保證收斂后

28、得到較小的失調(diào)量?，F(xiàn)在已有不同準(zhǔn)則來調(diào)整步長，如歸一化lms算法、時域正交化lms算法等。第三，采用變換域分塊處理技術(shù)。對由濾波器權(quán)系數(shù)矢量調(diào)整的修正項中的乘積用變換域快速算法與分塊處理技術(shù)可以大大減少計算量，且能改善收斂特性，如頻域lms算法、分塊lms算法等。第三章lms自適應(yīng)濾波器的改進(jìn)形式文獻(xiàn)中已經(jīng)提出了許多基于lms算法的改進(jìn)的自適應(yīng)算法。這些算法的共同特點(diǎn)是從lms算法出發(fā)，試圖改進(jìn)lms算法的某些性能，包括lms算法的收斂特性，減小穩(wěn)態(tài)均方誤差，減小計算復(fù)雜度。3.1歸一化lms算法如果不希望用與估計輸入信號矢量有關(guān)的相關(guān)矩陣來加快lms算法的收斂速度，那么可用變步長方法來縮短其

29、自適應(yīng)收斂過程，其中一個主要的方法是歸一化lms（normalized lms,縮寫為nlms）算法6-8，變步長（n）的更新公式由式（2-8）寫成 （3-1）式中，表示濾波權(quán)系數(shù)矢量迭代更新的調(diào)整量。為了達(dá)到快速收斂的目的，必須合適地選擇變步長（n）的值，一個可能的策略是盡可能多的減小瞬時平方誤差，即用瞬時平方誤差作為均方誤差mse的簡單估計，這也是lms算法的基本思想6。瞬時平方誤差可以寫成 （3-2）如果濾波權(quán)系數(shù)矢量的變化量，則對應(yīng)的平方誤差可以由上式得到（3-3）在此情況下，瞬時平方誤差的變化量定義為 （3-4）把 的關(guān)系代入式（3-4）中，得到 （3-5）為了增加收斂速度，合適地選

30、?。╪）使平方誤差最小化，故將式（3-5）對變系數(shù)（n）求偏導(dǎo)數(shù)，并令其等于零，求得 （3-6）這個步長值（n）導(dǎo)致出現(xiàn)負(fù)的值，這對應(yīng)于的最小點(diǎn)，相當(dāng)于平方誤差等于零。為了控制失調(diào)量，考慮到基于瞬時平方誤差的導(dǎo)數(shù)不等于均方誤差mse求導(dǎo)數(shù)值，所以對lms算法的更新迭代公式作如下修正： （3-7）式中，為控制失調(diào)的固定收斂因子，參數(shù)是為避免過小導(dǎo)致步長值太大而設(shè)置的。通常稱式（3-7）為歸一化lms算法的迭代公式。為了保證自適應(yīng)濾波器的工作穩(wěn)定，固定收斂因子的選取應(yīng)滿足一定的數(shù)值范圍?，F(xiàn)在我們來討論這個問題。首先考慮到下列關(guān)系： （3-8a） （3-8b）然后對收斂因子的平均值應(yīng)用更新lms的方

31、向是 ,最后，將歸一化lms算法的更新公式與經(jīng)典lms算法更新公式相比較，可以得到收斂因子的上界不等式條件，如下： （3-9）或 顯然，由式（3-7）與（3-9）可構(gòu)成歸一化lms算法，其中，選擇不同的值可以得到不同的算法，當(dāng)時，由式（3-7）可以寫成 （3-10）這種算法是nlms算法的泛化形式，其中隨機(jī)梯度估計是除以輸入信號矢量元素平方之和。所以步長變化的范圍比較大，可由較好的收斂性能。在此情況下，算法的歸一化均方誤差（nmse）可由式（3-10）得到 （3-11）得到最佳濾波權(quán)系數(shù)： （3-12）式中， （3-13a） （3-13b）所以，自相關(guān)矩陣和互相關(guān)量都含有歸一化因子，在穩(wěn)定狀態(tài)

32、x(n)和d(n)時，假定自相關(guān)矩陣存在可逆性。同時，我們由式（3-11）可以看出，當(dāng)且僅當(dāng)時，歸一化lms算法的均方誤差可等于零。這需要對d(n)用輸入信號矢量線性組合進(jìn)行精確地建模。此時，最佳濾波權(quán)矢量變成合宜的線性權(quán)系數(shù)矢量。當(dāng)=1時，nlms算法更新公式可以寫成 （3-14）由此可見nlms算法的特殊形式： （3-15）或 （3-16）這也表明等效步長是輸入信號的非線性變量，它使變步長由大逐步變小了，加速了收斂過程。當(dāng)然，nlms算法的計算量較之lms算法稍有些增加。下面我們介紹兩個有趣的改進(jìn)型lms算法一為時域正交（time-domain orthogonal）lms算法，簡稱為td

33、o-lms算法(mlms)，另一位修正lms算法6。它們都屬于可變步長的lms算法，可以縮短自適應(yīng)收斂過程的時間。3.1.1 tdo-lms算法時域正交算法是基于對平方誤差取時間上的平均，即對 （3-17）取最小值。按上式對權(quán)系數(shù)矢量取偏導(dǎo)數(shù)，并令其等于零，得到時域正交準(zhǔn)則下序列x(n)對d(n)進(jìn)行線性估計的最佳權(quán)系數(shù)矢量，即 （3-18a）或 （3-18b）這意味著用時域正交lms算法的權(quán)矢量更新運(yùn)算公式，可對線性估計的權(quán)矢量作自適應(yīng)調(diào)整，使其逐步趨于最佳值。huffman的tdo-lms算法的更新公式是 （3-19）當(dāng)m取足夠大的值時，上式又可近似成 （3-20）這與上面討論的歸一化lm

34、s算法的權(quán)矢量更新公式相類似。3.1.2 mlms算法修正lms算法是在lms算法中權(quán)矢量的校正量與梯度估計之間人為地引入一個時延，利用現(xiàn)時刻的梯度估計代替前一時刻的梯度估計，有 （3-21）稱之為修正lms算法。這種算法乍看起來似乎存在矛盾，因?yàn)楸旧砭褪堑暮瘮?shù)，其實(shí)，它還是可解得。式（3-21）用瞬時梯度信息可表示為 （3-22）將代入上式，有整理后，得到 （3-23）式中 （3-24a） （3-24b） 顯然，自適應(yīng)步長 是可變收斂因子，它隨著輸入信號功率的變化可加快收斂速度，從而使mlms算法的性能有了很大的改進(jìn)，特別是在選用的值較大時。當(dāng)然，如果只取很小，則mlms算法近似等于lms算

35、法。比較式（3-15）與（3-23）可看出，mlms算法與nlms算法特殊形式的更新公式很相似，變步長都取決于輸入信號功率，但不同的是信號和誤差序列都差一個時延的相應(yīng)值，隨著迭代運(yùn)算次數(shù)的增加而趨于一致。因此，歸一化lms算法、時域正交lms算法及修正lms算法都是以輸入信號功率控制變步長lms算法，利用梯度信息調(diào)整濾波器權(quán)系數(shù)使其達(dá)到最佳值這一點(diǎn)完全相同。但它們的自適應(yīng)過程較快，性能有了很大改進(jìn)。輸入信號功率與其相關(guān)矩陣r的特征值 有關(guān)，設(shè)r的特征矢量矩陣為q， 是r的m個特征矢量，則有 ,可寫成 或 (3-25)式中， 這表明變步長受 控制，與前述概念相一致。3.2 泄露lms算法 泄露l

36、ms算法的迭代公式如式（3-26）所示： （3-26） 式中，為正值常數(shù)，需滿足 （3-27） 通常取 近似為1。若=1，則泄露lms算法變?yōu)閘ms算法8。對于常規(guī)的lms算法，當(dāng)突然變?yōu)榱銜r，權(quán)矢量系數(shù)將不再發(fā)生變化而保持變?yōu)榱銜r的值。而對于泄露lms算法，當(dāng)值變?yōu)?之后，濾波器的權(quán)矢量將逐漸變化，并最終變?yōu)?矢量。這個過程稱為泄露8。泄露lms算法在通信系統(tǒng)的自適應(yīng)差分脈沖編碼調(diào)制（adpcm）中得到應(yīng)用，被用來減小或消除通道誤差。另一方面，泄露lms算法也常用來在自適應(yīng)陣列中消除旁瓣效應(yīng)。實(shí)際上，在無噪聲的條件下，泄露lms算法的性能并沒有常規(guī)lms算法好，一下分析都可以說明這一點(diǎn)。由式

37、（3-27），有 = （3-28） 假定輸入信號與權(quán)矢量是相互獨(dú)立的，則 （3-29） 或者 （3-30）若要保證上述算法的穩(wěn)定，需要有 (3-31)顯然，上式明顯與最佳權(quán)矢量由偏差。因此，泄露lms算法是一種有偏的lms算法。越接近于1，偏差越小?？梢宰C明，泄露lms算法的穩(wěn)定性條件為 （3-32）由于矩陣 是嚴(yán)格正定的，故沒有零值的特征值。此外，泄露lms算法的第i個權(quán)系數(shù)的時間常數(shù)為 （3-33）式中，表示泄露lms算法第i個權(quán)系數(shù)的時間常數(shù)。顯然，比lms算法的時間常數(shù)小，即可能以更快的速度收斂。3.3 極性lms算法在有些應(yīng)用領(lǐng)域，尤其是在高速通信領(lǐng)域，實(shí)際問題對算法的計算量有很嚴(yán)格

38、的要求，因此，產(chǎn)生了一類稱為極性（或符號）算法的自適應(yīng)算法8。這種算法可以顯著地減小自適應(yīng)濾波器的計算量，有效地簡化相應(yīng)的硬件電路和程序計算。這類極性算法可以分為三種不同的實(shí)現(xiàn)方式，即對誤差取符號的誤差極性算法（se），對輸入信號取符號的信號極性算法（sr）和對誤差與輸入信號二者均取符號的簡單極性算法（ss）。這三種算法的權(quán)矢量迭代公式如式（3-34）所示。 （3-34）在式（3-34）中，符號函數(shù)sgn定義為 （3-35）極性lms算法的主要優(yōu)點(diǎn)是計算量小。顯然，這種算法把一個數(shù)據(jù)樣本的n比特運(yùn)算簡化為一個比特的運(yùn)算，即符號或極性的運(yùn)算。另一方面，與基本lms算法相比，這種三個在梯度估計性能

39、上有所退化，這是由于其較粗的量化精度所引起的，并由此引起了收斂速度的下降和穩(wěn)態(tài)誤差的增加。3.4 lms算法梯度估計的平滑在迭代方程中，用帶噪的瞬時梯度估值來替代梯度真值是lms算法的一個顯著缺點(diǎn)。如果使用連續(xù)幾次梯度估值的平滑結(jié)果來替換這個瞬時值，則有可能改善lms算法的性能。有許多方法可以用于對一個時間序列進(jìn)行平滑，歸納起來，可以分為線性平滑和非線性平滑兩類8。設(shè)平滑lms梯度估計的自適應(yīng)迭代算法為 （3-36）式中， （3-37）對于線性平滑，一種有效的平滑方法是鄰域平均法，即 （3-38）式中，n表示參加平滑的梯度估值的樣本點(diǎn)數(shù)。另一種有效地平滑方法是低通濾波法，即利用低通濾波器來進(jìn)行

40、線性平滑。 （3-39）式中，lpf表示低通濾波器。對于非線性平滑處理，常采用中值濾波技術(shù)。b(n)矢量中的第i個元素為 (3-40)或者 （3-41）式中，med表示取中值運(yùn)算。中值平滑除了像線性平滑一樣可以用于消除梯度估計的噪聲之外，對信號的“邊緣”成分影響不大，圖3.1給出了基于中值平滑的lms算法在自適應(yīng)濾波中應(yīng)用的結(jié)果。3.5 解相關(guān)lms算法lms算法的一個主要缺點(diǎn)是其收斂速度比較慢，這主要是由于算法的輸入信號矢量的各元素具有一定的相關(guān)性。研究已經(jīng)表明，對輸入信號矢量解相關(guān)可以有效地加快lms算法的收斂速度8。定義x(n)與x(n-1)在時刻n的相關(guān)系數(shù)為 （3-42）根據(jù)定義，若

41、，則稱是的相干信號；若,則稱與之間不相關(guān)；若，則稱與相關(guān)。值越大，與之間的相關(guān)性就越強(qiáng)。實(shí)際上，代表了信號中與相關(guān)的部分。如果中減去這一部分，相當(dāng)于一種解相關(guān)運(yùn)算。定義解相關(guān)方向矢量為 （3-43）另一方面，考慮自適應(yīng)迭代的收斂因子滿足下列最小化問題的解，有 （3-44）由此得到時變收斂因子為 （3-45）這樣，解相關(guān)lms自適應(yīng)算法的迭代公式為 （3-46）上述解相關(guān)lms算法可以看做一種自適應(yīng)輔助變量法，其中的輔助變量由給出。一般來說，輔助變量的選取原則是，它應(yīng)該與滯后的輸入和輸出強(qiáng)度相關(guān)，而與干擾不相關(guān)。3.6 性能比較lms自適應(yīng)濾波器在問世以來，受到了人們普遍的重視，得到了廣泛的應(yīng)用

42、。這種濾波器的主要優(yōu)點(diǎn)是其收斂性能穩(wěn)定，且算法比較簡單。然而，作為梯度算法的一種，lms算法也有其固有的缺點(diǎn)，首先，這種方法一般來說不能任意初始點(diǎn)出發(fā)通過最短的路徑到達(dá)極值點(diǎn)；其次，當(dāng)輸入信號自相關(guān)陣r的特征值在數(shù)值上分散性比較大時，這種方法出現(xiàn)了許多關(guān)于自適應(yīng)濾波器的改進(jìn)算法，例如本文提到歸一化lms算法、泄露lms算法、解相關(guān)lms算法以及tdo-lms算法和mlms算法。本節(jié)就其各種算法的性能進(jìn)行比較。對于基本lms算法來說，收斂因子應(yīng)滿足下列收斂條件：式中為自相關(guān)矩陣r的最大特征值6。對于歸一化lms算法來說，收斂因子應(yīng)滿足下列收斂條件：就能夠保證經(jīng)過足夠大的n次迭代，自適應(yīng)濾波器能夠

43、穩(wěn)定收斂6。對于泄露lms算法來說，收斂因子應(yīng)滿足下列收斂條件：對于極性lms算法來說，其主要優(yōu)點(diǎn)是計算量小，但它在梯度估計性能上有所退化，這是由于其較粗的量化精度所引起的，并由此引起了收斂速度的下降和穩(wěn)態(tài)誤差的增加8。根據(jù)自適應(yīng)權(quán)調(diào)整公式可知，lms算法相應(yīng)的梯度校準(zhǔn)值為隨機(jī)量，因此加權(quán)矢量將以隨機(jī)的方式變化。所以，lms算法也稱之為隨機(jī)梯度法。lms算法由于加權(quán)矢量的隨機(jī)起伏造成的影響主要包括失調(diào)量、穩(wěn)態(tài)誤差等。所以對lms自適應(yīng)算法的穩(wěn)態(tài)誤差也進(jìn)行了仿真。第五章 lms算法的應(yīng)用5.1 lms類均衡器自適應(yīng)均衡器是在自適應(yīng)濾波理論基礎(chǔ)上建立起來的，包括非線性動力學(xué)神經(jīng)網(wǎng)絡(luò)濾波理論。我們考

44、慮到的信道的時變特性和非線性，應(yīng)用某種準(zhǔn)則的自適應(yīng)算法對均衡器參數(shù)隨著信號和信道的變化做相應(yīng)的調(diào)整6,8。從自適應(yīng)均衡參數(shù)與接收信號的關(guān)系來看，大體上可分為線性均衡器和非線性均衡器。其中非線性均衡器按照功能和結(jié)構(gòu)則可分為非遞歸均衡器和遞歸均衡器，以及神經(jīng)智能均衡器。如果根據(jù)算法來分，有自適應(yīng)最小均方誤差（lms）均衡器、自適應(yīng)遞歸最小二乘（rls）均衡器、自適應(yīng)格型最小二乘（lls）均衡器、自適應(yīng)平方根rls均衡器、自適應(yīng)最大似然時序估計均衡器、混合滑動指數(shù)窗自適應(yīng)判決反饋均衡器，以及盲自適應(yīng)均衡器等。我們只對其中一種均衡器進(jìn)行研究。lms算法是一類比較重要的自適應(yīng)算法，其顯著特點(diǎn)是比較簡單，

45、不需要計算有關(guān)的相關(guān)函數(shù)，也不需要矩陣求逆運(yùn)算8。關(guān)于lms算法的基本原理，在2.2節(jié)進(jìn)行了詳細(xì)的討論，本節(jié)主要討論lms算法在信道均衡中的應(yīng)用。5.1.1 解相關(guān)lms（decorrelation lms,dlms）均衡算法根據(jù)相關(guān)文獻(xiàn)，如果利用輸入信號的正交分量更新自適應(yīng)濾波器的參數(shù)，可以加快lms算法的收斂速度，這里提出的解相關(guān)lms算法就是通過解相關(guān)算法利用輸入信號的正交分量更新濾波器的參數(shù)。首先定義均衡器抽頭輸入向量與在n時刻的相關(guān)系（5-1）則解相關(guān)運(yùn)算就是從減去上一時刻與其相關(guān)的部分，并用解相關(guān)的結(jié)果作為更新方向向量，即 （5-2）另外，步長參數(shù)應(yīng)該滿足下式的最小問題解，其中，為期望響應(yīng)，即 （5-3）下降算法的均