7.3--LMS自適應(yīng)濾波器

1、7.3  LMS自適應(yīng)濾波器自適應(yīng)濾波器實(shí)際上是一種能夠自動(dòng)調(diào)整本身參數(shù)的特殊維納濾波器，在設(shè)計(jì)時(shí)不需要預(yù)先知道關(guān)于輸入信號(hào)和噪聲的統(tǒng)計(jì)特性，它能夠在工作過(guò)程中逐步“了解”或估計(jì)出所需的統(tǒng)計(jì)特性，并以此為依據(jù)自動(dòng)調(diào)整自身的參數(shù)，以達(dá)到最佳濾波效果。一旦輸入信號(hào)的統(tǒng)計(jì)特性發(fā)生變化，它又能夠跟蹤這種變化，自動(dòng)調(diào)整參數(shù)，使濾波器性能重新達(dá)到最佳。圖7-3  自適應(yīng)濾波器原理圖自適應(yīng)濾波器由參數(shù)可調(diào)的數(shù)字濾波器(或稱為自適應(yīng)處理器)和自適應(yīng)算法兩部分組成，如圖7-3所示。參數(shù)可調(diào)數(shù)字濾波器可以是FIR數(shù)字濾波器或IIR數(shù)字濾波器，也可以是格型數(shù)字濾波器。輸入信號(hào)x(n)通過(guò)參數(shù)可調(diào)

2、數(shù)字濾波器后產(chǎn)生輸出信號(hào)(或響應(yīng)) y(n)，將其與參考信號(hào)(或稱期望響應(yīng)) d(n)進(jìn)行比較，形成誤差信號(hào)e(n)，并以此通過(guò)某種自適應(yīng)算法對(duì)濾波器參數(shù)進(jìn)行調(diào)整，最終使e(n)的均方值最小。盡管自適應(yīng)濾波器具有各種不同的算法和結(jié)構(gòu)，但是，其最本質(zhì)特征是始終不變的。這種最本質(zhì)的特征可以概括為：自適應(yīng)濾波器依據(jù)用戶可以接受的準(zhǔn)則或性能規(guī)范，在未知的而且可能是時(shí)變的環(huán)境中正常運(yùn)行，而無(wú)須人為的干預(yù)。本章主要討論的是基于維納濾波器理論的最小均方(LMS)算法，可以看到LMS算法的主要優(yōu)點(diǎn)是算法簡(jiǎn)單、運(yùn)算量小、易于實(shí)現(xiàn)；其主要缺點(diǎn)是收斂速度較慢，而且與輸入信號(hào)的統(tǒng)計(jì)特性有關(guān)。7.3.1  L

3、MS算法基本原理1. 自適應(yīng)線性濾波器                   圖7-4  單輸入自適應(yīng)線性濾波器           圖7-5  多輸入自適應(yīng)線性濾波器          自適應(yīng)線性濾波器是一種參數(shù)可自適應(yīng)

4、調(diào)整的有限沖激響應(yīng)(FIR)數(shù)字濾波器，具有非遞歸結(jié)構(gòu)形式。因?yàn)樗姆治龊蛯?shí)現(xiàn)比較簡(jiǎn)單，所以在大多數(shù)自適應(yīng)信號(hào)處理系統(tǒng)中得到了廣泛應(yīng)用。如圖7-4所示的是自適應(yīng)線性濾波器的一般形式。輸入信號(hào)矢量x(n)的L+1個(gè)元素，既可以通過(guò)在同一時(shí)刻對(duì)L+1個(gè)不同信號(hào)源取樣得到，也可以通過(guò)對(duì)同一信號(hào)源在n以前L+1個(gè)時(shí)刻取樣得到。前者稱為多輸入情況，如圖7-5所示，后者稱為單輸入情況如圖7-4所示，這兩種情況下輸入信號(hào)矢量都用x(n)表示，但應(yīng)注意它們有如下區(qū)別。單輸入情況：       (7-18)多輸入情況：   

5、;    (7-19)單輸入情況下x(n)是一個(gè)時(shí)間序列，其元素由一個(gè)信號(hào)在不同時(shí)刻的取樣值構(gòu)成；而多輸入情況下x(n)是一個(gè)空間序列，其元素由同一時(shí)刻的一組取樣值構(gòu)成，相當(dāng)于并行輸入。對(duì)于一組固定的權(quán)系數(shù)來(lái)說(shuō)，線性濾波器是輸出y(n)等于輸入矢量x(n)的各元素的線性加權(quán)之和。然而實(shí)際上權(quán)系數(shù)是可調(diào)的，調(diào)整權(quán)系數(shù)的過(guò)程叫做自適應(yīng)過(guò)程。在自適應(yīng)過(guò)程中，各個(gè)權(quán)系數(shù)不僅是誤差信號(hào)e(n)的函數(shù)，而且還可能是輸入信號(hào)的函數(shù)，因此，自適應(yīng)線性濾波器的輸出就不再是輸入信號(hào)的線性函數(shù)。   輸入信號(hào)和輸出信號(hào)之間的關(guān)系為單輸入情況：  

6、     (7-20)多輸入情況：       (7-21)如圖7-4所示的單輸入自適應(yīng)線性濾波器，實(shí)際上是一個(gè)時(shí)變橫向數(shù)字濾波器，有時(shí)稱為自適應(yīng)橫向?yàn)V波器。它在信號(hào)處理中應(yīng)用很廣泛。自適應(yīng)線性濾波器的L+1個(gè)權(quán)系數(shù)構(gòu)成一個(gè)權(quán)系數(shù)矢量，稱為權(quán)矢量，用w(n)表示，即         (7-22)這樣，輸出響應(yīng)表示為         (7-23)參考響應(yīng)與輸出

7、響應(yīng)之差稱為誤差信號(hào)，用e(n)表示，即       (7-24)自適應(yīng)線性濾波器按照誤差信號(hào)均方值(或平均功率)最小的準(zhǔn)則，即       (7-25)來(lái)自動(dòng)調(diào)整權(quán)矢量。2. 自適應(yīng)濾波器的性能函數(shù)習(xí)慣上常稱均方誤差為自適應(yīng)濾波器的性能函數(shù)，并記為、或，即       (7-26)由式(7-24)、(7-25)和式(7-26)，均方誤差表示式為      

8、 (7-27)在d(n)和x(n)都是平穩(wěn)隨機(jī)信號(hào)的情況下，輸入信號(hào)的自相關(guān)矩陣R，d(n)與x(n)的互相關(guān)矩陣P都是與時(shí)間無(wú)關(guān)的恒定二階統(tǒng)計(jì)，分別定義為       (7-28)       (7-29) 以上二式對(duì)應(yīng)于多輸入情況，對(duì)于單輸入情況，不難寫出類似結(jié)果。將上二式代入式(7-27)，得到均方誤差的簡(jiǎn)單表示形式       (7-30)為了書寫方便這里省略了w(n)的時(shí)間標(biāo)記。從該式可看出，在輸

9、入信號(hào)和參考響應(yīng)都是平穩(wěn)隨機(jī)信號(hào)的情況下，均方誤差是權(quán)矢量w各分量的二次函數(shù)。這就是說(shuō)，若將上式展開(kāi)，則w各分量只有一次項(xiàng)和二次項(xiàng)存在。的函數(shù)圖形是L+2維空間中一個(gè)中間下凹的超拋物面，有唯一的最低點(diǎn)，該曲面稱為均方誤差性能曲面，簡(jiǎn)稱性能曲面，如圖7-6所示。自適應(yīng)是自動(dòng)調(diào)整權(quán)系數(shù)，使均方誤差達(dá)到最小值的過(guò)程，這相當(dāng)于沿性能曲面往下搜索最低點(diǎn)。圖 7-6  均方誤差性能曲面3. 最速下降法從前面的討論中已經(jīng)知道，在輸入信號(hào)和參考響應(yīng)都是平穩(wěn)隨機(jī)信號(hào)的情況下，自適應(yīng)線性組合器的均方誤差性能曲面是權(quán)矢量w(n)的二次函數(shù)。由于自相關(guān)矩陣為正定的，故此超拋物面向上凹，表示均方誤差函數(shù)有唯一

10、的最小值，該最小值所對(duì)應(yīng)的權(quán)系數(shù)矢量為自適應(yīng)濾波器的最佳權(quán)矢量，即等于維納濾波器的權(quán)矢量。如果自適應(yīng)濾波器的權(quán)系數(shù)個(gè)數(shù)大于2，其性能表面的超拋物面仍有唯一的全局最優(yōu)點(diǎn)。在許多實(shí)際應(yīng)用中，性能曲面的參數(shù)，甚至解析表示式都是未知的，因此，只能根據(jù)已知的測(cè)量數(shù)據(jù)，采用某種算法自動(dòng)地對(duì)性能曲面進(jìn)行搜索，尋找最低點(diǎn)，從而得到最佳矢量。最常見(jiàn)的搜索方法是最速下降法(Method of Steepest Descent)，它在工程上比較容易實(shí)現(xiàn)，有很大的實(shí)用價(jià)值。下面進(jìn)行簡(jiǎn)單討論。均方誤差性能曲面的梯度用表示，定義為       (7-31)將式(

11、7-31)代入上式，得到       (7-32)最小均方誤差對(duì)應(yīng)的權(quán)矢量稱為最佳權(quán)矢量或維納解，用表示。在性能曲面上，該點(diǎn)梯度等于零，即       (7-33)由此解出       (7-34)式(7-34)稱為維納霍夫方程。將上式代入式(7-31)，即可得到自適應(yīng)濾波器的最小均方誤差為       (7-35)利用矩陣運(yùn)算規(guī)則，可以將上式簡(jiǎn)化為

12、0;      (7-36)由式(7-17)可知，只要知道了輸入信號(hào)的自相關(guān)矩陣R和期望響應(yīng)與輸入信號(hào)的互相關(guān)矢量P，就可以由該式直接得出最佳權(quán)矢量。但是在實(shí)際應(yīng)用中，這種方法往往是難以實(shí)現(xiàn)的。一方面，我們通常很難得到有關(guān)信號(hào)和噪聲的統(tǒng)計(jì)先驗(yàn)知識(shí)；另一方面，當(dāng)R的階數(shù)較高時(shí)，直接計(jì)算R的逆矩陣有一定的困難。因此，最佳權(quán)矢量的實(shí)現(xiàn)一般都采用迭代方法，一步一步地在性能表面上搜索，并最終達(dá)到最小均方值和實(shí)現(xiàn)最佳權(quán)矢量。最速下降法是一種古老而又非常有用的通過(guò)迭代尋找極值的方法。從幾何意義上來(lái)說(shuō)，迭代調(diào)整權(quán)矢量的結(jié)果是使系統(tǒng)的均方誤差沿性能曲面最陡的方向

13、向下搜索曲面的最低點(diǎn)，曲面的最速下降方向是曲面的負(fù)梯度方向，或性能函數(shù)的梯度的反方向連續(xù)調(diào)整濾波器的權(quán)矢量w(n)，梯度矢量可以表示為       (7-37)這樣，最速下降法可以表示為       (7-38)式中，是正值常數(shù)，稱為收斂因子，用于調(diào)整自適應(yīng)迭代的步長(zhǎng)。為了證明最速下降法滿足，即在迭代的每一步都滿足在性能表面上下降，將性能函數(shù)在處進(jìn)行一階泰勒展開(kāi)，并利用式(7-38)，得到       (7-39)由

14、于收斂因子是正值常數(shù)，因此，隨著的增加，性能函數(shù)不斷減小，當(dāng)時(shí)，性能函數(shù)趨于最小值。最速下降法的自適應(yīng)迭代公式可以通過(guò)把式(7-32)代入式(7-38)得到，即       (7-40)最速下降法的穩(wěn)定性取決于兩個(gè)因素，一是收斂因子的取值，二是自相關(guān)矩陣R的特性。定義權(quán)誤差矢量v(n)為       (7-41)利用上式和，消去式(7-40)中的互相關(guān)矢量，有       (7-42)式中，為單位陣。式(7-42)再

15、次強(qiáng)調(diào)了最速下降法的穩(wěn)定性是由和控制的。利用正交相似變換，可以將自相關(guān)陣表示為       (7-43)式中，Q為正交矩陣，矩陣Q的各個(gè)列矢量為自相關(guān)矩陣R的特征值相對(duì)應(yīng)的特征矢量。為一對(duì)角陣，其對(duì)角元素為矩陣R的特征值。通常將這些特征值表示為，且均為正實(shí)值。每一個(gè)特征值對(duì)應(yīng)矩陣Q中一列特征矢量。將式(7-43)代入式(7-42)，有             (7-44)上式兩邊左乘，并利用正交矩陣的性質(zhì)，有 

16、60;            (7-45)定義       (7-46)有       (7-47)設(shè)的初始值為       (7-48)再假定自適應(yīng)濾波器權(quán)矢量的初始值為，則上式簡(jiǎn)化為       (7-49)考慮矢量的第個(gè)模式，則式(7-30)所示的最速下

17、降法的迭代公式變?yōu)?#160;      (7-50)式中，為自相關(guān)矩陣R的第個(gè)特征值，為矢量的第個(gè)元素。上式為的一階齊次方程。若設(shè)的初始值為，則該差分方程的解為       (7-51)由于矩陣R為正定陣，其特征值均為正實(shí)值。這樣， 構(gòu)成了一個(gè)等比級(jí)數(shù)，其公比為。為了保證最速下降法穩(wěn)定收斂，必須有       (7-52)即保證的幅值小于1。當(dāng)?shù)螖?shù)時(shí)，最速下降法的各個(gè)模式均趨于0，而與初始狀態(tài)無(wú)關(guān)。這意味著當(dāng)時(shí)，自適應(yīng)濾

18、波器的權(quán)矢量趨于最佳權(quán)矢量。將式(7-51)寫成矢量形式，有       (7-53)由式(7-52)可以得到最速下降法收斂因子的限制條件：       (7-54)式中，為自相關(guān)矩陣R的最大的特征值。最速下降法的主要優(yōu)點(diǎn)是它的簡(jiǎn)單性，然而，這種方法需要大量的迭代，才能使算法收斂于充分接近最優(yōu)解的點(diǎn)。這個(gè)性能是由于最速下降法是以圍繞當(dāng)前點(diǎn)的性能表面的一階近似為基礎(chǔ)的。在實(shí)際應(yīng)用中，如果計(jì)算的簡(jiǎn)單性相對(duì)重要，則選擇最速下降法是合適的。然而，如果收斂速度是更重要的，可以選用牛頓法

19、及其改進(jìn)方法，這里就不再討論了?！纠?-2】均方誤差性能函數(shù)為，初值權(quán)值為0，=0.05，給出最速下降法的學(xué)習(xí)曲線。已知                                        

20、                                                    

21、60;                                                 

22、60;                            即按式7-30的形式可得：                    &

23、#160;                                                 &

24、#160;                                            由式7-34可得:   

25、0;          由式7-36可得：                                        

26、;                                      由式7-41可知最速下降法學(xué)習(xí)曲線為：         

27、60;                                                  &#

28、160;                               由7-46式定義可知                 

29、60;                                                 

30、60;                                                 

31、60;            由7-41式權(quán)誤差矢量定義知      可以解得自相關(guān)矩陣R的第m個(gè)特征值為：                            

32、60;                                                  &#

33、160;                                    自相關(guān)矩陣R的特征值對(duì)應(yīng)特征矢量為列矢量構(gòu)成的正交陣Q為：         &#

34、160;                                                   

35、                                                  

36、                   則    ,      ,                       

37、               所以                                   

38、60;                                                 

39、60;                在MATLAB中，計(jì)算方陣的特征值與特征向量可以使用如下函數(shù)：                             其

40、中矩陣D的主對(duì)角線由A的特征值構(gòu)成，矩陣V的列矢量由對(duì)應(yīng)的特征向量構(gòu)成。本例的學(xué)習(xí)曲線如圖7-7所示。圖7-7  最速下降法學(xué)習(xí)曲線4. 最小均方(LMS)算法在最速下降法中，如果我們能夠在迭代過(guò)程的每一步得到梯度的準(zhǔn)確值，并且適當(dāng)?shù)剡x擇了收斂因子，則最速下降法肯定會(huì)收斂于最佳維納解。然而，在迭代的每一步準(zhǔn)確地測(cè)量梯度矢量是難以做到的。因?yàn)檫@需要具有關(guān)于自相關(guān)矩陣R和互相關(guān)矢量P的先驗(yàn)知識(shí)。在實(shí)際應(yīng)用中，梯度矢量需要在迭代的每一步依據(jù)數(shù)據(jù)進(jìn)行估計(jì)。換句話說(shuō)，自適應(yīng)濾波器的權(quán)矢量是根據(jù)輸入數(shù)據(jù)在最優(yōu)準(zhǔn)則的控制下不斷更新的。Widrow等人提出的最小均方算法(LMS)就是一種以期望響應(yīng)和

41、濾波器輸出信號(hào)之間誤差的均方值最小為準(zhǔn)則，依據(jù)輸入信號(hào)在迭代過(guò)程中估計(jì)梯度矢量，并更新權(quán)系數(shù)以達(dá)到最佳的自適應(yīng)迭代算法。LMS算法是一種梯度最速下降算法，其顯著特點(diǎn)簡(jiǎn)單性、計(jì)算量小、易于實(shí)現(xiàn)。這種算法不需要計(jì)算相關(guān)矩陣，也不需要進(jìn)行矩陣運(yùn)算。只要自適應(yīng)線性組合器每次迭代運(yùn)算時(shí)都知道輸入信號(hào)和參考響應(yīng)，選用LMS算法是很合適的?，F(xiàn)在的任務(wù)是采用如何來(lái)估計(jì)均方誤差函數(shù)的梯度，并以此梯度估值來(lái)替代最速下降法中理論情況下的梯度真值。LMS算法進(jìn)行梯度估計(jì)的方法是以誤差信號(hào)每一次迭代的瞬時(shí)平方值替代其均方值，這樣，原來(lái)由式(7-14)定義的梯度可近似為    &#

42、160;  (7-55)根據(jù)上式并利用式(7-24)，得到       (7-56)實(shí)際上，只是單個(gè)平方誤差序列的梯度，而則是多個(gè)平方誤差序列統(tǒng)計(jì)平均的梯度，所以LMS算法就是用前者作為后者的近似。用梯度估值替代最速下降法中的梯度真值，有       (7-57)式中，為自適應(yīng)濾波器的收斂因子。式(7-57)即為著名的LMS算法的濾波器權(quán)矢量迭代公式。可以看出，自適應(yīng)迭代下一時(shí)刻的權(quán)系數(shù)矢量可以由當(dāng)前時(shí)刻的權(quán)系數(shù)矢量加上以誤差函數(shù)為比例因子的輸入矢量得到?！纠?-3

43、】用MATLAB程序?qū)崿F(xiàn)LMS算法。如果給定輸入序列x(n)，期望響應(yīng)序列d(n)，步長(zhǎng)和要求的自適應(yīng)FIR濾波器長(zhǎng)度N，我們就能夠利用LMS算法的迭代公式(7-57)來(lái)確定自適應(yīng)濾波器的權(quán)系數(shù)，下面給出實(shí)現(xiàn)這種算法的MATLAB函數(shù)，函數(shù)名為lms。例程7-2  LMS算法Functionh,y=lms(x,d,u,N)%LMS算法的實(shí)現(xiàn)%h,y=lms(x,d,u,N)%h=估計(jì)的FIR濾波器%y=輸出數(shù)組y(n)%x=輸入數(shù)組x(n)%d=預(yù)期數(shù)組d(n),其長(zhǎng)度應(yīng)與x相同%u=步長(zhǎng)%N=FIR濾波器的長(zhǎng)度M=length(x);y=zeros(1,M);h=zeros(1,N

44、);for n=N:M      x1=x(n:-1:n-N+1);       y=h*x1'       e=d(n)-y;       h=h+u*e*x1;end   7.3.2  LMS算法性能分析1. LMS算法的收斂性收斂性是自適應(yīng)濾波器的一個(gè)非常重要的指標(biāo)。為了檢驗(yàn)LMS算法的收斂性，首先需要證明式(7-56)所示

45、的梯度估計(jì)是無(wú)偏的。將式(7-56)的兩邊取數(shù)學(xué)期望，得到       (7-58)由此可見(jiàn)，LMS算法對(duì)性能函數(shù)梯度的估值是無(wú)偏的。這就是說(shuō)，如果每次迭代調(diào)整權(quán)矢量前能夠進(jìn)行多次觀測(cè)，獲得多個(gè)x(n)，并對(duì)按式(7-56)計(jì)算得到的多個(gè)梯度估計(jì)進(jìn)行統(tǒng)計(jì)平均，然后依據(jù)梯度的統(tǒng)計(jì)平均值來(lái)調(diào)整權(quán)矢量，那么，迭代結(jié)果必能得到理想的最佳權(quán)矢量。但是，實(shí)際運(yùn)用中每次調(diào)整權(quán)矢量前，通過(guò)觀測(cè)只能得到一個(gè)x(n)，再由式(7-56)得到一個(gè)，據(jù)此調(diào)整權(quán)矢量得到的w(n)必然是隨機(jī)的。當(dāng)?shù)^(guò)程收斂后，權(quán)矢量將在最佳權(quán)矢量附近隨機(jī)起伏，這等于在最佳權(quán)矢

46、量上疊加了一個(gè)噪聲。 由式(7-57)可知，當(dāng)前時(shí)刻權(quán)矢量w(n)只是過(guò)去輸入矢量的函數(shù)，如果假設(shè)這些輸入矢量相互獨(dú)立，那么w(n)將與x(n)無(wú)關(guān)。為了研究方便起見(jiàn)，假設(shè)LMS算法的連續(xù)兩次迭代時(shí)間足夠長(zhǎng)，以保證輸入信號(hào)x(n)和x(n+1)互不相關(guān)，即滿足了w(n)將與x(n)無(wú)關(guān)的要求。對(duì)式(7-57)兩邊取數(shù)學(xué)期望，有       (7-59)在前面我們討論最速下降法時(shí)，得到的權(quán)矢量為       (7-60)將上面的兩個(gè)式子相對(duì)照，可以看出，LMS算法得到

47、的權(quán)矢量，其期望值與最速下降法得到的權(quán)矢量本身都服從相同的迭代計(jì)算規(guī)律。因此，用相同的推導(dǎo)方法能夠得出這樣的結(jié)論：當(dāng)式(7-60)的條件得到滿足時(shí)，隨著迭代次數(shù)趨近于無(wú)窮，權(quán)矢量的期望值將趨近于最佳權(quán)矢量。對(duì)于橫向自適應(yīng)濾波器來(lái)說(shuō)，輸入信號(hào)的自相關(guān)矩陣的跡可用輸入信號(hào)功率表示為       (7-61)式中，是輸入信號(hào)功率。因此，式(7-51)的收斂條件可表示為       (7-62)這是工程上用起來(lái)很方便的公式，因?yàn)檩斎胄盘?hào)功率很容易根據(jù)輸入信號(hào)取樣值來(lái)估計(jì)。最后需要說(shuō)明

48、的是，前面所作的關(guān)于輸入信號(hào)功率是平穩(wěn)隨機(jī)信號(hào)和輸入信號(hào)相繼矢量不相關(guān)的假設(shè)對(duì)于LMS算法的收斂不是必需的。因?yàn)檫@些假設(shè)僅僅簡(jiǎn)化了式(7-59)的推導(dǎo)，如果沒(méi)有這些假設(shè)，仍可推導(dǎo)出類似于式(7-60)的結(jié)果，只是其中的不再是平穩(wěn)隨機(jī)信號(hào)的自相關(guān)矩陣。但這不影響算法的收斂條件?！纠?-4】時(shí)域LMS算法收斂曲線的仿真。例程7-3  LMS算法收斂性%  該程序?qū)崿F(xiàn)時(shí)域LMS算法，并用統(tǒng)計(jì)的方法仿真得出不同步長(zhǎng)下的收斂曲線clear            &#

49、160;                %   清空變量空間g=100;                          %   統(tǒng)計(jì)仿真次數(shù)為gN=1024; 

50、60;                      %   輸入信號(hào)抽樣點(diǎn)數(shù)Nk=128;                         

51、%   時(shí)域抽頭LMS算法濾波器階數(shù)pp=zeros(g,N-k);                 %   將每次獨(dú)立循環(huán)的誤差結(jié)果存于矩陣pp中，以便后                     &

52、#160;         %   面對(duì)其平均u=0.001;                        %   收斂因子for q=1:g          

53、60;      t=1:N;    a=1;    s=a*sin(0.5*pi*t);            %   輸入單頻信號(hào)s     figure(1);    plot(t,real(s);         

54、;       %   信號(hào)s時(shí)域波形    title('信號(hào)s時(shí)域波形');    xlabel('n');    ylabel('s');    axis(0,N,-a-1,a+1);    xn=awgn(s,3);          

55、;     %   加入均值為零的高斯白噪聲，信噪比為3dB        % 設(shè)置初值    y=zeros(1,N);                %    輸出信號(hào)y    y(1:k)=xn(1:k);   &

56、#160;          %   將輸入信號(hào)xn的前k個(gè)值作為輸出y的前k個(gè)值    w=zeros(1,k);                %    設(shè)置抽頭加權(quán)初值    e=zeros(1,N);     &

57、#160;          %    誤差信號(hào)    % 用LMS算法迭代濾波    for i=(k+1):N               XN=xn(i-k+1):(i);            

58、;     y(i)=w*XN'               e(i)=s(i)-y(i);               w=w+u*e(i)*XN;         end     

59、;pp(q,:)=(e(k+1:N).2;     end  for b=1:N-k         bi(b)=sum(pp(:,b)/g;     %   求誤差的統(tǒng)計(jì)平均  end  figure(2);                

60、0;   %   算法收斂曲線  t=1:N-k;  plot(t,bi);  hold off                     %   將每次循環(huán)的圖形顯示結(jié)果保存下來(lái)【程序運(yùn)行結(jié)果】  圖7-8  LMS算法收斂曲線2. 自適應(yīng)時(shí)間常數(shù)與學(xué)習(xí)曲線在自適應(yīng)調(diào)整權(quán)系數(shù)的過(guò)程中，均方誤差是迭代次數(shù)的函數(shù)

61、，由該函數(shù)給出的曲線稱為學(xué)習(xí)曲線。根據(jù)均方誤差函數(shù)和最小均方誤差表達(dá)式，可以得到均方誤差函數(shù)的另一種表達(dá)形式       (7-63)再根據(jù)我們所定義的權(quán)誤差矢量，代入上式，得到       (7-64)再經(jīng)過(guò)正交相似變換，將坐標(biāo)軸轉(zhuǎn)至主軸坐標(biāo)系，得到       (7-65)將式(7-53)代入式(7-65)中，有       (7-66)由于矩陣和矩陣均

62、為對(duì)角陣，因此有       (7-67)將該式展開(kāi)后，得到       (7-68)式(7-68)即為L(zhǎng)MS算法的自適應(yīng)學(xué)習(xí)曲線，其中，為矢量的第k個(gè)分量，為對(duì)角陣中第k個(gè)對(duì)角元素。由此我們可以看出，均方誤差函數(shù)是迭代次數(shù)n的指數(shù)函數(shù)，只要能夠滿足式(7-54)所規(guī)定的收斂條件，均方誤差將隨著迭代的進(jìn)行呈現(xiàn)出指數(shù)下降的趨勢(shì)，并最終趨近于維納濾波所滿足的最小均方誤差。從式(7-68)還可以看出，學(xué)習(xí)曲線是M+1條指數(shù)曲線之和，每條指數(shù)曲線上的離散點(diǎn)的均方誤差值按幾何級(jí)數(shù)衰減，

63、若定義其等比級(jí)數(shù)的公比為       (7-69)再用一指數(shù)包絡(luò)曲線來(lái)擬合這一等比級(jí)數(shù)，則可以得到       (7-70)如果取該式的前兩項(xiàng)，就可以得到其近似值為       (7-71)比較式(7-69)和式(7-71)，得到         (7-72)式(7-72)即為L(zhǎng)MS算法的第k個(gè)權(quán)系數(shù)的衰減時(shí)間常數(shù)。由公比的定義式(7-52)及自適

64、應(yīng)學(xué)習(xí)曲線式(7-51)，可以得到均方誤差時(shí)間常數(shù)與權(quán)系數(shù)時(shí)間常數(shù)的關(guān)系為       (7-73)這樣，第k個(gè)的均方誤差學(xué)習(xí)曲線時(shí)間常數(shù)的計(jì)算公式為       (7-74)學(xué)習(xí)曲線時(shí)間常數(shù)是用迭代次數(shù)來(lái)度量的，若用其取樣間隔來(lái)度量，則稱之為自適應(yīng)時(shí)間常數(shù)，常用表示。在LMS算法中，每次梯度估計(jì)是基于一個(gè)輸入數(shù)據(jù)樣本進(jìn)行的，這樣，輸入數(shù)據(jù)的時(shí)間常數(shù)就與均方誤差學(xué)習(xí)曲線的時(shí)間常數(shù)相等，即       (7-75)學(xué)習(xí)

65、曲線時(shí)間常數(shù)的大小決定了自適應(yīng)學(xué)習(xí)過(guò)程的長(zhǎng)短及收斂的快慢，根據(jù)上面各式，時(shí)間常數(shù)是與收斂因子成反比的，即步長(zhǎng)越小，學(xué)習(xí)曲線收斂越慢。3. 穩(wěn)態(tài)誤差及失調(diào)系數(shù)LMS算法之所以簡(jiǎn)單，主要是因?yàn)樗鼘?duì)梯度矢量各分量的估計(jì)是根據(jù)單個(gè)數(shù)據(jù)取樣值得到的，沒(méi)有進(jìn)行平均。也正是這個(gè)原因，才使梯度估計(jì)中存在噪聲。并且由于LMS算法的加權(quán)矢量w(n)具有隨機(jī)性，使得LMS算法的將高于最速下降法的。特別是，對(duì)于LMS算法來(lái)說(shuō)，在收斂到最佳值后，由于加權(quán)矢量繼續(xù)按公式       (7-76)變化，其校正值不為零而是繼續(xù)隨機(jī)起伏，從而使w(n)也繼續(xù)隨機(jī)起伏。

66、這就使得LMS算法的收斂到后，均方誤差將大于維納誤差，其偏移量用表示，的期望值稱為超量均方誤差，或“超量MSE”，即       (7-77)梯度噪聲的存在，使得收斂后的穩(wěn)態(tài)權(quán)矢量在最佳權(quán)矢量附近隨機(jī)起伏，這意味著穩(wěn)態(tài)均方誤差值總大于最小均方誤差，且在附近隨機(jī)地改變，如圖7-9所示。圖7-9  LMS算法的穩(wěn)態(tài)誤差Widrow引入失調(diào)系數(shù)       (7-78)來(lái)描述LMS算法(和其他算法)的穩(wěn)態(tài)誤差對(duì)維納誤差的相對(duì)偏差。下面對(duì)LMS算法的失調(diào)系數(shù)進(jìn)行估計(jì)。首先對(duì)

67、權(quán)矢量噪聲的方差的近似值進(jìn)行估計(jì)，令第n次迭代中梯度估計(jì)的噪聲矢量用N(n)表示，于是有       (7-79)若LMS算法已收斂到最佳權(quán)矢量附近，則這時(shí)上式中的真實(shí)梯度將趨近于零，于是得到       (7-80)而其協(xié)方差為       (7-81)由于與近似地不相關(guān)，故式可化簡(jiǎn)為        (7-82)經(jīng)正交變換，將上式變換到主軸坐標(biāo)系，令，得到

68、       (7-83)這是梯度估計(jì)噪聲的方差的近似計(jì)算公式。用式(7-78)中的代替式(7-38)中的，得到       (7-84)將上式變換到平移坐標(biāo)系，得       (7-85)進(jìn)行正交變換后，可得到       (7-86)第二步，我們就可以對(duì)權(quán)噪聲矢量v(n)的方差進(jìn)行估計(jì)，推導(dǎo)過(guò)程用到了式(7-86)，可得到  

69、0;    (7-87)式中是對(duì)角矩陣，交叉項(xiàng)之積的期望值等于零，則       (7-88)通過(guò)化簡(jiǎn)，可以得到           (7-89)該式建立了梯度估計(jì)噪聲協(xié)方差與權(quán)矢量協(xié)方差之間的關(guān)系。將式(7-83)代入上式，得到       (7-90)若選取為很小的數(shù)值，則的值將遠(yuǎn)小于1，上式得到進(jìn)一步近似    

70、   (7-91)現(xiàn)在來(lái)估計(jì)LMS算法的失調(diào)系數(shù)。將式(7-77)變換到主坐標(biāo)系，得       (7-92)假定自適應(yīng)過(guò)渡過(guò)程已經(jīng)結(jié)束，平方誤差已接近于性能曲面的最低點(diǎn)，這樣，可認(rèn)為是的協(xié)方差矩陣中的元素。于是，可將上式進(jìn)一步近似為       (7-93)根據(jù)式(7-93)，可得到LMS算法的失調(diào)系數(shù)的表達(dá)式為       (7-94)它正比于自適應(yīng)增量常數(shù)。對(duì)照式(7-74)，學(xué)習(xí)曲線的時(shí)間

71、常數(shù)為       (7-95)式中，下標(biāo)k表示第k個(gè)學(xué)習(xí)曲線時(shí)間常數(shù)。根據(jù)上式可將相關(guān)矩陣R的跡寫成       (7-96)式中，下標(biāo)av表示“平均”。將式(7-95)代入式(7-94)，得到       (7-97)在所有特征值相等的情況下，上式得到進(jìn)一步的簡(jiǎn)化為       (7-98)上式說(shuō)明了失調(diào)系數(shù)、學(xué)習(xí)曲線時(shí)間常數(shù)以及權(quán)系數(shù)的個(gè)數(shù)三者的關(guān)系。

72、由該表達(dá)式可以看出，選擇大的自適應(yīng)時(shí)間常數(shù)，可以使失調(diào)系數(shù)減小，而對(duì)于給定的時(shí)間常數(shù)，失調(diào)系數(shù)隨加權(quán)數(shù)目成正比例增加。實(shí)驗(yàn)表明，這是一個(gè)很好的近似關(guān)系式。在特征值未知的情況下，這個(gè)近似式對(duì)于設(shè)計(jì)自適應(yīng)系統(tǒng)是很有用的?！纠?-5】如圖7-10所示，自適應(yīng)濾波器有兩個(gè)實(shí)加權(quán)系數(shù)，輸入隨機(jī)信號(hào)的樣本間隔相互獨(dú)立，且他的平均功率為；信號(hào)周期為N=16個(gè)樣點(diǎn)。求最佳權(quán)向量和使該系統(tǒng)收斂的自適應(yīng)步長(zhǎng)因子的取值范圍。圖 7-10  自適應(yīng)線性濾波器 先求出輸入信號(hào)的相關(guān)值。對(duì)單頻正弦波信號(hào)求相關(guān)可等效為周期內(nèi)在時(shí)間上求平均，即再計(jì)算期望響應(yīng)和輸入信號(hào)的互相關(guān)值：因此，輸入信號(hào)的自相關(guān)矩陣為則均方誤

73、差性能函數(shù)為：由正規(guī)方程可得最佳加權(quán)矢量：為求出的取值范圍，可求出相關(guān)矩陣R的特征值：   而。有兩種的取值方法： 和按第二種取法得：實(shí)際使用LMS算法，的取值約為上式給出的上界的1/10量級(jí)。7.3.3  LMS自適應(yīng)濾波器的改進(jìn)從基本的LMS算法出發(fā)，通過(guò)改進(jìn)LMS算法的收斂特性，減小穩(wěn)態(tài)均方誤差和計(jì)算復(fù)雜度等基礎(chǔ)上，相繼提出了LMS自適應(yīng)濾波器的一些改進(jìn)形式，以下內(nèi)容列舉了其中的三種算法。1. 歸一化LMS算法(NLMS)通過(guò)對(duì)前面兩個(gè)小節(jié)對(duì)LMS算法的基本原理和性能的分析得知，LMS算法的收斂性和穩(wěn)定性能均與自適應(yīng)濾波器權(quán)系數(shù)矢量的系數(shù)數(shù)目和輸入信號(hào)的功率

74、直接相關(guān)。為了確保自適應(yīng)濾波器的穩(wěn)定收斂，出現(xiàn)了對(duì)收斂因子進(jìn)行歸一化的NLMS算法，這種算法的歸一化收斂因子表示為       (7-99)式中，為輸入信號(hào)x(n)的方差。直接計(jì)算是很難求出結(jié)果的，通常的做法是用時(shí)間平均來(lái)代替上式中的統(tǒng)計(jì)方差，即       (7-100)式中，是對(duì)的近似估計(jì)。將歸一化收斂因子代入LMS算法，得到        (7-101)通常我們還要在上式中的分母上加上一個(gè)小的正的常數(shù)

75、，這樣可以避免0值的出現(xiàn)。于是，我們得到的NLMS算法迭代公式表示為       (7-102)由于式(7-101)中的歸一化收斂因子是在迭代過(guò)程中隨時(shí)間變化的，因此，實(shí)際上NLMS是一種歸一化變步長(zhǎng)算法?！纠?-6】考慮一個(gè)線性自適應(yīng)均衡器系統(tǒng)，用NLMS算法進(jìn)行實(shí)現(xiàn)，畫出一次實(shí)驗(yàn)的誤差平方的收斂曲線，給出最后設(shè)計(jì)濾波器系數(shù)。一次實(shí)驗(yàn)的訓(xùn)練序列長(zhǎng)度為500。進(jìn)行20次獨(dú)立實(shí)驗(yàn)，畫出誤差平方的收斂曲線。給出3個(gè)步長(zhǎng)值的比較。假設(shè)隨機(jī)數(shù)據(jù)產(chǎn)生雙極性的隨機(jī)序列xn，它隨機(jī)地取+1和-1。隨機(jī)信號(hào)通過(guò)一個(gè)信道傳輸，信道性質(zhì)可由一個(gè)三系數(shù)FI

76、R濾波器刻畫，濾波器系數(shù)分別是0.3，0.9，0.3。在信道輸出加入方差為平方高斯白噪聲，設(shè)計(jì)一個(gè)有11個(gè)權(quán)系數(shù)的FIR結(jié)構(gòu)的自適應(yīng)均衡器，令均衡器的期望響應(yīng)為xn-7，選擇幾個(gè)合理的白噪聲方差平方(不同信噪比)，進(jìn)行實(shí)驗(yàn)。例程7-4  歸一化LMS算法MATLAB程序?qū)崿F(xiàn)如下：1. NLMS算法1次實(shí)驗(yàn)%  N=訓(xùn)練序列長(zhǎng)度 %  u=收斂因子clear; N=500;db=20;sh1=sqrt(10(-db/10);u=1; error_s=zeros(1,N); for  loop=1:1     

77、0;  w=0.05*ones(1,11)'        V=sh1*randn(1,N );         K=randn(1,N)-0.5;        x=sign(K);for n=3:N;            M(n)=0.3*x(n)+0.9

78、*x(n-1)+0.3*x(n-2);endz=M+V; for n=8:N;            d(n)=x(n-7);end        a(1)=z(1)2; for n=2:11;             a(n)=z(n).2+a(n-1);endfor n=12:N;    

79、60;       a(n)=z(n).2-z(n-11)2+a(n-1);end for n=11:N;             z1=z(n) z(n-1) z(n-2) z(n-3) z(n-4) z(n-5) z(n-6) z(n-7) z(n-8) z(n-9) z(n-10)'           

80、 y(n)=w'*z1;            e(n)=d(n)-y(n);                                 

81、;                                                   

82、60;   w=w+u./(eps+a(n).*z1.*conj(e(n);end                                        

83、0;                                                   &#

84、160;   error_s=error_s +e.2;end  w error_s=error_s./1; n=1:N;plot(n,error_s);xlabel('n (當(dāng)u=1;DB=20時(shí))');                            &

85、#160;                                                 &

86、#160; ylabel('e(n)2'); title('NLMS算法1次實(shí)驗(yàn)誤差平方的均值曲線'); 2.NLMS算法20次實(shí)驗(yàn)clear; N=500;  db=20;sh1=sqrt(10(-db/10); u=1; error_s=zeros(1,N); for   loop=1:20        w=0.05*ones(1,11)'        V=sh1*randn(1

87、,N );         K=randn(1,N)-0.5;        x=sign(K);for  n=3:N;           M(n)=0.3*x(n)+0.9*x(n-1)+0.3*x(n-2);end        z=M+V;for n=8:N; 

88、            d(n)=x(n-7); end        a(1)=z(1)2; for n=2:11;              a(n)=z(n).2+a(n-1);endfor n=12:N;         

89、    a(n)=z(n).2-z(n-11)2+a(n-1);end for n=11:N;             z1=z(n) z(n-1) z(n-2) z(n-3) z(n-4) z(n-5) z(n-6) z(n-7) z(n-8) z(n-9) z(n-10)'            y(n)=w'*z1;            e(n)=d(n)-y(n);                                 &