自適應(yīng)信號(hào)處理

2023/2/1大連理工大學(xué)12023/2/1大連理工大學(xué)1第14章自適應(yīng)信號(hào)處理大連理工大學(xué)碩士研究生校管課程信號(hào)處理與數(shù)據(jù)分析電子信息與電氣工程學(xué)部邱天爽2013年12月2023/2/1大連理工大學(xué)2

內(nèi)容概要§14.1自適應(yīng)濾波的基本概念§14.2橫向自適應(yīng)濾波器與最小均方算法§14.3自適應(yīng)濾波器的遞歸最小二乘算法§14.4自適應(yīng)濾波器的應(yīng)用2023/2/1大連理工大學(xué)3§14.1

自適應(yīng)濾波的基本概念2023/2/1大連理工大學(xué)441.自適應(yīng)濾波的基本概念自適應(yīng)濾波器是一種能夠根據(jù)輸入信號(hào)自動(dòng)調(diào)整自身特性并能進(jìn)行數(shù)字信號(hào)處理的數(shù)字濾波器，本質(zhì)特點(diǎn)是具有自學(xué)習(xí)和自調(diào)整即所謂自適應(yīng)的能力。2023/2/1大連理工大學(xué)52023/2/1大連理工大學(xué)5自適應(yīng)濾波器的原理圖圖中，x(n)、y(n)和d(n)表示時(shí)刻n的輸入信號(hào)、輸出信號(hào)和參考信號(hào)；e(n)表示時(shí)刻n的期望信號(hào)。自適應(yīng)濾波器的參數(shù)受誤差信號(hào)控制，并根據(jù)e(n)的值自動(dòng)調(diào)整,使之適合下一時(shí)刻n+1的輸入x(n+1),使輸出信號(hào)y(n+1)更加接近期望信號(hào)d(n+1)，并使誤差信號(hào)e(n+1)進(jìn)一步減小。2023/2/1大連理工大學(xué)62023/2/1大連理工大學(xué)6自適應(yīng)濾波器的發(fā)展20世紀(jì)40年代初期，N.維納首先應(yīng)用最小均方準(zhǔn)則設(shè)計(jì)最佳線性濾波器，用來消除噪聲、預(yù)測(cè)或平滑平穩(wěn)隨機(jī)信號(hào)。60年代初期，R.E.卡爾曼等發(fā)展并導(dǎo)出處理非平穩(wěn)隨機(jī)信號(hào)的最佳時(shí)變線性濾波設(shè)計(jì)理論。維納、卡爾曼等濾波器都是以預(yù)知信號(hào)和噪聲的統(tǒng)計(jì)特征為基礎(chǔ)，具有固定的濾波器系數(shù)。因此，僅當(dāng)實(shí)際輸入信號(hào)的統(tǒng)計(jì)特征與設(shè)計(jì)濾波器所依據(jù)的先驗(yàn)信息一致時(shí)，這類濾波器才是最佳的。否則，這類濾波器不能提供最佳性能。2023/2/1大連理工大學(xué)72023/2/1大連理工大學(xué)770年代中期，B.維德羅等人提出自適應(yīng)濾波器及其算法，發(fā)展了最佳濾波設(shè)計(jì)理論。以最小均方誤差為準(zhǔn)則設(shè)計(jì)的自適應(yīng)濾波器的系數(shù)可以由維納-霍夫方程解得。

B.維德羅提出的一種方法，能實(shí)時(shí)求解自適應(yīng)濾波器系數(shù)，其結(jié)果接近維納－霍夫方程近似解。這種算法稱為最小均方算法或簡稱LMS法。這一算法利用最陡下降法，由均方誤差的梯度估計(jì)從現(xiàn)時(shí)刻濾波器系數(shù)向量迭代計(jì)算下一個(gè)時(shí)刻的系數(shù)向量。2023/2/1大連理工大學(xué)82023/2/1大連理工大學(xué)8Bernard.Widrow（維德羅）ProfessorEmeritus,ElectricalEngineeringDepartment,StanfordUniversityResearchfocuseson:adaptivesignalprocessing,adaptivecontrolsystems,adaptiveneuralnetworks,humanmemory,andhuman-likememoryforcomputers.Applicationsinclude:signalprocessing,prediction,noisecancelling,adaptivearrays,controlsystems,andpatternrecognition.

2023/2/1大連理工大學(xué)9§14.2

橫向自適應(yīng)濾波器與最小均方算法2023/2/1大連理工大學(xué)102023/2/1大連理工大學(xué)101.橫向自適應(yīng)濾波器的結(jié)構(gòu)橫向自適應(yīng)濾波器（單輸入結(jié)構(gòu)）2023/2/1大連理工大學(xué)112023/2/1大連理工大學(xué)11橫向自適應(yīng)濾波器（多輸入結(jié)構(gòu)）2023/2/1大連理工大學(xué)122023/2/1大連理工大學(xué)12自適應(yīng)濾波器的數(shù)學(xué)描述2023/2/1大連理工大學(xué)132023/2/1大連理工大學(xué)132023/2/1大連理工大學(xué)142023/2/1大連理工大學(xué)142023/2/1大連理工大學(xué)152023/2/1大連理工大學(xué)152.自適應(yīng)濾波器的性能函數(shù)稱均方誤差函數(shù)為自適應(yīng)濾波器的性能函數(shù)：當(dāng)與為平穩(wěn)隨機(jī)過程時(shí)，性能函數(shù)為的二次函數(shù)，超拋物面，碗口向上，有唯一最小值。該最小值所對(duì)應(yīng)的最佳權(quán)矢量對(duì)應(yīng)于維納濾波器的權(quán)矢量。2023/2/1大連理工大學(xué)162023/2/1大連理工大學(xué)16二次型性能表面的搜索目標(biāo)：找出性能函數(shù)的最小值，并由此得到這個(gè)最小值所對(duì)應(yīng)的最佳權(quán)矢量。方法：在數(shù)學(xué)上是利用導(dǎo)數(shù)求取曲線和曲面的極值問題。梯度：對(duì)于性能函數(shù)來說，需要求其梯度，再根據(jù)二次型的性質(zhì)，當(dāng)梯度值為0時(shí)，即對(duì)應(yīng)著性能函數(shù)的最小值。

2023/2/1大連理工大學(xué)172023/2/1大連理工大學(xué)17

最佳權(quán)矢量與最小均方誤差對(duì)性能函數(shù)求梯度，有令上式為0，可得：上式稱為維納—霍夫方程，與維納濾波器有相同的形式和意義。故自適應(yīng)濾波器的最佳權(quán)矢量由稱為維納權(quán)矢量。最佳權(quán)矢量需要迭代實(shí)現(xiàn)，或稱為梯度搜索。2023/2/1大連理工大學(xué)182023/2/1大連理工大學(xué)18最小均方誤差將最佳權(quán)矢量的表達(dá)式代入性能函數(shù)表達(dá)式，有進(jìn)一步簡化，有：2023/2/1大連理工大學(xué)192023/2/1大連理工大學(xué)193.梯度搜索常用的方法：牛頓法2023/2/1大連理工大學(xué)202023/2/1大連理工大學(xué)202023/2/1大連理工大學(xué)212023/2/1大連理工大學(xué)212023/2/1大連理工大學(xué)222023/2/1大連理工大學(xué)224.梯度搜索常用的方法：最速下降法最速下降法是一種古老而又非常有用的方法，它通過迭代尋找極值。從幾何上來說，它使系統(tǒng)的均方誤差沿其梯度反方向下降，最終達(dá)到，并使權(quán)矢量為。2023/2/1大連理工大學(xué)232023/2/1大連理工大學(xué)23最速下降法的推導(dǎo)梯度矢量表示為：這樣，最速下降法表示為：其中，為正值，稱為收斂因子或迭代步長。將性能函數(shù)在處進(jìn)行一階泰勒展開，有：表明，上式滿足，隨著迭代的進(jìn)行，當(dāng)時(shí)，性能函數(shù)趨于。2023/2/1大連理工大學(xué)242023/2/1大連理工大學(xué)24最速下降法的迭代公式最速下降法的穩(wěn)定因素：收斂因子的選?。蛔韵嚓P(guān)矩陣的特性。收斂因子的選取條件：其中，為自相關(guān)矩陣的最大特征值。2023/2/1大連理工大學(xué)252023/2/1大連理工大學(xué)25最速下降法的優(yōu)缺點(diǎn)優(yōu)點(diǎn)：算法簡單，易于實(shí)現(xiàn)；缺點(diǎn)：需要大量的迭代。2023/2/1大連理工大學(xué)262023/2/1大連理工大學(xué)265.自適應(yīng)濾波器的最小均方（LMS）算法LMS算法的思路在最速下降法中，如果能夠每一步迭代都得到準(zhǔn)確的梯度值，且適當(dāng)選擇了收斂因子，則算法肯定收斂于維納解。但是在實(shí)際應(yīng)用中，梯度需要估計(jì)，權(quán)矢量要根據(jù)數(shù)據(jù)不斷更新。LMS算法是一種以期望響應(yīng)與濾波器輸出信號(hào)之間誤差均方值最小為準(zhǔn)則的自適應(yīng)濾波器。是一種梯度最速下降法，其特點(diǎn)是簡單，不需要計(jì)算相關(guān)矩陣。2023/2/1大連理工大學(xué)272023/2/1大連理工大學(xué)27LMS算法原理兩個(gè)過程：濾波過程：自適應(yīng)濾波器計(jì)算其對(duì)輸入的響應(yīng)，并與期望比較，得到誤差信號(hào)。自適應(yīng)過程：系統(tǒng)估計(jì)誤差自動(dòng)調(diào)整濾波器的參數(shù)。二者構(gòu)成一個(gè)反饋環(huán)。2023/2/1大連理工大學(xué)282023/2/1大連理工大學(xué)28LMS算法的推導(dǎo)橫向?yàn)V波器結(jié)構(gòu)自適應(yīng)濾波器的誤差信號(hào)為：其中：2023/2/1大連理工大學(xué)292023/2/1大連理工大學(xué)29LMS算法的梯度估計(jì)LMS算法的梯度估計(jì)是以誤差信號(hào)的每一次迭代的瞬時(shí)平方值替代其均方值，即：經(jīng)整理，有：用梯度估值代替梯度真值，有LMS算法迭代公式2023/2/1大連理工大學(xué)302023/2/1大連理工大學(xué)30LMS算法的流程圖2023/2/1大連理工大學(xué)312023/2/1大連理工大學(xué)316.LMS算法的性能分析評(píng)價(jià)LMS算法的收斂性梯度估計(jì)是無偏的收斂特性：只要滿足收斂條件，則LMS算法能夠穩(wěn)定收斂。收斂條件的變形：2023/2/1大連理工大學(xué)322023/2/1大連理工大學(xué)32最佳權(quán)矢量自適應(yīng)學(xué)習(xí)曲線2023/2/1大連理工大學(xué)332023/2/1大連理工大學(xué)33穩(wěn)態(tài)誤差由于LMS算法的調(diào)整項(xiàng)為一隨機(jī)過程，故當(dāng)時(shí)，在附近隨機(jī)波動(dòng)，這樣：失調(diào)系數(shù)用于測(cè)量LMS算法在均方意義上對(duì)最優(yōu)解的逼近程度，定義為：2023/2/1大連理工大學(xué)342023/2/1大連理工大學(xué)347.LMS算法的改進(jìn)LMS自適應(yīng)濾波器的主要優(yōu)點(diǎn)：收斂性能穩(wěn)定，算法比較簡單LMS自適應(yīng)濾波器固有的缺點(diǎn)：一般來說不能從任意初始點(diǎn)出發(fā)通過最短的路徑到達(dá)極值點(diǎn)；當(dāng)輸入信號(hào)自相關(guān)陣R的特征值在數(shù)值上分散性較大時(shí)，這種方法的性能趨于惡化，可能出現(xiàn)收斂緩慢甚至發(fā)散的問題。2023/2/1大連理工大學(xué)352023/2/1大連理工大學(xué)35歸一化LMS算法（NLMS）為了確保對(duì)自適應(yīng)濾波器的穩(wěn)定收斂，出現(xiàn)了對(duì)收斂因子進(jìn)行歸一化的NLMS算法。這種算法的歸一化收斂因子表示為：通常用時(shí)間平均替代統(tǒng)計(jì)方差，即這樣，迭代算法變?yōu)椋浩渲?，為正值小常?shù)，避免分母為0.2023/2/1大連理工大學(xué)362023/2/1大連理工大學(xué)36泄漏LMS算法對(duì)于LMS算法，若在迭代過程中收斂因子突然變?yōu)?，則權(quán)系數(shù)將不在變化，迭代不能完成。泄漏LMS算法依靠泄漏解決了這個(gè)問題：一旦收斂引自變?yōu)?，權(quán)系數(shù)的迭代仍然可以依靠泄漏進(jìn)行。泄漏LMS算法的收斂條件為：2023/2/1大連理工大學(xué)372023/2/1大連理工大學(xué)37極性LMS算法其中，符號(hào)函數(shù)定義為特點(diǎn)：計(jì)算量小?？赡芤鹗諗克俣认陆岛蛦栴}誤差增加。2023/2/1大連理工大學(xué)382023/2/1大連理工大學(xué)38解相關(guān)LMS算法LMS算法收斂慢的主要原因是輸入信號(hào)各元素有一定的相關(guān)性。對(duì)其解相關(guān)可以改善收斂速度。定義與相關(guān)系數(shù)：，其值越大，相關(guān)性越大。自適應(yīng)公式：其中：2023/2/1大連理工大學(xué)392023/2/1大連理工大學(xué)39塊LMS算法有些實(shí)際問題要求自適應(yīng)濾波器的階數(shù)很高，例如在電話系統(tǒng)的回波抵消中，階數(shù)達(dá)到8000階。采用塊LMS自適應(yīng)算法，可以有效減小計(jì)算復(fù)雜度。塊自適應(yīng)算法每次處理一個(gè)數(shù)據(jù)塊，濾波器的系數(shù)每塊更新一次，而在每塊的處理過程中保持不變。2023/2/1大連理工大學(xué)402023/2/1大連理工大學(xué)40變換域LMS算法變換域LMS自適應(yīng)算法的思路是通過正交變換，改善輸入信號(hào)自相關(guān)陣最大/最小特征值之比，從而改善收斂速度。2023/2/1大連理工大學(xué)41§14.3

自適應(yīng)濾波器的遞歸最小二乘算法2023/2/1大連理工大學(xué)422023/2/1大連理工大學(xué)421.最小二乘法（略）一種典型的根據(jù)觀測(cè)數(shù)據(jù)推斷未知參量的數(shù)據(jù)處理方法。其基本思想是使實(shí)際觀測(cè)值與計(jì)算值之間的平方乘和最小。線性組合器2023/2/1大連理工大學(xué)432023/2/1大連理工大學(xué)43線性最小二乘原理2023/2/1大連理工大學(xué)442023/2/1大連理工大學(xué)442.遞歸最小二乘（RLS）自適應(yīng)濾波器準(zhǔn)則：是典型的根據(jù)觀測(cè)數(shù)據(jù)推斷未知參量的方法；思路：是最小二乘方法的一種遞歸形式；使實(shí)際觀測(cè)值與計(jì)算值之差的平方和最小。2023/2/1大連理工大學(xué)45LS自適應(yīng)算法最小二乘自適應(yīng)濾波器在其運(yùn)行的每一個(gè)時(shí)刻都使系數(shù)的平方誤差達(dá)到最小，其代價(jià)函數(shù)為：式中，稱為遺忘因子。2023/2/1大連理工大學(xué)452023/2/1大連理工大學(xué)462023/2/1大連理工大學(xué)46由代價(jià)函數(shù)可以得到以下三個(gè)結(jié)論：代價(jià)函數(shù)E(n)是n的函數(shù)，即在迭代的每一步均發(fā)生變化，以反映新數(shù)據(jù)樣本的影響；使E(n)最小的最優(yōu)準(zhǔn)則為加權(quán)最小二乘法；當(dāng)時(shí)，使E(n)最小的最優(yōu)準(zhǔn)則為普通最小二乘法2023/2/1大連理工大學(xué)472023/2/1大連理工大學(xué)472023/2/1大連理工大學(xué)482023/2/1大連理工大學(xué)482023/2/1大連理工大學(xué)492023/2/1大連理工大學(xué)49遞歸最小二乘（RLS）算法2023/2/1大連理工大學(xué)502023/2/1大連理工大學(xué)50應(yīng)用中需要注意的問題計(jì)算復(fù)雜度問題算法的初始化有效字長效應(yīng)實(shí)際應(yīng)用中，由于受到有效字長效應(yīng)的影響，RLS算法原有的準(zhǔn)確的數(shù)學(xué)關(guān)系受到影響，可能會(huì)導(dǎo)致數(shù)值不穩(wěn)定。2023/2/1大連理工大學(xué)51§14.4

自適應(yīng)濾波器的應(yīng)用2023/2/1大連理工大學(xué)522023/2/1大連理工大學(xué)521.自適應(yīng)濾波器的4種基本應(yīng)用結(jié)構(gòu)自適應(yīng)預(yù)測(cè)結(jié)構(gòu)期望信號(hào)與輸入信號(hào)同源，自適應(yīng)預(yù)測(cè)器根據(jù)的過去值對(duì)輸入的當(dāng)前值進(jìn)行預(yù)測(cè)；常用于信號(hào)編碼和噪聲削弱中。2023/2/1大連理工大學(xué)532023/2/1大連理工大學(xué)53自適應(yīng)系統(tǒng)辨識(shí)或建模結(jié)構(gòu)寬帶信號(hào)作為自適應(yīng)系統(tǒng)和位置系統(tǒng)的公共輸入信號(hào)。自適應(yīng)過程結(jié)束時(shí)，自適應(yīng)濾波器的傳遞函數(shù)與位置系統(tǒng)的相同。在控制方面廣泛應(yīng)用。2023/2/1大連理工大學(xué)542023/2/1大連理工大學(xué)54自適應(yīng)均衡器（或逆模擬器）結(jié)構(gòu)自適應(yīng)濾波器試圖將其傳遞函數(shù)模擬成位置系統(tǒng)傳遞函數(shù)的倒數(shù)（或逆），從而由一個(gè)受慢時(shí)變系統(tǒng)和嘉興噪聲影響的信號(hào)中恢復(fù)原始信號(hào)。廣泛應(yīng)用于通信、地震勘探、控制等領(lǐng)域。2023/2/1大連理工大學(xué)552023/2/1大連理工大學(xué)55自適應(yīng)噪聲抵消結(jié)構(gòu)期望信號(hào)是受噪聲污染的信號(hào)，而自適應(yīng)濾波器的輸入是與相關(guān)的噪聲。自適應(yīng)濾波器的輸出要盡可能與逼近，使系統(tǒng)輸出盡量逼近。2023/2/1大連理工大學(xué)562023/2/1大連理工大學(xué)562.自適應(yīng)噪聲的應(yīng)用舉例自適應(yīng)噪聲抵消提取胎兒心電信號(hào)2023/2/1大連理工大學(xué)572023/2/1大連理工大學(xué)57說明：胎兒心電監(jiān)測(cè)具有重要意義。胎兒的心電信號(hào)淹沒在母體的心電信號(hào)中。其中：為胎兒心電信號(hào)，為母體心電信號(hào)，為噪聲。2023/2/1大連理工大學(xué)582023/2/1大連理工大學(xué)58采用自適應(yīng)噪聲抵消系統(tǒng)，以母體胸導(dǎo)得到的母親心電信號(hào)作為參考信號(hào)，以母體腹壁信號(hào)作為原始信號(hào)輸入，則可以有效消除母體心電信號(hào)對(duì)胎兒心電信號(hào)的影響，從而提取出較為純凈的胎兒心電信號(hào)。2023/2/1大連理工大學(xué)592023/2/1大連理工大學(xué)59心電圖中工頻干擾的抑制工頻干擾一般可以采用窄帶濾波（限波）器來抑制。若工頻頻率有漂移，則最好采用自適應(yīng)噪聲抵消系統(tǒng)來消除工頻干擾。2023/2/1大連理工大學(xué)602023/2/1大連理工大學(xué)60心電圖中工頻干擾抑制結(jié)果2023/2/1大連理工大學(xué)612023/2/1大連理工大學(xué)61心電圖中高頻電刀干擾的消除2023/2/1大連理工大學(xué)622023/2/1大連理工大學(xué)62自適應(yīng)譜線增強(qiáng)自適應(yīng)譜線增強(qiáng)（ALE）是一種在寬帶噪聲中檢測(cè)較弱正弦信號(hào)或窄帶信號(hào)的方法。2023/2/1大連理工大學(xué)632023/2/1大連理工大學(xué)63自適應(yīng)譜線增強(qiáng)結(jié)果左圖是輸入信號(hào)為單一正弦波加上白噪聲；右圖是噪聲消除譜線增強(qiáng)后的結(jié)果。2023/2/1大連理工大學(xué)642023/2/1大連理工大學(xué)64自適應(yīng)譜線增強(qiáng)