現(xiàn)代信號處理03-自適應信號處理

第三章

自適應信號處理周圍1編輯ppt

內容梯度下降算法橫向LMS自適應濾波器橫向RLS自適應濾波器自適應格型濾波器盲自適應濾波器自適應濾波器的應用

2編輯ppt參數(shù)可調數(shù)字濾波器自適應算法Σ+_y(n)參考信號d(n)e(n)自適應濾波器原理圖x(n)輸入輸出3編輯ppt自適應FIR濾波器：定義輸入向量輸入信號：輸出信號：期望信號（參考信號或訓練信號）：d(n)抽頭權矢量：輸出誤差信號：………+-+Σ自適應算法最優(yōu)權矢量：4編輯ppt均方誤差性能曲面及其性質輸入信號的自相關矩陣：互相關矩陣5編輯ppt與FIR維納濾波器的最優(yōu)解一致。均方誤差函數(shù)（代價函數(shù)）6編輯ppt7編輯ppt8編輯ppt幾何意義對二維實加權情況：均方誤差性能函數(shù)：為求得等高線令9編輯ppt均方誤差性能曲面均方誤差性能曲面的等高線10編輯ppt定義輸入向量輸出信號：復加權矢量：輸出誤差信號：11編輯ppt定義輸入向量其中空間自相關矩陣：最優(yōu)加權矢量：互相關矩陣12編輯ppt

最陡（梯度）下降算法

梯度的數(shù)學表示：相對于向量的梯度算子記作，定義為因此，一個實際量函數(shù)相對于一列向量的梯度為13編輯ppt最陡（梯度）下降算法（續(xù)）

梯度的幾何特征梯度的每個分量給出了標量函數(shù)在該分量方向上的變化率。

梯度的重要性質指出了當變元增大時函數(shù)的最大增大率。相反，梯度的負值（簡稱負梯度）指出了當變元增大時函數(shù)的最大減小率。這一性質是梯度下降算法的基礎。14編輯ppt極小化取負曲率方向作搜索方向取負梯度作目標函數(shù)的更新方向。定理：令是實向量的實值函數(shù)。將視為獨立的變元，實目標函數(shù)的曲率方向由梯度向量給出。

最陡（梯度）下降算法15編輯ppt梯度下降算法的迭代過程：近似解在迭代過程中的校正量與目標函數(shù)的負梯度成正比。上式稱為優(yōu)化問題近似解的學習算法；常數(shù)稱為學習步長，它決定近似解趨向最優(yōu)解的收斂速率。梯度：故坐標平移

最陡（梯度）下降算法16編輯ppt坐標旋轉去耦合由初始權向量迭代可得：（變量間無耦合）或表為因為

最陡（梯度）下降算法17編輯ppt若滿足：實際常用（保守的）收斂條件：則有：則有：或

最陡（梯度）下降算法（續(xù)）18編輯ppt過渡過程令：則其中權向量時間常數(shù)（1）權向量過渡過程（2）均方誤差過渡過程其中均方誤差時間常數(shù)

最陡（梯度）下降算法（續(xù)）19編輯ppt（3）特征值分散對過渡過程的影響均方誤差和權矢量的分量均按M個不同時間常數(shù)的指數(shù)函數(shù)之和的規(guī)律變化。收斂速度主要取決于最慢的指數(shù)過程，相應時間常數(shù)：為了保證收斂，步長，故有：當特征值分散性大（條件數(shù)大）時，算法最陡下降法收斂性很差。

最陡（梯度）下降算法（續(xù)）20編輯ppt

梯度下降算法（續(xù)）（4）步長μ對過渡過程的影響步長μ必須滿足收斂條件:●μ太大將不收斂；●在保證收斂情況下：μ越大，收斂越快，但太大時過渡過程具有振蕩特性，且穩(wěn)態(tài)誤差較大；μ越小，穩(wěn)態(tài)誤差越小，但收斂越慢。或(a)小的μ值情況步長μ值的影響(b)大的μ值情況21編輯ppt

內容最優(yōu)濾波理論與Wiener濾波器梯度下降算法橫向LMS自適應濾波器橫向RLS自適應濾波器自適應格型濾波器盲自適應濾波器自適應濾波器的應用

22編輯ppt

自適應濾波基本原理

自適應濾波器包括兩個過程：濾波過程和自適應過程。此僅考慮后者,即濾波器的自適應實現(xiàn)問題；且主要考慮

FIR濾波器的自適應實現(xiàn)，其關鍵是自適應算法。

FIR濾波器的自適應實現(xiàn)指的是：M階FIR濾波器的抽頭權系數(shù)w1,…,wM-1可以根據(jù)估計誤差e(n)的大小自動調節(jié)，使得誤差在某個統(tǒng)計最優(yōu)準則下最小。

濾波器設計最常用的準則：MMSE準則，即是使濾波器實際輸出y(n)與期望響應d(n)之間的均方誤差

最小;

最終達到Wiener解。23編輯ppt

自適應濾波基本原理（續(xù)）

最廣泛使用的自適應算法是“下降算法”

式中w(n)為第n步迭代(亦即時刻n)的權向量，為第n步迭代的更新步長，v(n)為第n步迭代的更新方向(向量)

下降算法的兩種實現(xiàn)方式

-自適應梯度算法：LMS算法及其改進算法

-自適應高斯－牛頓算法：RLS算法及其改進算法本節(jié)介紹LMS類算法，下一節(jié)介紹RLS類算法。24編輯ppt

最小均方（LMS）濾波器最陡下降法：隨機優(yōu)化問題：Wiener濾波器：真實梯度25編輯ppt

LMS濾波器（續(xù)）梯度下降算法：步長參數(shù)，學習速率真實梯度缺點：真實梯度含數(shù)學期望，不易求得。梯度估計改進：瞬時梯度：先驗估計誤差26編輯ppt

LMS濾波器（續(xù)）基本LMS算法：瞬時梯度分析：最陡下降法LMS算法

搜索方向為梯度負方向，每一步更新都使目標函數(shù)值減小（“最陡下降含義”）。

搜索方向為瞬時梯度負方向，不保證每一步更新都使目標函數(shù)值減小，但總趨勢使目標函數(shù)值減小。27編輯ppt

LMS濾波器（續(xù)）梯度下降法要求：不同時間的梯度向量（搜索方向）線性獨立。LMS算法的獨立性要求：要求不同時間的輸入信號向量線性獨立（因為瞬時梯度向量為）。28編輯ppt

LMS濾波器（續(xù)）自適應學習速度參數(shù)及收斂性（3）“換檔變速”方法：固定＋時變（2）

時變學習速度：（遞減），模擬退火法則（1）

固定學習速度：（常數(shù)）缺點：偏大收斂快跟蹤性能差偏小收斂慢跟蹤性能好29編輯ppt

LMS濾波器（續(xù)）例1.（先搜索，后收斂）例2.（先固定，后指數(shù)衰減）（4）自適應學習速度：“學習規(guī)則的學習”和正的常數(shù)30編輯ppt而且可以證明LMS自適應濾波器的權向量收斂于維納解：(5)算法收斂性

前已指出，瞬時梯度向量是真實梯度向量的無偏估計：條件是

LMS算法還必須兼顧收斂速度和失調,它來自梯度估計誤差:

LMS濾波器（續(xù)）31編輯ppt若自適應產(chǎn)生，則稱為自適應步長的LMS算法

LMS算法的幾種變形若常數(shù)，則稱為基本LMS算法

若,則稱為歸一化LMS算法結論：這些算法通常稱為LMS類算法－梯度算法。

LMS算法的改進32編輯ppt

LMS算法的改進（續(xù)）從LMS算法導出牛頓法

前面已導出維納最優(yōu)解為

它由梯度得出，其中

用左乘上式兩邊,并將結果代入維納解公式,得寫成更一般的迭代形式(即牛頓迭代公式)：33編輯ppt

LMS算法的改進（續(xù)）從LMS算法導出牛頓法（續(xù)）上式可寫成更一般的迭代形式：這就是所謂牛頓法基本迭代式。其中

稱為牛頓方向。統(tǒng)一算法

LMS法與牛頓法可統(tǒng)一為更一般的下降算法:取不同的就構成不同的自適應算法。34編輯ppt

內容正交性原理Wiener濾波器梯度下降算法橫向LMS自適應濾波器橫向RLS自適應濾波器Kalman濾波器自適應格型濾波器盲自適應濾波器自適應濾波器的應用

35編輯pptRLS自適應濾波器基本思想

RLS算法

RLS濾波算法與Kalman濾波算法

36編輯ppt系統(tǒng)輸入(c)預測延遲∑自適應濾波器隨機信號u系統(tǒng)輸出2e(n)y-+d(n)系統(tǒng)輸出1(d)自適應干擾（噪聲）抵消∑自適應濾波器基本信號e(n)y(n)+系統(tǒng)輸出參考信號用于預測編碼和語音分析用于噪聲消除和波束形成設備(