Kalman濾波器PPT課件

1、111( ), ( )( )0, HnnkEnkQvv若其他222( ), ( )( )0, HnnkEnkQvv若其他已知已知: (1, )nnF狀態(tài)轉(zhuǎn)移矩陣 ( )nC觀測矩陣1 ( )nQ過程噪聲相關(guān)矩陣2 ( )nQ觀測噪聲相關(guān)矩陣12( )(n)HEnvvO12 ( ),( )nnvv線性狀態(tài)模型、高斯噪聲 假設(shè)假設(shè): 第1頁/共32頁Kalman 濾波問題濾波問題 (一步預(yù)報一步預(yù)報)：(1), ( )nyy已知含噪數(shù)據(jù)已知含噪數(shù)據(jù) ，求，求 無噪聲的估計值無噪聲的估計值:( ) iy1 ()(1), ( )( ) ()(1), ( )( ) ()(1), ( )( )(1), (

2、 )(1)(1)1| (1), ( )innninniininniinnnnnnyyyyyyyyyyyyyyyy濾波 ：已知，求平滑 ：已知，求，預(yù)測 ：已知，求，一步預(yù)測：已知，求數(shù)學(xué)符號：第2頁/共32頁新息方法：新息方法：新息新息 (innovation)1( )( )( )nnnyy稱稱 為為 的新息過程向量。的新息過程向量。( )ny性質(zhì)性質(zhì)1: (正交正交),( )( )0HEnny是不同于是不同于 的新過程的新過程( )n( )ny性質(zhì)性質(zhì)2: ， 是個白噪聲過程是個白噪聲過程( )( )0, HEnnnk ( )n性質(zhì)性質(zhì)3: （一一對應(yīng)關(guān)系（一一對應(yīng)關(guān)系) 保留有保留有 的所

3、有信息的所有信息( )n(1), ( )(1), ( )nnyy( )n( )ny第3頁/共32頁1211111( )(1, )( ,1)( )( )( ,1)( )( )( )( )( )( )(1)(1, )( ) ( ) ( )( )( ,1)(1, )( ) ( )( ,1)(1, )(1, ) ( )(1, )( )HHHnnnn nnnn nnnnnnnnnnnnnnn nnnnnn nnnnnnnnnGFKCCKCQyCxxFxGPKFGCKKFPFQ估計估計( )nx狀態(tài)向量估計誤差：狀態(tài)向量估計誤差：1( ,1)( )( )n nnnxx相關(guān)矩陣：相關(guān)矩陣：( ,1)( ,1

4、)( ,1)Hn nEn nn nK：Kalman 增益矩陣增益矩陣( )nG校正項校正項：Kalman 增益矩陣增益矩陣：Kalman 新息新息( )n第4頁/共32頁例：例： 是一個時不變的標(biāo)量隨機變量，是一個時不變的標(biāo)量隨機變量， 為為觀測數(shù)據(jù)觀測數(shù)據(jù),其中其中 為白噪聲。若用為白噪聲。若用 Kalman 濾波器自適應(yīng)估計濾波器自適應(yīng)估計 ，設(shè)計，設(shè)計 Kalman 濾波器。濾波器。( )x t( )( )( )y tx tv t( )x t設(shè)計過程：設(shè)計過程： 構(gòu)造狀態(tài)空間方程；構(gòu)造狀態(tài)空間方程； 設(shè)計設(shè)計x(n)的更新公式的更新公式( )( )0dx tx tdt(1)( )0 x

5、nx n(1)( )( )( )( )x nx ny nx nv n狀態(tài)方程狀態(tài)方程觀測方程觀測方程(1, )1nnF1( )0n Q( )1n C22( )nvQ( )v t第5頁/共32頁220(1,0)( )(1)kE xnE xP22( ,1)( )( ,1)(1) ( )( )( ) ( )(1, )( ,1) 1( )( )k n ng nk n nx nx ng ny nx nk nnk n ng ng nvv(1), (2,1); (2), (3,2);gkgk依次可以遞推出 第6頁/共32頁隨機優(yōu)化問題隨機優(yōu)化問題LMS: Least Mean Squares Wiener

6、濾波器濾波器: 2min|( )( ) ( )| HEd nnnwwu最陡下降法最陡下降法*2*( )(1)( )(1)(1)|( )(1) ( )| HnnnJnJnEd nnn wwwwwwwwu1optuu udwR r真實梯度真實梯度第7頁/共32頁 最陡下降法的改進最陡下降法的改進: *( )(1)( ) ( )( (1)nnnnJnwwwQw21*( )(1)( )( (1)( (1)nnnJnJnwwwww 牛頓法牛頓法: 2( (1): Hessian)Jnw共軛梯度的梯度(矩陣*2* ( (1)(1)(1),( (1)(1)( (1)( (1)(1)HTJnnnJnnJnJn

7、nwwwwAwwAwwwAw例如，若則第8頁/共32頁確定性優(yōu)化確定性優(yōu)化 也稱隨機逼近最優(yōu)化。求解的方法稱為隨機逼近方法。也稱隨機逼近最優(yōu)化。求解的方法稱為隨機逼近方法。(1)n w( )nw( )(1)()nnww校正項 用誤差控制21min|( )( ) ( )|NHnd nnnwwu后驗估計誤差：( )( )( )( )( ) ( )Hnd ny nd nnn wu先驗估計誤差：( )( )(1) ( )He nd nnnwu第9頁/共32頁梯度向量梯度向量22: ( )( )|( )(1) ( )|HJ nE e nEd nnnwu目標(biāo)函數(shù)011( )( ), (1), (1), (

8、 ),TTMnu n u nu nMnw wwuw*( )( )( )( )HEnnEn dnuuwu*( )( )( )( )J nJE e n e nnww*( )( )( )( )( ) ( )(1)( )(1)e n e nJ ne nEE e nnne nn uww*( )( ) ( )0J nE e nn uRwr維納濾波器：維納濾波器：1optwR r第10頁/共32頁缺點：真實梯度含數(shù)學(xué)期望，不易求得。缺點：真實梯度含數(shù)學(xué)期望，不易求得。梯度下降算法：梯度下降算法：( )(1)( )(1)nnnJ nww( )(1)( )( )nnnJ nww*(1)( ) ( )J ne n

9、n u真實梯度真實梯度步長參數(shù)步長參數(shù), 學(xué)習(xí)速率學(xué)習(xí)速率改進：改進：梯度估計梯度估計瞬時梯度：瞬時梯度：( )( )(1) ( )He nd nnnwu先驗估計誤差先驗估計誤差第11頁/共32頁基本的基本的LMS算法：算法：*(1)( )( )(1)EJ nEn e nJ n u*( )( )(1) ( )( )(1)( )( ) ( )He nd nnnnnn e nnwuwwu 最陡下降法最陡下降法 LMS算法算法漸近無偏估計漸近無偏估計, 搜索方向為梯度負方向 每一步更新都使目標(biāo)函數(shù)值減小(“最陡下降”含義）瞬時梯度分析：瞬時梯度分析：, 搜索方向為瞬時梯度負方向 不能保證每一步更新都

10、使目標(biāo)函數(shù)值減小，但總趨勢使目標(biāo)函數(shù)值減小。第12頁/共32頁( )LMSnLMS算法的均值收斂的選擇算法的均方收斂均值收斂：均值收斂：( )0E e n1( )optEnwwR r均方收斂：均方收斂：2( ) ()optEnCww常數(shù)*( ) ( ) ( ) ne nnuu 要求不同時間的輸入信號向量 線性獨立 因為瞬時梯度向量為 。梯度下降法要求不同時間的梯度向量梯度下降法要求不同時間的梯度向量(搜索方向搜索方向)線性獨立。線性獨立。LMS算法的獨立性要求：算法的獨立性要求：第13頁/共32頁*( )(1)( )( ) (1)( )( )(1) ( ) (1)HEnEnEn e nEnEn

11、d nnnEnwwuwuwuIRwr1 (1)(0) (0)nEEwIRwrIR wr12202 (2)(1) (0)inEEwIRwrIRwIRr10( )(0)nniiEnwIRwIR r第14頁/共32頁代入上式，可得代入上式，可得10( )(0)nniHHiEnwIUUwIUUr( )( )HHEnnRuuUU其中其中iiiHHHiHHHIRUUUUU I UU I UU I UU IU100limniiHniiIRUIU若若 的所有對角元素絕對值的所有對角元素絕對值1，即，即Imax11則極限則極限 (等比級數(shù)求和等比級數(shù)求和)110limniniI110lim()niHniIRUU

12、第15頁/共32頁10111lim( )lim(0)ninHHnniHHoptEnwUIU wIUUrUU rU U rR rw結(jié)論：結(jié)論：( (均值收斂條件均值收斂條件) )max111 均方收斂條件：均方收斂條件：20trR收斂為維納濾波器，且收斂與初始值收斂為維納濾波器，且收斂與初始值w(0)選擇無關(guān)選擇無關(guān)max20由于跡由于跡 ，故兩條件可合并為，故兩條件可合并為max1trMiiR和極限和極限lim0nnImax11第16頁/共32頁均方收斂均方收斂 均值收斂均值收斂max220總的輸入能量max220trR21tr( )MiEiRRu的對角元素之和總的輸入信號能量第17頁/共32

13、頁 偏小偏小 收斂慢收斂慢 跟蹤性能好跟蹤性能好缺點：缺點： 偏大偏大 收斂快收斂快 跟蹤性能差跟蹤性能差 固定學(xué)習(xí)速率：固定學(xué)習(xí)速率： (常數(shù)常數(shù))自適應(yīng)學(xué)習(xí)速率參數(shù)自適應(yīng)學(xué)習(xí)速率參數(shù)( )n 時變學(xué)習(xí)速率：時變學(xué)習(xí)速率： (遞減遞減)，模擬退火法則，模擬退火法則( )Cnn “換檔變速換檔變速”方法：固定方法：固定+時變時變第18頁/共32頁例例1. (先搜索，后收斂先搜索，后收斂)0( )1nn000()00, ( ), dNn NnNnenN 自適應(yīng)學(xué)習(xí)速率：自適應(yīng)學(xué)習(xí)速率：“學(xué)習(xí)規(guī)則的學(xué)習(xí)學(xué)習(xí)規(guī)則的學(xué)習(xí)”00nnn時，固定時，例例2. (先固定，后指數(shù)衰減先固定，后指數(shù)衰減)和和 正

14、的常數(shù)正的常數(shù)0dN第19頁/共32頁LMS算法的改進算法的改進歸一化 LMS (NLMS)LMS (NLMS) 算法解相關(guān) LMSLMS 算法 *( )( )(1)( )( )( ) ( )Hnnnn e nnnuwwuu(1) ( )( )(1)( )(1) (1)HHnnnnnnnuuuuuu與的相關(guān)系數(shù) (1)1*( )( )( ) (1)( ) (1)(1), (1)(1) ( )LMS( )(1)( )( ) ( )nHnnnnnnnnnnnnn e nnuvuuPuIuuuuuwwv解相關(guān)后的輸入向量 解相關(guān)算法： 第20頁/共32頁時，時， 比比 合理合理2200( )( )(

15、 )( ) ( )nnn in iHiiJ nid iniwuin( )nw2*0*0( )( )( ) ( )( )( ) ( )( ) ( )( )0nn iHinn iHiJ nd ininnd inii wuwwwuu2200( )( )( )( ) ( )nnn in iHiiJ ne id iiiwu( ) iw第21頁/共32頁*00( )( ) ( )( )( )nnn iTn iiinnni diwuuu0110 ( )( )( ) ( )( )( )( ) (1)( )( )nn iHinn iHHiHniiiinnnnn RuuuuuuRuu其中*0*( )( )( )

16、(1)( )( )nn iini dinn dnruru*00( )( )( )( )( )nnn iHn iiiiini diuuwu( )( )( )nnnRwr1( )( ) ( )nnnwRr第22頁/共32頁矩陣求逆引理：矩陣求逆引理：HABcc1(1) ( )( ) (1)( )(1)( ) (1) ( )HHnnnnnnnnnPuuPPPuPu增益向量增益向量1( ) ( )(1)( )( ) (1)( )1 (1) ( )( )( ) (1) ( )11 ( ) (1) ( )( )( )( ) (1) ( ) ( )HHHHnnnnnnnnnnnnnnnnnnnnnnPuPk

17、uPuPukuPuuPukkuPuk111111HHB cc BABc B c(1) ( )( )( ) (1) ( )HnnnnnnPukuPu第23頁/共32頁1*( )( ) ( )( ) ( )( )(1)( )( ) (1) (1)( )( ) (1)( )( ) (1)(1)( )( ) (1) (1)( )( )(1) ( ) (1)( )HHnnnnnnnn dnnnn dnnnnnnn dnnnnd nnnnnwRrPrPruPrkPkuPrkPrkwuwk*( )e n即即*( )(1)( )( )nnn e nwwk第24頁/共32頁RLS算法：算法：*( )( )(1)

18、 ( )(1) ( )( )( ) (1) ( )1( )(1)( )( ) (1)( )(1)( )( )HHHe nd nnnnnnnnnnnnnnnnn e nwuPukuPuPPkuPwwk11(0)0, (0)(0) ()wPRI很小第25頁/共32頁非平穩(wěn)，非平穩(wěn)，0000( )( )( )( )( )( )( )nnn iHn iHHiniinniiiiiiRuuuuuuR(0), 越小越好越小越好(0) RI很小( )nu第26頁/共32頁統(tǒng)計性能分析：統(tǒng)計性能分析：權(quán)誤差向量權(quán)誤差向量( )( )optnnww權(quán)誤差向量的相關(guān)函數(shù)矩陣權(quán)誤差向量的相關(guān)函數(shù)矩陣( )( )( )HnEnnK均方誤差均方誤差2( )(1) ( )( )HEd nnnnwu最小均方誤差最小均方誤差2min( )( )HoptEd nnwu剩余均方誤差剩余均方誤差exmin( )( )nn當(dāng)當(dāng) 時，稱時，稱 為穩(wěn)態(tài)剩余均方誤差為穩(wěn)態(tài)剩余均方誤差n exmin()lim ( )nn exex( )( )nnnc近似不再減小時的最小近似不再減小時的數(shù)值算法的收斂速率算法的收斂速率算法的跟蹤性能算法的跟蹤性能第27頁/共32頁LMS、RLS、Kalman濾波算法的統(tǒng)