高斯采樣粒子濾波算法論文

1、高斯采樣粒子濾波算法論文摘要本文提出了一種標準粒子濾波器的改進算法高斯混合采樣粒子濾波算法（GMSPPF）。仿真結果表明，新算法在大幅降低計算復雜度的前提下，具有比標準粒子濾波算法(SIR-PPF)更好估計性能. 關鍵詞卡爾曼濾波；粒子濾波；序列蒙特卡洛；貝葉斯濾波；高斯混合采樣 1引言 貝葉斯方法為動態(tài)系統(tǒng)的估計問題提供了一類嚴謹?shù)慕鉀Q框架。它利用已知的信息建立系統(tǒng)的概率密度函數(shù)可以得到對系統(tǒng)狀態(tài)估計的最優(yōu)解。對于線性高斯的估計問題，期望的概率密度函數(shù)仍是高斯分布，它的分布特性可用均值和方差來描述?？柭鼮V波器很好地解決了這類估計問題1。對于非線性系統(tǒng)的估計問題，最經典并得到廣泛應用的方法以

2、擴展的卡爾曼濾波為代表，這類方法需要對模型進行線性化，同時要求期望的概率密度函數(shù)滿足高斯分布，然而在對實際系統(tǒng)建模時，模型往往是非線性非高斯的。此時，最優(yōu)估計很難實現(xiàn)。 粒子（particle）濾波器序列重要性采樣粒子濾波器，是一種適用于強非線性、無高斯約束的基于模擬的統(tǒng)計濾波器2。它利用一定數(shù)量的粒子來表示隨機變量的后驗概率分布，從而可以近似得到任意函數(shù)的數(shù)學期望，并且能應用于任意非線性隨機系統(tǒng)。本文介紹一種估計性能更好的粒子濾波算法高斯混合采樣粒子濾波器(GMSPPF)，相比通常意義上的粒子濾波算法（SIR-PF），GMSPPF粒子濾波器具有更小的系統(tǒng)狀態(tài)估計的均方誤差和均值。 2貝葉斯濾

3、波問題 貝葉斯濾波用概率統(tǒng)計的方法從已觀察到的數(shù)據(jù)中獲得動態(tài)狀態(tài)空間（DSS）模型參數(shù)。在DSS模型中，包含狀態(tài)和觀測兩個方程34。其中狀態(tài)轉移方程（StateEquation）通常寫作 （1） 這里，是已知，且是白噪聲獨立的隨機序列，而且分布是已知的。觀測方程表達式寫為 （2） 這里：是白噪聲序列，獨立且分布已知。并且滿足。 圖1描述了DSS模型中狀態(tài)轉移和似然函數(shù)的關系。假設初始時刻系統(tǒng)的狀態(tài)分布已知，k時刻的已知信息序列表示。 這樣，貝葉斯估計的問題理解為：利用觀測到的信息Yk，求解系統(tǒng)狀態(tài)的概率分布。若系統(tǒng)狀態(tài)的變化是隱馬爾柯夫過程，即當前系統(tǒng)的狀態(tài)信息只與上一個時刻的狀態(tài)有關，可以通

4、過預測和更新的途徑求解。 （3） 這里： （4） 假設xk，wk是相互獨立的隨機變量，滿足 。于是，參考（1）式可以把（4）式寫為 （5） 其中，是采樣函數(shù)。當是已知時，xk可以通過確定性方程（1）得到。依據(jù)貝葉斯準則，系統(tǒng)狀態(tài)估計量 （6） 其中， （7） 另外，在給定xk，vk，分布的條件下，yk的條件概率依據(jù)測量方程（2）可以表示為如下形式 （8） 由（6）式可以看出，后驗概率密度包含3個部分。先驗概率似然函數(shù)和證據(jù)。如何獲得這三項的近似是貝葉斯濾波的核心問題。更新方程（5）中觀測值用來對的先驗預測值修正，從而獲得狀態(tài)的后驗概率。方程（3）和（6）的遞歸關系構成了求解貝葉斯估計問題的兩個

5、步驟：預測與更新。如果(1)，(2)中的hk，fk是線性的，且噪聲wk，vk滿足高斯白噪聲，可以把貝葉斯估計問題簡化為卡爾曼分析解。但這類問題僅僅是實際問題中很小的一個部分。對于更多的問題，很難得到分析解。只有通過對問題的近似線性處理(擴展卡爾曼濾波)或其它途徑（蒙特卡洛方法）實現(xiàn)非線性、非高斯問題的解。依據(jù)后面分析問題需要，這里重點對蒙特卡洛方法積分進行說明。 3蒙特卡洛方法 在過去的二十多年，蒙特卡洛方法得到了很大的發(fā)展。其優(yōu)點就是用系列滿足條件的采樣點及其權重來表示后驗概率密度。蒙特卡洛方法采用統(tǒng)計抽樣和估計對數(shù)學問題進行求解。按照其用途，可以把蒙特卡洛方法分為三類5：蒙特卡洛抽樣、計算

6、、優(yōu)化。其中，蒙特卡洛抽樣是尋找有效的、方差很小的、用于估計的抽樣方法。蒙特卡洛計算則是設計產生滿足特定要求隨機數(shù)的隨機發(fā)生器的問題。而蒙特卡洛優(yōu)化是采用蒙特卡洛思想對實際中的非凸非差分函數(shù)優(yōu)化求解。對于，可以由概率空間p(x)中抽取N個樣本，用近似值作為的解。大數(shù)定理證明：收斂于，并且滿足條件。這里，是的方差。不同于確定性的數(shù)字計算，蒙特卡洛近似的一個重要特點就是估計的精度獨立于狀態(tài)空間的維數(shù)。而且，積分估計的方差與采樣點的個數(shù)成反比。顯然，蒙特卡洛近似方法的關鍵點有兩個：首先如何由一個樣本空間中抽取N個采樣點，用來表征后驗概率密度。其次就是計算。 重要性抽樣（ImportantSampli

7、ng）解決了如何借助于已知分布來對實現(xiàn)有效采樣的問題，由Marshall1965年提出。當數(shù)據(jù)空間十分巨大時，重要性抽樣只對其中“重要”區(qū)域進行采樣，節(jié)省了計算量。對于高維采樣空間模型，如統(tǒng)計物理學、貝葉斯統(tǒng)計量，這一點尤為重要。重要性抽樣的中心思想是選擇一個覆蓋真實分布p（x）的建議分布q（x）8。這樣， (9) 對q（x）作蒙特卡洛抽樣，假設粒子數(shù)目為N，有 (10) 其中，稱為重要性權重，再作歸一處理， (11) 是歸一化權重。為了減小估計的方差，選擇的建議性分布q（x）與p（x）盡可能匹配。通常，建議分布q（x）需要一個長的拖尾，這樣可以解決區(qū)間之外的干擾。確切的說，匹配的q（x）必須

8、與p（x）f（x）成正比9。當q（x）與p（x）不匹配時，w（x(i)）是不均勻分布的，在整個遞歸迭代的過程中，存在大量的權值極小的樣本，而這些樣本對估計的貢獻很小。事實上，權值較大的少數(shù)樣本決定蒙特卡洛采樣的估計精度。大量時間損耗在這些“無關緊要”的粒子計算上，即所謂的粒子退化現(xiàn)象（DegeneracyProblem）。目前，標準的粒子濾波器選擇先驗概率（Prior）作為建議分布。 對于粒子退化現(xiàn)象，采樣重要性重采樣方法給出了很好的解決途徑。其基本思想就是通過在兩次重要性采樣之間增加重采樣步驟，消除權值較小的樣本，并對權值較大的樣本復制，降低了計算的復雜度。在o(N)時間復雜度范圍內可以已排

9、序的均勻分布序列作重采樣處理。 對重采樣（Resampling）處理，新的采樣結果放在數(shù)組，具體的算法用偽碼語言寫為如下的形式： 步驟1：令這里必須注意是隨機變量的累計概率密度序列。 步驟2：初始假設，當，產生一組序列分布。對一個固定的j，分別用逐一比較，一旦，就可以得到一組新的樣本集合。如此循環(huán)直到。需要說明的是，重采樣方法在消除粒子退化問題的 同時，也帶來了其它兩個問題：首先，降低了粒子運算并行執(zhí)行的可能性；其次，由于權值較大的粒子多次被選擇，粒子的多樣性減少。這種情況尤其在小過程噪聲條件下表現(xiàn)更為明顯11。 4GMSPPF濾波算法 如前所述，利用序列重要性采樣和重采樣的方法，粒子濾波可以

10、有效的遞歸更新后驗概率的分布。但是，由于對粒子未加假設，大量的粒子在處理非線性、非高斯問題時出現(xiàn)了計算的高復雜性問題。另外，由于少數(shù)權值較大的粒子反復被選擇，粒子坍塌明顯。文獻4提出了在重要性采樣步驟的建議分布的生成階段“搬運”粒子到似然較高區(qū)域，可以緩解坍塌，同時提高估計的性能。但是不可避免的是對每一個粒子的后驗概率處理，使得計算的復雜性進一步加劇。鑒于此種情況，這里介紹一種新穎的高斯混合采樣粒子濾波器（GaussianMixtureSigmaPointParticleFilter，GMSPPF）。GMSPPF算法利用有限高斯混合模型表征后驗概率分布情況，可以通過基于重要性采樣的加權的后驗粒

11、子，借助于加權的期望最大化算法（WeightedExpectionMaximization）替換標準重采樣步驟，降低粒子坍塌效應。 4.1基于高斯混合近似的采樣卡爾曼濾波器 根據(jù)最優(yōu)濾波理論，一個概率密度p(x)都可以寫作高斯混合模型（GaussianMixtureModel）。即，這里，G是高斯分量的個數(shù)，是高斯分量的權重，是以向量為均值，以p(g)為協(xié)方差矩陣的隨機向量x的高斯分布。 考慮DSS狀態(tài)轉移方程和觀測方程，假設先驗概率及噪聲密度服從高斯混合模型（GMM）。這樣，預測的先驗概率密度滿足，更新后。 這里，。在此基礎之上，預測的先驗概率和后驗概率對應的均值和方差可以通過采樣卡爾曼濾波

12、器（SigmaPointKF）計算。 4.2基于觀測更新的重要性采樣（ImportantSampling） 前已敘及重要性抽樣是一種蒙特卡洛方法，即用一組帶有權值的樣本數(shù)據(jù)來表征隨機變量的概率密度。利用DSS模型的一階馬爾柯夫本質和給定狀態(tài)的觀測值依賴性，可以推導遞歸的權值更新方程，這里僅對于給定的粒子而言。在GMSPPF算法中，用GMM近似來。作為建議分布。由于包含了最新的樣本數(shù)據(jù)，使得粒子聚集在高似然區(qū)域，一定程度減少了粒子坍塌效應。另外，使用預測的先驗概率平滑權值更新方程中的，這是因為GMSPPF算法用GMM表示后驗概率，本次后驗同時又是下一個時間步的先驗概率，GMM模型中高斯核對后驗概

13、率做了平滑處理?；谟^測更新步驟的重要性采樣方法中對粒子不作任何假設，對非線性、非高斯問題具有很強的魯棒性。 4.3采用加權的EM算法做重采樣和GMM還原 基于觀測更新步驟的重要性采樣輸出是一組加權的粒子，在標準的粒子濾波器中，這些粒子必須作重采樣處理丟棄小權值粒子，同時對權值較大的粒子做放大處理。通過這種處理，可以有效的防止粒子集合的方差增加太快。不幸的是，重采樣步驟只對當觀測似然微弱、大量粒子聚集極少數(shù)粒子副本情況有效。在GMSPPF算法中，采用加權的期望最大（WeightedExpectionMaximization）直接得到GMM模型，實現(xiàn)對加權粒子的最大似然擬合，這就相當于對粒子的后

14、驗概率做了平滑，避免了粒子坍塌問題，同時，GMM模型中的高斯核的個數(shù)減少到G，防止其呈指數(shù)級增長，降低了算法復雜度。 為了比較算法的性能，系統(tǒng)狀態(tài)估計的條件均值，均方誤差（ErrorConvariane）可以通過兩個方法計算，即在加權的EM算法平滑之前，用下面公式 求解，描述了系統(tǒng)的均值與均方誤差性能。 5算法性能分析與結論 這里，給定系統(tǒng)狀態(tài)估計問題的算法評估模型 (12) 是噪聲，。另外，非平穩(wěn)觀測模型 (13) ，其中，觀測噪聲服從高斯分布。如果給定含噪的系統(tǒng)狀態(tài)觀測值yk，采用兩種不同的算法：標準的粒子濾波算法SIR-PF以及GMSPPF算法對系統(tǒng)的狀態(tài)xk估計。每次實驗共做150次，

15、每次的觀察樣本重新產生，SIR-PF算法中粒子的個數(shù)是250個。GMSPPF算法中采用兩種方案：第一種方案用5個高斯核擬合狀態(tài)后驗概率。狀態(tài)噪聲vk，觀測噪聲nk各用一個高斯核擬合。第二種方案則用3個高斯核擬合Gamma(3，2)分布的拖尾狀態(tài)噪聲，這里擬合方法采用EM算法。圖3、圖4描述了系統(tǒng)的隱狀態(tài)和觀測值及SIR-PF，GMSPPF算法系統(tǒng)狀態(tài)的估計值。 圖3SIR-PF粒子濾波器狀態(tài)估計 圖4GMSPPF粒子濾波器狀態(tài)估計 采用4.3部分的均方誤差和均值計算公式對不同算法對系統(tǒng)狀態(tài)估計性能作了比對。圖3、圖4曲線表明，在系統(tǒng)的觀測噪聲nk均方誤差很小，而過程噪聲服從具有長的拖尾分布時，

16、采用轉移概率作為建議分布的標準粒子濾波器性能很差。這是因為觀測方程中峰值似然函數(shù)和系統(tǒng)狀態(tài)急劇的跳躍變化產生的結果。盡管可以通過采樣卡爾曼(Sigma-Point)濾波器將粒子向似然峰值區(qū)域搬動解決這一問題，但是也使得計算量加大。GMSPPF算法兩種不同方案都具有比SIR-PF更好的系統(tǒng)狀態(tài)估計性能，均方誤差比后者數(shù)量級降低了1/103-1/104。與1個高斯核擬合過程噪聲的GMSPPF算法比較，3個高斯核擬合算法性能更好，但時間復雜度同樣有所提高。 由于GMSPPF算法在大幅度降低了算法的計算復雜度同時，可以獲得精確的系統(tǒng)估計性能。所以說，GMSPPF算法為粒子濾波理論實時應用，如目標定位（

17、單目標與多目標）、時變信道估計、圖像增強、機器故障診斷以及語音信號處理等提供了一個新的方案。 參考文獻 1Y.C.HoandR.C.K.Lee，”ABayesianapproachtoproblemsinstochasticestimationandcontrol”IEEETrans.Automat.contr.vol.AC-9.pp.333-339 2A.Doucet，N.Freitas，N.Gordon.SequentialMonteCarloMethodsinPracticeM.Springer 3B.D.O.AndersonandJ.B.Moore.Optimalfiltering.M

18、PrenticeHallEnglowcodCliffo，NJ.1979 4N.J.Gordon，D.J.Salmond，A.F.M.Smith，Novelapproachtononlinear/non-GaussianBayesianstateestimation，IEEproceedingsvol140，No2，April1993 5MULLER，“MonteCarlointegrationingeneraldynamicModels“Contemp.Math.1991，115，pp，145-163 6FredricGustafsson，NiclasBergman，”Particlefilt

19、ersforPosition，NavigationandTracking“，F(xiàn)inalversionforIEEETransactionsonSignalProcessingSpecialissueonMonteCarlomethodsforstatisticalsignal 7ARNAUDDOUCET，SIMONGODSILL，”O(jiān)nsequentialMonteCarlosamplingmethodforBayesianfiltering“statisticsandComputing(2000)，10，197-208，recivedJuly1998andacceptedAugust1999

20、 8JayeshH.KotechaandPetarM.Djurric，”GaussianParticleFiltering”InProc.WorkshopStatisticalSignalProcess.Singapore，Aug.2001 9J.S.Liu&R.Chen.”SequentialMonteCarloMethodsforDynamicalSystems”.JournaloftheAmerianStatisticalAssociation，1998，Volume93.pp.1032-1044 10ZHECHEN，”Bayesianfiltering：FromKalmanfilter

21、toparticlefilters，AndBeyond”ManuscriptIn2003，April 11JayeshH.KotechaandPetarM.Djurric，”GaussianSumParticleFiltering”IEEETransactionsOnsignalProcessing，2003，Vol.51.No.10.October 12M.SanjeevArulampalam，SimonMaskell，NeilGordon，andTimClapp，”ATutorialonParticleFilteolinear/Non-GaussianBayesianTracking”，I

22、EEEtransactiononsignalprocessing，Vol，50，No2February20029 1、最靈夢想是一個天真的詞，實現(xiàn)夢想是個殘酷的詞。21.2.92.9.202108:3508:35:142月-2108:352、只有收獲，才能檢驗耕耘的好處；只有貢獻，方可衡量人生的價值。二二一二二一年二月九日2021年2月9日星期二3、不要放棄，你要配的上自己的野心，也不要辜負了所受的苦難。08:352.9.202108:352.9.202108:3508:35:142.9.202108:352.9.20214、找一個理由，否認憂傷，笑容就會燦爛到無所不在。2.9.20212.9

23、.202108:3508:3508:35:1408:35:145、成功與不成功之間有時距離很短只要后者再向前幾步。二月 21星期二, 二月 9, 20212/9/20216、只要努力抬起你的雙腳，勝利將屬于你。8時35分8時35分9-2月-212.9.20217、青春如此華美，卻在煙火在散場。21.2.921.2.921.2.9。2021年2月9日星期二二二一二二一年二月九日8、真正沒有資格談明天的人，是那個不懂得珍惜今日的人。08:3508:35:142.9.2021星期二, 二月 9, 20211、你始終不屬于我，屬于我的只是我自己。21.2.92.9.202108:3508:35:142月-2108:352、一份信心，一份努力，一份成功；十分信心，十分努力，十分成功。二二一二二一年二月九日2021年2月9日星期二3、你是唯一的，你是十分獨特的，你就是你生命中的