第九章基于某均值漂移和特征匹配地紅外目標跟蹤

1、實用標準文案9.1均值漂移理論9.1.1 核密度估計核密度估計KDE（）：bin ，數(shù)據(jù)就按區(qū)間分對于一組采樣數(shù)據(jù)，把數(shù)據(jù)的值域分成若干相等的區(qū)間，每個區(qū)間稱為一個成若干組，每組數(shù)據(jù)的個數(shù)與總參樣個數(shù)的比率就是每個bin 的概率值。與直方圖法不同的是， KDE多了一個用于平滑數(shù)據(jù)的核函數(shù)。核函數(shù) ：X 表示 d 維的歐式空間， x 是該空間中的一個點， 用一個列向量表示。 X 的模 x 2xT x 。R表示實數(shù)域。如果一個函數(shù)：XR 存在一個剖面函數(shù) k：0,R ，即KK（ x） =k（ x2）（9.1 ）并且滿足：1）k 是非負的，且是非增的。2）k 是分段連續(xù)的，并且k ( r ) dr。

2、0那么，函數(shù) K（x）就被稱為核函數(shù)。假設(shè) d 維空間 Rd中有 n 個數(shù)據(jù)點 xi ， i=1 ， ， n，則點關(guān)于核函數(shù) K（x）和帶寬矩陣 H的核函數(shù)估計 表示為f?(x)1 nX i )n iKH(X（9.5 ）111式中， K HH 2 K ( H 2 x) ；H是 d×d 的對稱正定帶寬矩陣。我們另外定義核函數(shù)K（x）的輪廓函數(shù) k（x），使得2K(x) ck,dk( x )式中， ckd,為常量。令帶寬矩陣 H=h2I ，則可進一步簡化密度估計的復雜度。這樣，根據(jù)式（在帶寬為 h，核函數(shù)為 K 時的核密度估計為f?h,Kck ,dnxx2nhdk(i)i 1h（ 9.6

3、 ）9.5 ）和式（ 9.6 ）就可得（ 9.7 ）幾種常見的核函數(shù)1 ） Epanechnikov 核2）單位均勻核函數(shù)3）高斯核函數(shù)精彩文檔實用標準文案9.1.2均值漂移均值漂移（ MS）是一種非參數(shù)的，迭代的搜索密度模式的方法， 它最初的含義就是偏移的均值向量。在這里均值漂移指代的是一個向量。 MS算法一般是指一個迭代步驟，即先算出當前點的偏移均值，移動該點到其偏移均值，然后以此為新的起始點，繼續(xù)移動，直到滿足一定條件結(jié)束。通過對標準密度梯度進行估計可以得到樣本集中密度最大數(shù)據(jù)的分布位置。 利用核函數(shù)的可微性，從式（ 9.7 ）可知，密度梯度的估計等于密度估計的梯度：?f ( x)f?

4、( x)2ck ,dnx xi2( x x )k ' ()（9.8 ）h, Kh ,Knhd 2i 1hik' (x), 將 g（x）作為輪廓函數(shù)，則對應的核函數(shù)2令 g（x）=G( x)cg ,dg ( x ) ， cg ,d 為相應的標準化常量。核函數(shù)K（x）稱為 G（ x）的陰影函數(shù)。將 g（x）代入式（ 9.8 ），可得nx xi2xi g2ck,dnx x22ck,dnx x2h?f(x)x )g(i 1xh,Kd 2(xi)d 2g(i)2ihi 1hnhi 1nhnx xighi 1（ 9.9 ）點 x 關(guān)于核函數(shù) G（ x）的密度估計為f?h,G( x)cg,d

5、nx x2dg(i)（9.10 ）nhi 1h定義均值漂移向量 為nxxi2xi ghmh,Gi 1xnxxi2（9.11 ）ghi1通過分析得知， 均值漂移向量始終指向密度增最大的方向，因此沿著均值漂移向量方向逐步搜索可以得到密度的局部極大值。 均值漂移算法通過反復將數(shù)據(jù)點朝著矢量方向移動，直至收斂。當?shù)Y(jié)束時，核中心的位置對應概率密度的極值。精彩文檔實用標準文案9.2 基于均值漂移和特征匹配的紅外目標跟蹤9.2.1基于均值漂移的紅外目標跟蹤首先采用灰度核直方圖對紅外目標進行描述。假定 x i, i=1, ，n 表示紅外目標區(qū)域內(nèi)的像素坐標，則目標模型的概率密度 為nx0xi2?) b x

6、iuqu(x0) C k(h（9.12）i 1式中， u=1，2， ， m 為目標特征值bin ； k（ x）為核函數(shù)的輪廓函數(shù)；h 是核函數(shù)的帶寬；文中采用 Epanechnikov 核來計算目標的核密度估計。 X 是目標區(qū)域的中心位置。( x)為 Kronecker delta0函數(shù)，mb： R21,2, ， m 是像素點到像素特征的映射； C 為歸一化常熟，使得?1 。quu=1核函數(shù) k（x）的作用是對目標區(qū)域的像素設(shè)置權(quán)值，使得遠離目標區(qū)域中心的像素設(shè)置較小的權(quán)值，而靠近目標中心的像素設(shè)置較大的權(quán)值。相應的，候選目標可表示為?nhy xi2y Chkb xiupuh（ 9.13）i

7、1式中， y 是候選目標區(qū)域的中心位置；n h 為候選目標區(qū)域的像素總數(shù)。然后 ,在紅外目標表觀模型建構(gòu)之后，跟蹤問題即轉(zhuǎn)化為在下一幀紅外圖像中尋找與目標模型 q?最相似的候選目標 p? y 。定義目標模型與候選目標之間的距離為Dy1? y（9.14 ）?m?式中，y和 ?之間的系數(shù)。p y ,qpu y qu 為 ?yBhattacharyyai 1q最小化式（9.14）相當于最大化Bhattacharyya系數(shù)。在 ?y0處對? y進行Tayor展開，pu得到其線性近似：精彩文檔實用標準文案1m1m?y?y0 qu?yqu?（9.15 ）pupu2 u 12 u 1puy0將式（ 9.13

8、 ）代入式（ 9.15 ）可得1 mChnhy xi2?y?y0 quikpu（ 9.16）2 u 12 u 1h式中，權(quán)值i 為m?iqub xiu?y0u 1（ 9.17 ）pu將式（ 9.16 ）中的第 2 部分最大化，即可得到新的目標位置：nhy0xi2xii ghy?1i 1nhy0xi2（9.18 ）xi ghi 1式中， g xk '(x) 。于是整個跟蹤過程可描述為：首先初始化候選目標坐標? ，計算權(quán)值i，利用式（ 9.18 ）進y0行迭代計算，直到y(tǒng)i 1 yi或大于預定的最大迭代次數(shù)，最后得到的y?0 即為目標所在的位置。9.2.2 紅外目標的特征匹配修正定位由于灰

9、度直方圖所包含的圖像信息單一，缺乏足夠的信息來描述紅外目標，因此目標描述并不穩(wěn)健。在灰度空間中建立的目標灰度概率密度分布易受噪聲印象，容易導致跟蹤結(jié)果與目標實際位置相偏移。因此， 利用特征匹配對均值漂移算法所得的跟蹤結(jié)果進行修正，有效消除跟蹤誤差，避免跟蹤失效。 首先對目標模板和候選區(qū)域進行Harris特征點提取，然后采用改進的 Hausdorff距離對特征點進行匹配，最終實現(xiàn)目標的準確定位。1. Harris 特征點提取Harris 算子采用了與自相關(guān)函數(shù)相聯(lián)系的矩陣M，矩陣的特征值是自相關(guān)函數(shù)的一階曲率， 如果自相關(guān)函數(shù)的兩個一階曲率值都很高，那么就認為該點是Harris特征點。精彩文檔實

10、用標準文案Harris特征點檢測的 過程步驟 ：1）計算圖像 I 在 x 和 y 方向的導數(shù) I x 和 I y ，通過計算圖像與高斯核的微分來實現(xiàn)。,I( )*( , )（9.19）Ix xxGx xIy x,I(x)*Gy(x, )（9.20 ）IxIy x,Ix x,*Iyx,（9.21 ）式中，為高斯核的標準離差。2）構(gòu)造自相關(guān)矩陣 M(x,) ，即計算在 x、 y 和 xy 方向的圖像導數(shù)與高斯核的卷積。G(x,')Ix2 x,G(x,')I xIyx,M(x, )2（9.22 ）G(x,')Ixy x,G(x,')I y x,3）如果矩陣 M有兩個都

11、很小的特征值， 則該點位于圖像灰度的平緩區(qū)， 若 M有一大一小的兩個特征值，則該點在邊緣處，若 M有兩個比較大的特征值，則該點就是 Harris 特征點，即C xdet(M x,TraceM(x)2t（9.23 ）式中，是固定的參數(shù)； det 為矩陣的行列式； Trace 為矩陣 M的跡； t 為設(shè)定的閾值，通過調(diào)整t 的大小可以控制特征點的數(shù)目。由于噪聲和背景的影響，提取的Harris特征點中總是難免存在一些不屬于目標的所謂的“雜點”，會影響到匹配結(jié)果。 因此，下一步的工作就是采用一種Hausdorff 距離度量算法， 棄除雜點，匹配目標特征點。2. 改進的 Hausdorff 距離測度Ha

12、usdorff 距離是描述兩組點集之間相似程度的一種度量，即集合之間距離的一種定義形式。若給定兩組有限像素集合 Aa1, a2 ,am 和 B b,b,12 bm ，則 Hausforff距離定義為H A,Bmax h A, B , h B, A（9.24 ）式中， hA, B max,min b a ,是某種距離范數(shù)； h（A,B）稱為 A 和 B 見的正向a Ab BHausforff距離；如 L 和L2 等， h（ A,B）的意義與 h（ A,B）相似，稱為反向 Hausforff距離。在圖像匹配中， Hausforff用來衡量兩幅圖像之間的相似度，這種方法不強調(diào)圖像中的匹配點精彩文檔實

13、用標準文案對，點與點之間的關(guān)系是模糊的。Huttenlocher等提出了部分Hausforff距離的概念，在用于有比較嚴重遮掩或者退化的圖像中產(chǎn)生了很好的效果。 Dubuisson 和 Jain 在匹配被噪聲污染的綜合圖像時，提出了基于平均距離值的 MHD（mean hausdorff distance ）。結(jié)合以上兩種 Hausforff 距離的定義， Sim Dong-Gyu 等人提出了 LTS-HD（least trimmed square-hausdorff distance ）算法，即使目標被部分遮掩或者因噪聲而退化，這種匹配方法也能產(chǎn)生很好的結(jié)果。但 Harris 提取出來的特征點

14、定位精度僅為一個像素，單個像素的信息畢竟有限，因此難免會受到噪聲影響，出現(xiàn)誤匹配。一種消除點誤匹配的方法是認為興趣點的選擇是在一個小的區(qū)域里，嘗試在點匹配過程中引入點的鄰域信息（如灰度均值，位置均值）。當特征點 aiaiA 與特征點 bi biA 做 LTSHD度量時，也考慮 ai 的鄰域 N (ai) 與 bi 的鄰域 N (bi ) 之間的相似性。在此鄰域之間的相似性用式（ 9.25 ）所示的灰度均值絕對值度量。Di Gray N(ai ) Gray N(bi )t（9.25 ）式中， N (ai ) 為集合 A 中特征點 ai 的鄰域； N(bi ) 為集合 B 中特征點 bi 的鄰域，

15、 Gray 表示鄰域的灰度均值，鄰域的大小都是 M× M； Di 為兩個鄰域的灰度均值絕對差， t 為設(shè)定的閾值，閾值的選擇與鄰域的大小有關(guān)。9.3基于改進均值漂移算法的紅外目標跟蹤9.3.1跟蹤模型對于給定的核中的n 個點 xi （i=1 ，2， ， n），使用核 K（x）的變量 m的核密度估計 ：1nfK mK xi m（ 9.26 ）nhdi 1式中， m是 d 維核的中心； n 為核中點的數(shù)目； h 為核的半徑。在基于均值漂移算法紅外目標跟蹤中，核函數(shù)K（ x）的作用是給實時圖像中待匹配目標區(qū)域的像素設(shè)置權(quán)值， 使得原理待匹配目標區(qū)域中心的像素設(shè)置較小的權(quán)值，而靠近待匹配目標

16、中心的像素設(shè)置較大的權(quán)值。因為遠離待匹配目標中心的像素容易受到其他目標沖突或背景像素的影響，所以加權(quán)后的候選目標像素在進行密度估計的時候增加了它的魯棒性，提高了搜索跟蹤能力。 簡單情況下可通過勻布核來計算目標的核密度估計。由此得到的圖像特征分布將是圖像的直方圖。Epanechnikov 核在連續(xù)空間中能夠產(chǎn)生最佳的積分均方誤差（MISE）。因此，這里采用Epanechnikov 核來計算目標的核密度估計。實時圖像中待匹配目標區(qū)域可描述為其灰度特征的概率密度函數(shù)（ PDF），并采用核密度估計計算得到?；诨叶忍卣?u=1，2， ， L(L 為量化級數(shù) ) 的待匹配目標區(qū)域的 PDF可通過下式計算

17、精彩文檔實用標準文案得到，即nF xi u K ximP ui 1（9.27 ）CL 1n式中，是 Kronecker 函數(shù)；常數(shù) C是歸一化常量，且P u 0,CK xi m 。u 0i 1對于對比度低且背景亮度經(jīng)常高于目標亮度的紅外圖像；采用密度估計構(gòu)造的PDF并不包含灰度的空間關(guān)系， 因此不能很好的描述待匹配目標區(qū)域的特征模型。為了引入空間關(guān)系， 核密度估計通過聯(lián)合兩個Epanechnikov 核來確定 。第一個核通過待匹配目標區(qū)域像素位置坐標到目標質(zhì)心的歐幾里德距離來確定灰度特征的空間關(guān)系。也就是說，以目標質(zhì)心為中心放置一個二維核，核的值表示空間權(quán)重 。獲得空間關(guān)系的二維Epanech

18、nikov 核定義如下：2h2xT xxT x h2K 2 x = h2（9.28 ）0,其他式中， h 為核半徑。第二個核作為特征直方圖的加權(quán)因子，也就是說，以特征值為中心放置一個一維核。 一維 Epanechnikov 核定義如下，即322K1 x = 4 h3h xx h（ 9.29 ）0,其他使用聯(lián)合核，目標特征 u 的核密度估計 可從下式得出nK1 F xiu K2 xi mP u = i 1C（9.30 ）n式中， u=1，2， ，L（L 為量化級數(shù)）；C是為歸一化常數(shù)量， 且 CK2 xi m ； h1 ， h2i 1為兩個核的半徑，需單獨確定。9.3.2跟蹤方法為了獲得更好的跟

19、蹤精度， 我們?nèi)诤狭四繕藚^(qū)域的灰度圖像和局部標準差圖像核密度估計所得到的特征信息。 局部標準差圖像通過源圖像中每個像素的鄰域得到， 是一個非常好的描述局部圖像結(jié)構(gòu)頻率特征的方法。圖像中像素 Xi 的局部標準差 根據(jù)所定義的鄰域 M采用下式計算：精彩文檔實用標準文案1F Xi F X2S X（9.31 ）N 1XiM式中， F 表示圖像的灰度值函數(shù)；X i 為 X 的鄰域 M中像素位置的坐標； N 表示鄰域 M中的像素個數(shù)。實驗中選取 M為 5×5 的鄰域。假定前面階段的檢測和識別算法在某一幀捕獲到目標，m0 表示它的中心，利用式（9.7 ）分別計算目標模板的灰度圖像和局部標準差圖像的

20、每一灰度級的核密度估計，分別用QF和QS表示。在下一幀中定位目標的一種可能的方法是， 在實時圖像中搜索待匹配目標的臨近區(qū)域，通過計算臨近區(qū)域內(nèi)的核密度估計，找出與模板相似的分布。我們可以直接通過最小化目標模板與待匹配目標區(qū)域之間的距離來定位目標，距離值越小越相似。定義目標模板與待匹配目標區(qū)域的核密度分布之間的距離為d m1m（ 9.32 ）式中，m 是修改的 Bhattacharya系數(shù)，它融合了圖像灰度和局部標準差的特征。可把修改的 Bhattacharya系數(shù)理解為模板與目標分布的相似程度，定義為1LPFu m QFu PSu m QSumu 1（ 9.33 ）2式中， L 為實時圖像和局

21、部標準差圖像的灰度級數(shù)。Bhattacharya系數(shù)越大，距離值就越小，目標模板與候選目標也就越相似。因此目標跟蹤就變成了在當前幀中從上一個目標位置的鄰域內(nèi)搜索目標的新位置， 使得以位置 m為自變量的距離函數(shù)取得最小值。利用 Taylor 展開式將式（ 9.33 ）在上一個目標位置m0 處展開，其線性近似為mm01n4Ci 1式中LQFLQSK1F xiuuK1 S xiuuimP m（9.35 ）u 1Pu 1Fu0Su0S xi表示通過式（ 9.31 ）計算得到的局部標準差圖像函數(shù)。式（9.34 ）中的第一項與m無關(guān)。因此，要使 d（ m）最小，就是使式（ 9.34 ）中的第二項最大，而該

22、項代表著當前幀中位置m精彩文檔實用標準文案處使用 K2 x 計算的核密度估計，只不過多了加權(quán)值i 。這樣就可以使用均值漂移過程尋找鄰域內(nèi)該核密度估計的極大值。在這個過程中，核中心從當前位置 m0 移向新位置 m1 ：4nm1 m 0i xi（ 9.36 ）h4i 1重復以上過程就可以找到距離函數(shù)的最小值，從而實現(xiàn)對當前幀中的目標進行跟蹤。9.3.3核半徑的自動更新在均值漂移跟蹤算法中， 二維核的窗口大小起著非常重要的作用， 因為它不但決定了參與均值漂移過程迭代的樣本數(shù)量，而且也反映了跟蹤窗口的大小。書中提出了一種根據(jù)找出仿射模型中的比例變換因子對二維核的半徑進行自動更新的算法， 以便對紅外成像制導跟蹤過程中不斷增大尺寸的目標進行有效的跟蹤。由于改進算法只需要求前后兩幀中運動目標的比例變換因子， 因此可考慮前后兩幀中目標的運動只存在