面向魯棒跟蹤的視覺特征自適應(yīng)選擇與融合方法研究

1、面向魯棒跟蹤的視覺特征自適應(yīng)選擇與融合方法研究視頻圖像中的運動目標(biāo)跟蹤作為計算機(jī)視覺研究當(dāng)中的一個基礎(chǔ)性跨學(xué)科問題，融合了圖像處理、模式識別、機(jī)器學(xué)習(xí)等多個不同領(lǐng)域的理論和知識。近些年來隨著高性能計算機(jī)的發(fā)展、日益增長的自動視頻分析需求，運動目標(biāo)跟蹤已經(jīng)成為計算機(jī)視覺領(lǐng)域的一個熱點研究問題。在視覺導(dǎo)航1，視頻壓縮編碼2，智能監(jiān)控3，智能交通4，人機(jī)交互5，醫(yī)學(xué)6，軍事7等領(lǐng)域有著廣闊的應(yīng)用前景.在運動目標(biāo)備受研究者們的關(guān)注的同時，也有很多因素使得魯棒精確實時地定位運動目標(biāo)存在一定程度的困難。這些因素主要包括：背景干擾，攝像機(jī)抖動，障礙物遮擋，光照變化，目標(biāo)自身姿態(tài)的變化等等。在這些復(fù)雜條件下，

2、僅使用單一的特征來描述目標(biāo)表達(dá)能力不夠，因此，有很多研究者從眾多的特征描述子中挑選出最具表達(dá)能力的k個特征，然后將其有效地融合，從而提高復(fù)雜場景下多特征的描述能力。1. 常見的特征描述子1.1顏色特征顏色特征8是在圖像檢索中應(yīng)用最為廣泛的視覺特征，主要原因在于顏色往往和圖像中所包含的物體或場景十分相關(guān)。此外，與其他的視覺特征相比，顏色特征對圖像本身的尺寸、方向、視角的依賴性較小，從而具有較高的魯棒性。顏色直方圖是在許多圖像檢索系統(tǒng)中被廣泛采用的顏色特征。它所描述的是不同色彩在整幅圖像中所占的比例，而并不關(guān)心每種色彩所處的空間位置，即無法描述圖像中的對象或物體。顏色直方圖特別適于描述那些難以進(jìn)行

3、自動分割的圖像。當(dāng)然，顏色直方圖可以是基于不同的顏色空間和坐標(biāo)系。最常用的顏色空間是RGB顏色空間，原因在于大部分的數(shù)字圖像都是用這種顏色空間表達(dá)的。然而，RGB空間結(jié)構(gòu)并不符合人們對顏色相似性的主觀判斷。因此，有人提出了基于HSV空間、Luv 空間和Lab空間的顏色直方圖，因為它們更接近于人們對顏色的主觀認(rèn)識。其中HSV空間是直方圖最常用的顏色空間。它的三個分量分別代表色彩（Hue）、飽和度（Saturation ）和值（Value）。計算顏色直方圖需要將顏色空間劃分成若干個小的顏色區(qū)間，每個小區(qū)間成為直方圖的一個bin 。這個過程稱為顏色量化（color quantization ）。然后

4、，通過計算顏色落在每個小區(qū)間內(nèi)的像素數(shù)量可以得到顏色直方圖。顏色量化有許多方法，例如向量量化、聚類方法或者神經(jīng)網(wǎng)絡(luò)方法。最為常用的做法是將顏色空間的各個分量（維度）均勻地進(jìn)行劃分。相比之下，聚類算法則會考慮到圖像顏色特征在整個空間中的分布情況，從而避免出現(xiàn)某些bin 中的像素數(shù)量非常稀疏的情況，使量化更為有效。另外，如果圖像是RGB格式而直方圖是HSV空間中的，我們可以預(yù)先建立從量化的RGB空間到量化的HSV空間之間的查找表（look-up table），從而加快直方圖的計算過程。顏色特征作為一個最具代表性的全局特征，計算簡單，在很多條件下用顏色特征來描述目標(biāo)都能取得比較魯棒的結(jié)果。但是，在一

5、些復(fù)雜條件下，如光照變化，背景干擾等情況下缺乏魯棒性。1.2 HOG特征HOG即histogram of oriented gradient, 是用于目標(biāo)檢測的特征描述子，該技術(shù)將圖像局部出現(xiàn)的方向梯度次數(shù)進(jìn)行計數(shù)，該方法和邊緣方向直方圖、scale-invariant feature transform類似，不同的是hog的計算基于一致空間的密度矩陣來提高準(zhǔn)確率。Dalal9首先在05年的CVPR中提出HOG，用于靜態(tài)圖像or視頻的行人檢測。HOG的核心思想是所檢測的局部物體外形能夠被光強(qiáng)梯度或邊緣方向的分布所描述。通過將整幅圖像分割成小的連接區(qū)域（稱為cells），每個cell生成一個方向

6、梯度直方圖或者cell中pixel的邊緣方向，這些直方圖的組合可表示出（所檢測目標(biāo)的目標(biāo)）描述子。為改善準(zhǔn)確率，局部直方圖可以通過計算圖像中一個較大區(qū)域(稱為block)的光強(qiáng)作為measure被對比標(biāo)準(zhǔn)化，然后用這個值(measure)歸一化這個block中的所有cells.這個歸一化過程完成了更好的照射/陰影不變性。與其他描述子相比，HOG得到的描述子保持了幾何和光學(xué)轉(zhuǎn)化不變性（除非物體方向改變）。因此HOG描述子尤其適合人的檢測。1.3紋理特征圖像紋理是一種重要的視覺手段，是圖像中普遍存在而又難以描述的特征。紋理特征提取的目標(biāo)是：提取的紋理特征維數(shù)不大、鑒別能力強(qiáng)、穩(wěn)健性好，提取過程計算

7、量小，能夠指導(dǎo)實際運用。紋理的定義一直為人們所關(guān)注，但是圖像紋理定義問題至今沒有得到圓滿的解決，仍然不存在為眾人所公認(rèn)的定義。其中的共識是一：紋理不同于灰度和顏色等圖像特征，它通過像素及其周圍空間鄰域的灰度分布來表現(xiàn)，即局部紋理信息；二：局部紋理信息不同程度的重復(fù)性，即全局紋理信息。Ojala10等提出了一種非常有效的紋理特征描述子，稱為LBP。LBP描述子被定義為灰度尺度不變紋理測量，他是來源于局部鄰域的紋理定義。LBP紋理特征最重要的特性在于對光照變化不敏感，另外一個同樣重要的特性在于他的計算特別簡單。近年來，出現(xiàn)了很多由LBP演變而來的特征，如：LTP11和MB-LBP12等。1.4 尺

8、度不變特征轉(zhuǎn)換表達(dá)SIFT尺度不變特征轉(zhuǎn)換(Scale-invariant feature transform或SIFT)是一種是用于圖像處理領(lǐng)域的一種局部特征描述子，它在尋找空間尺度的極值點，并提取出這些點的尺度、位置和旋轉(zhuǎn)不變量。該算法由 David Lowe13-14在1999年所發(fā)表，2004年完善總結(jié)。因其在尺度轉(zhuǎn)換方面的不變特性，且對光線、噪聲等變化也比較魯棒，所以在視覺跟蹤領(lǐng)域得到了廣泛應(yīng)用。Zhou15等用SIFT特征來關(guān)聯(lián)感興趣的區(qū)域，然后用Mean Shift算法來搜索相似度最大的區(qū)域，通過兩者的結(jié)合來找尋到最大似然概率分布的區(qū)域，從而進(jìn)行連續(xù)魯棒的跟蹤。但是當(dāng)背景模糊時，

9、SIFT特征匹配會導(dǎo)致一對多的問題，與Mean Shift所搜索的結(jié)果可能會自相矛盾?；赟IFT特征表達(dá)具有較高的特征維數(shù)，計算耗時，并且在某些情況的目標(biāo)SIFT特征點稀少也會使得匹配不穩(wěn)定。1.5 加速魯棒特征表達(dá)SURFSURF（Speed Up Robust Feature）算法由Bay等16提出來的，是對SIFT的改進(jìn)。它借鑒了SIFT中的簡化思想，使得模板對圖像的濾波只需要進(jìn)行幾個簡單的加減法。在計算速度上要遠(yuǎn)快于SIFT，并且很穩(wěn)定。He等17提出了基于SURF的跟蹤算法，通過判斷局部SURF特征和全局運動的兼容性，這種跟蹤算法對目標(biāo)外觀變化和背景模糊比較魯棒。2 多特征自適應(yīng)融

10、合在實際的復(fù)雜動態(tài)變化的跟蹤場景中，基于單個視覺特征的目標(biāo)描述很難對目標(biāo)及場景所有的變化都足夠魯棒，從而使得基于單個視覺特征的目標(biāo)跟蹤算法變得不可靠。如果能基于實際場景內(nèi)容將目標(biāo)的多個視覺特征自適應(yīng)的融合在跟蹤算法中，則可以利用不同特征之間的互補(bǔ)性，更好地適應(yīng)場景變化，實現(xiàn)更為魯棒的目標(biāo)跟蹤。近年來，由于各種各樣的特征描述子的出現(xiàn)，越來越多的研究者關(guān)注多特征的聯(lián)合表達(dá)，包括局部特征和全局特征18。有一些研究者關(guān)注多特征的融合，提出了一些融合多特征的新穎的特征描述子。Zoidi19等提出了一個基于外觀表達(dá)的目標(biāo)跟蹤框架，利用了局部steering描述子和顏色直方圖信息。Wu20等聯(lián)合了已經(jīng)存在的

11、一些視覺特征，將其應(yīng)用到boosting框架中來提高跟蹤的精度和速度。Wang21聯(lián)合LBP和HOG特征提出了一種新的LBP-HOG描述子用來做行人檢測，在處理部分遮擋的行人上取得了不錯的效果。然而，大部分在特征集的靜態(tài)多特征描述子不能解決運動目標(biāo)的形變問題。也有一些研究者，將已有的特征描述子，如：顏色，梯度，邊緣和紋理等聯(lián)合起來，在決策級融合他們的輸出以便提高跟蹤精度。Yang22等發(fā)現(xiàn)了一個特殊特征的超平面結(jié)合，能夠最好的在一個特征池里面將樣本分為兩類。Zhou23等用顏色和SIFT特征來定位下一幀中最可靠的目標(biāo)。盡管，許多研究都表明了多特征融合跟蹤的有效性，仍然存在一些問題，如：對跟蹤目

12、標(biāo)和背景先驗知識的需求，缺乏自適應(yīng)的跟蹤策略以及計算負(fù)擔(dān)偏重等。如果,研究者們僅考慮將幾種固定的特征進(jìn)行融合，在復(fù)雜場景下其跟蹤效果不一定能達(dá)到最優(yōu)，因為在不同的場景下最具表達(dá)能力的特征并不相同。正因為存在這樣的問題，越來越多的研究者關(guān)注特征的選擇。也就是，從一系列的特征中用一定的方式選擇出最具表達(dá)能力的k個特征然后再進(jìn)行自適應(yīng)的融合。一些研究者24=26提出從特征池中選擇出最具表達(dá)能力的特征來提升跟蹤的精度。然而，這種情況下只有一種特征被利用了，當(dāng)特殊的情況發(fā)生的時候?qū)⒖赡芨櫴　Ｔ诰€特征選擇27-29提升了實時目標(biāo)跟蹤的魯棒性和精確性。Li30等將幾種特征看作一個整體而不是將他們單個的進(jìn)

13、行賦予權(quán)值，從而選擇出最具區(qū)分能力的一個特征子集。Yoon31等提出了一種包括跟蹤器選擇和融合的框架來提高跟蹤的性能。然而，這些方法都沒有提出一個自適應(yīng)決定每一個特征在跟蹤中重要性的跟蹤框架。3 常見的目標(biāo)跟蹤算法視頻圖像中的運動目標(biāo)跟蹤技術(shù)在近些年來發(fā)展迅速，根據(jù)應(yīng)用場合的需要，研究者們提出了許多方法。其中主要的基于單攝像機(jī)的跟蹤算法有點跟蹤、核跟蹤和輪廓跟蹤等。3.1點跟蹤在基于點的跟蹤方法中，跟蹤實際上就是通過相鄰幀之間的一些用來描述目標(biāo)的的位置或者運動信息的點進(jìn)行關(guān)聯(lián)。這種方法需要一個外部機(jī)制在每一幀中來檢測目標(biāo)。根據(jù)關(guān)聯(lián)方式的不同，點跟蹤可分為基于確定性的跟蹤和基于統(tǒng)計方法的跟蹤。確

14、定性方法先采用一組運動約束對相鄰幀的目標(biāo)定義一個代價函數(shù)。通過最小化這個代價函數(shù)來跟蹤目標(biāo)。從視頻圖像中測量所得到的數(shù)據(jù)總是包含有噪聲的，并且目標(biāo)的運動也會有隨機(jī)的干擾。基于統(tǒng)計的方法引入概率統(tǒng)計的思想，將不確定性觀察（如概率密度函數(shù)）與不同的狀態(tài)相聯(lián)系，從而不再假設(shè)運動系統(tǒng)輸入與輸出的完全確定性，對目標(biāo)的狀態(tài)參數(shù)，例如位置、速度和加速度等建立空間模型，然后從目標(biāo)檢測模塊獲取目標(biāo)信息，通過估計目標(biāo)狀態(tài)進(jìn)行跟蹤。3.2核跟蹤核跟蹤中的“核”指的是目標(biāo)的形狀和外觀。例如矩形模板或者是用關(guān)聯(lián)直方圖表示的橢圓。核跟蹤通過在連續(xù)幀中計算目標(biāo)核的運動來跟蹤目標(biāo)，這種運動通常指的是是參數(shù)轉(zhuǎn)換形式如平移，旋轉(zhuǎn)

15、和放射變換等。這類算法主要包括三個要素：目標(biāo)外觀模型、相似性度量以及搜索策略。根據(jù)這三個要素的選取方法不同，把核跟蹤方法分為三類：基于模板的方法、基于概率模型的方法和基于多視角模型的方法。基于模板匹配的方法是最常見的核跟蹤方法。模板匹配就是在當(dāng)前幀圖像中搜索與目標(biāo)參考模板最匹配的圖像區(qū)域。通常使用圖像的亮度特征和顏色特征來形成模板。由于圖像亮度特征對光照敏感，圖像的梯度也可以用來作為特征。經(jīng)常采用的匹配度量有互相關(guān)系數(shù)、差的平方和、平均絕對差等等。然而模板匹配由于采取蠻力搜索策略，使得計算非常耗時。為了減少計算代價，研究者經(jīng)常在目標(biāo)上一幀的位置附近設(shè)置一個搜索區(qū)域?；诟怕誓Ｐ偷姆椒▽⒛繕?biāo)的一

16、種或者幾種特征，例如顏色、邊緣、紋理等用概率分布模型表示。常采用的用來表達(dá)目標(biāo)外觀的分布形式有直方圖、顏色空間聯(lián)合概率分布、加權(quán)直方圖、高斯近似等。常用的相似性度量方法有直方圖相交法、EMD法，巴氏系數(shù)法（Bhattacharyya）等。其中巴氏系數(shù)計算簡單，可以構(gòu)造出具有度量結(jié)構(gòu)的距離空間，常用來計算直方圖之間的相似度。常見的基于概率模型的搜索策略有目標(biāo)函數(shù)優(yōu)化法。例如Mean shift迭代搜索。Comaniciu等提出的基于Mean Shift的目標(biāo)跟蹤算法，用加權(quán)直方圖建模目標(biāo)的顏色概率分布，根據(jù)Bhattacharyya系數(shù)來度量概率密度的相似度，通過計算Mean-shift向量迭代

17、到收斂得到目標(biāo)函數(shù)的極值，從而完成目標(biāo)的跟蹤定位。物體從不同的角度可能會顯示出不同的外觀，在跟蹤過程中，有時候目標(biāo)的跟蹤視角會發(fā)生變化，這種情況下原來建立的外觀模型就無法描述好目標(biāo)，會導(dǎo)致跟蹤失敗。為了克服這種問題，研究者們提出了基于多視角模型的方法。通過學(xué)習(xí)不同視角的目標(biāo)來進(jìn)行跟蹤。常用的多視角跟蹤方法有基于主成分分析（PCA）的方法、基于支持向量機(jī)（SVM）分類器的方法、基于Adaboost分類器的方法。基于分類器的方法先用目標(biāo)正樣本和背景負(fù)樣本來訓(xùn)練好分類器，在跟蹤過程中，通過最大化分類得分來得到跟蹤結(jié)果。Lu Zhang等32通過嵌入目標(biāo)的結(jié)構(gòu)信息到SVM分類器中提出了SPOT跟蹤算法

18、，技能對單目標(biāo)進(jìn)行跟蹤，也可以跟蹤多目標(biāo)。Xi Li等33利用一種哈希方法來提取目標(biāo)特征，將特征轉(zhuǎn)換成二進(jìn)制串，并將其用LS-SVM(最小二乘的支持向量機(jī))訓(xùn)練分類器來進(jìn)行目標(biāo)跟蹤。3.3輪廓跟蹤某些目標(biāo)可能在運動過程中有著復(fù)雜的形狀，例如行人，飛機(jī)等。這種情況下用矩形或者橢圓等幾何形狀來表示目標(biāo)不太合適，而用目標(biāo)輪廓能比較好地描述目標(biāo)形狀，這里的輪廓包括目標(biāo)邊界和內(nèi)部。目前主要的基于輪廓跟蹤的方法有形狀匹配方法和基于邊界曲線演化的方法?；谥苯有螤钇ヅ浞椒ㄍㄟ^尋找當(dāng)前幀中和參考模板輪廓最匹配的區(qū)域來跟蹤目標(biāo)。但這種方法只適應(yīng)于跟蹤形狀不變的做平移運動的目標(biāo)?；谶吔缜€演化的方法則可以隨著目

19、標(biāo)的形變而調(diào)整邊界線的形狀。主要包括兩類邊界曲線演化方法：基于狀態(tài)空間的方法和基于能量函數(shù)最小化的方法。當(dāng)跟蹤攝像機(jī)靜止下的目標(biāo)時，通常采用幀間差分或者減背景法來獲得目標(biāo)輪廓，再用相關(guān)的特征關(guān)聯(lián)來進(jìn)行跟蹤。4 總結(jié)復(fù)雜場景下的運動目標(biāo)跟蹤是計算機(jī)視覺領(lǐng)域的一個熱門領(lǐng)域。近年來，越來越多的研究者關(guān)注復(fù)雜條件下地運動目標(biāo)跟蹤，試圖解決背景以及目標(biāo)自身變化給跟蹤帶來的困難。由于融合多特征來描述運動目標(biāo)的能力遠(yuǎn)優(yōu)于單特征的描述能力，因此在解決復(fù)雜條件下的運動目標(biāo)跟蹤方面?zhèn)涫荜P(guān)注。目前，多特征融合應(yīng)用于跟蹤領(lǐng)域已經(jīng)取得了一定的研究進(jìn)展，將來一定會取得更大的突破。參考文獻(xiàn)1 Bonin-Font F, O

20、rtiz A, Oliver G. Visual navigation for mobile robots: A survey. Journal of Intelligent and Robotic Systems, 2008, 53(3): 263-2962 Vieux W E, Schwerdt K, Crowley J L. Face-tracking and coding for video compression. Computer Vision Systems. Springer Berlin Heidelberg, 1999: 151-161.3 Zhu J, Lao Y, Zh

21、eng Y F. Object tracking in structured environments for video surveillance applications. IEEE Transactions on Circuits and Systems for Video Technology, 2010, 20(2): 223-2354 Sun Z, Bebis G, Miller R. On-road vehicle detection: A review. IEEE Transactions on Pattern Analysis and Machine Intelligence

22、, 2006, 28(5): 694-7115 于漢超,唐曉慶,劉軍發(fā)等. 手掌姿態(tài)自適應(yīng)的單指尖魯棒跟蹤方法.計算機(jī)輔助設(shè)計與圖形學(xué)報, 2013,25(12):1793-18006 Withey D.J., Pedrycz W., Koles Z.J. Dynamic edge tracing: Boundary identification in medical images. Computer Vision and Image Understanding, 2009, 113(10): 1039-10527 羅迎,張群,李松,梁穎. 基于分布式組網(wǎng)雷達(dá)的彈道目標(biāo)三維進(jìn)動特征提取. 電子

23、學(xué)報, 2012, 40(6): 1079-10858 D. Comaniciu, V. Ramesh, and P. Meer, “Kernel-based object tracking, ” IEEE Trans. Pattern Anal. Mach. Intell., vol. 25, no. 5, pp.564577, May 20039 N. Dalal and B. Triggs “Histograms of Oriented Gradients for Human Detection”, CVPR IEEE Computer Society Conference on. IE

24、EE, 2005, vol.1, pp. 886-893.10 T. Ojala, M. Pietikainen, T. Maenpaa, Multiresolution gray-scale and rotation invariant texture classification with local binary patterns, IEEE Trans.Pattern Anal. Mach. Intell. 24 (7) (2002) 972987.11 X. Tan, B. Triggs, Enhanced local texture feature sets for face re

25、cognition under difficult lighting conditions, AMFG, 2007.12 S. Liao, S. Li, Learning multi-scale block local binary patterns for face recognition, in: ICB, 2007.13 Lowe D G. Object recognition from local scale-invariant features. In: The proceedings of the seventh IEEE International Conference on C

26、omputer Vision, 1999, 2: 1150-115714 Lowe D G. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 2004, 60(2): 91-11015 Zhou H, Yuan Y, Shi C. Object tracking using SIFT features and mean shift. Computer Vision and Image Understanding, 2009, 113(3):

27、345-35216 Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features (SURF). Computer Vision and Image Understanding, 2008, 110(3): 346-35917 He W, Yamashita T, Lu H, et al. Surf tracking. In: 12th IEEE International Conference on Computer Vision, 2009: 1586-159218 L. Sun and G. Liu “Visual Objec

28、t Tracking Based on Combination of Local Description and Global Representation” IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 21, NO. 4, APRIL 2011 pp.408-42019 O. Zoidi, A. Tefas, and I. Pitas, “Visual Object Tracking Based on Local Steering Kernels and Color Histograms” IEEE

29、 TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, VOL. 23, NO. 5, MAY 2013 pp. 870-88220 B. Wu, R. Nevatia, Optimizing discrimination-efciency tradeoff in integrating heterogeneous local features for object detection, in: CVPR, 2008.pp.1-821 X. Wang, T. Han, S. Yan, A HOG-LBP human detecto

30、r with partial occlusion handling, in: ICCV, 2009.(pp. 32-3922 Yang F, Lu H, Yang M. Robust Visual Tracking via Multiple Kernel Boosting with Affinity ConstraintsJ. 2013. Circuits and Systems for Video Technology, IEEE Transactions on  (Volume:24) pp.242 - 25423 H. Zhou , Y. Yuan, C. Shi Object

31、 tracking using SIFT features and mean shift “” Computer Vision and Image Understanding 113 (2009) 345352113(3)24 H. Stern and B. Efros, “Adaptive color space switching for face tracking in multi-color lighting environment, ” in Proc. IEEE Int. Conf. on Automatice Face and Gesture Recognition, Washi

32、ngton, DC, 2002, pp.24925425 J. Wang, and Y. Yagi, “Integrating Color and Shape-Texture Features for Adaptive Real-Time Object Tracking” IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 17, NO. 2, FEBRUARY 2008 pp.235-24026 V. Nedovic, M. Liem, M. Corzilius and M. Smids “Kernel-based object tracking using adaptive feature selection”Project Report, 200527 T. Woodl