視頻中的目標(biāo)跟蹤算法綜述

1、視頻中的目標(biāo)跟蹤算法綜述序言目標(biāo)跟蹤是計算機視覺研究領(lǐng)域的熱點之一，有著非常廣泛的應(yīng)用。目標(biāo)跟蹤是在一段視頻序列中定位感興趣的運動目標(biāo)，并形成目標(biāo)運動的路徑或軌跡。目標(biāo)跟蹤應(yīng)用領(lǐng)域也很廣泛，例如：1.智能監(jiān)控；機器人視覺系統(tǒng)；虛擬現(xiàn)實（人體跟蹤）；醫(yī)學(xué)診斷（細胞狀態(tài)跟蹤）等。過去的幾十年來，目標(biāo)跟蹤技術(shù)取得了長足的進步。特別是近幾年，隨著深度學(xué)習(xí)的目標(biāo)跟蹤方法的出現(xiàn)，獲得了令人滿意的效果，也涌現(xiàn)了越來越多的方法，這都使得目標(biāo)跟蹤技術(shù)取得了突破性的進展。本文主要內(nèi)容是對目標(biāo)跟蹤算法歷史做了簡單總結(jié)，內(nèi)容來自。這里只是做了總結(jié)，因為最近這兩年基于深度學(xué)習(xí)的目標(biāo)跟蹤算法也挺多的，介紹到的算法時間線截

2、止于2018年，本文的定位權(quán)當(dāng)是目標(biāo)跟蹤過渡階段學(xué)習(xí)，希望通過這篇文章能幫助讀者對目標(biāo)跟蹤領(lǐng)域有一個較為全面的認識。一、相關(guān)方法（1）：背景差分法：原理：該方法首先需要構(gòu)建好背景圖像，然后將當(dāng)前圖像與背景圖像作差，之后再處理差值圖像，從而得到最終的前景圖像。局限性：該方法關(guān)鍵在于構(gòu)建合適的背景模型，自然場景給背景模型帶來了很多挑戰(zhàn)，因為他們是動態(tài)的，例如：光照變化、極端天氣條件等，即便在靜態(tài)環(huán)境下，由于噪聲、攝像機抖動等，圖像之間也存在著差異?；旌细咚贡尘敖Ｋ惴ǎ簽槊總€像素點建立高斯分布，從而能夠應(yīng)對背景多峰分布的情況，但是也存在一些缺點，如：參數(shù)的選擇問題、更新速率問題、光照突變問題造成的

3、大面積誤檢問題等。VisualBackgroundExtractor：利用單幀圖像來構(gòu)建背景模型，并且采用隨機選擇策略、空間信息傳播方法來更新該模型，該方法實時性比較好，但是容易出現(xiàn)“鬼影”、陰影等問題。相鄰幀間差分法：原理：又稱為時間差分法，其基本思想是利用相鄰的兩幀或者幾幀做差，求得的差值圖像即為檢測結(jié)果。局限性：這種方法適用于相鄰的幾幀變化不大的情況，對于光照或者樹枝擺動變化效果并不好。光流法：原理：在不變的光流場中尋求相對改變的光流場，而改變的部分即為運動目標(biāo)所在部分。前提是假設(shè)場景中的亮度信息不改變，然后求出連續(xù)幾幅圖像幀間的像素點的運行矢量，即光流場。對于背景區(qū)，由于改變比較少，一

4、般會產(chǎn)生比較均勻的運動矢量場，而對于運動對象，其運動矢量場則不是很規(guī)則，而從據(jù)此檢測出運動目標(biāo)。局限性：優(yōu)點是可以在不預(yù)先知道場景的任何信息情況下進行運動目標(biāo)檢測，缺點是由于涉及大量的矩陣和迭代運算，難以實現(xiàn)實時運動目標(biāo)檢測。三種方法比較：3復(fù)械魅受先娜差亠局fJ差中光隸中1二、相關(guān)方法（2）該部分主要介紹兩種類型的方法：生成式方法和判別式方法生成式方法：簡介：生成式模型通常尋找與目標(biāo)模板（待跟蹤目標(biāo)）最相似的候選作為跟蹤結(jié)果，這一過程可以視為模板匹配。特點：在目標(biāo)跟蹤早期，主要是各種生成式方法，生成式方法都采用不訓(xùn)練、在線更新的方法，而且都是在CPU上進行計算，模型的速度很快，最快的可以達到

5、2000+FPS。生成式方法相關(guān)算法：（1）均值漂移；“均值漂移-MeanShift（2000年）“均值漂移-CamShift（2002年）卡爾曼濾波-KalmanFilter（1960年）；（3）粒子濾波-ParticleFilter（2002年）；（4）稀疏編碼；&稀疏編碼-LITracker（2009年）；0稀疏編碼-ALSA（2012年）。判別式方法：簡介：判別式模型通過訓(xùn)練一個分類器去區(qū)分目標(biāo)與背景，選擇置信度最高的候選樣本作為預(yù)測結(jié)果；特點：從最近幾年的論文和相關(guān)競賽中可以看出，判別式方法基本已經(jīng)“一統(tǒng)天下”，現(xiàn)在的目標(biāo)跟蹤是相關(guān)濾波和深度學(xué)習(xí)的時代。判別式方法相關(guān)算法：1）相關(guān)濾

6、波；“相關(guān)濾波-MOSSE（2010年）；“相關(guān)濾波-CSK（2012年）；“相關(guān)濾波-KCF/DCF（2012年）;“相關(guān)濾波-DSST（2014年）；（2）深度學(xué)習(xí)；“深度學(xué)習(xí)-MDNet（2016年）；“深度學(xué)習(xí)-GOTURN（2016年）；“深度學(xué)習(xí)-SiameseFC（2016年）；“深度學(xué)習(xí)-EAST（2017年）；“深度學(xué)習(xí)-ECO（2017年）；（3）深度學(xué)習(xí)+相關(guān)濾波。深度學(xué)習(xí)+相關(guān)濾波-C-COT（2016年）；深度學(xué)習(xí)+相關(guān)濾波-CFNet（2017年）；深度學(xué)習(xí)+相關(guān)濾波-DCFNet（2017年）；。深度學(xué)習(xí)+相關(guān)濾波-CFCF（2017年）；。深度學(xué)習(xí)+相關(guān)濾波-E

7、CO（2017年）；深度學(xué)習(xí)+相關(guān)濾波-ECO+（2018年）；兩種類型方法總結(jié)：生成式模型速度快，但效果不如判別式模型；判別式模型（尤其是深度學(xué)習(xí)）面臨著實時性問題；模型正在朝著相關(guān)濾波和深度學(xué)習(xí)結(jié)合的方向靠攏；早期的論文大多是在計算過程中使用了數(shù)學(xué)技巧進行優(yōu)化（線性代數(shù)+信號處理）；最新的論文很多都是在特征和生成訓(xùn)練集方面做了一些優(yōu)化和處理。三、目標(biāo)跟蹤深度學(xué)習(xí)數(shù)據(jù)集：OTB-2015:OTB數(shù)據(jù)集中包含100個視頻序列，所以有些論文中也稱其為OTB-100。100個序列中26個是灰度序列，74個彩色序列，整個數(shù)據(jù)庫總共58897幀，序列有長有短，最短的幾十幀，最長的3000+幀。VOT-2018:作為視覺跟蹤領(lǐng)域的最高峰，VOT是國際目標(biāo)跟蹤領(lǐng)域最權(quán)威的測評平臺，由伯明翰大學(xué)、盧布爾雅那大學(xué)、布拉格捷克技術(shù)大學(xué)、奧地利科技學(xué)院創(chuàng)辦，旨在測評在復(fù)