一種多目標(biāo)動態(tài)視頻跟蹤算法

一種多目標(biāo)動態(tài)視頻跟蹤算法

1基于分類信息的跟蹤算法動態(tài)圖像多目標(biāo)跟蹤是醫(yī)學(xué)研究、交通監(jiān)測、客流統(tǒng)計、天文觀測等領(lǐng)域的一項非常重要的實用價值和廣闊的發(fā)展前景。本文提出了一種針對一類面狀多目標(biāo)的跟蹤算法。由于無論剛體運動目標(biāo),還是非剛體運動目標(biāo),在動態(tài)圖像中相鄰的兩幀圖像,由于動態(tài)圖像間的采樣時間間隔很小,盡管動態(tài)圖象受噪聲、光照等影響,但是可以認(rèn)為這些目標(biāo)特征在運動形式上具有平滑、連續(xù)性。因此對于面狀目標(biāo),可以基于自身特征來進(jìn)行多目標(biāo)跟蹤。2特征跟蹤算法動態(tài)圖像多目標(biāo)跟蹤是計算機視覺的一個重要方面。基于特征的跟蹤算法是一種重要的跟蹤算法,在目標(biāo)和背景對比度較大的情況下使用,跟蹤精度可達(dá)幾十分之一像素。利用特征跟蹤算法,在目標(biāo)匹配中,通常采用最近鄰法、全鄰域法。其采用的代價函數(shù)通常僅利用每個目標(biāo)質(zhì)心的位置信息。即考慮待跟蹤目標(biāo)與下一幀每個目標(biāo)統(tǒng)計目標(biāo)質(zhì)心的歐氏距離,距離最小的兩個目標(biāo)認(rèn)為是同一個目標(biāo)。這種方法,較少考慮目標(biāo)自身的特征屬性和每個目標(biāo)運動狀況,易出現(xiàn)目標(biāo)的錯誤跟蹤。2.1卡爾曼濾波的一般描述本算法可劃分為兩大模塊:預(yù)測模塊和目標(biāo)位置更新模塊。預(yù)測模塊的功能是利用已知的圖像目標(biāo)運動信息,預(yù)測未來幀中目標(biāo)的運動范圍;目標(biāo)位置更新模塊則針對相鄰幀間運動目標(biāo)的變化,利用特征值計算代價函數(shù)值,求出當(dāng)前幀中運動目標(biāo)(已被跟蹤目標(biāo))在下一幀中的對應(yīng)后繼目標(biāo),建立關(guān)聯(lián)關(guān)系,并更新已被跟蹤運動目標(biāo)的“目標(biāo)鏈”。本文改進(jìn)的代價函數(shù)表達(dá)式如下:V(i,j)=αD(i,j)+βH(i,j)+γA(i,j)(1)其中:D(i,j)=|CitCjt+1|Μaxn|CitCnt+1|=|√(Xit-Xjt+1)2+(Yit-Yjt+1)2|Μaxn|√(Xit-Xnt+1)2+(Yit-Ynt+1)2|(2)Η(i,j)=|GitGjt+1|Μaxn|GitGnt+1|=|Git-Gjt+1|Μaxn|Git-Gnt+1|(3)A(i,j)=|SitSjt+1|Μaxn|SitSnt+1|=|Sit-Sjt+1|Μaxn|Sit-Snt+1|(4)D(i,j)=∣∣CitCjt+1∣∣Maxn∣∣CitCnt+1∣∣=∣∣∣(Xit?Xjt+1)2+(Yit?Yjt+1)2√∣∣∣Maxn∣∣(Xit?Xnt+1)2+(Yit?Ynt+1)2√∣∣(2)H(i,j)=∣∣GitGjt+1∣∣Maxn∣∣GitGnt+1∣∣=∣∣Git?Gjt+1∣∣Maxn∣∣Git?Gnt+1∣∣(3)A(i,j)=∣∣SitSjt+1∣∣Maxn∣∣SitSnt+1∣∣=∣∣Sit?Sjt+1∣∣Maxn∣∣Sit?Snt+1∣∣(4)Xitit,Yitit,Gitit,Litit,Witit,Sitit,分別是圖像序列第t幀第i個運動目標(biāo)的包圍窗口的質(zhì)心橫坐標(biāo)、縱坐標(biāo)、目標(biāo)區(qū)域的平均灰度、包圍目標(biāo)的長度和寬度,1≤n≤target(t+1),target(t+1)表示第t+1幀上運動目標(biāo)的個數(shù)。其中,D(i,j)反映了第t幀上第i個目標(biāo)與第t+1幀上第j個目標(biāo)質(zhì)心距離的大小;H(i,j)反映了第t幀上第i個目標(biāo)區(qū)域的平均灰度與第t+1幀上第j個目標(biāo)區(qū)域的平均灰度的變化程度;A(i,j)反映了第t幀上第i個目標(biāo)面積與第t+1幀上第j個目標(biāo)面積的變化程度;代價函數(shù)值越小,兩個目標(biāo)有對應(yīng)關(guān)系的可能性越大。其中α,β,γ為經(jīng)驗值,三個值之和為1。根據(jù)第t幀第i個目標(biāo)的特征值作為卡爾曼濾波的輸入?yún)?shù),得到它的預(yù)測值,算出查找區(qū)域。然后在第t+1幀指定預(yù)測區(qū)域中搜索,依次計算目標(biāo)i與t+1幀搜索區(qū)域中各個目標(biāo)的代價函數(shù)值,找出最小值(假設(shè)是目標(biāo)j與i的代價函數(shù)值最小),則說明目標(biāo)j是i的后續(xù),更新該目標(biāo)的特征值作為下次卡爾曼濾波器的輸入。假設(shè)線性離散時間系統(tǒng)由下列方程描述:狀態(tài)方程:Ut=?·Ut-1+ηt-1觀測方程:Mt=Ht·Ut+Vt(5)在狀態(tài)方程中U是n維狀態(tài)向量,Ut表示了在第t幀圖像的系統(tǒng)狀態(tài)向量,?則是狀態(tài)轉(zhuǎn)換矩陣,ηt-1是估計誤差。Ut是一個包含運動目標(biāo)位置和大小的八維向量:Ut=[ΔXtΔYtCtKtΔX′tΔY′tC′tK′t]Tηt=[ηΔXtηΔYtηCtηKtηΔX′tηΔY′tηC′tηK′t]T式中ΔX,ΔY是目標(biāo)質(zhì)心在單位時間間Δt隔內(nèi)的位移量,ΔX′,ΔY′是單位時間間隔Δt內(nèi)的位移量變化速率,Ct,Kt是目標(biāo)包圍窗口的長度和寬度,C′t,K′t是目標(biāo)包圍窗口的長度和寬度變化速率。設(shè)目標(biāo)以恒定的加速度運動,并且目標(biāo)大小的變化是線性的。狀態(tài)轉(zhuǎn)換矩陣為:?=[1000Δt00001000Δt00001000Δt00001000Δt00001000000001000000001000000001]?=????????????????10000000010000000010000000010000Δt00010000Δt00010000Δt00010000Δt0001????????????????在觀測方程中,Mt是測量向量,Ht則是觀測矩陣,Vt是觀測誤差,其中:Μt=[ΔXtΔYtXtYt]Η=[10000000010000000010000000010000]Mt=??????ΔXtΔYtXtYt??????H=??????10000100001000010000000000000000??????根據(jù)已建立的狀態(tài)方程和觀測方程,通過卡爾曼濾波算法獲得運動參數(shù)的估計,利用ΔXt-1,ΔYt-1可以計算得到在第t幀,對應(yīng)目標(biāo)的搜索區(qū)域的中心,Ct-1,Kt-1則可以得到搜索范圍:wx=1.5Ct-1,wy=1.5Kt-1(6)Xc=Xt-1+ΔXt-1,Yc=Yt-1+ΔYt-1(7)即搜索范圍為:Xc-wx2≤X≤Xc+wx2Yc-wy2≤Y≤Yc+wy2(8)Xc?wx2≤X≤Xc+wx2Yc?wy2≤Y≤Yc+wy2(8)2.2多目標(biāo)跟蹤的建立過程Step1跟蹤的起動跟蹤窗口是圖像空間中的一塊空間,中心位于被跟蹤目標(biāo)的預(yù)測狀態(tài),它由上一幀圖像中目標(biāo)的狀態(tài)預(yù)測決定。如果當(dāng)前圖像是第一幀,那么出現(xiàn)的目標(biāo)全部作為新出現(xiàn)目標(biāo),為每個目標(biāo)建立目標(biāo)鏈。如果當(dāng)前圖像是第k幀,第k-1幀圖像如果有n個目標(biāo),那么就有n個目標(biāo)跟蹤窗口。如果當(dāng)前幀中的目標(biāo)不落入已建立的任一目標(biāo)跟蹤窗口中,則認(rèn)為是新的目標(biāo),新的跟蹤起動。Step2數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)關(guān)聯(lián)是多目標(biāo)跟蹤的核心部分。接收后續(xù)圖像第k幀,則對當(dāng)前第i個目標(biāo)鏈,利用其目標(biāo)鏈中的特征值啟動卡爾曼濾波預(yù)測搜索匹配范圍,計算目標(biāo)i與第k幀對應(yīng)跟蹤窗口內(nèi)所有目標(biāo)的代價函數(shù)值,并找出其中最小值(設(shè)找到與目標(biāo)j代價函數(shù)值最小),再判斷目標(biāo)i與目標(biāo)j的質(zhì)心距離d與λ的大小:1)如果d≤λ,則目標(biāo)j為目標(biāo)i的后續(xù),將目標(biāo)j的特征值替代目標(biāo)鏈i的值,并對該目標(biāo)j做標(biāo)記。2)如果d>λ,則說明目標(biāo)i在第k幀沒有后續(xù)目標(biāo),這可能有兩種情況:離開圖像觀測窗口或者暫時靜止。需判斷目標(biāo)鏈i的質(zhì)心坐標(biāo):如果該目標(biāo)質(zhì)心位于采集圖象的邊緣區(qū)域,則說明該目標(biāo)離開觀測窗口,否則,說明該目標(biāo),在原位置徘徊停留。目標(biāo)鏈保持原質(zhì)心位置特征值。當(dāng)對所有被跟蹤目標(biāo)進(jìn)行匹配后,當(dāng)前幀圖象第k幀所有目標(biāo)是否被跟蹤,如果全部目標(biāo)都被跟蹤,則說明該幀上所有目標(biāo)與前幀目標(biāo)全部建立了后續(xù)關(guān)系,即建立了相關(guān)的目標(biāo)鏈。如果存在未被跟蹤目標(biāo),則判斷其質(zhì)心是否處在圖象的邊緣區(qū)域。滿足則是有新目標(biāo)出現(xiàn),為其建立新的目標(biāo)鏈,設(shè)置特征值,不滿足則可能為干擾,丟棄。Step3轉(zhuǎn)向第k+1幀的處理,處理過程如Step1、Step2直至圖像序列處理結(jié)束。2.3目標(biāo)跟蹤的確定多目標(biāo)運動時,可能發(fā)生兩目標(biāo)運動交叉的情況,在目標(biāo)的數(shù)據(jù)關(guān)聯(lián)中,有可能出現(xiàn)對于目標(biāo)鏈i在第k幀中跟蹤窗口中進(jìn)行匹配,有多個目標(biāo)代價函數(shù)值均最小。此時對目標(biāo)i的跟蹤發(fā)生沖突。為了解決此問題,本文對其作如下處理完成目標(biāo)跟蹤的選擇:判斷目標(biāo)鏈i和目標(biāo)鏈m的對應(yīng)目標(biāo)區(qū)域的平均灰度與目標(biāo)j的對應(yīng)目標(biāo)區(qū)域的平均灰度值之差值。當(dāng)[Gik-1Gjk]<[Gmk-1Gjk][Gik?1Gjk]<[Gmk?1Gjk],其中:[Gik-1Gjk]=[Gik-1-Gjk][Gik?1Gjk]=[Gik?1?Gjk];則將目標(biāo)j視為目標(biāo)鏈的后續(xù)。對于目標(biāo)鏈m在其預(yù)測的跟蹤窗口中重新搜索匹配,找到Value(m,k)=Min(Value(m,s)),其中1≤s≤n且s≠j,則此時目標(biāo)是目標(biāo)鏈m的后續(xù)。該運動跟蹤算法中,應(yīng)該考慮運動目標(biāo)暫時靜止不動情況,保留其目標(biāo)鏈等待其重新運動,以避免產(chǎn)生目標(biāo)丟失。3圖像圖像處理本文在Matlab6.0的編譯環(huán)境下實現(xiàn)該算法。在實驗室建立了一種簡單的進(jìn)出人運動情況的動態(tài)目標(biāo)識別與跟蹤計數(shù)模擬系統(tǒng)。在跟蹤算法中,該系統(tǒng)采用此跟蹤算法。在本實驗中,取α=0.5,β=0.3,r=0.2。實驗采用的圖像分辨率為600×560。為了減少圖像處理量,對圖像進(jìn)行分塊處理,圖像的大小為150×140。攝像頭采集圖像的速度為:4幀/s。以一組動態(tài)圖像處理為例(如圖1所示),對人的頭部進(jìn)行跟蹤。根據(jù)本文提出的跟蹤算法,得到的該組多目標(biāo)的運動軌跡如圖2所示,其特征值見表1。其中:S1,S2表示頭部目標(biāo)1、2的面積;(X1,Y1)表示頭部目標(biāo)1的質(zhì)心坐標(biāo);平均G1表示目標(biāo)1對應(yīng)原圖的平均灰度;C1×K1表示包圍目標(biāo)1窗口的長度×寬度;同理類推目標(biāo)2圖2中的方塊與花菱形分別表示兩個不同的目標(biāo)(運動的人)。其軌跡坐標(biāo)為識別跟蹤的結(jié)果。對比圖1,圖2和表1