基于鄰域線性搜索與卡爾曼濾波的單目視覺跟蹤定位系統(tǒng)

基于鄰域線性搜索與卡爾曼濾波的單目視覺跟蹤定位系統(tǒng)

計(jì)算機(jī)視覺是計(jì)算機(jī)科學(xué)和人工智能的重要分支。它不僅是一個(gè)工程領(lǐng)域，也是一個(gè)非常挑戰(zhàn)的科學(xué)領(lǐng)域?？茖W(xué)家的晉升被吸引來進(jìn)行研究。計(jì)算機(jī)視覺研究的主要內(nèi)容是通過各種成像系統(tǒng)代替視覺器官作為信號輸入手段,由計(jì)算機(jī)來代替大腦完成對信息的處理和理解。運(yùn)動(dòng)目標(biāo)跟蹤定位作為計(jì)算機(jī)視覺中的一個(gè)重要領(lǐng)域已經(jīng)成為目前研究的熱點(diǎn)問題,它通過視覺傳感器對運(yùn)動(dòng)目標(biāo)連續(xù)運(yùn)動(dòng)的圖像序列的采集,從圖像序列中對運(yùn)動(dòng)目標(biāo)進(jìn)行檢測、跟蹤、定位,最終實(shí)現(xiàn)對運(yùn)動(dòng)目標(biāo)行為的描述和理解。目前的計(jì)算機(jī)視覺跟蹤定位主要有多目視覺傳感器跟蹤定位、雙目視覺跟蹤定位和單目視覺跟蹤定位,但由于利用多目視覺傳感器和雙目視覺跟蹤定位中存在著視場小、立體匹配難、系統(tǒng)結(jié)構(gòu)龐大等缺陷,在很多場合已逐漸被結(jié)構(gòu)簡單、標(biāo)定步驟少的單目視覺所代替。本實(shí)驗(yàn)中通過單目視覺實(shí)現(xiàn)了對運(yùn)動(dòng)目標(biāo)的跟蹤定位,設(shè)計(jì)了基于鄰域線性搜索與卡爾曼濾波器相結(jié)合的跟蹤算法,有效地減少了傳統(tǒng)的跟蹤算法對目標(biāo)位置預(yù)測搜索的迭代時(shí)間,解決了在相鄰幀圖像中由于目標(biāo)位置發(fā)生劇烈變化而容易出現(xiàn)目標(biāo)丟失的問題,系統(tǒng)簡單便攜,具有較高的應(yīng)用價(jià)值。1系統(tǒng)的設(shè)計(jì)原理單目視覺跟蹤定位系統(tǒng)主要通過一臺(tái)攝像機(jī)對運(yùn)動(dòng)目標(biāo)進(jìn)行連續(xù)的圖像序列的采集,應(yīng)用設(shè)計(jì)好的算法在圖像序列中對目標(biāo)進(jìn)行檢測、跟蹤、定位,并將運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)軌跡進(jìn)行重建,對每時(shí)刻目標(biāo)的三維空間位置坐標(biāo)結(jié)果輸出保存。系統(tǒng)原理框圖如圖1所示。由于要對運(yùn)動(dòng)目標(biāo)進(jìn)行精確的跟蹤定位,所以在試驗(yàn)前要對攝像機(jī)的內(nèi)參數(shù)進(jìn)行標(biāo)定測量,因此單目跟蹤定位系統(tǒng)主要包括攝像機(jī)標(biāo)定、運(yùn)動(dòng)目標(biāo)檢測、運(yùn)動(dòng)目標(biāo)跟蹤、運(yùn)動(dòng)目標(biāo)定位4個(gè)部分。1.1傳統(tǒng)的自標(biāo)定方法攝像機(jī)標(biāo)定是通過攝像機(jī)獲取物體的一系列二維像片來確定攝像機(jī)內(nèi)外參數(shù),解決三維物點(diǎn)與二維像點(diǎn)的對應(yīng)關(guān)系問題,它是計(jì)算機(jī)視覺領(lǐng)域里從二維圖像提取三維空間信息必不可少的關(guān)鍵一步。目前,攝像機(jī)標(biāo)定方法根據(jù)標(biāo)定方式的不同,主要可以歸結(jié)為以下2種:傳統(tǒng)的標(biāo)定方法和自標(biāo)定方法。傳統(tǒng)的攝像機(jī)標(biāo)定方法是指用一個(gè)結(jié)構(gòu)已知、精度很高的標(biāo)定塊作為空間參照物,通過空間點(diǎn)和圖像點(diǎn)之間的對應(yīng)關(guān)系來建立攝像機(jī)模型參數(shù)的約束,然后通過參數(shù)估計(jì)來求得這些參數(shù)。傳統(tǒng)的方法典型代表有DLT方法(directlineartransformation)、考慮畸變補(bǔ)償?shù)膬刹椒?以及簡易標(biāo)定方法。傳統(tǒng)的標(biāo)定方法的優(yōu)點(diǎn)在于可以獲得較高的精度,但它是一種靜止的標(biāo)定方法,且標(biāo)定過程費(fèi)時(shí)費(fèi)力,在實(shí)際應(yīng)用中比較有局限。自標(biāo)定方法(self-calibration)是指直接由未標(biāo)定的2幅或多幅圖像來確定攝像機(jī)參數(shù)的過程,它克服了傳統(tǒng)方法的缺點(diǎn),不需要標(biāo)定塊,僅僅依靠多幅圖像對應(yīng)點(diǎn)之間的關(guān)系進(jìn)行標(biāo)定,但它一般沒有考慮攝像機(jī)畸變,算法迭代復(fù)雜,精度較低。張正友標(biāo)定方法鑒于傳統(tǒng)標(biāo)定方法和自標(biāo)定之間,簡單實(shí)用,而且在標(biāo)定過程中考慮了鏡頭畸變,標(biāo)定結(jié)果相對準(zhǔn)確,因此在本實(shí)驗(yàn)中采用張正友標(biāo)定法對三星PL60攝像機(jī)內(nèi)參數(shù)進(jìn)行標(biāo)定。標(biāo)定結(jié)果如下:f=15mm,u0=3.125mm,v0=1.695mm1.2運(yùn)動(dòng)目標(biāo)跟蹤運(yùn)動(dòng)目標(biāo)檢測主要可以分為靜態(tài)場景和動(dòng)態(tài)場景兩種情況。靜態(tài)場景就是在拍攝視頻時(shí)攝像機(jī)固定不動(dòng),圖像序列中的背景是相對靜止的,只有目標(biāo)在做運(yùn)動(dòng),這種情況下的檢測相對簡單一些,常用的檢測方法有背景相減法和幀差法。動(dòng)態(tài)背景就是拍攝視頻時(shí)攝像機(jī)是運(yùn)動(dòng)的,因此拍攝出來的視頻不只是目標(biāo)在運(yùn)動(dòng),背景也會(huì)隨著攝像機(jī)的運(yùn)動(dòng)而運(yùn)動(dòng),因此情況比較復(fù)雜。本實(shí)驗(yàn)中就屬于動(dòng)態(tài)背景情況下運(yùn)動(dòng)目標(biāo)的檢測跟蹤,通過采用基于Hough變換的方法提取運(yùn)動(dòng)目標(biāo)的特征圓來完成對運(yùn)動(dòng)目標(biāo)的檢測。Hough變換是由PaulHough于1962年提出,并申請了專利?；舅枷刖褪菍D像空間的一點(diǎn)變換到參量空間的一條曲線或一個(gè)曲面,而具有同一參量特征的點(diǎn)經(jīng)變換后在參量空間中相交,通過判斷交點(diǎn)處的累計(jì)程度來完成特征曲線的檢測。在Hough變換的圓檢測方法(circlehoughtransform,CHT)中,圓的基本參數(shù)是圓心和半徑,CHT就是利用三維空間參數(shù)積累來提取圓的。由于Hough變換的前提是要在二值圖像中進(jìn)行,因此在采集到的圖像中首先對圖像進(jìn)行邊緣提取,目前常用的邊緣檢測算法有Canny算子邊緣檢測、LOG算子邊緣檢測、Prewitt算子邊緣檢測、Sobel算子邊緣檢測和Robert算子邊緣檢測。通過對各種算法的實(shí)驗(yàn)比較,本實(shí)驗(yàn)選用Canny算子對圖像進(jìn)行邊緣提取,取得了較好的效果,實(shí)驗(yàn)結(jié)果如圖3所示。在利用Canny算子進(jìn)行邊緣提取后,通過Hough變換對圖像中的運(yùn)動(dòng)目標(biāo)特征圓進(jìn)行提取檢測,通過實(shí)驗(yàn)驗(yàn)證在復(fù)雜背景下提取取得了較好的效果,如圖4所示。1.3鄰域線性搜索運(yùn)動(dòng)目標(biāo)跟蹤是計(jì)算機(jī)視覺的重要組成部分,它主要是針對包含目標(biāo)的運(yùn)動(dòng)圖像序列進(jìn)行分析處理,確定運(yùn)動(dòng)目標(biāo)在每幀圖像中的具體位置,從而實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)運(yùn)動(dòng)軌跡的三維重建。常見的運(yùn)動(dòng)目標(biāo)跟蹤方法主要有基于區(qū)域匹配跟蹤、輪廓匹配跟蹤和特征匹配跟蹤。由于在本實(shí)驗(yàn)中要跟蹤的是一個(gè)運(yùn)動(dòng)的籃球,具有較好的外形特征,因此采用提取圖像中運(yùn)動(dòng)目標(biāo)的特征圓進(jìn)行跟蹤。在本實(shí)驗(yàn)中攝像機(jī)和運(yùn)動(dòng)目標(biāo)背景都在不停的變化,不能采用常見的背景相減、幀差法等檢測跟蹤算法對目標(biāo)進(jìn)行跟蹤,因此采用鄰域線性搜索的檢測跟蹤算法對運(yùn)動(dòng)目標(biāo)進(jìn)行跟蹤,如圖5所示。在跟蹤前首先人為選定第一幀圖像中的運(yùn)動(dòng)目標(biāo),由于相鄰兩幀圖像的目標(biāo)運(yùn)動(dòng)不會(huì)太快,下一幀圖像中運(yùn)動(dòng)目標(biāo)的位置根據(jù)上一幀圖像中運(yùn)動(dòng)目標(biāo)的位置向T×d(半徑)的區(qū)域搜索來確定,如紅色框的,所以可以把后一幀的目標(biāo)捕獲住。但由于在某些情況下2幀圖像之間運(yùn)動(dòng)目標(biāo)位置變化極大,這樣由于鄰域線性搜索半徑不能設(shè)置太大,這種情況下就容易出現(xiàn)目標(biāo)丟失,導(dǎo)致后面的跟蹤失敗,針對這種情況,采用卡爾曼濾波器進(jìn)行彌補(bǔ)。如果出現(xiàn)目標(biāo)搜索不到的情況,就調(diào)用卡爾曼濾波器通過運(yùn)動(dòng)目標(biāo)在上一幀圖像中的位置來預(yù)測目標(biāo)在當(dāng)前幀的位置,以實(shí)現(xiàn)連續(xù)跟蹤,這樣既減少了傳統(tǒng)跟蹤算法的迭代次數(shù),提高了跟蹤的速度,又實(shí)現(xiàn)了連續(xù)跟蹤的準(zhǔn)確性。跟蹤算法的流程如圖6所示。在本實(shí)驗(yàn)中,第20幀到21幀之間圖像中運(yùn)動(dòng)目標(biāo)之間的位置發(fā)生了劇烈的變化,但采用本實(shí)驗(yàn)的跟蹤算法有效的解決了這個(gè)問題,實(shí)現(xiàn)了運(yùn)動(dòng)目標(biāo)的持續(xù)跟蹤。實(shí)驗(yàn)結(jié)果如圖7～8所示。在攝像機(jī)采集的視頻中對第23幀到31幀圖像中運(yùn)動(dòng)目標(biāo)進(jìn)行了連續(xù)跟蹤測試,經(jīng)測試采用本實(shí)驗(yàn)設(shè)計(jì)的跟蹤算法取得了較好的跟蹤效果,實(shí)驗(yàn)結(jié)果如圖9所示。1.4圖像序列中運(yùn)動(dòng)目標(biāo)位置的轉(zhuǎn)換在雙目圖像定位中通過兩個(gè)相機(jī)在不同位置所拍的目標(biāo)圖像的景深不同,可以將目標(biāo)的位置準(zhǔn)確定位出來,但在單目視覺定位中由于所采集的圖像中運(yùn)動(dòng)目標(biāo)的位置是一個(gè)位于圖像坐標(biāo)系下的二維坐標(biāo),因此如何通過圖像序列將運(yùn)動(dòng)目標(biāo)在二維圖像坐標(biāo)系下的位置轉(zhuǎn)換到攝像機(jī)坐標(biāo)系下的三維坐標(biāo)是單目視覺定位所要解決的一個(gè)首要條件。在本實(shí)驗(yàn)中通過相似三角形原理實(shí)現(xiàn)了上述轉(zhuǎn)換。如圖10所示:X=Z/f×center(x);Y=Z/f×center(y);Z=objectsize/d×f;其中f為攝像機(jī)焦距,center(x)為在圖像坐標(biāo)系下運(yùn)動(dòng)目標(biāo)的中心x坐標(biāo),center(y)為運(yùn)動(dòng)目標(biāo)的中心y坐標(biāo),objectsize為運(yùn)動(dòng)目標(biāo)籃球的直徑,d為半徑。在本實(shí)驗(yàn)中通過對拍攝的一段空中運(yùn)動(dòng)的籃球軌跡進(jìn)行了重建,實(shí)驗(yàn)結(jié)果如圖11所示:2智能單目圖像跟蹤與運(yùn)動(dòng)目標(biāo)跟蹤本論文設(shè)計(jì)的基于鄰域線性搜索與卡爾曼濾波器相結(jié)合的跟蹤算法,不僅在跟蹤時(shí)間上減少了算法的迭代時(shí)間,而且有效地解決了由于攝像機(jī)本身精度的原因,在采集的相鄰兩幀圖像之間出現(xiàn)丟幀,運(yùn)動(dòng)目標(biāo)位置發(fā)生嚴(yán)重的突變,從而導(dǎo)致跟蹤失敗的問題,并且實(shí)現(xiàn)了單目視覺定位、運(yùn)動(dòng)目標(biāo)運(yùn)動(dòng)軌跡的三維重建,整個(gè)單目視覺跟蹤定位系統(tǒng)簡單便攜,在智能監(jiān)控、運(yùn)動(dòng)分析、虛擬現(xiàn)實(shí)等領(lǐng)域中有廣泛的應(yīng)用前景。令是圖像中待確定圓周上的點(diǎn)的集合,若該圓周的圓心坐標(biāo)為,半徑為r,則圓周在圖像空間中的方