一種多特征提取的實(shí)時(shí)魯棒圖像配準(zhǔn)算法

一種多特征提取的實(shí)時(shí)魯棒圖像配準(zhǔn)算法

1無(wú)人機(jī)錄像圖像旋轉(zhuǎn)的影響因素隨著傳感器成像能力的快速普及和成像，航空相機(jī)成像設(shè)備已經(jīng)成為推動(dòng)地面成像的主要手段，在戰(zhàn)場(chǎng)調(diào)查、公共安全、災(zāi)難分析、環(huán)境評(píng)估等領(lǐng)域發(fā)揮著重要作用。目前，手動(dòng)分析和處理航色圖像的內(nèi)容已成為計(jì)算機(jī)視覺(jué)、模式識(shí)別和智能視覺(jué)監(jiān)控的研究熱點(diǎn)和先鋒。實(shí)時(shí)、魯棒的圖像配準(zhǔn)是航拍視頻電子穩(wěn)像、全景圖拼接和地面運(yùn)動(dòng)目標(biāo)自動(dòng)檢測(cè)與跟蹤的前提和關(guān)鍵技術(shù),其目的是精確估計(jì)序列幀間的幾何變換關(guān)系.考慮到載臺(tái)運(yùn)動(dòng)、攝像機(jī)平移、旋轉(zhuǎn)、縮放等因素,航拍序列的圖像配準(zhǔn)需要解決下列問(wèn)題:(1)旋轉(zhuǎn)變化:載機(jī)轉(zhuǎn)彎、光電吊艙轉(zhuǎn)動(dòng)造成的圖像旋轉(zhuǎn)變化.(2)尺度變化:載機(jī)飛行高度差異、傳感器觀測(cè)鏡頭縮放帶來(lái)的圖像尺度變化.(3)亮度變化:光照與大氣狀況變化,以及攝像機(jī)自動(dòng)白平衡,使得航拍序列中同一地物的灰度發(fā)生較大畸變.(4)視頻抖動(dòng):由于無(wú)人機(jī)機(jī)身重量較輕,其運(yùn)動(dòng)特性比較復(fù)雜,在飛行過(guò)程中容易受到外界環(huán)境因素影響,采集到的視頻序列中往往出現(xiàn)抖動(dòng);為了從空中一定高度獲取地面的高分辨率影像,航空機(jī)載成像設(shè)備往往采用長(zhǎng)焦距鏡頭,這使得成像平臺(tái)的微小運(yùn)動(dòng)將引起圖像序列幀間的較大偏移,嚴(yán)重降低畫(huà)面的可視性.(5)場(chǎng)景變化:一方面,紋理豐富的復(fù)雜場(chǎng)景(如建筑物密集的城區(qū))中往往含有數(shù)量眾多的圖像特征,而過(guò)多的特征會(huì)影響算法的實(shí)時(shí)性;另一方面,紋理單一的場(chǎng)景(如田地)卻因?yàn)槿狈ψ銐蛱卣?引起配準(zhǔn)性能下降.(6)實(shí)時(shí)性:算法的處理速度是決定其能否實(shí)際應(yīng)用的關(guān)鍵.圖1給出航拍視頻中經(jīng)常出現(xiàn)的一些典型問(wèn)題示例,其中,圖1(a)-圖1(d)給出幀間可能出現(xiàn)的幾何變化和亮度畸變,包括:載機(jī)機(jī)動(dòng)造成圖像間出現(xiàn)大幅度的平移、旋轉(zhuǎn)、尺度變化(圖1(a),(b)),飛行中的載臺(tái)振動(dòng)引發(fā)的運(yùn)動(dòng)模糊(圖1(c)),環(huán)境亮度突變(圖1(d))等;圖1(e)給出一組場(chǎng)景復(fù)雜度變化下的航拍序列示例,該序列由無(wú)人機(jī)從低空獲取,拍攝的場(chǎng)景中交替出現(xiàn)了紋理和特征豐富的城區(qū)建筑(圖1(e),#289,#980),以及特征匱乏的農(nóng)田(圖1(e),#365,#607).可以看出,圖像的各類(lèi)畸變和場(chǎng)景復(fù)雜度的反差給穩(wěn)定的特征提取和匹配帶來(lái)嚴(yán)峻挑戰(zhàn),如何在上述復(fù)雜條件下,進(jìn)行精確、魯棒、實(shí)時(shí)的圖像配準(zhǔn)是機(jī)載成像偵查系統(tǒng)設(shè)計(jì)的關(guān)鍵.2局部不變特征描述許多經(jīng)典的航拍視頻配準(zhǔn)算法都基于光流約束,但該類(lèi)算法存在以下不足:首先,算法的推導(dǎo)建立在圖像序列的高頻采樣假設(shè)基礎(chǔ)上,即以某一點(diǎn)為中心的較小圖像窗口在幀間只有微小的平移量.當(dāng)無(wú)人機(jī)機(jī)動(dòng)、攝像機(jī)鏡頭擺動(dòng)造成圖像間存在較大位置、角度變化時(shí)(如圖1(a),(b)),算法性能會(huì)急劇降低;其次,光流約束方程是建立在色彩強(qiáng)度不變的假設(shè)之上,因此該類(lèi)算法對(duì)環(huán)境亮度變化、噪聲干擾等引起的圖像灰度畸變(如圖1(d))比較敏感.由于在圖像發(fā)生幾何變化和灰度畸變下表現(xiàn)出良好的穩(wěn)定性,近年來(lái),基于局部不變特征(Localinvariantfeature)的圖像配準(zhǔn)算法受到國(guó)內(nèi)外學(xué)者的普遍關(guān)注,所謂不變特征是指在圖像在幾何變化、光照變化、噪聲干擾時(shí)仍保持穩(wěn)定性的圖像局部特征點(diǎn)或特征區(qū)域,該類(lèi)算法的處理步驟主要包括不變特征檢測(cè)和不變特征描述兩部分.不變特征檢測(cè)的目的是在待匹配圖像上獨(dú)立檢測(cè)出內(nèi)容相同的區(qū)域.Lindeberg率先提出在歸一化高斯拉普拉斯尺度空間,通過(guò)局部極值檢測(cè)定位特征所在的位置和尺度.Lowe同時(shí)在圖像二維空間和雙高斯差圖像上(DifferenceofGaussian,DoG)進(jìn)行局部極值檢測(cè),確定關(guān)鍵點(diǎn),最終實(shí)現(xiàn)算子對(duì)尺度和方向的不變性,為了增加后繼匹配的穩(wěn)定性,Lowe在后處理中引入了去除低對(duì)比度和邊緣點(diǎn)、增加輔方向等機(jī)制.2002年,Matas提出了一種最大穩(wěn)定極值區(qū)域檢測(cè)算法MSER(MaximallyStableExtremalRegions),用一種類(lèi)似分水嶺算法的思路對(duì)相似區(qū)域進(jìn)行分割和定位特征.2006年Grabner采用箱濾波器快速的得到尺度空間,并提出一種Fast-Hessian檢測(cè)算法,采用海森矩陣定位特征.Mikolajczyk通過(guò)大量實(shí)驗(yàn)比較,指出尺度歸一化高斯拉普拉斯函數(shù)的極值是最穩(wěn)定的圖像特征,可精確定位不變特征位置和尺度.不變特征描述子是決定匹配性能的關(guān)鍵,描述子可區(qū)分性高低將決定圖像匹配的魯棒性.典型的局部不變特征描述子可以大致分為以下幾類(lèi):(1)基于直方圖分布的描述子.如SIFT、LBP(LocalBinaryPattern)、PCA-SIFT、SpinImages、GLOH(Gradientlocationandorientationhistogram)等;(2)基于變換域的描述子,如傅里葉變換、離散余弦變換、Gabor變換、小波變換等;(3)基于微分的描述子,如微分不變量,方向可調(diào)濾波器(Steerablefilter)等;(4)其它描述子,如不變矩等.做為一種性能優(yōu)異的不變特征配準(zhǔn)算法,SIFT算法受到國(guó)內(nèi)外學(xué)者的廣泛關(guān)注.Milolajczyk在光照變化、旋轉(zhuǎn)、縮放、模糊、壓縮等條件下對(duì)11種典型描述子進(jìn)行性能評(píng)估,結(jié)果表明SIFT描述子的性能最優(yōu).我們用10組航拍視頻序列對(duì)SIFT算法進(jìn)行測(cè)試,結(jié)果表明該算法可有效解決前述航拍序列配準(zhǔn)的問(wèn)題(1)～(4),即圖像幾何變化、亮度畸變和大幅度抖動(dòng),但是,SIFT算法仍難以克服問(wèn)題(5)、(6):一方面,由于需要用高斯卷積構(gòu)建圖像多尺度空間、加之高維描述子構(gòu)造與檢索等問(wèn)題,使得SIFT算法計(jì)算復(fù)雜,無(wú)法滿足系統(tǒng)在線實(shí)時(shí)處理的要求.另一方面,該算法的特征檢測(cè)數(shù)量和場(chǎng)景的復(fù)雜程度密切相關(guān),在紋理豐富的場(chǎng)景(如圖1(e),#298,#980)中,SIFT會(huì)提取出大量的特征點(diǎn),給后繼特征描述和匹配帶來(lái)沉重的計(jì)算負(fù)擔(dān);而對(duì)于紋理簡(jiǎn)單的場(chǎng)景(如圖1(e),#365,#607),檢測(cè)和匹配的特征點(diǎn)數(shù)急劇減少,匹配性能會(huì)降低.針對(duì)航拍視頻快速、穩(wěn)健配準(zhǔn)面臨的上述難點(diǎn)問(wèn)題,本文在對(duì)不變特征檢測(cè)和匹配的各個(gè)環(huán)節(jié)進(jìn)行優(yōu)化設(shè)計(jì)的基礎(chǔ)上,提出一種新的基于場(chǎng)景復(fù)雜度與不變特征的航拍視頻實(shí)時(shí)配準(zhǔn)算法,包括快速尺度空間構(gòu)建、基于場(chǎng)景復(fù)雜度的不變特征檢測(cè)、基于描述子誤差分布統(tǒng)計(jì)特性的特征搜索匹配和魯棒模型參數(shù)估計(jì)四部分(圖2).首先,針對(duì)航拍視頻序列中存在的圖像幾何變化、光照變化、抖動(dòng)等問(wèn)題(問(wèn)題1～問(wèn)題4),算法將多尺度Harris角點(diǎn)和SIFT描述子相結(jié)合,進(jìn)行不變特征點(diǎn)提取與匹配,并用RANSAC算法去除誤匹配點(diǎn),用LM算法優(yōu)化估計(jì)幀間變換模型參數(shù),保證了圖像匹配的精度和魯棒性;然后,針對(duì)場(chǎng)景復(fù)雜度變化下的檢測(cè)特征數(shù)量大幅波動(dòng)問(wèn)題(問(wèn)題5),算法通過(guò)計(jì)算圖像的多尺度Harris角點(diǎn)響應(yīng)分布,動(dòng)態(tài)估計(jì)當(dāng)前場(chǎng)景的復(fù)雜度,并以此精確控制檢測(cè)的特征點(diǎn)數(shù)目;最后,針對(duì)算法實(shí)時(shí)性問(wèn)題(問(wèn)題6),算法主要從以下四個(gè)方面加以解決:(1)用積分圖和均值濾波模擬高斯卷積,快速構(gòu)建圖像尺度空間;(2)以多尺度Harris角點(diǎn)響應(yīng)為依據(jù),在保證檢測(cè)特征點(diǎn)質(zhì)量的同時(shí),精確控制檢測(cè)特征點(diǎn)數(shù),從而降低后繼特征描述與匹配的復(fù)雜度;(3)在特征匹配時(shí),用SIFT描述子誤差分布的統(tǒng)計(jì)特性構(gòu)造級(jí)聯(lián)濾波器,在保證匹配結(jié)果的同時(shí),大幅度縮小特征搜索空間;(4)在參數(shù)估計(jì)時(shí),采用改進(jìn)的RANSAC算法,用預(yù)測(cè)的出格點(diǎn)概率動(dòng)態(tài)修正隨機(jī)采樣次數(shù),減少RANSAC迭代次數(shù),加快參數(shù)估計(jì)速度.3基于場(chǎng)景復(fù)雜度和不變特性的實(shí)時(shí)匹配算法3.1實(shí)驗(yàn)2:基于建立新多尺度空間考慮到載機(jī)飛行高度差異和傳感器觀測(cè)鏡頭縮放帶來(lái)的圖像尺度變化,檢測(cè)算法需要在多個(gè)可能的尺度上獨(dú)立檢測(cè)出不變特征點(diǎn),因此,在特征檢測(cè)前先要構(gòu)建尺度空間圖像.尺度空間理論是將圖像與某變換核進(jìn)行卷積運(yùn)算,得到基于該變換核的圖像序列.Koendetink和Lindeberg等學(xué)者證明具有線性、平移不變性、旋轉(zhuǎn)不變性的高斯卷積核是實(shí)現(xiàn)線性尺度空間的唯一變換核.但是,隨著高斯核窗寬的增大,高斯卷積的計(jì)算量會(huì)急劇增加,無(wú)法滿足在線處理的要求.根據(jù)中心極限定理,對(duì)一個(gè)重要函數(shù)族而言,將函數(shù)族中任意一個(gè)成員不斷與自己卷積,最終將生成一個(gè)高斯函數(shù).這意味著,如果我們選擇一個(gè)新的平滑核函數(shù),并且重復(fù)施加在圖像上,通過(guò)卷積的結(jié)合律性質(zhì),則最終的結(jié)果就像我們使用了高斯函數(shù)來(lái)平滑該圖像一樣.基于此,本文采用矩形核函數(shù)卷積和降采樣相結(jié)合的方式構(gòu)造圖像多尺度空間,并用積分圖加速計(jì)算.一幅二維圖像,在不同尺度下的尺度空間表示可近似由圖像與矩形核函數(shù)M卷積并亞采樣得到:L(x,y,σ,i)=↓M(x,y,σ)*L(x,y,i-1)(1)其中,L代表圖像的尺度空間,i代表尺度,(x,y)代表圖像的像素位置,σ代表均值濾波的窗寬半徑,σ值越小,表示圖像被平滑的越少,相應(yīng)的尺度也就越小.大尺度對(duì)應(yīng)于圖像的概貌特征,小尺度對(duì)應(yīng)于圖像的細(xì)節(jié)特征.為了加速計(jì)算,在對(duì)第i級(jí)圖像L(x,y,i)進(jìn)行卷積前,首先計(jì)算L(x,y,i)對(duì)應(yīng)的積分圖S(x,y,i),從而式(1)可以改寫(xiě)為式(2),且均值濾波的計(jì)算量與窗寬大小無(wú)關(guān).尺度空間的階數(shù)O由圖像大小和亞采樣率R共同決定.在沒(méi)有圖像縮放比率的先驗(yàn)信息時(shí),本文實(shí)驗(yàn)中采用固定的亞采樣率R,根據(jù)圖像大小計(jì)算階數(shù)O:式中s為圖像亞采樣后的最小尺寸.實(shí)驗(yàn)中,對(duì)于原始大小為320×240的圖像序列,給定亞采樣率R=1.414,s=20,則可構(gòu)造一個(gè)6階的多尺度空間.實(shí)驗(yàn)表明,上述尺度空間構(gòu)建算法不僅大幅度減少了計(jì)算量,而且精度可以滿足后繼特征檢測(cè)和匹配的要求.3.2基于積分圖的角點(diǎn)檢測(cè)算法考慮到拍攝景物、地貌的差異,航拍視頻序列中經(jīng)常出現(xiàn)場(chǎng)景復(fù)雜度交替變化的情況(如圖1e所示).由于在設(shè)計(jì)時(shí)缺乏對(duì)場(chǎng)景具體特性的考慮,許多圖像配準(zhǔn)算法在特征檢測(cè)時(shí)往往采用預(yù)先設(shè)置的固定參數(shù),使得該類(lèi)算法的檢測(cè)、匹配性能和處理速度會(huì)隨著場(chǎng)景復(fù)雜度大幅度波動(dòng),無(wú)法滿足無(wú)人機(jī)系統(tǒng)在線實(shí)時(shí)處理的要求.與之不同,我們認(rèn)為,針對(duì)航拍視頻序列配準(zhǔn)設(shè)計(jì)的特征檢測(cè)算子應(yīng)同時(shí)具有以下三個(gè)特點(diǎn):(1)可重復(fù)性,(2)可區(qū)分性,(3)場(chǎng)景自適應(yīng)性.可重復(fù)性反映的是圖像發(fā)生幾何和灰度變化時(shí),算子獨(dú)立檢測(cè)出相同圖像區(qū)域的能力,可重復(fù)性越高,則可能被匹配的點(diǎn)數(shù)越大;可區(qū)分性指的是檢測(cè)的特征點(diǎn)具有獨(dú)特的紋理,特征可區(qū)分性越強(qiáng),則匹配的魯棒性越高;場(chǎng)景自適應(yīng)性指的是算子參數(shù)可隨著場(chǎng)景復(fù)雜度動(dòng)態(tài)調(diào)整,在各種場(chǎng)景中均能精確控制輸出特征點(diǎn)的數(shù)量和質(zhì)量,該特性對(duì)整個(gè)算法的匹配速度至關(guān)重要.基于此,本節(jié)提出一種基于場(chǎng)景復(fù)雜度的不變特征檢測(cè)算法,將多尺度Harris角點(diǎn)響應(yīng)作為場(chǎng)景復(fù)雜度的依據(jù),根據(jù)響應(yīng)分布函數(shù)在線動(dòng)態(tài)估計(jì)最優(yōu)參數(shù),在保證算子可重復(fù)性和可區(qū)分性同時(shí),精確控制檢測(cè)的特征點(diǎn)數(shù)量,滿足特征描述和匹配對(duì)精度和實(shí)時(shí)性的要求.作為一種重要的圖像局部特征,角點(diǎn)具有豐富的紋理和良好的可區(qū)分性.Harris算子利用局部自相關(guān)函數(shù)矩陣M的特征值檢測(cè)角點(diǎn),具有良好的旋轉(zhuǎn)和亮度仿射不變性,不受攝像機(jī)姿態(tài)及光照的影響.但該算子對(duì)圖像的尺度變化比較敏感,當(dāng)無(wú)人機(jī)飛行高度發(fā)生變化、或者攝像機(jī)鏡頭縮放時(shí),不能保持檢測(cè)特征的可重復(fù)性.因此,本文在特征檢測(cè)時(shí),首先采用積分圖快速構(gòu)建尺度空間圖像(見(jiàn)第3.1節(jié)),然后采用多尺度Harris角點(diǎn)檢測(cè)算法,在多個(gè)尺度上進(jìn)行角點(diǎn)檢測(cè):式(4)中M(x,y,i)為圖像在尺度i上的局部自相關(guān)函數(shù)矩陣,L(x,y,i)x和L(x,y,i)y代表尺度i上(x,y)點(diǎn)的水平和垂直梯度,w(x,y)為高斯窗,用于降低矩形窗帶來(lái)的噪聲干擾.矩陣M(x,y,i)的兩個(gè)特征值λ1,λ2和局部自相關(guān)函數(shù)的主曲率成正比.當(dāng)兩個(gè)特征值都高時(shí),局部自相關(guān)函數(shù)是尖峰狀,窗口強(qiáng)度在任意方向上移動(dòng)都會(huì)增加,這就表示是角點(diǎn).為了回避特征值的計(jì)算,Harris的角點(diǎn)響應(yīng)R采用式(5):R(x,y,i)=detM(x,y,i)-λ·(traceM(x,y,i))2(5)式中detM=λ1λ2,traceM=λ1+λ2,λ是經(jīng)驗(yàn)常數(shù),通常取0.04～0.06.在獲得多尺度圖像的角點(diǎn)響應(yīng)后,傳統(tǒng)的角點(diǎn)提取算法一般選取角點(diǎn)周?chē)囊粋€(gè)圓形模板,通過(guò)比較中心點(diǎn)和模板其他點(diǎn)的響應(yīng)值,提取響應(yīng)的局部極值點(diǎn).由于不考慮圖像的自身特點(diǎn),對(duì)于紋理豐富的場(chǎng)景,該算法會(huì)檢測(cè)出數(shù)量眾多的角點(diǎn),不僅嚴(yán)重降低了后繼特征描述和匹配的速度,而且使大量的計(jì)算浪費(fèi)在可區(qū)分性差的低質(zhì)量角點(diǎn)上.與傳統(tǒng)算法不同,本文在非極大值抑制時(shí),引入一個(gè)根據(jù)場(chǎng)景圖像的復(fù)雜度自適應(yīng)調(diào)整的參數(shù)T(k),并根據(jù)下式檢測(cè)特征點(diǎn):式中c(x,y,i)表示尺度i上檢測(cè)的角點(diǎn),R(x,y,i)和R(x′,y′,i)分別表示模板中心點(diǎn)和非中心點(diǎn)的角點(diǎn)響應(yīng)值.T(k)表示序列中第k幀的非極大值抑制閾值,它決定了圓形模板中心點(diǎn)和模板其他點(diǎn)的角點(diǎn)響應(yīng)差別,T(k)值越大,表明特征點(diǎn)的角點(diǎn)響應(yīng)與周?chē)床钤酱?局部角點(diǎn)響應(yīng)空間分布呈明顯的單峰分布,相應(yīng)的,提取的特征數(shù)量減少;反之,T(k)值減小,提取的特征數(shù)量會(huì)增加.在線處理時(shí),參數(shù)T(k)會(huì)根據(jù)場(chǎng)景復(fù)雜度和擬檢測(cè)的特征點(diǎn)數(shù)K動(dòng)態(tài)選取.綜上,基于場(chǎng)景復(fù)雜度的不變特征檢測(cè)算法計(jì)算過(guò)程如下:(1)對(duì)于輸入圖像,用式(1)(2)快速構(gòu)建尺度空間,并用式(5)(6)計(jì)算圖像多尺度Harris角點(diǎn)響應(yīng);(2)遍歷整個(gè)尺度空間,計(jì)算每一個(gè)象素的局部角點(diǎn)響應(yīng)差異ψ(x,y,i)j的最小值ψ(x,y,i):(3)遍歷結(jié)束后,計(jì)算離散型隨機(jī)變量ψ(x,y,i)的概率p(ψ)和分布函數(shù)F(ψ):p(ψ)=nψΝ?F(ψ)=p(ψ)=nψN?F(ψ)=∑t≤ψp(t)(9)式中nψ表示角點(diǎn)響應(yīng)差異為ψ的象素?cái)?shù)目,N是尺度空間圖像中象素的總數(shù).(4)根據(jù)分布函數(shù)F(ψ)和擬檢測(cè)的特征點(diǎn)數(shù)K,計(jì)算當(dāng)前幀最優(yōu)的特征點(diǎn)檢測(cè)閾值T(k):Τ(k)=argminψ(F(ψ)＞1-Κ/Ν)(10)(5)將閾值T(k)帶入式(6),重新遍歷尺度空間,檢測(cè)出角點(diǎn)響應(yīng)差異最高的前K個(gè)高質(zhì)量特征點(diǎn)的位置和對(duì)應(yīng)的特征尺度.在線配準(zhǔn)時(shí),當(dāng)給定擬檢測(cè)的特征點(diǎn)數(shù)K后,上述算法可根據(jù)當(dāng)前拍攝場(chǎng)景的復(fù)雜度,動(dòng)態(tài)選擇最優(yōu)閾值T(k),在保證檢測(cè)特征點(diǎn)質(zhì)量的同時(shí)精確控制特征點(diǎn)數(shù),確保了系統(tǒng)在各種地貌環(huán)境下圖像匹配的實(shí)時(shí)性和穩(wěn)定性.3.3圖像多尺度特征點(diǎn)的提取在采用第上節(jié)檢測(cè)算法得到特征點(diǎn)的位置和尺度信息后,需要對(duì)特征點(diǎn)鄰域圖像進(jìn)行提取和規(guī)范化,盡量降低圖像間可能存在的尺度縮放、旋轉(zhuǎn)的影響,獲得內(nèi)容一致的子圖像.本文從特征點(diǎn)所在的尺度圖像L(x,y,i)上選擇矩形鄰域作為支撐區(qū)域,計(jì)算128維SIFT描述子.由于維數(shù)較高,直接用128維SIFT描述子做特征匹配時(shí)運(yùn)算量大,不適于航拍視頻的實(shí)時(shí)配準(zhǔn).作者通過(guò)大量實(shí)驗(yàn),發(fā)現(xiàn)正確匹配點(diǎn)對(duì)的SIFT描述子形狀具有很強(qiáng)的相似性,其統(tǒng)一形態(tài)特征的誤差呈現(xiàn)明顯的高斯分布.依據(jù)該特性,本文提出一種新的搜索匹配策略,其基本思想是根據(jù)離線訓(xùn)練的描述子各維特征的誤差分布,設(shè)計(jì)一個(gè)級(jí)聯(lián)分類(lèi)器,在匹配時(shí)濾除誤匹配點(diǎn).為了獲得匹配點(diǎn)描述子的誤差分布,同時(shí)驗(yàn)證這種誤差分布具有良好的穩(wěn)定性,我們從CMU的捕食者無(wú)人機(jī)航拍視頻數(shù)據(jù)庫(kù)和部分自建數(shù)據(jù)庫(kù)中,挑選了多組有表性的航拍視頻序列進(jìn)行測(cè)試.視頻序列中包含了不同地貌環(huán)境、不同飛行高度、不同運(yùn)動(dòng)模式、不同光照變化等情況(見(jiàn)圖5,No.1～No.6).在計(jì)算時(shí),先采用本文提出的基于時(shí)空相關(guān)的自適應(yīng)特征檢測(cè)算法,定位出圖像多尺度特征點(diǎn);然后用SIFT描述子對(duì)規(guī)范化的支撐區(qū)域進(jìn)行特征描述;在特征匹配時(shí),采用RANSAC算法進(jìn)一步去圖像中的誤匹配點(diǎn).用?i和?′i分別代表一對(duì)正確匹配點(diǎn)的描述子,則匹配點(diǎn)描述子誤差εi和描述子方差的誤差εVari分別為:方差表示的是描述子各維特征的離散程度,它包含了描繪子特征形狀的整體信息,因此,比較兩個(gè)描述子方差的差異可以從宏觀上判定描述子之間的相似性,而分析描述子每一維的誤差則從微觀上刻畫(huà)描述子特征向量的相似性.在實(shí)驗(yàn)中,用本文算法對(duì)三組捕食者無(wú)人機(jī)航拍序列進(jìn)行自動(dòng)特征檢測(cè)與匹配,共得到6,2117對(duì)正確匹配點(diǎn),每一對(duì)正確匹配點(diǎn)包含兩個(gè)128維描述子.分別計(jì)算所有匹配點(diǎn)對(duì)的匹配點(diǎn)描述子誤差εi和描述子方差的誤差evari.其中εi共計(jì)6,2117×128個(gè)樣本,描述子方差εvari共計(jì)6,2117個(gè)樣本.圖3分別給出兩種誤差的分布曲線,航拍圖像的統(tǒng)計(jì)結(jié)果表明,匹配點(diǎn)描述子和描述子方差的相對(duì)誤差εi和evari均表現(xiàn)出明顯的“單峰性”、“對(duì)稱性”和“有界性”(見(jiàn)圖3),誤差分布近似于一個(gè)高斯分布.其中98.9%的匹配點(diǎn)對(duì)描述子方差的誤差evari落在區(qū)間[-0.5×10-4,0.5×10-4]中,99.8%的匹配點(diǎn)對(duì)描述子誤差ei落在區(qū)間[-0.02,0.02]中.基于此,算法在匹配時(shí)先計(jì)算描述子的形態(tài)特征,并據(jù)此快速濾除無(wú)關(guān)特征點(diǎn).圖4給出快速匹配算法流程圖.其中Tvar和Te分別表示描述子方差和每一維的誤差閾值,該參數(shù)由正確匹配點(diǎn)的統(tǒng)計(jì)分布給出(見(jiàn)圖3).實(shí)驗(yàn)結(jié)果表明,該方法可在在保證匹配性能不變的同時(shí),快速濾除大量無(wú)關(guān)誤匹配點(diǎn),減少搜索空間,提高特征搜索配速度,詳細(xì)實(shí)驗(yàn)分析參見(jiàn)第4節(jié)圖7.3.4估計(jì)匹配點(diǎn)的確定和迭代優(yōu)化模型參數(shù)的魯棒估計(jì)是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)核心問(wèn)題,其關(guān)鍵在于對(duì)不符合實(shí)際模型的“出格點(diǎn)(outliers)”的處理上.本文采用RANSAC算法去除誤匹配點(diǎn).并采用實(shí)際匹配點(diǎn)與估計(jì)匹配點(diǎn)之間的歐式距離作為判決準(zhǔn)則,確定內(nèi)點(diǎn)和出格點(diǎn),其中變換模型選用仿射模型.在基本的RANSAC算法中,重復(fù)抽樣次數(shù)K由外點(diǎn)概率ε,抽樣點(diǎn)對(duì)數(shù)S和K次抽樣至少有一次全部為內(nèi)點(diǎn)的概率P得到,這種固定抽樣次數(shù)的方法會(huì)嚴(yán)重影響估計(jì)算法的處理速度,為此本文采用文獻(xiàn)中改進(jìn)的RANSAC算法,在抽樣結(jié)束后根據(jù)當(dāng)前內(nèi)點(diǎn)的個(gè)數(shù)動(dòng)態(tài)更新出格點(diǎn)概率和采樣次數(shù),加快算法速度.為了進(jìn)一步提高配準(zhǔn)精度,本文在去除誤匹配點(diǎn)后,先用最小二乘法估計(jì)幀間仿射模型參數(shù),提供較為精確的迭代優(yōu)化初始值,然后用LM算法對(duì)變換模型參數(shù)進(jìn)行迭代優(yōu)化.4照片照片配準(zhǔn)和圖像增穩(wěn)以本文算法為核心,用VC++6.0開(kāi)發(fā)了一個(gè)實(shí)時(shí)航拍視頻序列配準(zhǔn)、鑲嵌與電子穩(wěn)像系統(tǒng).系統(tǒng)硬件配置為IntelCore(TM)2DuoCPUE8400@3.0GHz,2GDDR2內(nèi)存.對(duì)10組無(wú)人機(jī)航拍視頻序列的測(cè)試結(jié)果表明,系統(tǒng)可在各類(lèi)場(chǎng)景中穩(wěn)定、準(zhǔn)確、實(shí)時(shí)的進(jìn)行圖像配準(zhǔn)和增穩(wěn),對(duì)320×240的航拍序列的平均速度達(dá)到20.7幀/秒.本節(jié)首先從不同場(chǎng)景下的特征點(diǎn)檢測(cè)數(shù)量、正確匹配點(diǎn)數(shù)和計(jì)算時(shí)間三方面對(duì)本文算法進(jìn)行定量性能評(píng)估,并給出算法對(duì)航拍視頻序列的實(shí)時(shí)匹配和鑲嵌結(jié)果;然后用包含不同復(fù)雜度場(chǎng)景的航拍視頻序列做測(cè)試數(shù)據(jù),將本文算法與SIFT算法進(jìn)行分析比較.4.1自適應(yīng)檢測(cè)算法驗(yàn)證在實(shí)驗(yàn)中選用圖5所示的10組無(wú)人機(jī)航拍視頻序列作為測(cè)試庫(kù),測(cè)試數(shù)據(jù)來(lái)自卡耐基梅隆大學(xué)的VSAM捕食者無(wú)人機(jī)數(shù)據(jù)庫(kù)(圖5,No.1-No.7)和自建無(wú)人機(jī)航拍視頻數(shù)據(jù)庫(kù)(圖5,No.10).測(cè)試序列共計(jì)7255幀,分辨率為320×240,拍攝的場(chǎng)景涵蓋紋理簡(jiǎn)單的鄉(xiāng)間公路和田野(圖5,No.1～No.4,No.8),紋理豐富的城區(qū)建筑物(圖5,No.6～No.9,No.10),拍攝目標(biāo)有地面運(yùn)動(dòng)的車(chē)輛(圖5,No.1～No.7)、坦克和行人(圖5,No.8),序列中圖像間包括大幅度抖動(dòng)、角度旋轉(zhuǎn)、尺度縮放、亮度突變以及視角變化等情況.首先選用第六組測(cè)試序列(圖5,No.6),分析比較固定閾值和基于場(chǎng)景復(fù)雜度的自適應(yīng)閾值的特征點(diǎn)檢測(cè)算法性能.序列No.6是一段美國(guó)捕食者無(wú)人機(jī)對(duì)地面車(chē)輛的跟蹤拍攝視頻,序列長(zhǎng)度為1518幀,拍攝場(chǎng)景中包括森林、草地、田野、公路、城市建筑等,圖像的復(fù)雜度始終發(fā)生動(dòng)態(tài)變化.試驗(yàn)中,分別選擇三組固定的非極大值閾值T和本文自適應(yīng)檢測(cè)算法進(jìn)行比較,其中T的取值分別為T(mén)=5,T=20,T=50.圖6(a)和圖6(b)分別給出檢測(cè)特征點(diǎn)數(shù)和非極大值抑制的閾值T隨時(shí)間變化的曲線.可以看出,固定閾值的方法(圖6(a))檢測(cè)的特征點(diǎn)數(shù)與場(chǎng)景復(fù)雜度密切相關(guān),波動(dòng)幅度大.對(duì)于包含建筑物等紋理豐富場(chǎng)景,特征點(diǎn)數(shù)會(huì)急劇上升(圖6(a),第310幀),增加了后繼特征描述和匹配的計(jì)算負(fù)擔(dān);而對(duì)于草地、田野等紋理簡(jiǎn)單的場(chǎng)景,該類(lèi)算法的檢測(cè)點(diǎn)數(shù)又迅速降低(圖6(a),第500幀,第1250幀),無(wú)法保證穩(wěn)定、可靠的匹配.此外,該類(lèi)算法難以選擇一個(gè)合適的參數(shù)去適應(yīng)場(chǎng)景的變化.與之不同,本文算法能夠場(chǎng)景復(fù)雜度實(shí)時(shí)、動(dòng)態(tài)的選擇最優(yōu)的自適應(yīng)閾值(圖6(b)),當(dāng)場(chǎng)景復(fù)雜時(shí)升高閾值,反之則降低,從而在各種場(chǎng)景下檢測(cè)的特征點(diǎn)數(shù)始終保持不變(圖6(a)),這一獨(dú)特優(yōu)點(diǎn)保證了后繼的特征描述和匹配的實(shí)時(shí)性和魯棒性.為了分析基于描述子誤差分布的級(jí)聯(lián)濾波算法性能,我們選擇了10對(duì)航拍圖像,分辨率為320×240,并采用本文提出的特征點(diǎn)檢測(cè)算法,精確控制檢測(cè)特征點(diǎn)數(shù),分析級(jí)聯(lián)濾波前后匹配性能的變化.實(shí)驗(yàn)中檢測(cè)點(diǎn)數(shù)分別設(shè)置為200,400,800和1600,從圖7可以看出,級(jí)聯(lián)濾波前后,平均匹配點(diǎn)數(shù)幾乎不發(fā)生改變(圖7(a)),而平均匹配時(shí)間明顯減少(圖7(b)).當(dāng)檢測(cè)特征點(diǎn)數(shù)為1600時(shí),級(jí)聯(lián)濾波可使匹配時(shí)間從2500ms降低至1500ms,計(jì)算時(shí)間減少了40%,而匹配點(diǎn)數(shù)僅有輕微下降.上述分析結(jié)果表明,基于描述子誤差分布特性設(shè)計(jì)的級(jí)聯(lián)濾波可在保證匹配性能的同時(shí)降低匹配時(shí)間.為了進(jìn)一步獲得算法配準(zhǔn)性能的統(tǒng)計(jì)結(jié)果,用圖5所示十組航拍序列對(duì)算法進(jìn)行測(cè)試,測(cè)試圖像序列共計(jì)7255幀,分辨率為320×240,拍攝的場(chǎng)景涵蓋鄉(xiāng)間公路、田野、建筑物,拍攝目標(biāo)有車(chē)輛、坦克和行人,實(shí)驗(yàn)中檢測(cè)特征點(diǎn)數(shù)設(shè)置為150.圖8給出部分特征匹配結(jié)果示例,包括圖像的復(fù)雜度變化(見(jiàn)圖8(a),(b))、幾何變化(圖8(c)～(f))等情況,圖中用圓圈標(biāo)明不變特征的支撐區(qū)域,直線標(biāo)明匹配的特征點(diǎn)對(duì).表1詳細(xì)給出算法在不同場(chǎng)景下的匹配點(diǎn)數(shù)和處理速度.其中,定義匹配點(diǎn)比率=匹配點(diǎn)對(duì)/檢測(cè)特征點(diǎn)數(shù),該參數(shù)值越高,表明檢測(cè)的特征點(diǎn)可重復(fù)性和可區(qū)分性越強(qiáng).可以看出,本文算法在各種場(chǎng)景下均能夠找到足夠數(shù)量的匹配點(diǎn)(表1,第四列):對(duì)測(cè)試的十組序列,匹配點(diǎn)數(shù)最低為49.03(表1,No.9),最高為85.21(表1,No.6),對(duì)整個(gè)測(cè)試序列的7255幀圖像平均匹配點(diǎn)對(duì)為67.44(表1,最后1行,第4列),平均匹配點(diǎn)比率達(dá)到44.83%(表1,最后1行,第5列),取得了令人滿意的結(jié)果.在處理速度方面,算法的計(jì)算量不隨場(chǎng)景的復(fù)雜度發(fā)生改變,能夠在各種地貌條件下快速、穩(wěn)定的進(jìn)行圖像配準(zhǔn),對(duì)7255幀320x240的測(cè)試序列平均計(jì)算時(shí)間為48.53ms(表1,最后1行,第6列),平均處理速度達(dá)到20.7幀/秒(表1,最后1行,第7列),完全能夠滿足航拍視頻實(shí)時(shí)配準(zhǔn)的要求.4.2sift的匹配算法本節(jié)將本文算法與SIFT算法用于航拍序列配準(zhǔn),從檢測(cè)特征點(diǎn)數(shù)、處理速度等方面進(jìn)行性能評(píng)估.實(shí)驗(yàn)中SIFT算法采用Lowe發(fā)布的C語(yǔ)言編寫(xiě)的應(yīng)用程序.圖9給出兩種算法對(duì)第10組航拍序列(圖5,No.10)的處理結(jié)果,圖像分辨率為320×240,序列長(zhǎng)度1632幀,該序列中交替出現(xiàn)了紋理簡(jiǎn)單田地和紋理復(fù)雜的建筑物.可以看出,