sif特征匹配在遙感影像自動配準中的應(yīng)用

sif特征匹配在遙感影像自動配準中的應(yīng)用

1遙感圖像配準實驗圖像的適應(yīng)是大多數(shù)領(lǐng)域的一個基本問題。比如遙感、醫(yī)學、計算機視覺和其他。在遙感領(lǐng)域,實現(xiàn)圖像融合、變化檢測、圖像校正、圖像鑲嵌等應(yīng)用中,圖像配準都是必不可少的一個關(guān)鍵步驟。由于遙感信息量大,應(yīng)用范圍廣,因此實現(xiàn)自動配準一直是人們追求的目標。提取和匹配圖像特征是實現(xiàn)圖像自動配準的一個重要環(huán)節(jié),關(guān)于這個問題的研究,文獻中已有大量報道,如文獻。典型的流程是:首先在待配準的圖像中分別選取一些顯著特征,如封閉區(qū)域、邊緣、線段交點、角點等,然后確定這些特征的對應(yīng)關(guān)系。用于特征匹配的特征描述子和相似性度量標準有很多,如灰度相關(guān)、二值圖像相關(guān)、鏈碼相關(guān)、結(jié)構(gòu)匹配、斜面匹配、不變矩之間的距離、動態(tài)規(guī)劃和松弛法等等,然而,對于遙感影像來說,由于成像條件和場景的復(fù)雜性,這些現(xiàn)有的技術(shù)仍然難以可靠地解決圖像特征的對應(yīng)問題。近幾年來,在計算機視覺領(lǐng)域,基于局部不變量描述子(LocalInvariantDescriptor)的方法在目標識別和匹配方面取得了顯著的進展。Mikolajczyk和Schmid針對不同的場景,對光照變化、圖像幾何變形、分辨率差異、旋轉(zhuǎn)、模糊和圖像壓縮等6種情況,就多種最具代表性的描述子(如SIFT,矩不變量,互相關(guān)等10種描述子)進行了實驗和性能比較,結(jié)果表明,在以上各種情況下,SIFT描述子的性能最好。SIFT最初是作為一種關(guān)鍵點的特征提出來的,這種特征對圖像的尺度變化和旋轉(zhuǎn)是不變量,而且對光照的變化和圖像變形具有較強的適應(yīng)性,同時,這種特征還具有較高的辨別能力,有利于后續(xù)的匹配。正是借助于這些特點,使得傳統(tǒng)圖像配準中的許多諸如前面提到的共性問題得到了很大程度的改善?；赟IFT描述子的匹配方法已被成功地應(yīng)用到了很多領(lǐng)域,如目標識別、全景圖拼接,從運動恢復(fù)結(jié)構(gòu)等。然而,就所能查閱的文獻看,目前還沒有SIFT在遙感圖像配準問題中的應(yīng)用研究。本文旨在研究SIFT在遙感圖像配準中的性能。其次,本文還給出了一種針對遙感影像的具體匹配方法。針對遙感平臺的高度比成像目標的高度要大得多的特點,本文采用整體幾何約束來檢驗匹配的正確性,不僅提高了匹配的可靠性,而且具有實現(xiàn)簡單的特點。最后,本文給出了部分航空和航天遙感影像在不同的變形、不同的光照變化和不同分辨率下的配準實驗結(jié)果。實驗結(jié)果表明,基于SIFT特征的方法應(yīng)用于遙感圖像配準中,同樣具有精度高、魯棒性強、穩(wěn)定性高、速度快等優(yōu)點,可望為遙感圖像實現(xiàn)自動配準提供一些參考。2sift屬性SIFT特征的構(gòu)造方法包括關(guān)鍵點的檢測和描述子的構(gòu)造兩部分。2.1小尺度高斯用戶圖像的制備為了使特征具有尺度不變性,關(guān)鍵點檢測是在多尺度空間完成的。關(guān)于多尺度空間理論和尺度不變性理論可參看文獻和。主要原理為:將輸入圖像通過不同尺度(σ)的高斯核函數(shù)連續(xù)濾波和下采樣(Sub-Sampled),形成高斯金字塔圖像,然后再對相鄰尺度的兩個高斯圖像相減得到DoG(Difference-of-Gaussians)金字塔多尺度空間表示。對DOG尺度空間每個點與相鄰尺度和相鄰位置的點逐個進行比較,得到的局部極值位置即為關(guān)鍵點所處的位置和對應(yīng)的尺度。另外,通過曲面擬合的方法可以對關(guān)鍵點進行進一步的精確定位。2.2sift描述子的構(gòu)造在構(gòu)造SIFT描述子之前首先為每個關(guān)鍵點賦予一個主方向。主方向是指關(guān)鍵點鄰域內(nèi)各點梯度方向的直方圖中最大值所對應(yīng)的方向。后續(xù)的描述子構(gòu)造均以該方向為參照,這樣所構(gòu)造的描述子具有旋轉(zhuǎn)不變性。描述子的構(gòu)造過程為:對任意一個關(guān)鍵點,在其所在的尺度空間(即高斯金字塔結(jié)構(gòu)的某一層),取以關(guān)鍵點為中心的16像素×16像素大小的鄰域,再將此鄰域均勻地分為4×4個子區(qū)域(每個子區(qū)域大小為4像素×4像素),對每個子區(qū)域計算梯度方向直方圖(直方圖均勻分為8個方向)。然后,對4×4個子區(qū)域的8方向梯度直方圖根據(jù)位置依次排序,這樣就構(gòu)成了一個4×4×8=128維的向量,該向量就是SIFT描述子。其中,第1維對應(yīng)于第一個子區(qū)域的第一個梯度方向,第2維對應(yīng)于第一個子區(qū)域的第2個梯度方向,第9維對應(yīng)于第二個子區(qū)域的第一個梯度方向,依次類推。2.3算法的穩(wěn)定性分析從理論上說,SIFT是一種相似不變量,即對圖像尺度變化和旋轉(zhuǎn)是不變量。然而,由于構(gòu)造SIFT特征時,在很多細節(jié)上進行了特殊處理,使得SIFT對圖像的復(fù)雜變形和光照變化具有了較強的適應(yīng)性,同時運算速度比較快,定位精度比較高。如:●在多尺度空間采用DOG算子檢測關(guān)鍵點,相比傳統(tǒng)的基于LoG(LaplacianofGaussian)算子的檢測方法,運算速度大大加快;●關(guān)鍵點的精確定位不僅提高了精度,而且大大提高了關(guān)鍵點的穩(wěn)定性;●在構(gòu)造描述子時,以子區(qū)域的統(tǒng)計特性,而不是以單個像素作為研究對象,提高了對圖像局部變形的適應(yīng)能力;●對于16×16的關(guān)鍵點鄰域和4×4的子區(qū)域,在處理梯度幅度時都進行了類似于高斯函數(shù)的加權(quán)處理,強化了中心區(qū)域,淡化了邊緣區(qū)域的影響,從而提高了算法對幾何變形的適應(yīng)性;●該方法不僅對通用的線性光照模型具有不變性,而且對復(fù)雜的光照變化亦具有一定的適應(yīng)性。關(guān)于這部分內(nèi)容的細節(jié),可參看文獻。3ransac方法在文獻中,采用SIFT特征匹配和聚類的方法,來解決目標的識別問題。本文給出一種基于SIFT描述子的圖像配準方法。對遙感圖像的自動配準而言,希望能確定盡量多的、比較精確的且分布比較均勻的關(guān)鍵點,然后通過數(shù)據(jù)擬合來減少整體誤差。本文所采用的方法是:首先根據(jù)最近鄰(NN)和第二近鄰(SCN)的距離之比(NN/SCN),選擇那些可靠性較高的匹配點對來計算幾何約束模型,然后,在這個幾何模型的約束下,再對其余可能的匹配點對進行驗證,來擴展更多的匹配點對;最后去除由于圖像自相似或?qū)ΨQ性造成的可能的錯誤匹配點對。具體步驟如下:(1)對NN/SCN設(shè)定較小的閾值(在本文的實驗中取NN/SCN∈[0.6,0.7]),如果SIFT描述子之間的歐氏距離小于這個閾值,確定為可能的匹配點對。(2)應(yīng)用RANSAC(RandomSampleConsensus)魯棒方法,通過幾何一致性檢驗,去除Outliers,并初步估計幾何約束模型。采用的幾何模型為:●對于近似同一視點獲取的圖像,采用單應(yīng)矩陣(HomographyMatrix)約束模型?！駥τ诓煌朁c獲取的圖像,采用基本矩陣(FundamentalMatrix)約束模型。(3)確定更多的匹配點對。除了根據(jù)NN/SCN確定的匹配點對外,這一步對其余的、僅僅根據(jù)最近鄰距離(NN)確定的可能的匹配點對進行判斷。如果這些點對滿足第二步計算出來的基本矩陣或者單應(yīng)矩陣約束條件,判斷為匹配對,否則予以剔除。(4)調(diào)整匹配點對的局部分布。通過數(shù)據(jù)點來擬合幾何模型時,為了提高精度,通常希望這些數(shù)據(jù)點能在圖像中盡量均勻地分布。由于第三步得到的匹配點對大部分都是正確的,這里可以在一定鄰域內(nèi)保留任意一個關(guān)鍵點,而把分布比較密集的其他關(guān)鍵點去除。(5)計算精確的幾何約束模型。對已經(jīng)確定的所有可能的匹配點對,設(shè)定較小的容差(ErrorTolerance),再一次應(yīng)用RANSAC方法進行幾何一致性檢驗。將少數(shù)精度較低的匹配點對當作Outliers去除。(6)不同視點圖像對應(yīng)點對的進一步驗證(僅對不同視點的圖像而言)。不同于單應(yīng)矩陣約束,對于不同視點的圖像配準問題,由于極線約束并不能建立關(guān)鍵點的一一對應(yīng)關(guān)系,而遙感場景中自相似結(jié)構(gòu)或?qū)ΨQ結(jié)構(gòu)是經(jīng)常出現(xiàn)的,因此,需要進一步去除由于這些因素造成的錯誤匹配對。通常,遙感平臺的高度比成像目標的高度要大很多,這樣,可將地面成像目標近似看作處于同一平面。在這種假設(shè)下,圖像之間近似滿足單應(yīng)矩陣約束。對于航天遙感圖像來說,這種近似比較好,但對于航空遙感圖像來說,由于航空遙感平臺的高度比航天平臺要低得多,地形起伏的影響比較大,因此這種近似效果相對較差。本文所采取的策略是多次采用單應(yīng)矩陣約束來選擇Inliers。該方法基于這樣的假設(shè):假設(shè)這些匹配點近似分布于空間的某幾個平面內(nèi),這樣,對于同一個平面上的點來說,滿足某一單應(yīng)矩陣約束條件。具體實現(xiàn)步驟是:第一次先用RANSAC方法采用單應(yīng)矩陣模型選擇出部分Inliers,把這些點看作近似處于同一平面;再對其余點對用同樣的方法選擇出另一部分Inliers,把這些點看作近似處于另一個平面,這樣重復(fù)多次,直到剩余的點少于設(shè)定的某個閾值為止。實驗發(fā)現(xiàn),一般通過1—3次就夠了。通過這樣的處理,可能會失去部分本來是正確的匹配點對,但實驗結(jié)果表明,這種損失是很小的。4sift特征的特性關(guān)于SIFT特征的性能,已有多位作者針對數(shù)碼相機圖像進行過實驗和比較。比如,文獻的實驗指出,在圖像噪聲為10%的情況下,仍有近80%的關(guān)鍵點的位置和尺度可以正確檢測,體現(xiàn)了SIFT特征的穩(wěn)健程度;再比如,即使兩幅圖像的成像視點相差超過50°時,最終可以正確檢測到的特征仍然在50%以上,這說明SIFT特征對幾何形變具有較強的適應(yīng)性;正如前言中所述,文獻已經(jīng)對10種描述子的不同性能進行了測試和對比,有興趣的讀者可參閱該文獻了解更多的相關(guān)內(nèi)容。這一部分給出SIFT特征在遙感圖像配準中的實驗結(jié)果,來檢驗本文給出的配準方法的可行性。由于這些圖像都來自真實數(shù)據(jù),沒有理論數(shù)據(jù)可參照,無法給出定量的評價,主要通過目視對結(jié)果進行主觀評價,希望能為讀者提供一個參考作用。4.1圖像匹配點篩選圖1—圖3是三組不同場景的航空遙感圖像的匹配情況。遙感圖像是由航空飛機飛行過程中從不同視點拍攝,然后經(jīng)過數(shù)字化掃描得到的?？梢钥闯?三組圖像都同時包含了不同程度的幾何變形和光照變化,而且還存在其他噪聲。實驗結(jié)果表明:第一,該方法最初都可以檢測到大量的關(guān)鍵點,通常對500×500像素大小的圖像,可檢測到1000點以上(這與場景結(jié)構(gòu)有關(guān))。第二,本文選用NN/SCN(閾值選為0.6)篩選出的匹配點可靠性比較高,說明這種選擇是合理的。如圖1中的兩幅圖中(圖像大小為673×676像素),初始檢測到的關(guān)鍵點分別為1100點和682點,采用NN/SCN篩選出的可能的匹配點為290對,通過檢驗,這290對匹配點全部是正確的,即正確匹配點與所選出的匹配點的比率為100%,而在圖2和圖3中,這個比率分別為97%和91%。第三,通過最近鄰擴展更多的匹配點對是必要的,通過這樣處理,最終的匹配點對增加了很多;第四,經(jīng)過最后的單應(yīng)矩陣約束檢驗,由于圖像自相似和對稱結(jié)構(gòu)造成的錯誤匹配會大大去除(本實驗中消除了所有的錯誤匹配點);第五,隨著圖1、圖2和圖3綜合噪聲(包括幾何變形、光照變化和其他噪聲)的增大,最終的匹配點對逐漸減少,在圖1、圖2和圖3中的最終匹配點對分別為259、132和69。第六,關(guān)于精度問題,通過目視,沒有發(fā)現(xiàn)明顯的錯誤匹配點對。4.2分辨率差時sift的匹配結(jié)果圖4和圖5是衛(wèi)星SPOT5對上海同一地區(qū)獲取的不同分辨率的遙感圖像。其中圖4(a)和圖5(a)是分辨率為10m的彩色圖像,圖4(b)和圖5(b)分別是分辨率為5m和2.5m的全色圖像。匹配結(jié)果顯示,即使在分辨率相差4倍時,SIFT描述子仍然可以檢測出一定數(shù)量的可靠對應(yīng)點。另一方面也可以看出,分辨率相差越大,相應(yīng)的匹配點對也隨之減少。如圖4和圖5中,最終的匹配點對分別為125對和24對(圖像大小均為512×512像素)。另外值得注意的是,即使兩幅圖像的重合部分較小,仍然可以檢測到不少正確的匹配點對,這也是SIFT特征具有高辨別力的體現(xiàn)。4.3圖像匹配和計算除了可見光波段圖像外,本文還對SAR干涉圖像進行了實驗。結(jié)果如圖6所示(注:在對SAR圖像的實驗中,僅使用了SAR圖像的幅值圖)。在圖6中,兩幅圖像中的初始關(guān)鍵點分別為3651點和3562點,采用本文第三部分描述的關(guān)鍵點匹配方法,應(yīng)用單應(yīng)矩陣約束條件,最終的匹配點為328對(圖像大小523×504)?？梢钥闯?這類圖像具有類似紋理的結(jié)構(gòu),即使人工選取控制點也是很困難的事。然而,采用SIFT特征準確地檢測出了大量的特征對應(yīng)點,這也再一次反映出SIFT特征具有很高的辨別能力。最后說明一下該算法的速度問題。本文采用了C語言和Matlab混合編程,匹配算法和程序代碼還未進一步優(yōu)化,運行在奔騰4/2.8MHz,內(nèi)存為512兆的計算機上。在這種情況下,對700像素×700像素大小的圖像,目前所需要的時間大約為幾秒到幾十秒之間。計算時間與圖像大小和關(guān)鍵點的多少有很大的關(guān)系。另外,本文對大量的遙感圖像對進行了實驗,均取得了滿意的結(jié)果。由于頁面限制,僅報道了以上幾組實驗結(jié)果。5遙感圖像配準實驗本文采用SIFT特征對遙感圖像自動配準問題進行了實驗研究。盡管遙感圖像較數(shù)碼相機圖像具有更復(fù)雜的綜合噪聲,但基于SIFT特征的自動配準方法應(yīng)用于遙感圖像時仍然取得了較好的效果。初步實驗表明,首先,該方法在圖像具有較復(fù)雜的變形(包括幾何變形、分辨率變化和光照變化等)的情況下,仍然可以準確地匹配到大量的穩(wěn)定特征。另外,SIFT特征在遙感圖像中同樣表現(xiàn)出較高的辨析能力,從而簡化了后續(xù)的匹配過程。值得指出的是,該方法也有一定的局限性。盡管該方法可用于不同分辨率的圖像配準,但當分辨率相差超過4倍后,穩(wěn)定的特征點將變得很少,甚至