技術(shù)報(bào)告基于改進(jìn)SIFT和RANSAC的物體特征提取和匹配

1、計(jì)劃類別 項(xiàng)目編號(hào) 項(xiàng)目技術(shù)報(bào)告課題名稱 項(xiàng)目主持人 承擔(dān)單位 題目：基于改進(jìn)SIFT和RANSAC的物體特征提取和匹配的研究使用基于RANSAC提純的改進(jìn)SIFT算子和SIFT算子分別在兩張不同視角的圖像中提取并匹配特征點(diǎn)對(duì)，通過(guò)實(shí)驗(yàn)結(jié)果驗(yàn)證了基于改進(jìn)的SIFT算提取特征點(diǎn)的準(zhǔn)確率和匹配的精度都要比SIFT算子和Harris算子高，改進(jìn)SIFT算子提取匹配出的特征點(diǎn)對(duì)更加的有利于目標(biāo)物體的三維重建工作。關(guān)鍵詞：物體特征提取和識(shí)別；SIFT；RANSAC；三維重建文章編號(hào)：2096-1472（2018）-11-07-031 引言（Introduction）目前現(xiàn)有的幾種常用的圖像特征提取算子，

2、例如：SUSAN算子、Harris特征提取算子、SIFT（Scale Invariant Feature Transform）特征提取匹配算子等。Harris特征提取算法則是C.Harris和J.Stephens于1998年提出的一種特征提取算子1。具體提取步驟：運(yùn)算所有的像素點(diǎn)梯度，然后選取兩個(gè)方向上的梯度都是最大值的點(diǎn)作為Harris角點(diǎn)。這種算子能夠提前去除信息較強(qiáng)的角點(diǎn)，是一種很經(jīng)典的算子。SUSAN算子和Harris算子都是基于像素級(jí)別的特征提取算子，提取出來(lái)的特征的精度并不是很高，對(duì)后面的三維重建勢(shì)必會(huì)造成一定的影響。而David Lowe在總結(jié)優(yōu)化了這幾種算子的研究過(guò)程中，提出了

3、一種不受圖像尺度和旋轉(zhuǎn)變化，甚至不受光線強(qiáng)度和拍攝角度變化的特征提取算子SIFT算子2。所以說(shuō)SIFT算子是一種比較優(yōu)秀的特征提取算法。但仍然存在容易誤匹配等缺點(diǎn)。為此，本文提出將RANSAC算法與改進(jìn)的SIFT算子結(jié)合3，通過(guò)實(shí)驗(yàn)對(duì)比其與SIFT算子及Harris的在特征提取和匹配效果。2 基于Harris算法的角點(diǎn)檢測(cè)（Corner detection based on Harris algorithm）2.1 Harris特征提取Harris角點(diǎn)檢測(cè)算法首先計(jì)算所有像素的梯度，隨后選取兩個(gè)方向都是最大梯度的點(diǎn)，并以此作為Harris的角點(diǎn)4。圖像內(nèi)的角點(diǎn)就是指目標(biāo)物體的輪廓上曲率的局部極

4、大值，它是通過(guò)目標(biāo)物體曲率較大的區(qū)域或者兩條、多條邊緣的角點(diǎn)所構(gòu)成的，位于不同圖像亮區(qū)域的交界線上。Harris的角點(diǎn)檢測(cè)器公式如下：如果大于某個(gè)閾值，而且成為相鄰區(qū)域最大值的時(shí)候，我們就能判斷這個(gè)點(diǎn)為角點(diǎn)。其中閾值的選取依靠場(chǎng)景實(shí)際圖像的尺寸、紋理和對(duì)比度等。選取閾值的步驟是：通過(guò)確定圖像中最大數(shù)量的特征點(diǎn)來(lái)選取灰度值最大的一些像素點(diǎn)作為特征點(diǎn)。再依據(jù)所有灰度值的排列序號(hào)，選取前個(gè)特征點(diǎn)，然后對(duì)特征點(diǎn)進(jìn)行加權(quán)重心化。并且為了降低噪聲對(duì)角點(diǎn)選取的影響，我們可以先用高斯平滑對(duì)圖像進(jìn)行處理。其中，和分別是在灰度圖像中的點(diǎn)處u和v兩個(gè)方向上的偏微分。則是二階的混合偏導(dǎo)。X和Y為一階偏導(dǎo)，可以分別的運(yùn)

5、用微分算法在u和v方向與灰度圖像進(jìn)行卷積處理得到。2.2 Harris角點(diǎn)匹配歸一化互相關(guān)是一種非常經(jīng)典的匹配算法，并且它具有一定的抗噪聲性能，而且比較容易實(shí)現(xiàn)。但是它的計(jì)算量比較大，對(duì)于試驗(yàn)計(jì)算和分析來(lái)看，這種匹配算法的運(yùn)行速度太慢，需要進(jìn)一步的優(yōu)化。兩張圖像之間的匹配就是比較兩者之間的相似度，同理，我們應(yīng)用在圖像的特征點(diǎn)匹配也是這樣的，具體就是把特征點(diǎn)作為中心，進(jìn)而比較模板之間的相似程度。3 基于SIFT的物體特征提取與匹配（Object feature extraction and matching based on SIFT）SIFT（Scale Invariant Feature T

6、ransform）特征匹配算法是一種魯棒性很高的局部特征描述子，運(yùn)用SIFT生產(chǎn)的圖像特征向量的性能穩(wěn)定，對(duì)旋轉(zhuǎn)、縮放、目標(biāo)遮擋、噪聲等都有良好的不變性。特征提取主要包括四個(gè)步驟：（1） 尺度空間極值檢測(cè)。首先對(duì)圖像進(jìn)行高斯差分塔金字塔得到高斯差分圖像，然后對(duì)高斯差分圖像在多尺度范圍內(nèi)進(jìn)行關(guān)鍵點(diǎn)檢測(cè)。通過(guò)高斯函數(shù)與原始圖像的卷積可以得到圖像的尺度空間。在DoG空間進(jìn)行極值檢測(cè)時(shí)，需要將關(guān)鍵點(diǎn)與同一尺度的八個(gè)相鄰和上下相鄰尺度的92個(gè)點(diǎn)，共26個(gè)點(diǎn)進(jìn)行比較。如果該關(guān)鍵點(diǎn)在DoG尺度空間中，本層和相鄰兩層的26個(gè)領(lǐng)域中都是最大或者最小，那么該點(diǎn)就可以作為圖像的一個(gè)特征點(diǎn)。（2） 特征點(diǎn)精確定位。在

7、得到大量圖像的候選特征點(diǎn)之后，通過(guò)擬合三維二次函數(shù)以精確確定關(guān)鍵點(diǎn)的位置和尺度，同時(shí)去除低對(duì)比度的關(guān)鍵點(diǎn)和不穩(wěn)定的邊緣響應(yīng)點(diǎn)，以增強(qiáng)匹配穩(wěn)定性、提高抗噪聲能力。（3） 特征點(diǎn)方向標(biāo)定。利用圖像的局部性質(zhì)，運(yùn)用關(guān)鍵點(diǎn)領(lǐng)域像素的梯度分布特性為每個(gè)關(guān)鍵點(diǎn)指定方向參數(shù)，從而保證算子具有旋轉(zhuǎn)不變性。圖像中某一像素（x，y）處梯度幅值可以用式（9）來(lái)表示：通過(guò)這些大小和方向的數(shù)據(jù)，可以創(chuàng)建方向直方圖，從而可以計(jì)算每一個(gè)關(guān)鍵點(diǎn)的主導(dǎo)方向。（4） 特征描述子的生成。特征描述子可以通過(guò)高斯窗口區(qū)域內(nèi)所有點(diǎn)的梯度和方向唯一表征。將每一個(gè)關(guān)鍵點(diǎn)周圍的1616鄰域，分割成16個(gè)44的子區(qū)域，然后在每一個(gè)44的子區(qū)域中

8、計(jì)算生成一個(gè)8方向直方圖。通過(guò)對(duì)該關(guān)鍵點(diǎn)的所有子區(qū)域都進(jìn)行上述計(jì)算，可以產(chǎn)生一個(gè)448=128維的特征向量（SIFT描述子）。每一個(gè)關(guān)鍵點(diǎn)都可以由它的特征向量唯一確定5。4 基于RANSAC和改進(jìn)SIFT的特征提取匹配算法即使運(yùn)用抗干擾能力比較強(qiáng)的SIFT特征提取算子，在匹配時(shí)也會(huì)不可避免的出現(xiàn)少量錯(cuò)配特征點(diǎn)對(duì)，為了滿足實(shí)驗(yàn)的需要，結(jié)合RANSAC算法對(duì)提出出的特征點(diǎn)進(jìn)行提純6。RANSAC算法選取大量的樣本，依次評(píng)估它們的參數(shù)，并且每次也隨機(jī)的選取大量的數(shù)據(jù)運(yùn)算參數(shù)模型，隨后對(duì)依次得出的參數(shù)進(jìn)行分類，把在誤差范圍內(nèi)的點(diǎn)稱為內(nèi)點(diǎn)，誤差范圍外的點(diǎn)稱為外點(diǎn)。并且RANSAC對(duì)錯(cuò)誤匹配率超過(guò)50%的

9、點(diǎn)仍然進(jìn)行分析。RANSAC算法具體步驟如下：首先假設(shè)初始的最佳內(nèi)點(diǎn)數(shù)有0個(gè)，隨機(jī)從I對(duì)待分配的特征點(diǎn)對(duì)中選取四對(duì)原始的特征匹配點(diǎn)對(duì)，兩個(gè)平面之間的投影變換矩陣參數(shù)能夠依據(jù)四組點(diǎn)進(jìn)行線性運(yùn)算。隨后運(yùn)算剩余下的I-4個(gè)特征點(diǎn)對(duì)，將它們依次通過(guò)變換矩陣獲得坐標(biāo)值，以及它們與對(duì)應(yīng)的待匹配點(diǎn)間的距離。如果它們的距離比閥值T小，那么就判斷這個(gè)特征匹配點(diǎn)對(duì)是內(nèi)點(diǎn)，反之就是外點(diǎn)。將當(dāng)前的內(nèi)點(diǎn)數(shù)量進(jìn)行比較，如果數(shù)量大于，那么當(dāng)前的變換矩陣參數(shù)H是最佳的矩陣估計(jì)，并且將進(jìn)行更新。通過(guò)運(yùn)算大量的隨機(jī)特征點(diǎn)對(duì)后，選取內(nèi)點(diǎn)數(shù)量最多，并且誤差函數(shù)最小的變換矩陣參數(shù)，并用這個(gè)參數(shù)作為匹配圖像之間的投影變換矩陣，通過(guò)這種變

10、換矩陣能夠提高匹配的精度。采用RANSAC算法對(duì)匹配之后的錯(cuò)誤匹配點(diǎn)對(duì)進(jìn)行提純7，并且還估算出了圖像間的變換矩陣參數(shù)，進(jìn)而明確了待匹配圖像的精確特征點(diǎn)對(duì)。5 實(shí)驗(yàn)結(jié)果與分析（Experimental results and analysis）實(shí)驗(yàn)平臺(tái)為VS2015+Opencv2.4.13，操作系統(tǒng)為Windows 10，GPU為GTX1050ti，顯存為4GB。采用GPU并行計(jì)算，運(yùn)用了NVIDIA提供的CUDA通用并行計(jì)算架構(gòu)和cuDNN計(jì)算加速方案。5.1 特征提取實(shí)驗(yàn)結(jié)果與分析5.1.1 特征提取的實(shí)驗(yàn)結(jié)果為了證明本文的物體特征提取的效果，通過(guò)兩組圖片進(jìn)行對(duì)比分析，圖片大小都是6404

11、80，如圖1（a）所示。（1）Harris特征提取。在OpenCV中，Harris角點(diǎn)提取是通過(guò)cornerHarris（）函數(shù)提取角點(diǎn)的，將cornerHarris（）函數(shù)進(jìn)行封裝，獲得一個(gè)檢測(cè)角點(diǎn)類。調(diào)整閾值為70時(shí)，特征提取效果如圖1（b）所示。（2）SIFT特征提取。實(shí)驗(yàn)中運(yùn)用OpenCV函數(shù)庫(kù)中的SiftFeatureDetector類對(duì)圖像進(jìn)行特征檢測(cè)，特征提取效果如圖1（c）所示。（3）改進(jìn)SIFT特征提取。使用基于尺度、方向和距離約束來(lái)去除錯(cuò)誤匹配點(diǎn)對(duì)，從特征點(diǎn)的匹配精度和特征匹配的數(shù)目上進(jìn)行優(yōu)化改良，提高了提取特征點(diǎn)的精度，特征提取效果的如圖1（d）所示。5.1.2 特征提取

12、結(jié)果分析通過(guò)圖1和表1可以發(fā)現(xiàn)，Harris算子提取的特征點(diǎn)最少，改進(jìn)SIFT算子提取的特征點(diǎn)最多，同時(shí)改進(jìn)SIFT算法的特征點(diǎn)提取的效果分布比Harris、SIFT都均勻。5.2 特征匹配實(shí)驗(yàn)結(jié)果與分析5.2.1 特征匹配實(shí)驗(yàn)結(jié)果為了驗(yàn)證基于改進(jìn)SIFT算子的特征匹配的效果，采用兩組圖像來(lái)進(jìn)行特征的提取與匹配實(shí)驗(yàn)，如圖2所示。通過(guò)實(shí)驗(yàn)知道，OpenCV函數(shù)庫(kù)的GoodFeatureToTrack函數(shù)的qualityLevel取值0.04時(shí)，提取匹配的效果更好，本文以下的實(shí)驗(yàn)都把qualityLevel取值0.04。5.2.2 特征匹配實(shí)驗(yàn)分析從圖2和表2可以看出，經(jīng)RANSAC算法剔除錯(cuò)誤匹

13、配（提純）后8，已經(jīng)去除大量的錯(cuò)誤匹配點(diǎn)，SIFT算子還存在少量的錯(cuò)誤匹配，而基于改進(jìn)的SIFT算法的特征點(diǎn)提取匹配基本沒(méi)有了錯(cuò)誤匹配。6 結(jié)論（Conclusion）通過(guò)物體特征提取和匹配實(shí)驗(yàn)將Harris、SIFT、改進(jìn)SIFT算法進(jìn)行對(duì)比，改進(jìn)的SIFT算法通過(guò)RANSAC剔除錯(cuò)誤匹配后，克服了其他兩種算法的缺點(diǎn)，在特征提取和匹配上效果更好。參考文獻(xiàn)（References）1 李鵬程，曾毓敏，張夢(mèng).一種改進(jìn)的Harris角點(diǎn)檢測(cè)算法J.南京師大學(xué)報(bào)（自然科學(xué)版），2014，37（02）：49-54.2 周穎.基于SIFT算法的圖像特征匹配J.現(xiàn)代計(jì)算機(jī)，2015（5）：63-68.3 曾

14、巒，王元?dú)J，譚久彬.改進(jìn)的SIFT特征提取和匹配算法J.光學(xué)精密儀器，2011，19（06）：1392-1396.4 S.Bell，C.L.Zitnick，K.Bala，et al.Inside-outside net：Detecting objects in context with skip pooling and recurrent neural net worksC.Proceedings of the IEEE Conference on Computer Vision and Pattern Reconition_2016：2874-2883.5 Fang Xianyong，Zhang Mingmin，Pan Zhigeng，et al.A new method of manifold mosaic for large displacement imagesJ.Journal of Computer Science and Technology，2006，21（2）：214-223.6 錐偉群，高屹.基于改進(jìn)RANSAC算法的圖像拼接方法J.科技創(chuàng)新與應(yīng)用，2015，26（5）：21-22.7