多視角圖像配準(zhǔn)方法研究

1、東北師范大學(xué)碩士學(xué)位論文多視角圖像配準(zhǔn)方法研究姓名：劉楨宏申請(qǐng)學(xué)位級(jí)別：碩士專(zhuān)業(yè)：計(jì)算機(jī)應(yīng)用技術(shù)指導(dǎo)教師：孔俊20090501摘要數(shù)字圖像配準(zhǔn)是計(jì)算機(jī)視覺(jué)中的一個(gè)基本問(wèn)題，它在三維圖像重構(gòu)、目標(biāo)識(shí)別、對(duì)象分類(lèi)、相機(jī)自校正等方面都有廣泛的應(yīng)用。數(shù)字圖像配準(zhǔn)通常是數(shù)字圖像處理的一個(gè)預(yù)處理階段，比如數(shù)字圖像融合，數(shù)字拼接等。數(shù)字圖像配準(zhǔn)技術(shù)可以對(duì)同一場(chǎng)景在不同的成像條件下獲取的不同的圖像進(jìn)行匹配與疊加，生成一個(gè)新的有關(guān)此場(chǎng)景的解釋?zhuān)@個(gè)解釋是從單一拍攝的圖像信息中無(wú)法獲得的。我們?yōu)榱双@得更加豐富與詳細(xì)的圖像信息，對(duì)同一場(chǎng)景往往是從不同的角度進(jìn)行拍攝的，通過(guò)這種拍攝我們就獲得了多個(gè)不同視角的圖像，即

2、多視角圖像。本文所要研究的就是對(duì)從不同視角拍攝的有關(guān)同一場(chǎng)景的多個(gè)不同視角的圖像進(jìn)行匹配的問(wèn)題，即多視角圖像配準(zhǔn)問(wèn)題。多視角圖像配準(zhǔn)問(wèn)題的研究對(duì)推進(jìn)數(shù)字圖像配準(zhǔn)技術(shù)的發(fā)展有著重要的意義與價(jià)值。本文提出了一種適用于多視角圖像的配準(zhǔn)方法。該方法是將由特征檢測(cè)方法衍生出來(lái)的仿射不變的特征檢測(cè)方法應(yīng)用于多視角圖像的特征提取中，然后將提取的特征點(diǎn)鄰域的特征不變區(qū)域進(jìn)行歸一化以便使多視角圖像的配準(zhǔn)問(wèn)題轉(zhuǎn)變成為局部發(fā)生剛性變換的圖像配準(zhǔn)問(wèn)題，并采用了一種改進(jìn)的描述子對(duì)特征進(jìn)行描述，最后采用距離函數(shù)進(jìn)行相似度計(jì)算得到特征匹配點(diǎn)對(duì)。文中分別用該方法與方法對(duì)多視角圖像進(jìn)行匹配實(shí)驗(yàn)，證明了該方法比方法在處理視角變換

3、較大的圖像配準(zhǔn)問(wèn)題上可以得到更好的匹配效果。關(guān)鍵詞：數(shù)字圖像配準(zhǔn)；多視角圖像配準(zhǔn)；特征點(diǎn)檢測(cè)；特征描述子，：；獨(dú)創(chuàng)性聲明本人鄭重聲明：所提交的學(xué)位論文是本人在導(dǎo)師指導(dǎo)下獨(dú)立進(jìn)行研究工作所取得的成果。據(jù)我所知，除了特別加以標(biāo)注和致謝的地方外，論文中不包含其他人已經(jīng)發(fā)表或撰寫(xiě)過(guò)的研究成果。對(duì)本人的研究做出重要貢獻(xiàn)的個(gè)人和集體，均已在文中作了明確的說(shuō)明。本聲明的法律結(jié)果由本人承擔(dān)。學(xué)位論文作者簽名：學(xué)位論文使用授權(quán)書(shū)本學(xué)位論文作者完全了解東北師范大學(xué)有關(guān)保留、使用學(xué)位論文的規(guī)定，即：東北師范大學(xué)有權(quán)保留并向國(guó)家有關(guān)部門(mén)或機(jī)構(gòu)送交學(xué)位論文的復(fù)印件和電子版，允許論文被查閱和借閱。本人授權(quán)東北師范大學(xué)可以

4、將學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可以采用影印、縮印或其它復(fù)制手段保存、匯編本學(xué)位論文。（保密的學(xué)位論文在解密后適用本授權(quán)書(shū)）學(xué)位論文作者簽名：日期：指導(dǎo)教師簽名：日期：學(xué)位論文作者畢業(yè)后去向：工作單位：通訊地址：電話(huà)：郵編：東北師范大學(xué)碩士學(xué)位論文引言圖像配準(zhǔn)已經(jīng)被廣泛地應(yīng)用于遙感數(shù)據(jù)分析、計(jì)算機(jī)視覺(jué)、圖像處理等領(lǐng)域。年自動(dòng)化圖像協(xié)會(huì)關(guān)于機(jī)器視覺(jué)的報(bào)告中指出，大約有的機(jī)器視覺(jué)應(yīng)用中需要用到圖像配準(zhǔn)技術(shù)。它是數(shù)字圖像處理領(lǐng)域的一個(gè)重要分支，它往往出現(xiàn)在數(shù)字圖像處理的預(yù)處理階段，比如數(shù)字圖像融合，數(shù)字圖像拼接等。經(jīng)過(guò)數(shù)字圖像配準(zhǔn)，可以使多幅圖像之間建立對(duì)應(yīng)關(guān)系，使獲得的圖像信息更

5、加豐富。我們?cè)趯?duì)一個(gè)場(chǎng)景進(jìn)行拍攝時(shí)，為了獲得更多的圖像信息，往往是從多個(gè)角度進(jìn)行拍攝。本文所要研究的多視角圖像配準(zhǔn)問(wèn)題就是對(duì)從多個(gè)視角拍攝的同一場(chǎng)景的圖像進(jìn)行配準(zhǔn)，這樣做可以使我們獲得更加豐富的圖像信息。在軍事方面，對(duì)敵軍武器進(jìn)行拍攝時(shí)，從不同視角獲取同一武器場(chǎng)景圖像，對(duì)其進(jìn)行配準(zhǔn)后可以使我們獲得更詳細(xì)的武器資料；在經(jīng)濟(jì)方面，我們對(duì)比較長(zhǎng)的場(chǎng)景拍攝時(shí)，比如在遠(yuǎn)處拍攝山岳、江河風(fēng)光，在近處拍攝墻上的畫(huà)等，在這種情況下，往往場(chǎng)景十分寬，但是高度卻有限，采用大底片用昂貴的器材拍攝，會(huì)拍攝到過(guò)多的天空和地面，沒(méi)有意義還造成浪費(fèi)，這時(shí)可以使用價(jià)格比較低廉的家用數(shù)碼機(jī)，從不同的視角拍攝兩張或兩張以上的圖像

6、，后期將其進(jìn)行圖像配準(zhǔn)并將其拼接到一起，形成超寬幅高分辨率的圖像。在科技方面，對(duì)多視角圖像配準(zhǔn)的研究能夠推動(dòng)數(shù)字圖像配準(zhǔn)技術(shù)的發(fā)展并進(jìn)一步促進(jìn)數(shù)字圖像處理領(lǐng)域的發(fā)展。國(guó)內(nèi)外對(duì)圖像配準(zhǔn)方面的研究已經(jīng)有大量且有效的方法，但是大多數(shù)方法都是針對(duì)圖像之間發(fā)生平移、旋轉(zhuǎn)、尺度縮放等問(wèn)題的，對(duì)圖像發(fā)生視角變換的配準(zhǔn)問(wèn)題研究還比較少。目前對(duì)數(shù)字圖像配準(zhǔn)的方法中最常被采用的是基于特征點(diǎn)的配準(zhǔn)技術(shù)，在特征點(diǎn)的配準(zhǔn)技術(shù)中特征點(diǎn)的提取與特征點(diǎn)的描述是關(guān)鍵，準(zhǔn)確的特征點(diǎn)提取與好的特征點(diǎn)的描述，為匹配的成功進(jìn)行提供了保障。因此，對(duì)我所要研究的多視角圖像的配準(zhǔn)問(wèn)題來(lái)說(shuō)，尋求具有良好不變性的特征點(diǎn)提取方法以及好的特征點(diǎn)描述

7、算子，對(duì)于匹配精度至關(guān)重要。本文主要是針對(duì)不同視角的圖像之問(wèn)存在著視角差異的匹配問(wèn)題，對(duì)特征點(diǎn)的提取方法以及特征點(diǎn)的描述算子進(jìn)行了研究與分析。提出了一種適用于不同視角圖像的配準(zhǔn)方法。東北師范大學(xué)碩士學(xué)位論文圖像，不同季節(jié)拍攝的圖像，不同取景器材拍攝的圖像，不同視角拍攝的圖像，不同焦距拍攝的圖像等。我們對(duì)這種不同的成像條件下拍攝的圖像進(jìn)行配準(zhǔn)后可以使該場(chǎng)景的圖像信息更加的完整與豐富，這就是數(shù)字圖像配準(zhǔn)的目的。圖像配準(zhǔn)的主流方法圖像配準(zhǔn)的根本問(wèn)題是找出一種圖像的變換方法。圖像變換形式的多樣性決定了多種多樣的圖像配準(zhǔn)方法。圖像配準(zhǔn)的方法雖然很多，但目前沒(méi)有哪一種方法適用于所有的圖像配準(zhǔn)，因此，根據(jù)所

8、應(yīng)用的圖像找到適合其特點(diǎn)的配準(zhǔn)方法是圖像配準(zhǔn)技術(shù)研究中的重點(diǎn)。迄今為止，在國(guó)內(nèi)外圖像處理研究領(lǐng)域已經(jīng)報(bào)導(dǎo)了相當(dāng)多的圖像配準(zhǔn)研究工作，產(chǎn)生了不少圖像配準(zhǔn)方法，總的來(lái)說(shuō)，各種方法都是面向一定范圍的應(yīng)用領(lǐng)域，并且具有各自的特點(diǎn)。圖像配準(zhǔn)的方法又可以分為手工配準(zhǔn)和自動(dòng)配準(zhǔn)。手工配準(zhǔn)的方法需要選擇大量的位置控點(diǎn)，這是非常枯燥、費(fèi)時(shí)、且勞動(dòng)密集性較強(qiáng)的工作。當(dāng)在有限的時(shí)間內(nèi)高精度、準(zhǔn)確地進(jìn)行圖像配準(zhǔn)時(shí)，就需要找到一種很少或幾乎不用手工的自動(dòng)化技術(shù)來(lái)進(jìn)行圖像配準(zhǔn)。自動(dòng)圖像配準(zhǔn)方法又可以分為三種：基于灰度信息的圖像配準(zhǔn)方法基于灰度信息的圖像配準(zhǔn)方法一般不需要對(duì)圖像進(jìn)行復(fù)雜的預(yù)先處理，而是利用圖像本身具有灰度的

9、一些統(tǒng)計(jì)信息來(lái)度量圖像的相似程度。主要特點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單，但應(yīng)用范圍較窄，不能直接用于校正圖像的非線(xiàn)性形變，往往需要巨大的運(yùn)算量。經(jīng)過(guò)幾十年的發(fā)展，人們提出了許多基于灰度信息的圖像配準(zhǔn)方法，大致可分為三類(lèi)：互相關(guān)法舊（也稱(chēng)模板匹配法）、序貫相似度檢測(cè)匹配法和交互信息法¨叫¨?；谧儞Q域的圖像配準(zhǔn)的方法最主要的基于變換域的圖像配準(zhǔn)方法是傅氏變換方法羽，它主要有以下一些優(yōu)點(diǎn)：圖像的平移、旋轉(zhuǎn)、仿射等變換在傅氏變換域中都有相應(yīng)的體現(xiàn)：利用變換域的方法還有可能有一定程度的抵抗噪聲的魯棒性；由于傅氏變換有成熟的快速算法和易于硬件實(shí)現(xiàn)的特點(diǎn)，因而在算法實(shí)現(xiàn)上有其獨(dú)特的優(yōu)勢(shì)?；谔卣鞯膱D像配

10、準(zhǔn)方法基于特征的匹配方法的共同之處是首先要對(duì)待配準(zhǔn)圖像進(jìn)行預(yù)處理，也就是圖像分割和特征提取的過(guò)程，再利用提取得到的特征完成兩幅圖像特征之間的匹配，通過(guò)特征的匹配關(guān)系建立圖像之間的配準(zhǔn)映射關(guān)系。由于圖像中有很多種可以利用的特征，因而產(chǎn)生了多種基于特征的方法。常用到的基于圖像特征的方法有：特征邊緣¨砌的方法，特東北師范大學(xué)碩士學(xué)位論文征點(diǎn)¨幅的方法和特征矩¨剮的方法。點(diǎn)特征是配準(zhǔn)中常用到的圖像特征之一，特征點(diǎn)的提取方法又分為：邊緣點(diǎn)提取方法，如：算子口別、算子蚪、基于小波變換的算法等：角點(diǎn)心仰提取算法，如：角點(diǎn)提取、角點(diǎn)提取等方法；各種興趣算子，如：算子、算子、算子等

11、。本文的主要工作本文通過(guò)對(duì)多視角圖像的配準(zhǔn)方法進(jìn)行研究，提出了一種適用于多視角圖像的配準(zhǔn)方法。該方法是將基于仿射不變的特征檢測(cè)方法和一種改進(jìn)描述子的方法應(yīng)用于多視角圖像的配準(zhǔn)中。首先是用基于仿射不變的特征點(diǎn)檢測(cè)方法提取多視角圖像的特征點(diǎn)以及它的特征區(qū)域，將提取出來(lái)的特征區(qū)域進(jìn)行歸一化操作使多視角圖像配準(zhǔn)問(wèn)題轉(zhuǎn)化為局部區(qū)域發(fā)生旋轉(zhuǎn)與平移的圖像配準(zhǔn)的問(wèn)題。然后利用改進(jìn)的描述子對(duì)歸一化后的特征區(qū)域進(jìn)行描述，將特征描述所獲得的特征向量進(jìn)行相似性計(jì)算得到特征匹配點(diǎn)對(duì)，最終計(jì)算變換矩陣得到配準(zhǔn)圖像。通過(guò)這個(gè)過(guò)程實(shí)現(xiàn)了多視角圖像的配準(zhǔn)。論文的結(jié)構(gòu)本文的組織結(jié)構(gòu)是如下：第一章，對(duì)圖像配準(zhǔn)的概念，目的，主流方法

12、等方面做概要介紹。第二章，對(duì)多視角圖像配準(zhǔn)的概念、理論基礎(chǔ)做簡(jiǎn)單介紹，對(duì)多視角圖像配準(zhǔn)的具體方法進(jìn)行了詳細(xì)的研究。第三章，通過(guò)實(shí)驗(yàn)，分別用基于的配準(zhǔn)方法和本文提出的方法對(duì)多視角圖像的匹配結(jié)果進(jìn)行比較，說(shuō)明本文的方法在多視角圖像的配準(zhǔn)方面所具有的優(yōu)越性?？偨Y(jié)全文，歸納工作要點(diǎn)，給出建議和展望。東北師范大學(xué)碩士學(xué)位論文圖像圖像圖像檢測(cè)特征點(diǎn)上上檢測(cè)特征點(diǎn)上檢測(cè)特征點(diǎn)歸一化區(qū)域歸一化區(qū)域歸一化區(qū)域描述特征點(diǎn)描述特征點(diǎn)描述特征點(diǎn)匹配特征點(diǎn)圖多視角圖像配準(zhǔn)流程第一步：初始輸入的圖像，圖像，圖像，是多視角圖像。第二步：檢測(cè)特征點(diǎn)。該步驟是將一種改進(jìn)的仿射不變的特征點(diǎn)檢測(cè)方法應(yīng)用于多視角圖像的特征點(diǎn)提取上，

13、用這種檢測(cè)方法檢測(cè)出來(lái)的多視角圖像的特征點(diǎn)不僅具有良好的穩(wěn)定性，并且在后續(xù)的步驟中也可以使用它檢測(cè)出來(lái)的鄰域的局部不變區(qū)域來(lái)進(jìn)行特征描述。第三步：歸一化特征不變的區(qū)域陽(yáng)引。根據(jù)第一步檢測(cè)出來(lái)的特征點(diǎn)以及它的特征不變區(qū)域，將該局部區(qū)域進(jìn)行歸一化，歸一化的目的是使多視角圖像配準(zhǔn)問(wèn)題轉(zhuǎn)化為局部區(qū)域內(nèi)只發(fā)生旋轉(zhuǎn)與平移的圖像配準(zhǔn)問(wèn)題。第四步：描述特征點(diǎn)。對(duì)于第二步中歸一化的區(qū)域，本文將一種改進(jìn)的描述東北師范大學(xué)碩士學(xué)位論文方法應(yīng)用于對(duì)該區(qū)域進(jìn)行特征描述上。該方法可以解決原有的特征描述方法中對(duì)噪聲敏感的問(wèn)題。第五步：匹配特征點(diǎn)洶¨圳。分別介紹用歐氏距離與馬氏距離來(lái)進(jìn)行特征點(diǎn)相似度的計(jì)算，以達(dá)到特

14、征匹配的目的。第六步：刪除誤匹配的點(diǎn)。本文采用方法來(lái)刪除誤匹配點(diǎn)。第七步：計(jì)算變換矩陣。采用幾何變換矩陣對(duì)待配準(zhǔn)圖像進(jìn)行矩陣變換。最終，得到配準(zhǔn)圖像。根據(jù)以上流程，下面我來(lái)將詳細(xì)的介紹多視角圖像配準(zhǔn)的各個(gè)步驟：檢測(cè)特征本文采用的特征檢測(cè)的方法是基于特征點(diǎn)的檢測(cè)方法。特征點(diǎn)通常是選取圖像內(nèi)容中的特殊點(diǎn)，比如：角點(diǎn)、直線(xiàn)交叉點(diǎn)、型交匯點(diǎn)等。特征點(diǎn)選取的好壞決定了配準(zhǔn)的精度與效率。多視角圖像的特征檢測(cè)就是要檢測(cè)局部視角不變特征，需要確定視角不變的特征點(diǎn)的位置和局部區(qū)域。我最早是采用方法對(duì)多視角圖像進(jìn)行特征提取的，但由于方法對(duì)視角變化較大的圖像進(jìn)行匹配時(shí)得不到好的匹配效果，因此考慮選用方法對(duì)圖像進(jìn)行特

15、征提取。方法在進(jìn)行特征點(diǎn)提取后，如果想找到一種好的特征點(diǎn)描述方法也是一個(gè)很困難的事情。最終，本文對(duì)多視角圖像的特征點(diǎn)提取采用了一種具有仿射不變的特征點(diǎn)檢測(cè)方法口，這種方法在檢測(cè)特征點(diǎn)的同時(shí)可以將其鄰域具有仿射不變的區(qū)域檢測(cè)出來(lái)，這樣為后續(xù)的特征描述提供了一個(gè)很好的保障。在本節(jié)中，通過(guò)介紹方法，以及由它衍變出來(lái)的尺度不變的特征點(diǎn)檢測(cè)方法，進(jìn)而延伸到適用于多視角圖像的仿射不變的特征點(diǎn)檢測(cè)方法。一、特征檢測(cè)方法算子是和年提出的一種點(diǎn)特征提取算子，它通過(guò)微分運(yùn)算和自相關(guān)矩陣來(lái)檢測(cè)角點(diǎn)。該算子的原理：如果某一點(diǎn)在任意一個(gè)方向的小小偏移都會(huì)引起灰度的很大變化，這認(rèn)定該點(diǎn)為角點(diǎn)，即我們所要找的特征點(diǎn)。角點(diǎn)檢

16、測(cè)方法是基于自相關(guān)矩陣的，該矩陣通常被用作特征檢測(cè)和局部圖像的特征描述。該檢測(cè)方法的自相關(guān)矩陣被定義為：（）（）【），（）（）（）其中，（），（），（）分別為圖像上的點(diǎn)在方向與），方向的偏導(dǎo)數(shù)以及二階混合偏導(dǎo)數(shù)。方法中的算子刀為：（）（）東北師范大學(xué)碩士學(xué)位論文疆珥下囊圈州算法分別為視角為，。，的圍像進(jìn)行角點(diǎn)檢測(cè)二、基于仿射不變的特征檢測(cè)方法對(duì)多視角的圖像用上節(jié)的方法檢測(cè)特征點(diǎn)不具有很好的穩(wěn)定性，因此我們需要尋找可以檢測(cè)出抗視角變抉并且容易進(jìn)行后續(xù)的特征描述的方法。在這一節(jié)里我們利用尺度空間的思想以及仿射不變的原理對(duì)多視角圖像進(jìn)行特征點(diǎn)的檢測(cè)，以達(dá)到視角不變的目的。該方法在檢測(cè)特征不變點(diǎn)的同時(shí)

17、可以檢測(cè)出該點(diǎn)鄰域的特征不變區(qū)域。這種方法是基于尺度不變與仿射不變的特征點(diǎn)檢測(cè)方法。尺度不變特征點(diǎn)檢測(cè)的關(guān)鍵問(wèn)題是確定每個(gè)特征點(diǎn)的特征尺度使得特征尺度鄰域內(nèi)包含的圖像內(nèi)容不會(huì)隨著圖像分辨率的變化而變化。尺度不變特征檢測(cè)方法是建立在尺度一空間思想的基礎(chǔ)上的，尺度一空間思想是：提出的在年利用尺度一空間理論建立了自動(dòng)的尺度選擇方法“并研究了采用歸一化的和算子尋找圖像空間和尺度上的局部極大值點(diǎn)作為尺度不變特征點(diǎn)。在年提出了”“（）特征點(diǎn)檢測(cè)方法。檢測(cè)方法與檢測(cè)方法類(lèi)似，其優(yōu)點(diǎn)是該方法的效率高。另一種具有尺度選擇性質(zhì)的檢測(cè)方法“”是提出的通過(guò)局部描述符的熵極值定義特征尺度。也在年提出了檢測(cè)方法”“，該檢

18、測(cè)方法是在守問(wèn)尋找算子的局部最大值點(diǎn)。該楦鍘方法是且前尺度不變特征點(diǎn)檢測(cè)方法中性能最好的算法。仿射不變特征點(diǎn)檢測(cè)法是尺度不變特征點(diǎn)檢測(cè)法的延伸與推廣。仿射變換是指經(jīng)過(guò)變換后的第一幅圖像上的直線(xiàn)映射到第二幅圖像仍然為直線(xiàn)，并且保持平衡關(guān)系。仿射不變特征點(diǎn)是指圖像經(jīng)過(guò)仿射變換后對(duì)躅像進(jìn)行檢測(cè)時(shí)仍然可以找到與變換前圖像中的點(diǎn)相同的點(diǎn)。年，研究了二階矩矩陣的性質(zhì)，并用選代法估計(jì)局部區(qū)域的仿射變換”。“改進(jìn)了這一算法，它首先在多個(gè)尺度上用函數(shù)檢測(cè)出感興趣點(diǎn)，然后用選代法估計(jì)點(diǎn)鄰域內(nèi)的形狀。分別在年和年提出了兩種仿射不變特征檢測(cè)算法，第種算法是在角點(diǎn)周?chē)鷮ふ疫吘壍姆绞綐?gòu)造仿射不變特征區(qū)域”“，該算法的缺點(diǎn)

19、是需要可靠的邊緣提取方去；第種算法是是由扶度局部極值開(kāi)始發(fā)散地向各方向?qū)ふ乙粋€(gè)函數(shù)的局部極值點(diǎn)輪廓“，然后用一個(gè)橢圓東北師范大學(xué)碩士學(xué)立論文表示該輪廓。在年利用分水嶺算法提出一種最大穩(wěn)定極值區(qū)域算法（）¨引，通過(guò)用不同閾值分割找到最穩(wěn)定的區(qū)域。和分別將和熵極值兩種尺度不變特征點(diǎn)算法進(jìn)行改進(jìn)，提出了、方法協(xié)和基于熵極值的仿射不變特征檢測(cè)算法嘞。由于多視角圖像的特征點(diǎn)需要具備抗視角變換的特征，抗視角變換的特征要求圖像的特征點(diǎn)具有抗仿射變換的性質(zhì)。本文針對(duì)多視角圖像的特點(diǎn)，經(jīng)過(guò)對(duì)多種圖像特征檢測(cè)方法的研究，發(fā)現(xiàn)采用基于仿射不變的特征檢測(cè)方法來(lái)對(duì)多視角圖像進(jìn)行特征檢測(cè)可以得到較穩(wěn)定的視角不變

20、特征。（一）尺度空間表示：尺度空間可以由圖像與高斯核函數(shù)卷積構(gòu)成。證明了高斯核是實(shí)現(xiàn)尺度變換的唯一變換核瞄¨。璐引、晦等人通過(guò)不同的推導(dǎo)進(jìn)一步證明高斯核是唯一的線(xiàn)性核。二維高斯函數(shù)定義為：（，回赤電）（）其中，仃代表了高斯正態(tài)分布的方差。對(duì)于二維圖像（），在不同尺度下的尺度空間表示（，弘）可由圖像（，）與高斯核（，）的卷積得到：（，）（，弘）木（，）（）其中，（，）代表圖像的像素位置，為尺度空間因子，其值越小則表征該圖像被平滑的越少，相應(yīng)的尺度也就越小。大尺度對(duì)應(yīng)于圖像的概貌特征，小尺度對(duì)應(yīng)于圖像的細(xì)節(jié)特征。（二）基于尺度空間的特征點(diǎn)檢測(cè)檢測(cè)算法有很好的角點(diǎn)檢測(cè)性能，但是，它對(duì)于尺度

21、縮放問(wèn)題不能得到很好的解決。這一節(jié)將采用特征點(diǎn)檢測(cè)方法對(duì)圖像中的點(diǎn)進(jìn)行檢測(cè)，該方法可以檢測(cè)出尺度不變的點(diǎn)。算子的尺度空間表示：為了獲取算子的尺度空間表示，首先計(jì)算圖像上某點(diǎn)在和方向上的偏導(dǎo)數(shù)，然后與標(biāo)準(zhǔn)偏差為的高斯核的微分進(jìn)行卷積：，）（）木甌（，）（）（，）（）木嘭（，）（）在尺度空間表示中算子中的矩陣被表示成：奎！皇墮壟奎蘭堡主蘭篁笙塞鵬咖，隴黔們咖嘗咖（，爿）的度空間表示算子用式子（）表示：其中，是積分尺度，是微分尺度，是在方向的導(dǎo)數(shù)，（聽(tīng)）為高斯函數(shù)。（，）一（¨（，）的局部最大值決定了感興趣點(diǎn)的位置。尺度的自動(dòng)選擇算子（）給定圖像中一點(diǎn)和一個(gè)尺度選擇操作，對(duì)一系列的計(jì)算尺度

22、選擇操作的響應(yīng)值。特征尺度對(duì)應(yīng)于這些響應(yīng)值的局部極值。以該點(diǎn)為中心的不同的局部結(jié)構(gòu)對(duì)應(yīng)于幾個(gè)不同的特征尺度，該特征尺度與以該點(diǎn)為中心的局部結(jié)構(gòu)有關(guān)，與圖像的分辨率無(wú)關(guān)。在本節(jié)中我們采用算子來(lái)選擇特征尺度，該算子可以選擇出更多的下確的特征尺度。算子定義為：（，）掰（，）（，）檢測(cè)（）檢測(cè)是用多尺度檢測(cè)方法來(lái)初步定位感興趣點(diǎn)。然后計(jì)算算子達(dá)到最大值時(shí)的尺度，該尺度即為特征尺度。該檢測(cè)方法分為兩個(gè)步驟：第一步，初始點(diǎn)的檢測(cè)。用函數(shù)建立尺度空間，并由參數(shù)，（這里是一個(gè)約束因子，此處可將其設(shè)置為）來(lái)計(jì)算矩陣肛，）；設(shè)，其中是成功層的比例因子（通常設(shè)置為）。在每一層中提取角點(diǎn)，提取方法是檢測(cè)一個(gè)點(diǎn)的鄰域的

23、局部最大值。在這些具有最大值的角點(diǎn)中，用一個(gè)域值來(lái)剔除一些在圖像條件變化時(shí)不穩(wěn)定的點(diǎn)，這樣便可以得到初始的感興趣點(diǎn)。第二步，特征尺度選取與點(diǎn)的重新定位。對(duì)于中檢測(cè)出的每一個(gè)初始感興趣點(diǎn)，我們用一個(gè)迭代的算法來(lái)同時(shí)檢測(cè)感興趣點(diǎn)的位置和尺度。這里，我們用算子的最大值來(lái)確定感興趣點(diǎn)的特征尺度。對(duì)于那些用算子進(jìn)行極大值計(jì)算后，得不到極大值的點(diǎn)和那些小于一個(gè)給定的域值的點(diǎn)，我們將其去掉。對(duì)第一步中檢測(cè)出來(lái)的一個(gè)初始點(diǎn)以及它的對(duì)應(yīng)積分尺度，這種算法迭代的過(guò)程為：）在第步中，對(duì)點(diǎn)（），計(jì)算算子的局部極值，若沒(méi)有局部極值，該點(diǎn)就被剔除掉。如果該點(diǎn)處有極值，則用與（）對(duì)應(yīng)的（）來(lái)限定下一步中所要用到的尺度妁，其

24、中，】。）在第步中，我們用一系列的尺度吼分別計(jì)算算子的最大值，并在這東北師范大學(xué)碩士學(xué)位論文些最大值的點(diǎn)中測(cè)量出與（）最近的點(diǎn)，將這個(gè)最近的點(diǎn)作為該步檢測(cè)出來(lái)的點(diǎn)（）。）如果（）（并且（）（），該算法停止。通過(guò)以上的算法可以檢測(cè)出具有尺度不變的特征點(diǎn)。（三）仿射不變的特征檢測(cè)檢測(cè)方法適用于尺度縮放的問(wèn)題，但是不同視角的圖像不單單是存在尺度縮放的問(wèn)題，用單純的方法進(jìn)行特征點(diǎn)檢測(cè)不適用于多視角圖像特征點(diǎn)提取的問(wèn)題。由于多視角圖像間存在著仿射變換的問(wèn)題，所以，我很自然的聯(lián)想到用基于仿射不變的特征檢測(cè)方法來(lái)檢測(cè)多視角圖像的特征點(diǎn)。在這里我采用特征檢測(cè)方法。首先我們檢測(cè)特征點(diǎn)的空間位置。然后用一個(gè)迭代的

25、算法，在檢測(cè)出特征點(diǎn)后，用自動(dòng)選擇出來(lái)的積分和微分尺度來(lái)計(jì)算第二時(shí)刻矩陣，以獲得特征的形狀。檢測(cè)步驟為：第一，用函數(shù)的局部最大值來(lái)決定一特征點(diǎn)的空間位置。第二，通過(guò)歸一化的尺度的極值來(lái)選擇積分尺度。第三，用歸一化的各向同性的最大值來(lái)選擇微分尺度。第四，用自相關(guān)矩陣來(lái)估計(jì)適應(yīng)性形狀矩陣，并用該形狀矩陣來(lái)歸一化點(diǎn)的鄰域。下面對(duì)該算法進(jìn)行較詳細(xì)的介紹：適應(yīng)性形狀矩陣：以特征點(diǎn)為中心的局部窗口，在第迭代算法的第步，應(yīng)用變換矩陣：（¨一言）（工（）進(jìn)行變換得到新形狀矩陣，我們稱(chēng)此操作為變換。積分尺度選擇：在原始圖像中檢測(cè)的特征尺度變換后的圖像的特征尺度略有不同，因此，在進(jìn)行變換后進(jìn)行特征尺度的

26、重新選取是有必要的。用一個(gè)類(lèi)似于檢測(cè)的方法，對(duì)于一個(gè)給定的空間中的點(diǎn)，計(jì)算局部最大值，將它獲得局部最大值的那個(gè)點(diǎn)的尺度作為積分尺度叨。微分尺度選擇：用矩陣的最小特征值與最大特征值的比值來(lái)進(jìn)行微分尺度選擇，由于（）與（“）越接近，與我們最終要獲得的歸一化圖像越接近，這是因?yàn)榭梢杂煤诘淖畲笾祦?lái)選定微分尺度。該微分選取的范圍限定為，其中，【，。坐標(biāo)的重新定位：在經(jīng)過(guò)變換后，初始點(diǎn)的坐標(biāo)會(huì)有一定的位移，我們需要重新定位初始點(diǎn)的坐標(biāo)。重新定位后點(diǎn)的坐標(biāo)計(jì)算式為：（）（）（一）（）一（一）（）東北師范大學(xué)碩士學(xué)位論文描述特征特征點(diǎn)被提取出來(lái)之后，我們用特征描述子來(lái)描述特征點(diǎn)。描述方法是目前最常被用來(lái)描述特

27、征點(diǎn)的方法。本節(jié)首先介紹原始的描述方法，然后采用等人提出的一種改進(jìn)描述子的方法對(duì)特征點(diǎn)進(jìn)行描述。特征描述子的計(jì)算首先，利用特征點(diǎn)鄰域像素的梯度方向分布特性為每個(gè)特征點(diǎn)指定方向，圖像的各像素梯度的幅值和方向的計(jì)算公式為：（，）（，）（，）（）（，）嬲其中，（，）（，）一（一，）（）（，）（，）一（，一）（）式子（）與（）的這種圖像差分的形式是用來(lái)計(jì)算圖像在方向與方向上的導(dǎo)數(shù)。用直方圖統(tǒng)計(jì)鄰域像素的梯度方向，梯度直方圖的范圍是。，其中每。一個(gè)柱，總共個(gè)柱。梯度方向直方圖的峰值作為該特征點(diǎn)的主方向。若梯度方向直方圖中存在另一個(gè)相當(dāng)于主峰值能量的峰值時(shí)，則將這個(gè)方向作為該特征點(diǎn)的輔方向。一個(gè)特征點(diǎn)除了

28、有一個(gè)主方向外，還可能有多個(gè)輔方向，這可以增強(qiáng)特征點(diǎn)匹配的魯棒性。然后，生成特征向量。特征向量的生成分為兩個(gè)步驟：第一步是將特征點(diǎn)周?chē)植繀^(qū)域順時(shí)針旋轉(zhuǎn)角度，角度是特征點(diǎn)的方向，也就是把坐標(biāo)軸旋轉(zhuǎn)為特征點(diǎn)的方向，如圖中的，這種旋轉(zhuǎn)的目的是確保其具有旋轉(zhuǎn)不變性。卜。，一“謄？蕊，“乏：？，址、氣、月，。、呻、夕一、蔓、，一卜、：善遘（）坐標(biāo)軸旋轉(zhuǎn)一鐘”惜群；”茹一。，“卜一一？：立。二氣一。一”，工一盔一一鼉長(zhǎng)弩氣少一、乏。（）鄰像素的梯度與幅值圖特征向量的生成（）特征向量一東北師范大學(xué)碩士學(xué)位論文第二步是在旋轉(zhuǎn)后的矩形區(qū)域內(nèi)，將以特征點(diǎn)為中心取×的窗口（特征點(diǎn)所在的行和列不取，圖的（

29、）只顯示了×的窗口），中央的黑點(diǎn)作為當(dāng)前特征點(diǎn)的位置，每個(gè)小格代表特征點(diǎn)鄰域所在尺度空間的一個(gè)像素，箭頭方向代表該像素的梯度方向，箭頭長(zhǎng)度代表幅值，這×的窗口被均勻地分成個(gè)×的子區(qū)域（圖中只顯示了個(gè)子區(qū)域），并在每個(gè)子區(qū)域上繪個(gè)方向（、）的梯度方向直方圖，并計(jì)算累加值，繪制每個(gè)梯度方向累加值得到個(gè)子區(qū)域數(shù)據(jù)。個(gè)子區(qū)域一共得到個(gè)數(shù)據(jù)，這的向量即形成一個(gè)維的特征向量。此時(shí)，特征向量已經(jīng)去除了尺度變化、旋轉(zhuǎn)等幾何變形因素的影響，如果將其進(jìn)行歸一化，則可以進(jìn)一步減少光照變化的影響。改進(jìn)的特征描述子計(jì)算基于的方法提出后，后續(xù)研究者對(duì)其進(jìn)行了改進(jìn)：瞄鉑將特征區(qū)域劃分為

30、5;個(gè)子區(qū)域，在每個(gè)子區(qū)域內(nèi)用梯度構(gòu)造特征量，并用主成分分析（）方法降低特征維數(shù)，該特征量稱(chēng)為，與相比，在旋轉(zhuǎn)和縮放變換、噪聲干擾、照度變化情況下的特征匹配率以及運(yùn)算速度方面有較大提高。嘲利用一種更有效的數(shù)據(jù)組織方式來(lái)近似計(jì)算，雖然近似的在特征性能方面有所下降，但計(jì)算速度較提高了近倍。本文是采用等人提出的一種基于光滑導(dǎo)數(shù)濾波器（濾波器）的描述子改進(jìn)方法嘲?，F(xiàn)有的描述子在特征描述部分采用的是像素差分的方法（像素差分的方法對(duì)圖像起到高通濾波的作用），這種方法的缺點(diǎn)是使得特征描述方法對(duì)噪聲敏感，不具備抗噪性，影響后續(xù)匹配的效果。因此，這里采用基于光滑導(dǎo)數(shù)濾波器（濾波器）的描述子的改進(jìn)的方法，主要是解

31、決原有的特征描述方法中對(duì)噪聲敏感的問(wèn)題。該方法用濾波器來(lái)替代像素差分法計(jì)算圖像的導(dǎo)數(shù)：函數(shù)定義如下：姍即一二二一甄二（一警一學(xué)，）（下（）、它是由橢圓高斯函數(shù)和復(fù)平面（函數(shù)）波的乘積構(gòu)成的。其中，（，）表示像素的空間位置，是濾波器方向，九是波長(zhǎng)，和是高斯開(kāi)口。我們用奇濾波器來(lái)近似計(jì)算圖像的一階導(dǎo)數(shù)和，即水平方向和垂直方向。令，我們得到下面的函數(shù)：（一書(shū)喵嚅）（）”其中，時(shí)，計(jì)算：導(dǎo)時(shí)，計(jì)算。東北師范大學(xué)碩士學(xué)位論文下面來(lái)介紹本文對(duì)濾波器尺度因子大小選擇的方法：在水平和垂直方向上分別使函數(shù)獲得最大能量值的尺度因子中的較小者作為函數(shù)的最終的尺度因子，計(jì)算過(guò)程如下：甌。（奉，：（）（）呀（木，：孚（

32、）（，）（，），（）（）（，）（木，（）（，）（）（神（氣。三（）（舢算法的其他部分與原始的特征描述方法相同。匹配特征（）其中，（，）是特征點(diǎn)鄰域的一個(gè)點(diǎn)，是在點(diǎn)（，）處的濾波器的開(kāi)口大小。該在進(jìn)行特征向量相似性度量時(shí)，通常采用各種距離函數(shù)作為特征的相似性度量標(biāo)準(zhǔn)，如歐氏距離、馬氏距離等。歐氏距離（）對(duì)于兩個(gè)維特征：（口，口，）與（，如，），它們之間的歐氏距離公式為：（）（口，）馬氏距離對(duì)于維特征向量與，它們之間的馬氏距離公式為：良，盧）匹配方法（）首先，我們獲得各個(gè)特征向量的距離；然后，將這些特征距離按照由小到大順序進(jìn)行排序；最后，我們將最近特征點(diǎn)間的距離與次近特征點(diǎn)間的距離的進(jìn)行比值，如果

33、該距離比值小于一個(gè)閾值，則該最近距離的特征點(diǎn)對(duì)被選中，作為后選匹配點(diǎn)對(duì)。閾值越小，獲得的后選匹配點(diǎn)對(duì)越少，但圖像配準(zhǔn)的結(jié)果越穩(wěn)定。東北師范大學(xué)碩士學(xué)位論文消除誤匹配點(diǎn)對(duì)在尋找相似性特征點(diǎn)中，不可避免的會(huì)產(chǎn)生一些誤匹配的特征點(diǎn)對(duì)，因此我們需要用一些限制條件和一些約束來(lái)消除錯(cuò)誤匹配的特征點(diǎn)對(duì)。常用的去外點(diǎn)方法是隨機(jī)抽樣一致性算法，常用的幾何約束是極線(xiàn)約束關(guān)系。計(jì)算變換矩陣?yán)玫玫降钠ヅ潼c(diǎn)對(duì)，確定幾何變換矩陣，根據(jù)變換矩陣，將待配準(zhǔn)的圖像變換成所需要的形式。常用的幾何變換有：剛性變換（，如旋轉(zhuǎn)、平移，也稱(chēng)為簡(jiǎn)單變換）、仿射變換、投影變換等。根據(jù)匹配圖像的特點(diǎn)可以利用不同的變換模型來(lái)進(jìn)行變換矩陣的計(jì)算

34、，這里我們采用最通用的幾何變換矩陣來(lái)進(jìn)行計(jì)算。入匿】三三，三耋三蘭】【季】入陡：】釜主，釜薹主陣】（，。，），。，確定其中的參數(shù)，由此可以得到幾何變換矩陣。，其中，（，）是變換后的圖像的像素點(diǎn)位置，（，）為待配準(zhǔn)圖像的像素點(diǎn)位置。我們可以根據(jù)已經(jīng)檢測(cè)出來(lái)的匹配點(diǎn)來(lái)計(jì)算出式（）中的參數(shù)，由此，可以得到我們需要對(duì)待配準(zhǔn)圖像進(jìn)行變換的幾何變換矩陣。比如我們用匹配點(diǎn)對(duì)（，），（，），哆，？，（）如果，則該矩陣有個(gè)自由度，因此只需要對(duì)或者是對(duì)以上的匹配點(diǎn)，就可以根據(jù)得到的幾何變換矩陣可以將待配準(zhǔn)圖像進(jìn)行變換，得到一幅新的圖像。將新圖像與參考圖像的對(duì)應(yīng)點(diǎn)進(jìn)行配準(zhǔn)得到一幅配準(zhǔn)后的圖像，這樣我們便完成了多視角圖像東北師范大學(xué)碩士學(xué)位論文第三章實(shí)驗(yàn)與實(shí)驗(yàn)結(jié)果比較本文的實(shí)驗(yàn)都是在系統(tǒng)下，利用來(lái)實(shí)現(xiàn)舊的。本章的實(shí)驗(yàn)是分別采用方法和本文提出的方法對(duì)多視角圖像進(jìn)行匹配。用方法對(duì)多視角圖像進(jìn)行匹配圖像匹配方法特征匹配算法嘞刪是在年總結(jié)了現(xiàn)有的基于不變量技術(shù)的特征檢測(cè)方法的基礎(chǔ)上，提出的一種基于尺度空間的的方法，對(duì)圖像縮放、旋轉(zhuǎn)甚至仿射變換都保持不變性的特征匹配算法。在使用本文的方法之前我采用了方法對(duì)不同視角的圖像進(jìn)行了匹配實(shí)驗(yàn)。特征是圖像的局部特征，該特征對(duì)