《MATLAB應(yīng)用圖像處理》課件第6章

第6章MATLAB圖像配準(zhǔn)

6.1圖像配準(zhǔn)概述6.2圖像配準(zhǔn)方法

6.3MATLAB圖像配準(zhǔn)工具介紹

6.4圖像配準(zhǔn)示例習(xí)題

6.1圖像配準(zhǔn)概述

6.1.1圖像配準(zhǔn)定義圖像配準(zhǔn)是對(duì)從不同傳感器、不同時(shí)間、不同視點(diǎn)所獲得的兩幅或多幅圖像進(jìn)行最佳匹配，以達(dá)到空間匹配和疊加目的的處理過(guò)程。本質(zhì)上圖像配準(zhǔn)首先需要分析各分量圖像上的幾何畸變，然后采用一種幾何變換將圖像歸化到統(tǒng)一的坐標(biāo)系統(tǒng)中。在圖6.1所示的例子中，待配準(zhǔn)圖像根據(jù)參考圖像經(jīng)過(guò)配準(zhǔn)方法處理可以得到局部放大且角度校正的配準(zhǔn)圖像。在醫(yī)學(xué)領(lǐng)域中，圖像配準(zhǔn)一般是指有重疊區(qū)的相鄰兩幅圖像的對(duì)準(zhǔn)。圖6.1圖像配準(zhǔn)演示實(shí)例6.1.2圖像配準(zhǔn)的分類(lèi)到目前為止，對(duì)配準(zhǔn)的分類(lèi)始終沒(méi)有一個(gè)統(tǒng)一的說(shuō)法，人們根據(jù)其不同的用途和特征對(duì)它進(jìn)行不同的分類(lèi)。下面給出目前比較流行的分類(lèi)方法?！窀鶕?jù)空間維數(shù)數(shù)目，圖像配準(zhǔn)可分為如下幾類(lèi)：

(1)?3D/3D配準(zhǔn)。該類(lèi)配準(zhǔn)應(yīng)用于兩個(gè)斷層掃描數(shù)據(jù)的配準(zhǔn)。

(2)?2D/2D配準(zhǔn)。該類(lèi)配準(zhǔn)應(yīng)用于相同或不同斷層掃描數(shù)據(jù)的不同片層之間的配準(zhǔn)。

(3)?2D/3D配準(zhǔn)。該類(lèi)配準(zhǔn)應(yīng)用于空間數(shù)據(jù)和投影數(shù)據(jù)之間的配準(zhǔn)，或二維片層掃描數(shù)據(jù)和三維空間數(shù)據(jù)的配準(zhǔn)?！窀鶕?jù)醫(yī)學(xué)圖像模態(tài)，圖像配準(zhǔn)可分為如下幾類(lèi)：

(1)單模圖像之間的配準(zhǔn)。該類(lèi)配準(zhǔn)一般應(yīng)用于生長(zhǎng)監(jiān)控、剪影成像等。

(2)多模圖像之間的配準(zhǔn)。該類(lèi)配準(zhǔn)是解剖—解剖之間的配準(zhǔn)、解剖—功能之間的配準(zhǔn)。

(3)患者和模態(tài)之間的配準(zhǔn)。該類(lèi)配準(zhǔn)多應(yīng)用于放射治療和計(jì)算機(jī)輔助手術(shù)中的手術(shù)定位?！窀鶕?jù)變換性質(zhì)，圖像配準(zhǔn)可分為如下幾類(lèi)：(1)剛性變換配準(zhǔn)。該類(lèi)配準(zhǔn)包括平移和旋轉(zhuǎn)。(2)仿射變換配準(zhǔn)。該類(lèi)配準(zhǔn)是將平行線變換為平行線。(3)投影變換配準(zhǔn)。該類(lèi)配準(zhǔn)是將直線映射為直線。(4)曲線變換配準(zhǔn)。該類(lèi)配準(zhǔn)是將直線映射為曲線。●根據(jù)用戶交互性，圖像配準(zhǔn)可分為如下幾類(lèi)：

(1)交互配準(zhǔn)。該類(lèi)配準(zhǔn)是用戶完成配準(zhǔn)過(guò)程，而程序提供一個(gè)當(dāng)前變換的直觀顯示以指導(dǎo)用戶。

(2)半自動(dòng)配準(zhǔn)。該類(lèi)配準(zhǔn)是用戶可能需要初始算法的某些參數(shù)，可能需要接受或拒絕某些配準(zhǔn)假設(shè)。

(3)自動(dòng)配準(zhǔn)。該類(lèi)配準(zhǔn)時(shí)用戶只需給出算法和圖像數(shù)據(jù)，但完全實(shí)用還需要時(shí)間。6.2圖像配準(zhǔn)方法

6.2.1基于灰度信息的圖像配準(zhǔn)方法

1．序貫相似度檢測(cè)匹配法序貫相似度檢測(cè)匹配法(SequentialSimilarityDetectionAlgorithms，SSDA)是由Barnea等人提出來(lái)的。該方法先選擇一個(gè)簡(jiǎn)單的固定門(mén)限T，若在某點(diǎn)上計(jì)算兩幅圖像殘差和的過(guò)程中，殘差和大于該固定門(mén)限T，就認(rèn)為當(dāng)前點(diǎn)不是匹配點(diǎn)，從而終止當(dāng)前的殘差和計(jì)算，轉(zhuǎn)向別的點(diǎn)去計(jì)算殘差和，最后認(rèn)為殘差和增長(zhǎng)最慢的點(diǎn)就是匹配點(diǎn)。

2．交互信息法交互信息法最初是Viola等人于1995年引入到圖像配準(zhǔn)的領(lǐng)域的，它基于信息理論的交互信息相似性準(zhǔn)則，初衷是解決多模態(tài)醫(yī)學(xué)圖像的配準(zhǔn)問(wèn)題。交互信息用來(lái)比較兩幅圖像的統(tǒng)計(jì)依賴性。首先將圖像的灰度視作具有獨(dú)立樣本的空間均勻隨機(jī)過(guò)程，相關(guān)的隨機(jī)場(chǎng)可以采用高斯—馬爾科夫隨機(jī)場(chǎng)模型建立，用統(tǒng)計(jì)特征及概率密度函數(shù)來(lái)描述圖像的統(tǒng)計(jì)性質(zhì)。交互信息是兩個(gè)隨機(jī)變量A和B之間統(tǒng)計(jì)相關(guān)性的量度，或是一個(gè)變量包含另一個(gè)變量的信息量的量度。交互信息是用A和B的個(gè)體熵的聯(lián)合熵來(lái)表示的，其中，圖像A和B的個(gè)體熵分別為隨機(jī)變量A和B的邊緣概率密度，聯(lián)合熵為兩個(gè)隨機(jī)變量的聯(lián)合概率密度分布?；诮换バ畔⒌膱D像配準(zhǔn)是用兩幅圖像的聯(lián)合概率分布與完全獨(dú)立時(shí)的概率分布的廣義距離來(lái)估計(jì)交互信息。交互信息用于圖像配準(zhǔn)的關(guān)鍵思想是：如果兩幅圖像達(dá)到匹配，它們的交互信息達(dá)到最大值。在圖像配準(zhǔn)的應(yīng)用中，通常聯(lián)合概率密度和邊緣概率密度可以用兩幅圖像重疊區(qū)域的聯(lián)合概率直方圖和邊緣概率直方圖來(lái)估計(jì)，或者用Parzen窗概率密度估計(jì)法來(lái)估計(jì)，從而計(jì)算交互信息。當(dāng)兩幅圖像達(dá)到最佳配準(zhǔn)時(shí)，它們對(duì)應(yīng)的像素的灰度交互信息應(yīng)為最大。由于基于交互信息的配準(zhǔn)對(duì)噪聲比較敏感，所以首先通過(guò)濾波和分割等方法對(duì)圖像進(jìn)行預(yù)處理，然后對(duì)圖像進(jìn)行采樣、變換、插值、優(yōu)化，從而達(dá)到配準(zhǔn)的目的。交互信息法只依賴于圖像本身的信息，不需要對(duì)圖像進(jìn)行特征點(diǎn)提取和組織分類(lèi)等預(yù)處理，它是一種自動(dòng)而有效的配準(zhǔn)算法。該算法可靠，對(duì)圖像中的幾何失真、灰度不均勻和數(shù)據(jù)的缺失等不敏感，它不依賴于任何成像設(shè)備，可應(yīng)用于多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)。但它也有缺點(diǎn)，如運(yùn)算量大、對(duì)噪聲敏感、要求待配準(zhǔn)圖像間聯(lián)合概率分布函數(shù)必須是嚴(yán)格正性的。交互信息圖像配準(zhǔn)方法在醫(yī)學(xué)圖像的配準(zhǔn)問(wèn)題上應(yīng)用較多。比如將交互信息和梯度結(jié)合起來(lái)改善其極值性能的算法、多分辨率圖像金字塔法等。但交互信息是建立在概率密度估計(jì)的基礎(chǔ)上的，有時(shí)需要建立參數(shù)化的概率密度模型，它要求的計(jì)算量很大，并且要求圖像之間有很大的重疊區(qū)域，所以函數(shù)可能出現(xiàn)病態(tài)，且有大量的局部極值。

3．互相關(guān)法互相關(guān)法是最基本的基于灰度統(tǒng)計(jì)的圖像配準(zhǔn)的方法，通常被用于進(jìn)行模板匹配和模式識(shí)別。互相關(guān)法是一種匹配度量，通過(guò)計(jì)算模板圖像和搜索窗口之間的互相關(guān)值，來(lái)確定匹配的程度，互相關(guān)值最大時(shí)的搜索窗口位置決定了模板圖像在待配準(zhǔn)圖像中的位置。模板匹配法是在一幅影像中選取一個(gè)合適的影像窗口作模板，大小通常為5×5或7×7，如圖6.2所示。然后通過(guò)相關(guān)函數(shù)的計(jì)算來(lái)尋找它在搜索圖中的坐標(biāo)位置。設(shè)模板T放在搜索圖S上平移，模板覆蓋下的那塊搜索圖叫做子圖Si，j，子圖的中心點(diǎn)在S圖中的坐標(biāo)(i，j)叫參考點(diǎn)。圖6.2模板匹配法用以下測(cè)度來(lái)衡量T和Si，j的相似程度：根據(jù)施瓦茲不等式，0≤P≤1，并且在Si，j(m，n)/T(m，n)值為常數(shù)時(shí)取極大值1。但實(shí)際上兩幅不同圖像的P值介于0和1之間，很難達(dá)到理想值。根據(jù)經(jīng)驗(yàn)取某個(gè)閾值P0，如果P＞P0，則匹配成功；如果P＜P0，則匹配失敗。為了加快搜索速度，很多影像匹配方法使用金字塔影像，如圖6.3所示。圖6.3金字塔影像將原始圖像作為金字塔影像的底層。對(duì)圖像進(jìn)行一次采樣率為1/n(n?=?2，3)的重采樣，即把圖像的每n?×?n個(gè)像素變?yōu)橐粋€(gè)像素，這樣就得到一對(duì)長(zhǎng)、寬都為原來(lái)1/n的圖像，把它作為金字塔的第二層。再對(duì)第二層用同樣方法進(jìn)行一次采樣率為1/n的重采樣，又得到第三層(頂層)。具體過(guò)程如下：第一步：頂層的匹配，得到一個(gè)平移初始值；第二步：根據(jù)平移初始值乘以n得到第二層平移量初始值，在它m?×?m個(gè)像元的鄰域內(nèi)進(jìn)行模板匹配；第三步：根據(jù)第二層匹配值乘以n得到第三層平移量初始值，再進(jìn)行一次模板匹配。如果影像尺寸不是特別大，可以只用兩層金字塔。6.2.2基于變換域的圖像配準(zhǔn)方法最主要的變換域圖像配準(zhǔn)方法是傅立葉變換方法，它主要有以下一些優(yōu)點(diǎn)：圖像的平移、旋轉(zhuǎn)、仿射等變換在傅立葉變換域中都有相應(yīng)的體現(xiàn)；利用變換域的方法還有可能獲得一定程度的抵抗噪聲的魯棒性；由于傅立葉變換有成熟的快速算法和易于硬件實(shí)現(xiàn)，因而在算法實(shí)現(xiàn)上有其獨(dú)特的優(yōu)勢(shì)。相位相關(guān)技術(shù)是配準(zhǔn)兩幅圖像平移失配的基本傅立葉變換方法。相位相關(guān)依據(jù)的是傅立葉變換的平移性質(zhì)。給定兩幅圖像，它們之間的唯一區(qū)別是存在一個(gè)位移，根據(jù)傅立葉變換的性質(zhì)可知這兩幅圖像有相同的傅立葉變換幅度和不同的相位關(guān)系，相位關(guān)系是由它們之間的平移直接決定的。兩幅圖像的相位差就等于它們交叉功率譜的相位，對(duì)其進(jìn)行傅立葉反變換會(huì)得到一個(gè)脈沖函數(shù)，該函數(shù)在其他各處幾乎為零，只在平移的位置上不為零，這個(gè)位置就是要確定的配準(zhǔn)位置。旋轉(zhuǎn)在傅立葉變換中是一個(gè)不變量。根據(jù)傅立葉變換的旋轉(zhuǎn)性質(zhì)，旋轉(zhuǎn)一幅圖像，在頻域相當(dāng)于對(duì)其傅立葉變換作相同角度的旋轉(zhuǎn)。兩個(gè)頻譜的幅度是一樣的，只是有一個(gè)旋轉(zhuǎn)關(guān)系。也就是說(shuō)，這個(gè)旋轉(zhuǎn)關(guān)系通過(guò)對(duì)其中一個(gè)頻譜幅度進(jìn)行旋轉(zhuǎn)，用最優(yōu)化方法尋找最匹配的旋轉(zhuǎn)角度就可以確定。6.2.3基于特征的圖像配準(zhǔn)方法基于特征的匹配方法的共同之處是首先對(duì)待配準(zhǔn)圖像進(jìn)行預(yù)處理，也就是先要進(jìn)行圖像分割和特征提取的過(guò)程，再利用提取得到的特征完成兩幅圖像特征之間的匹配，通過(guò)特征的匹配關(guān)系建立圖像之間的配準(zhǔn)映射關(guān)系。由于圖像中有很多種可以利用的特征，因而產(chǎn)生了多種基于特征的方法。常用到的圖像特征有特征點(diǎn)(包括角點(diǎn)、高曲率點(diǎn)等)、直線段、邊緣、輪廓、閉合區(qū)域、特征結(jié)構(gòu)以及統(tǒng)計(jì)特征(如矩不變量、重心等)等。點(diǎn)特征是配準(zhǔn)中常用到的圖像特征之一，其中主要應(yīng)用的是圖像中的角點(diǎn)，圖像中的角點(diǎn)在計(jì)算機(jī)視覺(jué)模式識(shí)別以及圖像配準(zhǔn)領(lǐng)域都有非常廣泛的應(yīng)用?；诮屈c(diǎn)的圖像配準(zhǔn)的主要思路是，首先在兩幅圖像中分別提取角點(diǎn)，再以不同的方法建立兩幅圖像中角點(diǎn)的相互關(guān)聯(lián)，從而確立同名角點(diǎn)，最后以同名角點(diǎn)作為控制點(diǎn)，確定圖像之間的配準(zhǔn)變換。由于角點(diǎn)的提取已經(jīng)有了相當(dāng)多的方法可循，因此基于角點(diǎn)的方法最困難的問(wèn)題就是怎樣建立兩幅圖像之間同名點(diǎn)的關(guān)聯(lián)。已被報(bào)道的解決點(diǎn)匹配問(wèn)題的方法包括松弛法、相對(duì)距離直方圖聚集束檢測(cè)法、Hausdorff距離及相關(guān)方法等等，這些方法都對(duì)檢測(cè)到的角點(diǎn)要求比較苛刻，比如有的要求角點(diǎn)的數(shù)目同樣多，簡(jiǎn)單的變換關(guān)系等等，因而不能適應(yīng)普遍的配準(zhǔn)應(yīng)用。6.3MATLAB圖像配準(zhǔn)工具介紹

6.3.1?cp2tform從給定的控制點(diǎn)推導(dǎo)出變換數(shù)據(jù)結(jié)構(gòu)TFORM，用于對(duì)圖像進(jìn)行變換。基本調(diào)用格式為

TFORM=cp2tform(input_points,base_points,Transformtype)其中，input_points為待配準(zhǔn)圖像上的點(diǎn)，base_points為參考圖像上的點(diǎn)。input_points和base_points都是m?×?2矩陣，表示點(diǎn)的坐標(biāo)信息，每個(gè)矩陣的第一列為x坐標(biāo)，第二列為y坐標(biāo)。Transformtype為變換類(lèi)型參數(shù)，具體的意義如表6.1所示。

表6.1cp2tform變換類(lèi)型參數(shù)6.3.2?cpcorr用相關(guān)函數(shù)對(duì)控制點(diǎn)的位置進(jìn)行微調(diào)，以控制點(diǎn)對(duì)、待配準(zhǔn)圖像、基準(zhǔn)圖像為輸入，調(diào)用方法如下：input_points=cpcorr(input_points_in,base_points_in,input,base)其中，input_points_in為M?×?2矩陣，包含輸入圖像input上的點(diǎn)對(duì)信息；base_points_in為M?×?2矩陣，包含基準(zhǔn)圖像base上的點(diǎn)對(duì)信息。兩矩陣的第一列都為x坐標(biāo)，第二列都為y坐標(biāo)。input_points為調(diào)整后的點(diǎn)對(duì)矩陣，大小與輸入矩陣一致。如果cpcorr函數(shù)不能夠?qū)刂泣c(diǎn)對(duì)進(jìn)行調(diào)整，則直接將input_points_in輸出。當(dāng)發(fā)生如下四種情況之一時(shí)，cpcorr函數(shù)不能夠?qū)c(diǎn)的位置進(jìn)行調(diào)整：(1)點(diǎn)的位置太過(guò)于接近圖像的邊緣。(2)點(diǎn)周?chē)臄?shù)據(jù)包含有NaN和Inf。(3)輸入圖像的輸入點(diǎn)局部區(qū)域的標(biāo)準(zhǔn)偏差為零。(4)輸入點(diǎn)與局部區(qū)域幾乎不相關(guān)。

cpcorr函數(shù)對(duì)點(diǎn)位置調(diào)整的最大范圍為4個(gè)像素，計(jì)算精度為1/10個(gè)像素。cpcorr函數(shù)對(duì)點(diǎn)的調(diào)整的基本步驟如下：

(1)從輸入圖像的控制點(diǎn)周?chē)x取一個(gè)11?×?11大小的模板，從基準(zhǔn)圖像的周?chē)x取一個(gè)21?×?21大小的模板。

(2)計(jì)算所選取模板之間的歸一化相關(guān)函數(shù)。

(3)尋找相關(guān)矩陣的最大值。

(4)利用最大值的位置信息對(duì)輸入圖像上的控制點(diǎn)進(jìn)行調(diào)整。具體的調(diào)用例子如下：

input=imread('onion.png');

base=imread('peppers.png');

input_points=[12793;7459];

base_points=[323195;269161];

input_points_adj=cpcorr(input_points,base_points,...input(:,:,1),base(:,:,1))

input_points_adj=

127.000093.0000

71.000059.60006.3.3cpselect

cpselect為控制點(diǎn)選擇工具，基本的調(diào)用格式如下：cpselect(input,base)其中，input為待配準(zhǔn)圖像，base為基準(zhǔn)圖像。調(diào)用cpselect函數(shù)指定控制點(diǎn)包括四個(gè)過(guò)程：

(1)開(kāi)啟工具，指定待配準(zhǔn)圖像和基準(zhǔn)圖像。

(2)使用瀏覽工具，確定可以作為控制點(diǎn)的特征點(diǎn)。

(3)在待配準(zhǔn)圖像和基準(zhǔn)圖像上選擇控制點(diǎn)。

(4)保存控制點(diǎn)到MATLAB的工作空間。圖6.4為調(diào)用cpselect時(shí)的默認(rèn)界面。圖6.4cpselect的默認(rèn)界面控制點(diǎn)選擇工具包含三個(gè)主要部分：

(1)主窗口(Detailwindows)。兩個(gè)主窗口位于工具的上部，顯示待配準(zhǔn)圖像和基準(zhǔn)圖像的一部分，其中待配準(zhǔn)圖像在左邊，基準(zhǔn)圖像在右邊。

(2)瀏覽窗口(Overviewwindows)。兩個(gè)瀏覽窗口在工具的下部，以適當(dāng)?shù)谋壤翱陲@示圖像的全部，其中左邊為待配準(zhǔn)圖像的，右邊為基準(zhǔn)圖像的。可以通過(guò)“View”菜單控制這些窗口的顯示和關(guān)閉。

(3)細(xì)節(jié)選取矩形框(Detailrectangles)。疊加在Overviewwindows窗口圖像上顯示的兩個(gè)矩形區(qū)域?yàn)镈etailrectangles。這些窗口控制顯示在Detailwindows窗口內(nèi)的圖像區(qū)域?？梢砸苿?dòng)這些窗口的位置以控制在Detailwindows窗口內(nèi)顯示的內(nèi)容。

為了準(zhǔn)確地選擇兩幅圖像上的相似特征點(diǎn)為控制點(diǎn)，cpselect工具界面提供了對(duì)圖像進(jìn)行縮放、顯示區(qū)域移動(dòng)變換等輔助性的操作。以下對(duì)具體的操作手段和方法進(jìn)行詳細(xì)說(shuō)明。

(1)?UsingScrollBarstoViewOtherPartsofanImage，將沒(méi)有顯示在Deitail和overview窗口中的圖像顯示出來(lái)，可以用翻滾條控制其顯示部分。當(dāng)用翻滾條調(diào)整Detail內(nèi)的圖像內(nèi)容時(shí)，仔細(xì)觀察Detailrectangles內(nèi)的內(nèi)容，可發(fā)現(xiàn)這兩個(gè)窗口內(nèi)的內(nèi)容總是保持一致。

(2)?UsingtheDetailRectangletoChangetheView，除了用翻滾條調(diào)整顯示內(nèi)容外，還可以通過(guò)調(diào)整DetailRectangle的位置來(lái)調(diào)整顯示內(nèi)容。移動(dòng)DetailRectangles的方法如下：①將鼠標(biāo)指針移動(dòng)到Detailrectangles的內(nèi)部，此時(shí)鼠標(biāo)指針的形狀變?yōu)?。②按住鼠?biāo)右鍵，拖動(dòng)Detailrectangles到需要顯示的部分即可。此時(shí)，Deitailwindows內(nèi)的內(nèi)容與Detailwindows內(nèi)的一致。

(3)?PanningtheImageDisplayedintheDetailwindow，也可以利用pantool移動(dòng)要在Detailwindows中顯示內(nèi)容，方法如下：①單擊工具條內(nèi)的按鍵，或者選擇Pan菜單。②將鼠標(biāo)指針移動(dòng)到Detailwindows內(nèi)。此時(shí)鼠標(biāo)指針形狀改變?yōu)?。③按住鼠?biāo)左鍵，鼠標(biāo)的形狀變成，此時(shí)可以用鼠標(biāo)改變顯示在Detailwindows內(nèi)的內(nèi)容。

(4)縮放圖像。要放大圖像以顯示圖像的更多細(xì)節(jié)，或者縮小圖像以全面觀察圖像，可以通過(guò)對(duì)圖像進(jìn)行縮放操作來(lái)實(shí)現(xiàn)。對(duì)待配準(zhǔn)圖像和基準(zhǔn)圖像進(jìn)行縮放操作的基本方法如下：①選擇菜單中的工具。②將指針移動(dòng)到需要縮放的圖像上，此時(shí)鼠標(biāo)指針變成。按一下鼠標(biāo)，對(duì)相關(guān)圖像進(jìn)行一次縮放，縮放的比例由工具條內(nèi)的相關(guān)參數(shù)決定?？s放后圖像的中心區(qū)域?yàn)槭髽?biāo)按鍵點(diǎn)。也可以通過(guò)按住鼠標(biāo)并拉出一個(gè)矩形區(qū)域來(lái)確定放大比例和顯示區(qū)域。Detailrectangles與Detailwindows內(nèi)的內(nèi)容保持一致。③選擇工具條內(nèi)的Lockratio復(fù)選框。

(5)指定縮放系數(shù)?？s放圖像還可以通過(guò)指定縮放倍數(shù)來(lái)完成。具體的方法如下：①將鼠標(biāo)移動(dòng)到待縮放圖像的縮放比例輸入框中，如圖6.5所示；②在縮放比例輸入框中輸入縮放因子并按回車(chē)鍵，或者從下拉菜單中選擇合適的縮放比例。圖6.5指定縮放系數(shù)界面6.3.4?cpstruct2pairs

cpstruct2pairs函數(shù)將CPSTRUCT結(jié)構(gòu)轉(zhuǎn)換成有效的控制點(diǎn)對(duì)?；镜恼{(diào)用格式為[input_points,base_points]=cpstruct2pairs(CPSTRUCT)其中，CPSTRUCT為cpselect工具返回值。6.3.5?normxcorr2

求解模板和矩陣之間的歸一化相關(guān)系數(shù)矩陣，其調(diào)用格式為

C=normxcorr2(TEMPLATE,A)其中，為了使求解出來(lái)的系數(shù)有意義，矩陣A的大小必須大于模板TEMPLATE，并且模板矩陣TEMPLATE的元素不能夠全相等。返回的相關(guān)系數(shù)矩陣的元素值的范圍為[-1，1]。此函數(shù)求解的基本步驟如下：

(1)根據(jù)圖像A的大小判斷求解是在空間域還是在頻域進(jìn)行，然后求解相關(guān)系數(shù)。

(2)求解局部和。

(3)利用局部和對(duì)相關(guān)系數(shù)矩陣進(jìn)行歸一化處理。例如，如下代碼說(shuō)明了如何利用normxcorr2函數(shù)求解歸一化系數(shù)矩陣；%構(gòu)建圖像T=.2*ones(11);T(6,3:9)=.6;T(3:9,6)=.6;BW=T>0.5;imshow(BW),title('Binary')figure,imshow(T),title('Template')%對(duì)圖像進(jìn)行偏置處理T_offset=.2*ones(21);offset=[35];%shiftby3rows,5columnsT_offset((1:size(T,1))+offset(1),(1:size(T,2))+offset(2))=T;imshow(T_offset),title('OffsetTemplate')%調(diào)用normxcorr2函數(shù)求解歸一化系數(shù)矩陣cc=normxcorr2(BW,T_offset);[max_cc,imax]=max(abs(cc(:)));[ypeak,xpeak]=ind2sub(size(cc),imax(1));corr_offset=[(ypeak-size(T,1))(xpeak-size(T,2))];isequal(corr_offset,offset)6.4圖像配準(zhǔn)示例

6.4.1圖像配準(zhǔn)一般流程由對(duì)圖像配準(zhǔn)原理的討論可知，多幅圖像配準(zhǔn)的目的是綜合利用圖像中的各種空間和灰度屬性的信息，合并成一組在空間位置上和灰度屬性上一一對(duì)準(zhǔn)的圖像，以便于對(duì)這組圖像進(jìn)行后續(xù)處理。圖像配準(zhǔn)一般由以下五個(gè)步驟構(gòu)成：(1)建立原始圖像和待配準(zhǔn)圖像坐標(biāo)系；(2)確定圖像配準(zhǔn)控制點(diǎn)；(3)應(yīng)用配準(zhǔn)控制點(diǎn)建立圖像間的畸變模型；(4)根據(jù)畸變模型對(duì)待校正影像進(jìn)行重采樣；(5)原始圖像和待配準(zhǔn)圖像的平滑拼接。第一步為圖像配準(zhǔn)提供一個(gè)參考系統(tǒng)。對(duì)于相對(duì)配準(zhǔn)通常是取一幅圖像的圖像坐標(biāo)系作為待校正圖像坐標(biāo)系，而以另一幅圖像的坐標(biāo)系作為參考坐標(biāo)系或者校正圖像坐標(biāo)系；對(duì)于圖像相對(duì)格網(wǎng)進(jìn)行的配準(zhǔn)，則通常取大地坐標(biāo)系或者地圖坐標(biāo)系作為校正坐標(biāo)系，而以分量圖像的坐標(biāo)系作為原始圖像坐標(biāo)系。第二步是圖像配準(zhǔn)的關(guān)鍵，即選擇控制點(diǎn)。由于多幅圖像反映了相同或部分相同的地圖特征，因此圖像上的一部分像素點(diǎn)應(yīng)該在多幅圖像的其它分量上有代表同一地面點(diǎn)的同名點(diǎn)，即配準(zhǔn)控制點(diǎn)(RCP)。選擇控制點(diǎn)的方式有三種：手工、半自動(dòng)化搜尋和計(jì)算機(jī)自動(dòng)查找。有許多特征提取算法可以用于RCP的選取，在6.4.2節(jié)中將重點(diǎn)討論配準(zhǔn)控制點(diǎn)的選取算法。不管采用哪一種匹配算法，最終所選擇的RCP的精度、數(shù)量以及它們?cè)趫D像上的分布情況在很大程度上決定了幾何校正和配準(zhǔn)的精度，所以在選擇配準(zhǔn)控制點(diǎn)時(shí)應(yīng)注意以下幾點(diǎn)：

(1)控制點(diǎn)一般應(yīng)選擇標(biāo)志較為明確、穩(wěn)定，并且在參考影像和待校正影像上都容易辨認(rèn)，目標(biāo)較小的突出地圖特征點(diǎn)，比如道路的交叉點(diǎn)、河流主干交叉處、田地拐角等；

(2)控制點(diǎn)在影像上必須均勻分布，否則在配準(zhǔn)控制點(diǎn)較密集的區(qū)域內(nèi)配準(zhǔn)的精度較好，而在配準(zhǔn)控制點(diǎn)分布比較稀疏的地方，配準(zhǔn)的精度就差；

(3)控制點(diǎn)的數(shù)量應(yīng)適當(dāng)，太多了會(huì)影響計(jì)算機(jī)處理的速度，太少了不利于精確配準(zhǔn)。第三步用所得到的配準(zhǔn)控制點(diǎn)之間的關(guān)系來(lái)確定圖像的畸變模型參數(shù)，它隨著所采取的校正方法的不同而不同。在本書(shū)中采用的畸變模型是一次多項(xiàng)式，利用它對(duì)兩幅圖像間的幾何畸變進(jìn)行逼近。在整體校正時(shí)，可以用最小二乘法對(duì)分布于整個(gè)圖像區(qū)域上的控制點(diǎn)進(jìn)行擬合，得到一次多項(xiàng)式系數(shù)；在分塊校正和局部校正時(shí)利用的是完全解。第四步在基于畸變模型的基礎(chǔ)上對(duì)待校正影像求取輸出圖像各像素的灰度值，即進(jìn)行幾何變換和重采樣。6.4.2簡(jiǎn)單的圖像配準(zhǔn)簡(jiǎn)單的圖像配準(zhǔn)步驟如下：

(1)讀取圖像。

I=imread('cameraman.tif');

imshow(I);

text(size(I,2),size(I,1)+15,...

'ImagecourtesyofMassachusettsInstituteofTechnology',...

'FontSize',7,'HorizontalAlignment','right');讀入的圖像如圖6.6所示。圖6.6讀取圖像(2)改變圖像大小并旋轉(zhuǎn)圖像。scale=0.6;J=imresize(I,scale);theta=30;K=imrotate(J,theta);figure,imshow(K)運(yùn)行結(jié)果如圖6.7所示。圖6.7旋轉(zhuǎn)圖像

(3)選擇控制點(diǎn)。利用控制點(diǎn)選擇工具選擇至少兩對(duì)控制點(diǎn)。

input_points=[129.87141.25;112.6367.75];

base_points=[135.26200.15;170.3079.30];選擇File菜單中的SavePointstoworkspace選項(xiàng)，以保存控制點(diǎn)。

(4)定義變換。利用上一步所選擇的控制點(diǎn)，創(chuàng)建指定變換類(lèi)型的TFORM結(jié)構(gòu)體。

t=cp2tform(input_points,base_points,'linearconformal');

(5)求解縮放和旋轉(zhuǎn)參數(shù)。TFROM結(jié)構(gòu)體t在t.tdata.Tinv中包含變換矩陣，據(jù)此可以求解縮放和旋轉(zhuǎn)參數(shù)，求解代碼為

ss=t.tdata.Tinv(2,1);

sc=t.tdata.Tinv(1,1);

scale_recovered=sqrt(ss*ss+sc*sc)

theta_recovered=atan2(ss,sc)*180/pi求解結(jié)果為

scale_recovered=

0.6000

theta_recovered=

29.3699

(6)重構(gòu)配準(zhǔn)后的圖像。

D=size(I);

recovered=imtransform(K,t,‘XData’,[1D(2)],‘YData’,

[1D(1)]);結(jié)果如圖6.8所示。圖6.8配準(zhǔn)結(jié)果6.4.3復(fù)雜的圖像配準(zhǔn)本例主要用來(lái)說(shuō)明圖像匹配中輸出圖像和基準(zhǔn)圖像的空間關(guān)系。本例演示了使用可選輸入?yún)?shù)和輸出參數(shù)xdata、ydata的方法。

(1)讀取圖像?；鶞?zhǔn)圖像是經(jīng)過(guò)一系列校正后得到的，校正了其中由相機(jī)、視角引入的誤差。圖像中的每個(gè)像素表示地面上1?m2的空間區(qū)域。基準(zhǔn)圖像是灰度圖，待配準(zhǔn)的圖像是RGB彩色圖像。由于相機(jī)視角、系統(tǒng)內(nèi)部變形等原因存在誤差。本例的目的在于應(yīng)用MATLAB提供的圖像配準(zhǔn)工具配準(zhǔn)這兩個(gè)圖像。首先將這兩個(gè)圖像讀入MATLAB的工作空間，如圖6.9所示。

orthophoto=imread('westconcordorthophoto.png');figure,imshow(orthophoto)

unregistered=imread('westconcordaerial.png');figure,imshow(unregistered)圖6.9待配準(zhǔn)圖像和基準(zhǔn)圖像圖像配準(zhǔn)的過(guò)程不一定需要將圖像讀入工作空間，這是由于cpselect函數(shù)接受文件名作為參數(shù)。但當(dāng)需要使用相關(guān)系數(shù)對(duì)控制點(diǎn)的位置進(jìn)行微調(diào)的時(shí)候，就必須將圖像讀入工作空間。

(2)在圖像上選擇控制點(diǎn)并保存。工具箱提供了交互式的控制點(diǎn)選擇工具。利用此工具，用戶可以在兩個(gè)圖像上選取配準(zhǔn)的控制點(diǎn)?？刂泣c(diǎn)可以是兩個(gè)圖像上都存在的路標(biāo)、路的交點(diǎn)或者其他的自然特征。以基準(zhǔn)圖像和待配準(zhǔn)圖像為參數(shù)，調(diào)用cpselect函數(shù)就可以調(diào)用控制點(diǎn)選擇工具：

cpselect(unregistered,orthophoto)該工具將同時(shí)顯示基準(zhǔn)和待配準(zhǔn)圖像，直接在兩個(gè)圖像上按住左鍵選擇控制點(diǎn)，如圖6.10所示。本例選擇四對(duì)控制點(diǎn)，控制點(diǎn)對(duì)的個(gè)數(shù)由所要進(jìn)行的空間變換決定，相關(guān)內(nèi)容參見(jiàn)空間變換一章。圖6.10調(diào)用cpselect函數(shù)在控制點(diǎn)選擇工具上選擇File菜單的ExportPointstoworkspace選項(xiàng)，可以保存控制點(diǎn)。保存后，將會(huì)出現(xiàn)input_points和output_points兩個(gè)變量，分別代表輸入圖像和輸出圖像上的控制點(diǎn)。數(shù)據(jù)格式為n?×?2的矩陣，n代表控制點(diǎn)的個(gè)數(shù)。第一列代表x坐標(biāo)、第二列代表y坐標(biāo)。

input_points=

118.000096.0000

304.000087.0000

358.0000281.0000

127.0000292.0000

(3)微調(diào)控制點(diǎn)。此步是可選項(xiàng)，利用相關(guān)方法來(lái)微調(diào)通過(guò)cpselect工具選擇的控制點(diǎn)的位置。使用相關(guān)方法微調(diào)控制點(diǎn)，要求兩個(gè)圖像上的特征必須具有同樣的縮放和方向。

(4)指定變換類(lèi)型和參數(shù)。本步將控制點(diǎn)傳給cp2tform函數(shù)，此函數(shù)從控制點(diǎn)信息得到圖像配準(zhǔn)所需進(jìn)行的空間變換的參數(shù)。cp2tform是一個(gè)數(shù)據(jù)擬合函數(shù)，基于控制點(diǎn)之間的結(jié)合關(guān)系確定變換矩陣以及返回變換所需要的TFORM結(jié)構(gòu)體數(shù)據(jù)。調(diào)用cp2tform時(shí)，必須指定變換類(lèi)型。cp2tform能夠產(chǎn)生五個(gè)類(lèi)型變換的參數(shù)，進(jìn)行圖像配準(zhǔn)之前必須指定對(duì)待配準(zhǔn)圖像進(jìn)行誤差修整的方法。待配準(zhǔn)圖像可以存在一種以上的變形。本例中的待配準(zhǔn)圖像主要誤差源于相機(jī)的視角。忽略別的誤差，圖像配準(zhǔn)工具使用投影變換就可以校正相機(jī)視角誤差。投影變換中包含旋轉(zhuǎn)變換，利用此變換可以將待配準(zhǔn)圖像與基準(zhǔn)圖像重合。產(chǎn)生變換矩陣的代碼如下：

mytform=cp2tform(input_points,base_points,'projective');

(5)對(duì)待配準(zhǔn)圖像進(jìn)行變換。以待配準(zhǔn)圖像和TFORM結(jié)構(gòu)數(shù)據(jù)為輸入變量調(diào)用imtransform函數(shù)對(duì)待匹配圖像進(jìn)行必要的變換。下面代碼使用可選項(xiàng)FillValues作為輸入變量，以指定填充值為白色。白色的填充值有利于將基準(zhǔn)圖像和待匹配圖像進(jìn)行重疊放置，以檢查其匹配性。

registered=imtransform(unregistered,mytform,'FillValues',255);變換得到的匹配圖像顯示代碼為

figure;imshow(registered);holdon匹配后的圖像如圖6.11所示。圖6.11配準(zhǔn)后圖像注意兩點(diǎn)：①盡管進(jìn)行了空間變換，但待匹配圖像的全部信息是被保存了的；②沒(méi)有空行和空列。這兩者是一致的。imtransform函數(shù)對(duì)圖像進(jìn)行變換時(shí)能夠確保