醫(yī)學(xué)圖像處理圖像配準(zhǔn)學(xué)習(xí)教案課件

1、會計(jì)學(xué)1醫(yī)學(xué)圖像處理 圖像配準(zhǔn)主要內(nèi)容：1圖像配準(zhǔn)概述；2 基于特征的圖像配準(zhǔn)方法；3基于模板的圖像配準(zhǔn)方法；4MATLAB圖像配準(zhǔn)；第九章 圖像配準(zhǔn)2022/7/26 22:20第1頁/共47頁主要內(nèi)容：1圖像配準(zhǔn)概述；2 基于特征的圖像配準(zhǔn)方法；3基于模板的圖像配準(zhǔn)方法；4MATLAB圖像配準(zhǔn)；第九章 圖像配準(zhǔn)2022/7/26 22:20第2頁/共47頁圖像配準(zhǔn)概述圖像配準(zhǔn)的定義問題的提出：臨床上需要對同一個病人進(jìn)行多種模式（CT、MRI、PET）或者同一模式的多次成像，并同時從幾幅圖像獲取信息，進(jìn)行綜合分析；前提條件：解決兩幅或多幅圖像對應(yīng)成像空間位置的嚴(yán)格對齊問題，即確定同一對象在不

2、同圖像中的對應(yīng)點(diǎn)：第3頁/共47頁圖像配準(zhǔn)概述圖像配準(zhǔn)的定義圖像配準(zhǔn)（Image Registration）：對一幅圖像尋求一種（或一系列）空間變換，使它與另一幅圖像上的對應(yīng)點(diǎn)達(dá)到空間上的一致。這種一致是指對象上所有點(diǎn)（或至少所有感興趣點(diǎn)）在兩張已配準(zhǔn)圖像上有著相同的空間位置。各種圖像配準(zhǔn)的文獻(xiàn)都會出現(xiàn)“配準(zhǔn)、匹配、幾何校正”三個詞，它們的含義比較相似。第4頁/共47頁圖像配準(zhǔn)概述圖像配準(zhǔn)的定義圖像配準(zhǔn)舉例：對圖B尋求一種空間變換，使它與圖A上的對應(yīng)點(diǎn)達(dá)到空間上的一致。圖B經(jīng)空間變換后得到圖C，在圖A和圖C中相同對象有著相同的空間位置。稱圖A和圖C為已配準(zhǔn)的圖像，可以進(jìn)行進(jìn)一步的綜合分析。圖A

3、圖B圖C第5頁/共47頁圖像配準(zhǔn)概述圖像配準(zhǔn)的定義圖像配準(zhǔn)舉例：123第6頁/共47頁圖像配準(zhǔn)概述圖像配準(zhǔn)的定義圖像配準(zhǔn)舉例：第7頁/共47頁圖像配準(zhǔn)概述醫(yī)學(xué)圖像配準(zhǔn)的類型同一對象（患者）的圖像配準(zhǔn)：不同對象間的圖像配準(zhǔn)：將被試的圖像與典型正常人相同部位的圖像或標(biāo)準(zhǔn)圖譜進(jìn)行對比，以確定被試者是否正常。如有異常，還要與一些疾病的典型圖像對比，確定患者是否屬于同類。第8頁/共47頁圖像配準(zhǔn)概述圖像配準(zhǔn)的常用方法基于特征的圖像配準(zhǔn)方法：先提取圖像顯著特征，如灰度變化明顯的點(diǎn)、線等特征，通過特征集的映射建立兩幅圖像之間的空間變換關(guān)系。原則上該方法可用于配準(zhǔn)任何模式的圖像；最常用的是特征點(diǎn)法；基于模板的

4、圖像配準(zhǔn)方法：在一幅圖像中選取一個子圖像窗口作為模板，大小通常為55或77，然后讓該模板在另一幅圖像中移動，通過計(jì)算相關(guān)函數(shù)來找到模板在搜索圖中的坐標(biāo)位置。該方法主要用于單模圖象配準(zhǔn)，特別是用于對改變較小的圖像序列進(jìn)行配準(zhǔn)；第9頁/共47頁主要內(nèi)容：1圖像配準(zhǔn)概述；2 基于特征的圖像配準(zhǔn)方法；3基于模板的圖像配準(zhǔn)方法；4MATLAB圖像配準(zhǔn)；第九章 圖像配準(zhǔn)2022/7/26 22:20第10頁/共47頁基于特征的圖像配準(zhǔn)方法步驟一般來說特征匹配算法可分為四步：特征提?。簭膬煞鶊D像中提取灰度變化明顯的點(diǎn)、線等特征形成特征集；特征空間映射：建立兩幅圖像特征集之間的空間多項(xiàng)式變換關(guān)系；非特征像素之

5、間的映射：利用上述多項(xiàng)式變換關(guān)系對于非特征像素點(diǎn)進(jìn)行空間變換，從而實(shí)現(xiàn)兩幅圖像之間逐像素的空間映射；灰度插值：由于空間映射得到的坐標(biāo)值不一定為整數(shù)，因此需要進(jìn)行灰度插值來確定這些坐標(biāo)上的灰度值；第11頁/共47頁基于特征的圖像配準(zhǔn)方法空間映射設(shè)f(x, y)是待與圖像G(x, y)配準(zhǔn)的圖像；g(x, y)是根據(jù)G大小生成一幅和G的坐標(biāo)一致的空白圖像；設(shè)兩幅圖像相同點(diǎn)對應(yīng)的坐標(biāo)之間的變換關(guān)系用下式描述：則可以從一幅圖像的像素坐標(biāo)算出另一幅圖像對應(yīng)像素的坐標(biāo)。因此存在兩種空間映射方法：前向映射和后向映射；第12頁/共47頁基于特征的圖像配準(zhǔn)方法空間映射前向映射：由推出，逐點(diǎn)計(jì)算出f中每個像素對應(yīng)

6、于g中的坐標(biāo)，然后利用灰度插值方法將f中每個像素的灰度值分配到它的4個最鄰近像素上；f(x, y)g(x, y)第13頁/共47頁基于特征的圖像配準(zhǔn)方法空間映射前向映射的缺陷：f中的一些點(diǎn)可能落在g圖像的坐標(biāo)之外；f中的多個點(diǎn)映射到g中的坐標(biāo)可能有同樣的最鄰近像素，導(dǎo)致g中一個像素的灰度值被計(jì)算多次；f(x, y)g(x, y)第14頁/共47頁基于特征的圖像配準(zhǔn)方法空間映射后向映射：由，逐點(diǎn)計(jì)算出g中每個像素對應(yīng)于f中的坐標(biāo)，然后利用灰度插值方法計(jì)算出g中每個像素的灰度值；后向映射比前向映射更實(shí)用，在這種映射方式中，輸出g的每一個像素灰度值都一次性由f中4相鄰像素的線性插值決定。f(x, y

7、)g(x, y )第15頁/共47頁基于特征的圖像配準(zhǔn)方法空間映射常見的空間映射關(guān)系第16頁/共47頁基于特征的圖像配準(zhǔn)方法空間映射剛體變換：對象內(nèi)部任意兩點(diǎn)間的距離保持不變；剛體變換可以分解為旋轉(zhuǎn)和平移：第17頁/共47頁基于特征的圖像配準(zhǔn)方法空間映射仿射變換：仿射變換將直線映射為直線，并保持平行性；仿射變換在剛體變換的基礎(chǔ)上增加了尺度變換和錯切變換：第18頁/共47頁基于特征的圖像配準(zhǔn)方法空間映射舉例：假設(shè)你有2張拍攝時間相隔100年的峽谷壁的數(shù)字圖像，并且你希望通過相減的處理來判斷由于風(fēng)化作用而產(chǎn)生的地貌變化。你發(fā)現(xiàn)一塊巖石原來位于(303，467)，而現(xiàn)在位于(316，440)；一個樹

8、樁原來位于(298，277)，而現(xiàn)在位于(311，200)。問：兩幅圖像有沒有(a)尺寸縮放(b)旋轉(zhuǎn)(c)平移？若有，有多少？若要將兩幅圖進(jìn)行相減處理，寫出第二幅圖像所要做的幾何變換。假定兩幅圖像除了尺寸上的均勻縮放、旋轉(zhuǎn)和平移外沒有其他幾何扭曲。第19頁/共47頁基于特征的圖像配準(zhǔn)方法空間映射解：由題意有g(shù)(x1, y1)=(303，467)，g(x2, y2)=(298，277)；f(x1, y1)=(316，440)， f(x2, y2)=(311，200)；第20頁/共47頁基于特征的圖像配準(zhǔn)方法空間映射解：原題轉(zhuǎn)化為求解變換矩陣：解得：第21頁/共47頁基于特征的圖像配準(zhǔn)方法空間映

9、射通常在h1(x, y)和h2(x, y)未知的情況下，可用求對應(yīng)特征點(diǎn)集(至少3對)的仿射變換矩陣的方法來估計(jì)h1(x, y)和h2(x, y)；在更復(fù)雜的情況下(如圖像的空間變換是非線性的)，h1(x,y)和h2(x,y)可用多項(xiàng)式來近似：其中，式中N為多項(xiàng)式的次數(shù)，aij和bij為各項(xiàng)待定系數(shù)。 第22頁/共47頁基于特征的圖像配準(zhǔn)方法灰度插值經(jīng)過空間變換得到的坐標(biāo)值通常不為整數(shù)，這些坐標(biāo)值上的灰度值沒有定義，必須通過對其鄰近像素的灰度值插值來得到：常用插值方法有：最近鄰像素插值、雙線性插值、三次立方插值；第23頁/共47頁基于特征的圖像配準(zhǔn)方法灰度插值最近鄰像素插值：在待求像素的四鄰點(diǎn)

10、中，將距離這點(diǎn)最近的鄰點(diǎn)灰度賦給待求像素。該方法最簡單，但校正后的圖像有明顯鋸齒狀，即存在灰度不連續(xù)性。f(x, y)g(x, y )第24頁/共47頁基于特征的圖像配準(zhǔn)方法灰度插值雙線性插值：雙線性插值法是對最近鄰法的一種改進(jìn)，即根據(jù)待求像素的四個鄰近點(diǎn)的灰度值，分別在x和y方向上進(jìn)行兩次插值。最后形成的插值函數(shù)為一雙曲拋物面方程：計(jì)算比最近鄰點(diǎn)法復(fù)雜，但沒有灰度不連續(xù)性的缺點(diǎn)，結(jié)果較令人滿意。第25頁/共47頁基于特征的圖像配準(zhǔn)方法灰度插值雙線性插值算法：首先，在x方向上作線性插值：第26頁/共47頁基于特征的圖像配準(zhǔn)方法灰度插值雙線性插值算法：首先，在x方向上作線性插值：第27頁/共47

11、頁基于特征的圖像配準(zhǔn)方法灰度插值雙線性插值算法：然后，在y方向上作線性插值：第28頁/共47頁基于特征的圖像配準(zhǔn)方法灰度插值雙線性插值算法：最后，得到雙線性插值公式：第29頁/共47頁基于特征的圖像配準(zhǔn)方法灰度插值最近鄰像素插值和雙線性插值比較：OriginalNearest NeighbourBilinear第30頁/共47頁基于特征的圖像配準(zhǔn)方法灰度插值舉例：假設(shè)f(109，775)=113，f(109，776)=109，f(110，775)=105，f(110，776)=103，試分別用最近鄰像素插值法和雙線性插值法求f(109.27，775.44)，寫出雙線性插值變換方程f(x，y)=

12、ax+by+cxy+d，求出各參數(shù)的值；答案：最近鄰像素插值：f(109.27，775.44)113雙線性插值：f(109.27，775.44)109f(x, y)=-8(x-109)-4(y-775)+2(x-109)(y-775)+113第31頁/共47頁主要內(nèi)容：1圖像配準(zhǔn)概述；2 基于特征的圖像配準(zhǔn)方法；3基于模板的圖像配準(zhǔn)方法；4MATLAB圖像配準(zhǔn)；第九章 圖像配準(zhǔn)2022/7/26 22:20第32頁/共47頁基于模板的圖像配準(zhǔn)方法模板匹配模板匹配法：在一幅圖像中選取一個窗口作模板T，然后將模板在另一幅圖像中平移，通過相關(guān)函數(shù)的計(jì)算來找到它在搜索圖中的坐標(biāo)位置。模板覆蓋下的那塊搜

13、索圖叫做子圖Si,j，(i,j)為子圖的中心點(diǎn)在S中的坐標(biāo)；模板匹配法采用使圖像間相似性最大化的原理實(shí)現(xiàn)圖像間的配準(zhǔn)。用以下測度來衡量T和Si,j的相似程度：第33頁/共47頁基于模板的圖像配準(zhǔn)方法模板匹配P值介于0和1之間。根據(jù)經(jīng)驗(yàn)取某個閾值P0，如果PP0，則匹配成功；PSave Points to Workspace，則工作空間自動添加input_points和base_points兩個變量；第41頁/共47頁MATLAB圖像配準(zhǔn)基于特征的配準(zhǔn)第42頁/共47頁MATLAB圖像配準(zhǔn) 基于特征的配準(zhǔn)由特征點(diǎn)集求空間變換cp2form ()語法：tform=cp2form(input_poi

14、nts, base_points, transform_type)說明：input_points為待配準(zhǔn)的輸入圖像上的特征點(diǎn)，base_points為基準(zhǔn)圖像上的對應(yīng)點(diǎn)；transform_type為變換類型；第43頁/共47頁MATLAB圖像配準(zhǔn)基于特征的配準(zhǔn)例：根據(jù)控制點(diǎn)(特征點(diǎn))對兩幅圖像進(jìn)行配準(zhǔn)：I = imread(cameraman.tif);imshow(I);scale = 0.6;J = imresize(I,scale);theta = 30;K = imrotate(J,theta); figure, imshow(K)cpselect(K,I);%交互式地確定特征點(diǎn)集t = cp2tform(input_points,base_points,linear conformal);recovered = imtran