醫(yī)學圖像的配準與融合課件

第七章醫(yī)學圖像的配準與融合7.1配準與融合的應用背景介紹7.2醫(yī)學圖像配準概述7.3圖像配準的理論基礎7.4常用的醫(yī)學圖像配準方法7.5圖像配準的評估第七章醫(yī)學圖像的配準與融合7.1配準與1第七章醫(yī)學圖像的配準與融合7.6圖像融合概述7.7常用的圖像融合方法7.8圖像融合效果的評價第七章醫(yī)學圖像的配準與融合7.6圖像融2隨著計算機技術的高速發(fā)展，醫(yī)學成像技術日新月異，為臨床醫(yī)學提供了各種形態(tài)和功能的影像信息。但是各種成像技術和檢查方法都有它的優(yōu)勢與不足，并非一種成像技術可以適用于人體所有器官的檢查和疾病診斷，也不是一種成像技術能取代另一種成像技術，而是相輔相成、相互補充。

7.1應用背景介紹隨著計算機技術的高速發(fā)展，醫(yī)學成像技術日新月異，為臨3根據(jù)醫(yī)學圖像所提供的信息內(nèi)涵，分為兩大類：解剖結構圖像（CT、MRI、B超等）功能圖像（SPECT、PET等）解剖圖像以較高的分辨率提供了臟器的解剖形態(tài)信息（功能圖像無法提供臟器或病灶的解剖細節(jié)），但無法反映臟器的功能情況。功能圖像分辨率較差，但它提供的臟器功能代謝信息是解剖圖像所不能替代的；7.1應用背景介紹根據(jù)醫(yī)學圖像所提供的信息內(nèi)涵，分為兩大類：7.1應用背景4目前這兩類成像設備的研究都已取得了很大的進步，圖像的空間分辨率和圖像質量有很大的提高，但由于成像原理不同所造成的圖像信息局限性,使得單獨使用某一類圖像的效果并不理想。因此，為了提高診斷正確率，需要綜合利用患者的各種圖像信息。

7.1應用背景介紹目前這兩類成像設備的研究都已取得了很大的進步，圖像的空間分5最有效的解決方法：以醫(yī)學圖像配準技術為基礎，利用信息融合技術，將這兩種圖像結合起來，利用各自的信息優(yōu)勢，在一幅圖像上同時表達來自人體的多方面信息。更加直觀地提供了人體解剖、生理及病理等信息。其中配準技術是圖像融合的關鍵和難點。7.1應用背景介紹最有效的解決方法：以醫(yī)學圖像配準技術為基礎，利用信息融合技67.2醫(yī)學圖像配準概述一、醫(yī)學圖像配準的概念

二、醫(yī)學圖像配準在臨床上的應用

三、醫(yī)學圖像配準的基本過程

四、醫(yī)學圖像配準方法的分類

7.2醫(yī)學圖像配準概述一、醫(yī)學圖像配準的概念7一、醫(yī)學圖像配準的概念

醫(yī)學圖像配準是指對于一幅醫(yī)學圖像尋求一種（或一系列）空間變換，使它與另一幅醫(yī)學圖像上的對應點達到空間上的一致。這種一致是指人體上的同一解剖點在兩張匹配圖像上有相同的空間位置（位置一致，角度一致、大小一致）。配準的結果應使兩幅圖像上所有的解剖點，或至少是所有具有診斷意義的點及手術感興趣的點都達到匹配。

一、醫(yī)學圖像配準的概念醫(yī)學圖像配準是指對8醫(yī)學圖像配準示意圖一、醫(yī)學圖像配準的概念醫(yī)學圖像配準示意圖一、醫(yī)學圖像配準的概念9二、醫(yī)學圖像配準在臨床上的應用

醫(yī)學圖像配準具有很重要的臨床應用價值。對使用各種不同或相同的成像手段所獲得的醫(yī)學圖像進行配準不僅可以用于醫(yī)療診斷，還可用于手術計劃的制定、放射治療計劃的制定、病理變化的跟蹤和治療效果的評價等各個方面。二、醫(yī)學圖像配準在臨床上的應用醫(yī)學圖像10臨床應用舉例

1、計算機輔助手術中，外科醫(yī)生根據(jù)配準的CT/MR/DSA圖像精確定位病灶及周圍相關的解剖結構信息，設計出縝密的手術計劃。在手術過程中，利用三維空間定位系統(tǒng)使術前計劃的虛擬病人、手術臺上的真實病人和手術器械三者精確聯(lián)系起來進行手術跟蹤。

二、醫(yī)學圖像配準在臨床上的應用臨床應用舉例二、醫(yī)學圖像配準在臨床上的應用11臨床應用舉例2、在癲癇病的治療中，一方面需要通過CT，MRI等圖像獲得病人的解剖信息，另一方面又需要通過SPECT或PET等得到病人的功能信息，這兩方面的結合將有助于對病人的精確治療。二、醫(yī)學圖像配準在臨床上的應用臨床應用舉例二、醫(yī)學圖像配準在臨床上的應用12臨床應用舉例

3、放射治療中，應用CT和MR圖像的配準和融合來制定放療計劃和進行評估，用CT圖像精確計算放射劑量，用MR圖像描述腫瘤的結構，用PET和SPECT圖像對腫瘤的代謝、免疫及其他生理方面進行識別和特性化處理，整合的圖像可用于改進放射治療計劃或立體定向活檢或手術。

二、醫(yī)學圖像配準在臨床上的應用臨床應用舉例二、醫(yī)學圖像配準在臨床上的應用13三、醫(yī)學圖像配準的基本過程

1、根據(jù)待配準圖像（浮動圖像）I2與參考圖像（基準圖像）I1，提取出圖像的特征信息組成特征空間；2、根據(jù)提取出的特征空間確定出一種空間變換，使待配準圖像I2經(jīng)過該變換后與參考圖像I1能夠達到所定義的相似性測度；3、在確定變換的過程中，還需采取一定的搜索策略也就是優(yōu)化措施以使相似性測度更快更好地達到最優(yōu)值。三、醫(yī)學圖像配準的基本過程1、根據(jù)待配準圖像（14NY待配準圖像I2幾何變換T變換后的圖像I*=T(I2)相似性測度評價T最優(yōu)？最優(yōu)T更新T初始變換T參考圖像I1圖像配準的流程圖三、醫(yī)學圖像配準的基本過程NY待配準圖像I2幾何變換T變換后的圖像I*=T(I2)相似15四、醫(yī)學圖像配準方法的分類

到目前為止，圖像配準方法的分類始終沒有一個統(tǒng)一的說法。目前比較流行的是1993年VandenElsen等人對醫(yī)學圖像配準進行的分類，歸納了七種分類標準。四、醫(yī)學圖像配準方法的分類到目前16（一）按圖像維數(shù)分類

按圖像維數(shù)分為2D/2D，2D/3D，以及3D/3D配準。2D/2D配準通常指兩個斷層面間的配準；2D/3D配準通常指空間圖像和投影圖像（或者是單獨的一個層面）間的直接配準；3D/3D配準指2幅三維空間圖像間的配準。四、醫(yī)學圖像配準方法的分類（一）按圖像維數(shù)分類四、醫(yī)學圖像配準方法的分類17（二）根據(jù)醫(yī)學圖像的模態(tài)分類

單模態(tài)醫(yī)學圖像配準：是指待配準的兩幅圖像是用同一種成像設備獲取的。一般用在生長監(jiān)控、減影成像等。多模態(tài)圖像配準：是指待配準的兩幅圖像來源于不同的成像設備，主要應用于神經(jīng)外科的診斷、手術定位及放療計劃設計等。

四、醫(yī)學圖像配準方法的分類（二）根據(jù)醫(yī)學圖像的模態(tài)分類四、醫(yī)學圖像配準方法的分類18（三）根據(jù)變換性質分類

剛性變換：只包括平移和旋轉。仿射變換：將平行線變換為平行線。

投影變換：將直線映射為直線。曲線變換：將直線映射為曲線。四、醫(yī)學圖像配準方法的分類（三）根據(jù)變換性質分類四、醫(yī)學圖像配準方法的分類19（四）根據(jù)用戶交互性的多少分類

自動配準：用戶只需提供相應的算法和圖像數(shù)據(jù)。半自動配準：用戶需初始化算法或指導算法(如拒絕或接受配準假設)；交互配準：用戶在軟件的幫助下進行配準

四、醫(yī)學圖像配準方法的分類（四）根據(jù)用戶交互性的多少分類四、醫(yī)學圖像配準方法的分類20（五）根據(jù)配準所基于的圖像特征分類

基于外部特征的圖像配準：是指在研究對象上設置一些標志點，使這些標記點能在不同的影像模式中顯示，然后再用自動、半自動或交互式的方法用標記將圖像配準?；趦?nèi)部特征的配準：主要包括三個方面：基于標記的配準方法、基于分割的配準方法、基于像素特性的配準。

四、醫(yī)學圖像配準方法的分類（五）根據(jù)配準所基于的圖像特征分類四、醫(yī)學圖像配準方法的分21（六）根據(jù)配準過程中變換參數(shù)確定的方式分類

1、通過直接計算公式得到變換參數(shù)的配準：限制在基于特征信息(例如小數(shù)目的特征點集、二維曲線、三維表面)的配準應用中。

2、通過在參數(shù)空間中尋求某個函數(shù)的最優(yōu)解得到變換參數(shù)的配準：所有的配準都變成一個能量函數(shù)的極值求解問題。

四、醫(yī)學圖像配準方法的分類（六）根據(jù)配準過程中變換參數(shù)確定的方式分類四、醫(yī)學圖像配準22（七）根據(jù)主體分類

1、同一患者(Intrasubject)的配準：指將來自同一個病人的待配準圖像，用于任何種類的診斷中；2、不同患者(Intersubject)的配準：指待配準圖像來自不同病人，主要用在三維頭部圖像(MR、CT)的配準中3、患者與圖譜的(Atlas)圖像配準。是指待配準圖像一幅來自病人，一幅來自圖譜。四、醫(yī)學圖像配準方法的分類（七）根據(jù)主體分類四、醫(yī)學圖像配準方法的分類237.3圖像配準的理論基礎一、圖像配準原理

二、空間變換

三、參數(shù)的優(yōu)化搜索

四、插值方法

五、相似性測度

7.3圖像配準的理論基礎一、圖像配準原理二、空間變換三、24一、圖像配準原理對于在不同時間或/和不同條件下獲取的兩幅圖像A(x)和B(x)的配準，就是要定義一個相似性測度并尋找一個空間變換關系，使得經(jīng)過該空間變換后兩幅圖像間的相似性達到最大（或者差異性最?。＜词箞D像A上的每一個點在圖像B上都有唯一的點與之對應，并且這兩點應對應同一解剖位置。

一、圖像配準原理對于在不同時間或/和不同條件25S是相似性測度，配準的過程歸結為尋求最佳空間變換的過程。公式表示:

由于空間變換包含多個參數(shù)，是一個多參數(shù)最優(yōu)化問題，一般由迭代過程實現(xiàn)：一、圖像配準原理S是相似性測度，配準的過程歸結為尋求最佳空間變換的過程。公26二、空間變換

圖像A和B的配準就是尋找一種映射關系T：XA→XB，使得XA上的每一點在XB上都有唯一的點與之對應。這種映射關系表現(xiàn)為一組連續(xù)的空間變換，如整幅圖像應用相同的空間變換，則稱之為全局變換（globaltransformation），否則，稱之為局部變換（localtransformation）。

二、空間變換圖像A和B的配準就是尋27

圖像配準的基本變換二、空間變換圖像配準的基本變換二、空間變換28二、空間變換——剛體變換

剛體：是指物體內(nèi)部任意兩點間的距離保持不變。

剛體變換：使得一幅圖像中任意兩點間的距離在變換前后保持不變。例如：人體的頭部由堅硬的顱骨支撐，在處理時通常忽略頭部皮膚的微小變形，將整個人腦看作是一個剛體。二、空間變換——剛體變換剛體：是指物體內(nèi)部任意兩點間29兩幅圖像之間的剛體變換可由一個剛體模型描述：s是比例變換因子。

是圖像之間沿x，y，z方向上的平移量。R是3×3的旋轉矩陣，滿足約束條件：

二、空間變換——剛體變換兩幅圖像之間的剛體變換可由一個剛體模型描述：s是比例變換因子30相對笛卡爾坐標系的三個坐標軸，R有三種不同的形式：分別表示圍繞坐標軸的旋轉角度

二、空間變換——剛體變換相對笛卡爾坐標系的三個坐標軸，R有三種不同的形式：分別表示31二、空間變換-仿射變換仿射變換：將直線映射為直線，并保持平行性。不滿足：二、空間變換-仿射變換仿射變換：將直線映射為直線，并保持平行32在笛卡兒坐標系下，二維仿射變換的旋轉矩陣R’表示為：三維：二、空間變換-仿射變換在笛卡兒坐標系下，二維仿射變換的旋轉矩陣R’表示為：三維：二33二、空間變換——投影變換投影變換：將直線映射為直線，但不保持平行性質。投影變換主要用于二維投影圖像與三維體積圖像的配準。

二維投影變換按照下式將圖像映射至圖像：是依賴于圖像本身的常數(shù)。

二、空間變換——投影變換投影變換：將直線映射為直線，但不保持34二、空間變換——非線性變換非線性變換是把直線變換為曲線。它反映的是圖像中組織或器官的嚴重變形或位移。典型的非線性變換是多項式函數(shù)，如二次、三次函數(shù)及薄板樣條函數(shù)。有時也使用指數(shù)函數(shù)。非線性變換多用于使解剖圖譜變形來擬合圖像數(shù)據(jù)或對有全局性形變的胸、腹部臟器圖像的配準。二、空間變換——非線性變換非線性變換是把直線變換為曲線。它反35二、空間變換——非線性變換1.二階多項式變換

二、空間變換——非線性變換1.二階多項式變換362.薄板樣條變換

其中：X是坐標向量，A與B定義一個仿射變換，U是徑向基函數(shù)?？梢员硎緸榉律渥儞Q與徑向基函數(shù)的線性組合：二、空間變換——非線性變換2.薄板樣條變換其中：X是坐標向量，可以表示為仿射變換與37在二維圖像配準中：在三維圖像配準中：二、空間變換——非線性變換在二維圖像配準中：在三維圖像配準中：二、空間變換——非線性變38醫(yī)學圖像的配準與融合課件39三、參數(shù)的優(yōu)化搜索配準的幾何變換參數(shù)根據(jù)求解方式可分成兩類：一、根據(jù)獲得的數(shù)據(jù)用聯(lián)立方程組直接計算得到的，這一類完全限制在基于特征信息的配準應用中。二、根據(jù)參數(shù)空間的能量函數(shù)最優(yōu)化搜索得到。在這一類中所有的配準都變成一個能量函數(shù)的極值求解問題。因此圖像配準問題本質上是多參數(shù)優(yōu)化問題，優(yōu)化算法的選擇至關重要。三、參數(shù)的優(yōu)化搜索配準的幾何變換參數(shù)根據(jù)求解方式可分成兩類：40常用的優(yōu)化算法:Powell法、梯度下降法、遺傳算法、模擬退火法、下山單純形法、Levenberg-Marquadrt法等。三、參數(shù)的優(yōu)化搜索常用的優(yōu)化算法:三、參數(shù)的優(yōu)化搜索41(一)Powell法Powell法是一種傳統(tǒng)的確定性優(yōu)化方法，又稱為方向加速法，由M.J.D.Powell于1964年首先提出。基本含義是:對于n維極值問題，首先沿著n個坐標方向求極小，經(jīng)多n次之后得到n個共軛方向，然后沿n個共軛方向求極小，經(jīng)過多次迭代后便可求得極小值。三、參數(shù)的優(yōu)化搜索(一)Powell法三、參數(shù)的優(yōu)化搜索42Powell法的原理：對于某一問題，將其歸結為求取某一目標函數(shù)的極小值。其中Y為一個向量：。設置一個滿秩的步長矩陣：三、參數(shù)的優(yōu)化搜索Powell法的原理：設置一個滿秩的步長矩陣：三、參數(shù)的優(yōu)化43對于某一初始值,迭代過程如下：

首先在方向上搜索，求，使為極小，并令：2.依次求，使為極小，并令，如此下去.3.最后求，使為極小，并令，4.令,在新的方向上在搜索一

次，即求,使為極小，并令新的為至此，完成了第一輪n+1次的搜索。接下去進行下一輪的搜索，直至性能指標滿意或滿足某種停止條件為止。三、參數(shù)的優(yōu)化搜索對于某一初始值,迭代過程如下：首先在方向上搜索，求，使為極44(二)梯度下降法該算法在求最小化過程中直接利用梯度信息，沿著起始點梯度方向的反方向，求出最小值點，然后移動到最小值點，再重復上面的過程，直到前后點的函數(shù)值的差小于給定的誤差值，則結束迭代過程。三、參數(shù)的優(yōu)化搜索(二)梯度下降法三、參數(shù)的優(yōu)化搜索45(三)遺傳算法遺傳算法（GeneticAlgorithm）是模擬達爾文的遺傳選擇和自然淘汰的生物進化過程的計算模型，是一種通過模擬自然進化過程搜索最優(yōu)解的方法，它是由美國Michigan大學J.Holland教授于1975年首先提出來的。三、參數(shù)的優(yōu)化搜索(三)遺傳算法三、參數(shù)的優(yōu)化搜索46(三)遺傳算法在求解優(yōu)化問題時，遺傳算法將優(yōu)化問題當作一個生存環(huán)境，問題的一個解當作生存環(huán)境中的一個個體，以目標函數(shù)值或其變化形式來評價個體對環(huán)境的適應能力，模擬由一定數(shù)量個體所組成的群體的進化過程，優(yōu)勝劣汰，最終獲得最好的個體，即問題的最優(yōu)解。三、參數(shù)的優(yōu)化搜索(三)遺傳算法三、參數(shù)的優(yōu)化搜索47四、插值方法

在圖像配準中，空間坐標變換后得到的像素坐標位置可能不在整數(shù)像素上，因此需要用灰度插值的方法對像素值進行估計。常用的插值方法有:最近鄰插值法、雙線性插值法和部分體積分布法等。四、插值方法在圖像配準中，空間坐標變換后得到的48(1)最近鄰插值（NN）圖8-4最近鄰插值示意圖計算n和鄰近四個點之間的距離，并將與該點距離最小的點的灰度值賦給n。(1)最近鄰插值（NN）圖8-4最近鄰插值示意圖計算n和49(2)雙線性插值（BI）雙線性插值法又稱為一階插值算法，它是用線性插值來求像素灰度的一種方法。具體計算方法為先沿著一個坐標軸方向使用線性插值方法求出兩點的插值灰度，然后沿另一個坐標軸，利用這兩個點對目標點進行線性插值來求灰度。

灰度值,

各相鄰點的權重，與它們到n的距離成反比。(2)雙線性插值（BI）雙線性插值法又稱為一階插值算法，它是50(2)雙線性插值（BI）(2)雙線性插值（BI）51(四)部分體積插值法（PV）

部分體積分布法是F.Maes等人提出來的，是對雙線性插值方法的一個改進。主要是為了克服雙線性插值方法在圖像中會產(chǎn)生新的灰度值而引起圖像灰度分布發(fā)生變化的缺點，以便得到比較光滑的目標函數(shù)，有利于優(yōu)化搜索。(四)部分體積插值法（PV）部分體積分布法是52PV根據(jù)線性插值的權重分配原則，將每對像素對聯(lián)合直方圖的貢獻分散到聯(lián)合直方圖中與之相鄰的各個像素對上，這樣聯(lián)合直方圖上各個像素對的頻度值以小數(shù)增加，因此不會出現(xiàn)新的灰度值而破壞目標函數(shù)值分布的光滑性。具體的計算公式為:為權重，其取值同BI法。

(四)部分體積插值法（PV）

PV根據(jù)線性插值的權重分配原則，將每對像素對聯(lián)合直為53五、相似性測度

配準過程在得到幾何變換后，進一步的工作就是要找到一種合適、最優(yōu)的描述量，用以表征相似或者差異，稱這種描述量為相似性測度。

五、相似性測度配準過程在得到幾何變換后，進一54（一）灰度均方差設和分別表示參考圖像和浮動圖像中的數(shù)據(jù)，兩幅圖像像素值的均方差可以表示為:其中，V表示參與計算的圖像區(qū)域，表示參與計算的像素總量，表示對圖像數(shù)據(jù)的變換。灰度均方差作為相似性測度適用于單模醫(yī)學圖像的配準。（一）灰度均方差設和分別表示參考圖像和浮動55（二）歸一化互相關分別是參考圖和浮動圖在區(qū)域內(nèi)的像素灰度平均值，R為相關系數(shù)。（二）歸一化互相關分別是參考圖和浮動圖在區(qū)域內(nèi)的像素灰度平56（三）互信息相似測度形式多樣，在基于全圖像信息的圖像配準中，以互信息量作為相似測度的方法以其計算復雜度低、魯棒性好等特性逐漸成為當前研究的熱點。下一節(jié)對基于互信息量的圖像配準方法做詳細的介紹。（三）互信息相似測度形式多樣，在基于全圖像信息的圖577.4圖像配準的主要方法

圖像配準的方法有多種，目前主要的配準方法大體上可以分為兩類:基于特征的配準方法基于灰度的配準方法。

7.4圖像配準的主要方法圖像配準的方法有多58一、基于特征的配準方法

配準過程：首先對待配準圖像進行特征提取，常用到的圖像特征有:點、直線段、邊緣、輪廓、閉合區(qū)域、特征結構以及統(tǒng)計特征如矩不變量、重心等等。然后利用提取到的特征完成兩幅圖像特征之間的匹配。一、基于特征的配準方法配準過程：59（一）、基于點特征的配準

點特征是圖像配準中最為常用的圖像特征之一，分為外部特征點與內(nèi)部特征點兩種。

外部特征點：是成像時固定在患者身體上的標記物。這種方法的配準變換被限制為剛性變換。

侵入性標記物

非侵入性標記物

（一）、基于點特征的配準點特征是圖像配60（一）基于點特征的配準內(nèi)部特征點：是一些有限的可明顯識別的點集，可以是解剖點(一般由用戶識別出)，也可以是幾何點(包括邊緣點、角點、灰度的極值點、曲率的極值點、兩個線性結構的交點或某一封閉區(qū)域的質心等)。

這種方法主要求解剛體或仿射變換，如果標記點數(shù)目足夠多，也能用來更復雜的非剛體變換。

（一）基于點特征的配準內(nèi)部特征點：是一些有限的可明顯識別的61（二）基于直線特征的配準

線段是圖像中另一個易于提取的特征。一般利用Hough變換提取圖像中的直線。

建立兩幅圖像中分別提取的直線段的對應關系。

利用直線段的斜率和端點的位置關系，可以構造一個這些信息指標的直方圖，并通過尋找直方圖的聚集束達到直線段的匹配。（二）基于直線特征的配準線段是圖像中另一個易于提取的特征62（三）基于輪廓與曲線特征的配準

近年來，隨著圖像分割、邊緣檢測等技術的發(fā)展，基于邊緣、輪廓的圖像配準方法逐漸成為配準領域的研究熱點。分割和邊緣檢測技術是這類方法的基礎，目前已報道的有很多圖像分割方法可以用來做圖像配準需要的邊緣輪廓和區(qū)域的檢測，比如Canny邊緣提取算子，拉普拉斯-高斯算子(LoG)，動態(tài)閾值技術，區(qū)域增長等。（三）基于輪廓與曲線特征的配準近年來，隨著圖像分割、63（三）基于輪廓與曲線特征的配準在特征提取的基礎上，很多學者針對輪廓、邊緣等進行了配準研究。

1、Govindu等采用輪廓上點的切線斜率來表示物體輪廓，通過比較輪廓邊緣的分布確定變換參數(shù)。2、Davatzikos等提出了一種二階段大腦圖像配準算法，在第一階段使用活動輪廓算法建立一一影射，第二階段采用彈性變換函數(shù)確定輪廓的最佳變換。（三）基于輪廓與曲線特征的配準在特征提取的基礎上，很多學者針64（三）基于輪廓與曲線特征的配準3、李登高等提出了一種對部分重疊的圖像進行快速配準的方法，該方法是基于輪廓特征的隨機匹配算法。通過提取輪廓上的“關鍵點”作為特征點，隨機選擇若干特征點對得到候選變換，隨后的投票階段對其變換參數(shù)進行檢驗和求精。4、趙訓坡等提出一種基于證據(jù)積累的圖像曲線粗匹配方法，比較有效地解決了將圖像中提取的一條曲線(較短)與一條參考曲線(較長)相匹配的問題。（三）基于輪廓與曲線特征的配準3、李登高等提出了一種對部分65（四）基于面特征的配準基于面的配準方法中最典型的算法是由Pelizzari和Chen提出的“頭帽法”（Head-HatMethod）。從一幅圖像中提取一個表面模型稱為“頭”(Head)，從另外一幅圖像輪廓上提取的點集稱為“帽子”(Hat)。用剛體變換或選擇性的仿射變換將“帽子”的點集變換到“頭”上，然后采用優(yōu)化算法使得“帽子”的各點到“頭”表面的均方根距離最小。（四）基于面特征的配準基于面的配準方法中最典型的算法是由Pe66（四）基于面特征的配準

頭帽法最初用于頭部的SPECT和CT(或MRI)配準，參考特征是頭部的皮膚表面；然后用于頭部的SPECT圖像之間的配準，參考特征是頭顱骨表面和大腦表面。

優(yōu)化算法目前一般用Powell法。均方距離是六個待求剛體變換參數(shù)的函數(shù)，其最小時可得剛體變換參數(shù)。

（四）基于面特征的配準頭帽法最初用于頭部的SPEC67（四）基于面特征的配準比較常用的配準方法還有迭代最近點算法(ICP)。迭代最近點（ICP）配準算法由Besl和Mckay提出的，它將一般的非線性最小化問題歸結為基于點的迭代配準問題。迭代最近點算法(ICP)中必須先采樣出圖像結構上的特征點，然后用迭代的方法不斷求出一幅圖中相對于另一幅圖中所有采樣點的最近點，直到兩個點集的均方差低于設定閾值，這時可得到匹配變換參數(shù)。（四）基于面特征的配準比較常用的配準方法還有迭代最近68二、基于灰度的配準方法基于灰度的配準方法是目前研究得較多的一種方法，它直接利用圖像的灰度信息進行配準，從而避免了因分割帶來的誤差，因而具有精度較高、穩(wěn)健性強、不需要預處理而能實現(xiàn)自動配準的特點?；诨叶鹊呐錅视袃深愔饕姆椒ǎ活愂峭ㄟ^圖像灰度直接計算出代表性的比例和方向等要素；另一類是配準過程中使用全部的灰度信息。第一種方法以力矩和主軸法為代表，第二種方法一般稱為體素相似性。二、基于灰度的配準方法基于灰度的配準方法是目前研究得較多的一69（一）力矩和主軸法

力矩和主軸法是指先用經(jīng)典力學物體質量分布的原理計算出兩幅圖像的質心和主軸，再通過平移和旋轉變換使兩幅圖像達到配準。利用此方法，圖像可以模型化為橢圓形區(qū)域的點分布。這樣的分布可以用這些點的位置的一階和二階矩描述。

（一）力矩和主軸法力矩和主軸法是指先用經(jīng)典力學70（一）力矩和主軸法缺點：該方法對數(shù)據(jù)的缺失較敏感，要求整個物體必須完整地出現(xiàn)在兩幅圖像中。從整體上來說，配準精度較差，所以目前它更多地用來進行粗配準，使兩幅圖像初步對齊，以減少后續(xù)主要配準方法的搜索步驟。（一）力矩和主軸法缺點：該方法對數(shù)據(jù)的缺失較敏感，要求整個71（二）體素相似性法：體素相似性法是目前研究較多的一類方法。它是利用圖像中的所有灰度信息，這種方法一般都較為穩(wěn)定，并能獲得相當準確的結果。該方法是完全自動的，不需要特殊的預處理，但這種方法由于需要大量的復雜計算，因此最近幾年才轉入實際應用。（二）體素相似性法：體素相似性法是目前研究較72（二）體素相似性法：常見的基于體素相似性的配準方法有：①互相關法②基于傅立葉域的互相關法和相位相關法③灰度比的方差最小化法④直方圖的互信息最大化法等。主要討論④。（二）體素相似性法：常見的基于體素相似性的配準方法有：73

最大互信息法

最大互信息法以互信息作為相似性測度。

1995年分別被Viola和Collignon等首次用于醫(yī)學圖像配準中。

互信息(MutualInformation，MI)是信息論中的一個基本概念，用于描述兩個系統(tǒng)間的統(tǒng)計相關性，或者是在一個系統(tǒng)中包含的另一個系統(tǒng)的信息的多少，一般用熵來表示，表達的是一個系統(tǒng)的復雜性或不確定性。最大互信息法最大互信息法以互信息作為相似性測度74對于概率分布函數(shù)為的隨機變量集A，其熵：

表示已知系統(tǒng)B時A的條件熵。

最大互信息法對于概率分布函數(shù)為的隨機變量集A，其熵：表示已知系75

在醫(yī)學圖像配準中，雖然兩幅圖像來源于不同的成像設備，但是它們基于共同的人體解剖信息，所以當兩幅圖像的空間位置達到完全一致時，其中一幅圖像表達的關于另一幅圖像的信息，也就是對應像素灰度的互信息應為最大。通常用聯(lián)合概率分布和完全獨立時的概率分布間的廣義距離來估計互信息：

最大互信息法在醫(yī)學圖像配準中，雖然兩幅圖像來源于不同的成像設備76

對于離散的數(shù)字圖像，聯(lián)合概率分布可以用歸一化的聯(lián)合直方圖表示：邊緣概率分布表示為：

最大互信息法對于離散的數(shù)字圖像，聯(lián)合概率分布可以用77接下來尋找一個變換使得一幅圖像經(jīng)過此變換后和另一幅圖像的互信息最大。一般采用剛體變換，即在三維空間中尋找三個方向上的平移值和旋轉角度。對于大規(guī)模斷層掃描醫(yī)學圖像來說，三維體積數(shù)據(jù)集包含的數(shù)據(jù)量極大無法滿足臨床上實時處理的要求，因此必須采取優(yōu)化措施。常用無需計算梯度的Powell多參數(shù)優(yōu)化算法。

最大互信息法接下來尋找一個變換使得一幅圖像經(jīng)過此變換后和另一幅最大互信787.5圖像配準的評估

醫(yī)學圖像配準，特別是多模醫(yī)學圖像配準結果的評估一直是件很困難的事情。由于待配準的多幅圖像基本上都是在不同時間或/和條件下獲取的，所以沒有絕對的配準問題，即不存在什么金標準（goldstandard）。只有相對的最優(yōu)（某種準則下的）配準。常用的評估方法有以下幾種：7.5圖像配準的評估醫(yī)學圖像配準，特別是多模醫(yī)學79一、體模（Phantom）

體模又有硬件體模和軟件體模之分。后者是計算機圖像合成的結果。體模法用已知的圖像信息驗證新配準算法的精度。由于體模都比較簡單，與實際臨床圖像差異較大，因此只能對配準方法作初步的評估。一、體模（Phantom）體模又有硬件體80二、準標（FiducialMarks）

立體定向框架系統(tǒng)（StereotacticFrameSystems）包括立體定向參考框架、立體定向圖像獲取、探針或手術器械導向幾部分。優(yōu)點是定位準確，不易產(chǎn)生圖像畸變。使用立體定向框架系統(tǒng)的體積圖像數(shù)據(jù)可以用來評估其它配準方法的精度。二、準標（FiducialMarks）立體定向81二、準標（FiducialMarks）

使用人工記號作準標的方法很多。一種準標是使用9根棍棒組成的3個方向的N字型結構。在作CT測試時，棒內(nèi)充以硫酸銅溶液；作PET測試則填充氟18。這樣，在兩組圖像中都可見此N字型準標，從而可對圖像準確空間定位。例如用在人腦表面嵌螺絲作標記（每人8個）的方法對多個病人做CT、MR（T1、T2及PD）和PET實測，得到多組數(shù)據(jù)。這些數(shù)據(jù)專門用于多模醫(yī)學圖像配準算法評估使用。二、準標（FiducialMarks）82三、圖譜（Atlas）

Thompson用隨機向量場變換構造一個可變形的概率腦圖譜。包括從多個受試者到單一解剖模板的功能、血管、組織諸方面映射，三維圖譜到新受試者的掃描圖像的映射。VisibleHumanCD的CT骨窗圖像、MR圖像及彩繪的冷凍切片照片由于具有清晰的解剖結構和高度的分辨（1毫米/每層片），近來也被用來做新配準方法精度的評估。三、圖譜（Atlas）Thompson用隨機向量83四、目測檢驗（VisualInspection）

對多模醫(yī)學圖像配準的結果請領域專家用目測方法檢驗，聽起來有些主觀，但在一定程度上的確是一種相當可信的方法。四、目測檢驗（VisualInspection）847.6醫(yī)學圖像融合概述

醫(yī)學圖像融合：是指將兩幅(或兩幅以上)來自不同成像設備或不同時刻獲取的已配準的圖像，采用某種算法，把各個圖像的優(yōu)點或互補性有機地結合起來，獲得信息量更豐富的新圖像的技術。先決條件：醫(yī)學圖像的配準。7.6醫(yī)學圖像融合概述醫(yī)學圖像融合：是指將兩幅(或兩幅85醫(yī)學圖像融合的分類1．按照融合圖像成像方式的不同，分為單模融合(mono-modality)和多模融合(multi-modality)。單模：CT-CT，MRI-MRI。

多模：CT與MRI等。醫(yī)學圖像融合的分類1．按照融合圖像成像方式的不同，分為單模融862．按照融合對象的不同，分為單樣本時間融合、單樣本空間融合和模板融合。

單樣本時間融合：指跟蹤某個病人，將其一段時間內(nèi)對同一臟器所做的同種檢查圖像進行融合。

單樣本空間融合：指將某個病人在同一時期內(nèi)對同一臟器所做的幾種檢查的圖像進行融合。

模板融合：從許多健康人的研究中建立一系列模板，將病人的圖像與模板圖像融合。醫(yī)學圖像融合的分類2．按照融合對象的不同，分為單樣本時間融合、單樣本空間融合和873．按照圖像處理方法的不同，分為數(shù)值融合法和智能融合法。

數(shù)值融合法：將不同來源的圖像做空間歸一化處理后直接融合。智能融合法：將不同來源的圖像做歸一化處理后，根據(jù)需要選擇不同圖像中的所需信息再進行融合。醫(yī)學圖像融合的分類3．按照圖像處理方法的不同，分為數(shù)值融合法和智能融合法。884．按圖像類型不同，可以分為斷層圖像間相互融合、斷層圖像與投影圖像融合以及結構圖像與功能圖像融合。斷層圖像間相互融合主要指CT與MRI圖像融合；

斷層圖像與投影圖像融合主要指CT、MRI圖像與DSA圖像通過三維重建后進行融合；

結構圖像融合與功能圖像融合主要指CT、MRI圖像與PET、SPECT圖像進行融合。

醫(yī)學圖像融合的分類4．按圖像類型不同，可以分為斷層圖像間相互融合、斷層圖像與投89醫(yī)學圖像融合的分類5．前瞻性融合和回溯性融合

前瞻性融合：在圖像采集時使用特別措施（如加外部標志等）；回溯性融合：在圖像采集時則不采取特別措施。醫(yī)學圖像融合的分類5．前瞻性融合和回溯性融合907.7常用的圖像融合方法一、基于空域的圖像融合

1、圖像像素灰度值極大（?。┤诤戏?；

2、圖像像素灰度值加權融合法；

3、TOET圖像融合方法。二、基于變換域的圖像融合基于小波變換的圖像融合。

7.7常用的圖像融合方法一、基于空域的圖像融合911、圖像像素灰度值極大（?。┤诤戏ㄔOg1(i,j)和g2(i,j)為待融合圖像，F(xiàn)(i,j)為融合后的圖像，其中i，j為圖像中某一像素的坐標，圖像大小為M*N，則i∈[0,M-1]，j∈[0,N-1]。

極大值法：極小值法：1、圖像像素灰度值極大（小）融合法設g1(i,j)和g2922、圖像像素灰度值加權融合法

設g1(i,j)和g2(i,j)為待融合圖像，F(xiàn)(i,j)為融合后的圖像。其中：a為權重因子，且0≤a≤1，可以根據(jù)需要調(diào)節(jié)a的大小。該算法實現(xiàn)簡單，其困難在于如何選擇權重系數(shù)，才能達到最佳的視覺效果。2、圖像像素灰度值加權融合法設g1(i,j)和g933、TOET圖像融合方法

設g1(i,j)和g2(i,j)為待融合圖像，F(xiàn)(i,j)為融合后的圖像。①首先求輸入圖像和的共同成分：

②從圖像上扣除共同成分得到圖像的特征成分：

③從圖像中扣除圖像的特征成分：3、TOET圖像融合方法設g1(i,j)和g2(i,j)為94

融合結果CT圖像

MR圖像

像素灰度極小值法像素灰度極大值法融合結果CT圖像MR圖像像素灰度極小值法像素灰95融合結果CT圖像MR圖像灰度加權法TOET法融合結果CT圖像MR圖像灰度加權法TOET法96二、基于變換域的圖像融合變換域法，顧名思義，就是將變換后的兩個或多個圖像進行融合，再通過反變換得到融合后圖像的方法。

多分辨率金字塔小波變換法

傅里葉變換法二、基于變換域的圖像融合變換域法，顧名思義，就97高斯金字塔高斯核低通濾波后隔行隔列降采樣高斯金字塔高斯核低通濾波后隔行隔列降采樣98拉普拉斯金字塔拉普拉斯金字塔99對比度金字塔對比度金字塔100醫(yī)學圖像的配準與融合課件101一、圖像的二維小波分解Mallat算法：

分別表示水平、垂直和對角分量；

和分別是H和G的共軛轉置矩陣；J為分解層數(shù)。一、圖像的二維小波分解Mallat算法：分別表示水平、102一、圖像的二維小波分解圖像經(jīng)二維小波變換分解后，可得到四個不同的頻帶LL、LH、HL、HH。其中低頻帶

LL保留了原圖的輪廓信息。HL、LH、HH分別保留了原圖水平、垂直和對角方向的高頻信息，代表圖像的細節(jié)部分。一、圖像的二維小波分解圖像經(jīng)二維小波變換分解后，可得到四個不103基于小波變換的圖像融合步驟①分解：對每一源圖像分別進行小波變換，得到每幅圖像在不同分辨率下不同頻帶上的小波系數(shù)；②融合：針對小波分解系數(shù)的特性，對各個不同分辨率上的小波分解得到的頻率分量采用不同的融合方案和融合算子分別進行融合處理；③逆變換：對融合后系數(shù)進行小波逆變換，得到融合圖像?；谛〔ㄗ儞Q的圖像融合步驟①分解：對每一源圖像分別進行小波104小波分解融合結構圖圖8-7小波分解融合圖融合后的圖像小波分解圖小波分解圖系數(shù)融合A圖像小波變換F圖像B圖像小波變換逆變換小波分解融合結構圖圖8-7小波分解融合圖融合后小波分解圖小波105二、基于小波變換的融合規(guī)則1、低頻系數(shù)融合規(guī)則

通過小波分解得到的低頻系數(shù)都是正的變換值，反映的是源圖像在該分辨率上的概貌。低頻小波系數(shù)的融合規(guī)則有多種方法：既可以取源圖像對應系數(shù)的均值，也可以取較大值，這要根據(jù)具體的圖像和目的來定。二、基于小波變換的融合規(guī)則1、低頻系數(shù)融合規(guī)則106二、基于小波變換的融合規(guī)則2、高頻系數(shù)融合規(guī)則

通過小波分解得到的三個高頻子帶都包含了一些在零附近的變換值，在這些子帶中，較大的變換值對應著亮度急劇變化的點，也就是圖像中的顯著特征點，如邊緣、亮線及區(qū)域輪廓。這些細節(jié)信息，也反映了局部的視覺敏感對比度，應該進行特殊的選擇。

二、基于小波變換的融合規(guī)則2、高頻系數(shù)融合規(guī)則107二、基于小波變換的融合規(guī)則圖像A分解層圖像B分解層基于像素的融合規(guī)則基于區(qū)域的融合規(guī)則基于窗口的融合規(guī)則圖像F分解層融合規(guī)則系數(shù)加權絕對值選大區(qū)域能量最大系數(shù)模值極大。。。。。。融合處理圖8-8小波融合規(guī)則二、基于小波變換的融合規(guī)則圖像A分解層圖像B分解層基于像素的108二、基于小波變換的融合規(guī)則（1）基于像素點的融合規(guī)則

逐個考慮源圖像相應位置的小波系數(shù)，要求源圖是經(jīng)過嚴格對準處理的。因為基于像素的選擇方法具有其片面性，其融合效果有待改善。二、基于小波變換的融合規(guī)則（1）基于像素點的融合規(guī)則109二、基于小波變換的融合規(guī)則（2）基于窗口的融合規(guī)則

是對第一類方法的改進。由于相鄰像素往往有相關性，該方法以像素點為中心，取一個M×N的窗口，綜合考慮區(qū)域特征來確定融合圖像相應位置的小波系數(shù)。該類方法的融合效果好，但是也相應的增加了運算量和運算時間。由于窗口是一個矩形，是規(guī)則的；而實際上，圖像中相似的像素點往往具有不規(guī)則性。

二、基于小波變換的融合規(guī)則（2）基于窗口的融合規(guī)則110二、基于小波變換的融合規(guī)則（3）基于區(qū)域的融合規(guī)則

該類方法常常利用模糊聚類來尋找具有相似性的像素點集。二、基于小波變換的融合規(guī)則（3）基于區(qū)域的融合規(guī)則111三、常用的小波分解系數(shù)融合規(guī)則a、小波系數(shù)加權法

其中：

分別表示源圖像A，B和融合圖像F在J層小波分解時，在P點的系數(shù)。三、常用的小波分解系數(shù)融合規(guī)則a、小波系數(shù)加權法其中：112b、小波系數(shù)絕對值極大(小)法三、常用的小波分解系數(shù)融合規(guī)則b、小波系數(shù)絕對值極大(小)法三、常用的小波分解系數(shù)融合規(guī)則113c、區(qū)域能量最大法在J層小波分解的情況下，局部區(qū)域Q的能量定義為：

其中：表示權值，點離點越近，權值越大。是的一個鄰域。

同理可得：

三、常用的小波分解系數(shù)融合規(guī)則c、區(qū)域能量最大法在J層小波分解的情況下，局部區(qū)域Q的能量定114小波融合舉例

CT圖像MR圖像均值均值均值、絕對值極大小波融合舉例CT圖像MR圖像均值均值均值、絕115小波融合舉例

CT圖像MR圖像均值、絕對值極小均值、區(qū)域能量最大小波融合舉例CT圖像MR圖像均值、絕對值極小均1167.8、圖像融合效果評價

圖像融合效果的評價主要有主觀評價和客觀評價兩種。主觀評價以人作為觀察者，對圖像的優(yōu)劣做出主觀定性評價。人對圖像的識別或理解不僅和圖像的內(nèi)容有關，而且還與觀察者的心理狀態(tài)有關。由于人的視覺系統(tǒng)很復雜，受環(huán)境條件、視覺性能、人的情緒愛好以及知識狀況影響很大，因此主觀評價具有主觀性和不全面性，7.8、圖像融合效果評價圖像融合效果的評價主要117圖像融合效果的客觀評價評價一、熵

圖像的熵值是衡量圖像信息豐富程度的一個重要指標，熵值的大小表示圖像所包含的平均信息量的多少。根據(jù)香農(nóng)信息論的原理，一幅圖像的信息熵為：

融合圖像的熵增大，表示融合圖像的信息量增加，融合圖像所包含的信息就越豐富，融合質量越好。圖像融合效果的客觀評價評價一、熵融合圖像的熵增大，表示融合圖118二、交叉熵CE

也稱相對熵，反映了兩幅圖像灰度分布信息的差異。設源圖像和融合圖像的直方圖分別為pi和qi，交叉熵定義為：交叉熵越小，說明融合圖像從源圖像提取的信息量越多，融合效果越好。二、交叉熵CE也稱相對熵，反映了兩幅圖像灰度分布信息的差異119三、交互信息量MI交互信息量為兩個變量之間相關性的量度，或一個變量包含另一個變量的信息量的量度。假設兩幅源圖像A和B，將它們?nèi)诤系玫饺诤蠄D像F，F(xiàn)與A、B的交互信息量分別表示為MIFA和MIFB：三、交互信息量MI交互信息量為兩個變量之間相關性的量度，或一120三、交互信息量MI交互信息量的總和：交互信息量的值越大，表示融合圖像從源圖像中獲取的信息越豐富，融合效果越好。三、交互信息量MI交互信息量的總和：交互信息量的值越大，表121四、圖像均值圖像均值是圖像像素的灰度平均值，對人眼反映為平均亮度。圖像均值的定義為：其中G（x，y）表示圖像中第（x，y）個像素的灰度，圖像尺寸為ＭＮ。如果均值適中，則目視效果良好。四、圖像均值圖像均值是圖像像素的灰度平均值，對人眼反映為平均122五、灰度標準差δg圖像的灰度標準差定義為為：

其中L為圖像的總灰度級，g表示圖像第（x，y）個像素

的灰度，表示圖像均值，p(g)表示灰度值為g的像素出現(xiàn)的概率。

標準差大，則圖像灰度級分布分散，圖像的反差大，可以看出更多的信息。五、灰度標準差δg圖像的灰度標準差定義為為：其中L為123融合圖像F和標準參考圖像R間的均方誤差：均方誤差越小說明融合圖像與標準參考圖像越接近。六、均方誤差MSE融合圖像F和標準參考圖像R間的均方誤差：均方誤差越小說明融合124融合圖像與標準參考圖像的差異看作噪聲，標準參考圖像看作信息。七、信噪比SNR與峰值信噪比PSNR信噪比、峰值信噪比越高，說明融合效果就越好。融合圖像與標準參考圖像的差異看作噪聲，標準參考圖像看作信息。125八、清晰度：平均梯度與空間頻率SF八、清晰度：平均梯度與空間頻率SF126第七章醫(yī)學圖像的配準與融合7.1配準與融合的應用背景介紹7.2醫(yī)學圖像配準概述7.3圖像配準的理論基礎7.4常用的醫(yī)學圖像配準方法7.5圖像配準的評估第七章醫(yī)學圖像的配準與融合7.1配準與127第七章醫(yī)學圖像的配準與融合7.6圖像融合概述7.7常用的圖像融合方法7.8圖像融合效果的評價第七章醫(yī)學圖像的配準與融合7.6圖像融128隨著計算機技術的高速發(fā)展，醫(yī)學成像技術日新月異，為臨床醫(yī)學提供了各種形態(tài)和功能的影像信息。但是各種成像技術和檢查方法都有它的優(yōu)勢與不足，并非一種成像技術可以適用于人體所有器官的檢查和疾病診斷，也不是一種成像技術能取代另一種成像技術，而是相輔相成、相互補充。

7.1應用背景介紹隨著計算機技術的高速發(fā)展，醫(yī)學成像技術日新月異，為臨129根據(jù)醫(yī)學圖像所提供的信息內(nèi)涵，分為兩大類：解剖結構圖像（CT、MRI、B超等）功能圖像（SPECT、PET等）解剖圖像以較高的分辨率提供了臟器的解剖形態(tài)信息（功能圖像無法提供臟器或病灶的解剖細節(jié)），但無法反映臟器的功能情況。功能圖像分辨率較差，但它提供的臟器功能代謝信息是解剖圖像所不能替代的；7.1應用背景介紹根據(jù)醫(yī)學圖像所提供的信息內(nèi)涵，分為兩大類：7.1應用背景130目前這兩類成像設備的研究都已取得了很大的進步，圖像的空間分辨率和圖像質量有很大的提高，但由于成像原理不同所造成的圖像信息局限性,使得單獨使用某一類圖像的效果并不理想。因此，為了提高診斷正確率，需要綜合利用患者的各種圖像信息。

7.1應用背景介紹目前這兩類成像設備的研究都已取得了很大的進步，圖像的空間分131最有效的解決方法：以醫(yī)學圖像配準技術為基礎，利用信息融合技術，將這兩種圖像結合起來，利用各自的信息優(yōu)勢，在一幅圖像上同時表達來自人體的多方面信息。更加直觀地提供了人體解剖、生理及病理等信息。其中配準技術是圖像融合的關鍵和難點。7.1應用背景介紹最有效的解決方法：以醫(yī)學圖像配準技術為基礎，利用信息融合技1327.2醫(yī)學圖像配準概述一、醫(yī)學圖像配準的概念

二、醫(yī)學圖像配準在臨床上的應用

三、醫(yī)學圖像配準的基本過程

四、醫(yī)學圖像配準方法的分類

7.2醫(yī)學圖像配準概述一、醫(yī)學圖像配準的概念133一、醫(yī)學圖像配準的概念

醫(yī)學圖像配準是指對于一幅醫(yī)學圖像尋求一種（或一系列）空間變換，使它與另一幅醫(yī)學圖像上的對應點達到空間上的一致。這種一致是指人體上的同一解剖點在兩張匹配圖像上有相同的空間位置（位置一致，角度一致、大小一致）。配準的結果應使兩幅圖像上所有的解剖點，或至少是所有具有診斷意義的點及手術感興趣的點都達到匹配。

一、醫(yī)學圖像配準的概念醫(yī)學圖像配準是指對134醫(yī)學圖像配準示意圖一、醫(yī)學圖像配準的概念醫(yī)學圖像配準示意圖一、醫(yī)學圖像配準的概念135二、醫(yī)學圖像配準在臨床上的應用

醫(yī)學圖像配準具有很重要的臨床應用價值。對使用各種不同或相同的成像手段所獲得的醫(yī)學圖像進行配準不僅可以用于醫(yī)療診斷，還可用于手術計劃的制定、放射治療計劃的制定、病理變化的跟蹤和治療效果的評價等各個方面。二、醫(yī)學圖像配準在臨床上的應用醫(yī)學圖像136臨床應用舉例

1、計算機輔助手術中，外科醫(yī)生根據(jù)配準的CT/MR/DSA圖像精確定位病灶及周圍相關的解剖結構信息，設計出縝密的手術計劃。在手術過程中，利用三維空間定位系統(tǒng)使術前計劃的虛擬病人、手術臺上的真實病人和手術器械三者精確聯(lián)系起來進行手術跟蹤。

二、醫(yī)學圖像配準在臨床上的應用臨床應用舉例二、醫(yī)學圖像配準在臨床上的應用137臨床應用舉例2、在癲癇病的治療中，一方面需要通過CT，MRI等圖像獲得病人的解剖信息，另一方面又需要通過SPECT或PET等得到病人的功能信息，這兩方面的結合將有助于對病人的精確治療。二、醫(yī)學圖像配準在臨床上的應用臨床應用舉例二、醫(yī)學圖像配準在臨床上的應用138臨床應用舉例

3、放射治療中，應用CT和MR圖像的配準和融合來制定放療計劃和進行評估，用CT圖像精確計算放射劑量，用MR圖像描述腫瘤的結構，用PET和SPECT圖像對腫瘤的代謝、免疫及其他生理方面進行識別和特性化處理，整合的圖像可用于改進放射治療計劃或立體定向活檢或手術。

二、醫(yī)學圖像配準在臨床上的應用臨床應用舉例二、醫(yī)學圖像配準在臨床上的應用139三、醫(yī)學圖像配準的基本過程

1、根據(jù)待配準圖像（浮動圖像）I2與參考圖像（基準圖像）I1，提取出圖像的特征信息組成特征空間；2、根據(jù)提取出的特征空間確定出一種空間變換，使待配準圖像I2經(jīng)過該變換后與參考圖像I1能夠達到所定義的相似性測度；3、在確定變換的過程中，還需采取一定的搜索策略也就是優(yōu)化措施以使相似性測度更快更好地達到最優(yōu)值。三、醫(yī)學圖像配準的基本過程1、根據(jù)待配準圖像（140NY待配準圖像I2幾何變換T變換后的圖像I*=T(I2)相似性測度評價T最優(yōu)？最優(yōu)T更新T初始變換T參考圖像I1圖像配準的流程圖三、醫(yī)學圖像配準的基本過程NY待配準圖像I2幾何變換T變換后的圖像I*=T(I2)相似141四、醫(yī)學圖像配準方法的分類

到目前為止，圖像配準方法的分類始終沒有一個統(tǒng)一的說法。目前比較流行的是1993年VandenElsen等人對醫(yī)學圖像配準進行的分類，歸納了七種分類標準。四、醫(yī)學圖像配準方法的分類到目前142（一）按圖像維數(shù)分類

按圖像維數(shù)分為2D/2D，2D/3D，以及3D/3D配準。2D/2D配準通常指兩個斷層面間的配準；2D/3D配準通常指空間圖像和投影圖像（或者是單獨的一個層面）間的直接配準；3D/3D配準指2幅三維空間圖像間的配準。四、醫(yī)學圖像配準方法的分類（一）按圖像維數(shù)分類四、醫(yī)學圖像配準方法的分類143（二）根據(jù)醫(yī)學圖像的模態(tài)分類

單模態(tài)醫(yī)學圖像配準：是指待配準的兩幅圖像是用同一種成像設備獲取的。一般用在生長監(jiān)控、減影成像等。多模態(tài)圖像配準：是指待配準的兩幅圖像來源于不同的成像設備，主要應用于神經(jīng)外科的診斷、手術定位及放療計劃設計等。

四、醫(yī)學圖像配準方法的分類（二）根據(jù)醫(yī)學圖像的模態(tài)分類四、醫(yī)學圖像配準方法的分類144（三）根據(jù)變換性質分類

剛性變換：只包括平移和旋轉。仿射變換：將平行線變換為平行線。

投影變換：將直線映射為直線。曲線變換：將直線映射為曲線。四、醫(yī)學圖像配準方法的分類（三）根據(jù)變換性質分類四、醫(yī)學圖像配準方法的分類145（四）根據(jù)用戶交互性的多少分類

自動配準：用戶只需提供相應的算法和圖像數(shù)據(jù)。半自動配準：用戶需初始化算法或指導算法(如拒絕或接受配準假設)；交互配準：用戶在軟件的幫助下進行配準

四、醫(yī)學圖像配準方法的分類（四）根據(jù)用戶交互性的多少分類四、醫(yī)學圖像配準方法的分類146（五）根據(jù)配準所基于的圖像特征分類

基于外部特征的圖像配準：是指在研究對象上設置一些標志點，使這些標記點能在不同的影像模式中顯示，然后再用自動、半自動或交互式的方法用標記將圖像配準?；趦?nèi)部特征的配準：主要包括三個方面：基于標記的配準方法、基于分割的配準方法、基于像素特性的配準。

四、醫(yī)學圖像配準方法的分類（五）根據(jù)配準所基于的圖像特征分類四、醫(yī)學圖像配準方法的分147（六）根據(jù)配準過程中變換參數(shù)確定的方式分類

1、通過直接計算公式得到變換參數(shù)的配準：限制在基于特征信息(例如小數(shù)目的特征點集、二維曲線、三維表面)的配準應用中。

2、通過在參數(shù)空間中尋求某個函數(shù)的最優(yōu)解得到變換參數(shù)的配準：所有的配準都變成一個能量函數(shù)的極值求解問題。

四、醫(yī)學圖像配準方法的分類（六）根據(jù)配準過程中變換參數(shù)確定的方式分類四、醫(yī)學圖像配準148（七）根據(jù)主體分類

1、同一患者(Intrasubject)的配準：指將來自同一個病人的待配準圖像，用于任何種類的診斷中；2、不同患者(Intersubject)的配準：指待配準圖像來自不同病人，主要用在三維頭部圖像(MR、CT)的配準中3、患者與圖譜的(Atlas)圖像配準。是指待配準圖像一幅來自病人，一幅來自圖譜。四、醫(yī)學圖像配準方法的分類（七）根據(jù)主體分類四、醫(yī)學圖像配準方法的分類1497.3圖像配準的理論基礎一、圖像配準原理

二、空間變換

三、參數(shù)的優(yōu)化搜索

四、插值方法

五、相似性測度

7.3圖像配準的理論基礎一、圖像配準原理二、空間變換三、150一、圖像配準原理對于在不同時間或/和不同條件下獲取的兩幅圖像A(x)和B(x)的配準，就是要定義一個相似性測度并尋找一個空間變換關系，使得經(jīng)過該空間變換后兩幅圖像間的相似性達到最大（或者差異性最小）。即使圖像A上的每一個點在圖像B上都有唯一的點與之對應，并且這兩點應對應同一解剖位置。

一、圖像配準原理對于在不同時間或/和不同條件151S是相似性測度，配準的過程歸結為尋求最佳空間變換的過程。公式表示:

由于空間變換包含多個參數(shù)，是一個多參數(shù)最優(yōu)化問題，一般由迭代過程實現(xiàn)：一、圖像配準原理S是相似性測度，配準的過程歸結為尋求最佳空間變換的過程。公152二、空間變換

圖像A和B的配準就是尋找一種映射關系T：XA→XB，使得XA上的每一點在XB上都有唯一的點與之對應。這種映射關系表現(xiàn)為一組連續(xù)的空間變換，如整幅圖像應用相同的空間變換，則稱之為全局變換（globaltransformation），否則，稱之為局部變換（localtransformation）。

二、空間變換圖像A和B的配準就是尋153

圖像配準的基本變換二、空間變換圖像配準的基本變換二、空間變換154二、空間變換——剛體變換

剛體：是指物體內(nèi)部任意兩點間的距離保持不變。

剛體變換：使得一幅圖像中任意兩點間的距離在變換前后保持不變。例如：人體的頭部由堅硬的顱骨支撐，在處理時通常忽略頭部皮膚的微小變形，將整個人腦看作是一個剛體。二、空間變換——剛體變換剛體：是指物體內(nèi)部任意兩點間155兩幅圖像之間的剛體變換可由一個剛體模型描述：s是比例變換因子。

是圖像之間沿x，y，z方向上的平移量。R是3×3的旋轉矩陣，滿足約束條件：

二、空間變換——剛體變換兩幅圖像之間的剛體變換可由一個剛體模型描述：s是比例變換因子156相對笛卡爾坐標系的三個坐標軸，R有三種不同的形式：分別表示圍繞坐標軸的旋轉角度

二、空間變換——剛體變換相對笛卡爾坐標系的三個坐標軸，R有三種不同的形式：分別表示157二、空間變換-仿射變換仿射變換：將直線映射為直線，并保持平行性。不滿足：二、空間變換-仿射變換仿射變換：將直線映射為直線，并保持平行158在笛卡兒坐標系下，二維仿射變換的旋轉矩陣R’表示為：三維：二、空間變換-仿射變換在笛卡兒坐標系下，二維仿射變換的旋轉矩陣R’表示為：三維：二159二、空間變換——投影變換投影變換：將直線映射為直線，但不保持平行性質。投影變換主要用于二維投影圖像與三維體積圖像的配準。

二維投影變換按照下式將圖像映射至圖像：是依賴于圖像本身的常數(shù)。

二、空間變換——投影變換投影變換：將直線映射為直線，但不保持160二、空間變換——非線性變換非線性變換是把直線變換為曲線。它反映的是圖像中組織或器官的嚴重變形或位移。典型的非線性變換是多項式函數(shù)，如二次、三次函數(shù)及薄板樣條函數(shù)。有時也使用指數(shù)函數(shù)。非線性變換多用于使解剖圖譜變形來擬合圖像數(shù)據(jù)或對有全局性形變的胸、腹部臟器圖像的配準。二、空間變換——非線性變換非線性變換是把直線變換為曲線。它反161二、空間變換——非線性變換1.二階多項式變換

二、空間變換——非線性變換1.二階多項式變換1622.薄板樣條變換

其中：X是坐標向量，A與B定義一個仿射變換，U是徑向基函數(shù)?？梢员硎緸榉律渥儞Q與徑向基函數(shù)的線性組合：二、空間變換——非線性變換2.薄板樣條變換其中：X是坐標向量，可以表示為仿射變換與163在二維圖像配準中：在三維圖像配準中：二、空間變換——非線性變換在二維圖像配準中：在三維圖像配準中：二、空間變換——非線性變164醫(yī)學圖像的配準與融合課件165三、參數(shù)的優(yōu)化搜索配準的幾何變換參數(shù)根據(jù)求解方式可分成兩類：一、根據(jù)獲得的數(shù)據(jù)用聯(lián)立方程組直接計算得到的，這一類完全限制在基于特征信息的配準應用中。二、根據(jù)參數(shù)空間的能量函數(shù)最優(yōu)化搜索得到。在這一類中所有的配準都變成一個能量函數(shù)的極值求解問題。因此圖像配準問題本質上是多參數(shù)優(yōu)化問題，優(yōu)化算法的選擇至關重要。三、參數(shù)的優(yōu)化搜索配準的幾何變換參數(shù)根據(jù)求解方式可分成兩類：166常用的優(yōu)化算法:Powell法、梯度下降法、遺傳算法、模擬退火法、下山單純形法、Levenberg-Marquadrt法等。三、參數(shù)的優(yōu)化搜索常用的優(yōu)化算法:三、參數(shù)的優(yōu)化搜索167(一)Powell法Powell法是一種傳統(tǒng)的確定性優(yōu)化方法，又稱為方向加速法，由M.J.D.Powell于1964年首先提出?；竞x是:對于n維極值問題，首先沿著n個坐標方向求極小，經(jīng)多n次之后得到n個共軛方向，然后沿n個共軛方向求極小，經(jīng)過多次迭代后便可求得極小值。三、參數(shù)的優(yōu)化搜索(一)Powell法三、參數(shù)的優(yōu)化搜索168Powell法的原理：對于某一問題，將其歸結為求取某一目標函數(shù)的極小值。其中Y為一個向量：。設置一個滿秩的步長矩陣：三、參數(shù)的優(yōu)化搜索Powell法的原理：設置一個滿秩的步長矩陣：三、參數(shù)的優(yōu)化169對于某一初始值,迭代過程如下：

首先在方向上搜索，求，使為極小，并令：2.依次求，使為極小，并令，如此下去.3.最后求，使為極小，并令，4.令,在新的方向上在搜索一

次，即求,使為極小，并令新的為至此，完成了第一輪n+1次的搜索。接下去進行下一輪的搜索，直至性能指標滿意或滿足某種停止條件為止。三、參數(shù)的優(yōu)化搜索對于某一初始值,迭代過程如下：首先在方向上搜索，求，使為極170(二)梯度下降法該算法在求最小化過程中直接利用梯度信息，沿著起始點梯度方向的反方向，求出最小值點，然后移動到最小值點，再重復上面的過程，直到前后點的函數(shù)值的差小于給定的誤差值，則結束迭代過程。三、參數(shù)的優(yōu)化搜索(二)梯度下降法三、參數(shù)的優(yōu)化搜索171(三)遺傳算法遺傳算法（GeneticAlgorithm）是模擬達爾文的遺傳選擇和自然淘汰的生物進化過程的計算模型，是一種通過模擬自然進化過程搜索最優(yōu)解的方法，它是由美國Michigan大學J.Holland教授于1975年首先提出來的。三、參數(shù)的優(yōu)化搜索(三)遺傳算法三、參數(shù)的優(yōu)化搜索172(三)遺傳算法在求解優(yōu)化問題時，遺傳算法將優(yōu)化問題當作一個生存環(huán)境，問題的一個解當作生存環(huán)境中的一個個體，以目標函數(shù)值或其變化形式來評價個體對環(huán)境的適應能力，模擬由一定數(shù)量個體所組成的群體的進化過程，優(yōu)勝劣汰，最終獲得最好的個體，即問題的最優(yōu)解。三、參數(shù)的優(yōu)化搜索(三)遺傳算法三、參數(shù)的優(yōu)化搜索173四、插值方法

在圖像配準中，空間坐標變換后得到的像素坐標位置可能不在整數(shù)像素上，因此需要用灰度插值的方法對像素值進行估計。常用的插值方法有:最近鄰插值法、雙線性插值法和部分體積分布法等。四、插值方法在圖像配準中，空間坐標變換后得到的174(1)最近鄰插值（NN）圖8-4最近鄰插值示意圖計算n和鄰近四個點之間的距離，并將與該點距離最小的點的灰度值賦給n。(1)最近鄰插值（NN）圖8-4最近鄰插值示意圖計算n和175