醫(yī)學(xué)圖像的配準(zhǔn)與融合課件

第八章醫(yī)學(xué)圖像的配準(zhǔn)與融合8.1配準(zhǔn)與融合的應(yīng)用背景介紹8.2醫(yī)學(xué)圖像配準(zhǔn)概述8.3圖像配準(zhǔn)的理論基礎(chǔ)8.4常用的醫(yī)學(xué)圖像配準(zhǔn)方法8.5圖像配準(zhǔn)的評(píng)估第八章醫(yī)學(xué)圖像的配準(zhǔn)與融合8.1配準(zhǔn)與1第八章醫(yī)學(xué)圖像的配準(zhǔn)與融合8.6圖像融合概述8.7常用的圖像融合方法8.8圖像融合效果的評(píng)價(jià)第八章醫(yī)學(xué)圖像的配準(zhǔn)與融合8.6圖像融2隨著計(jì)算機(jī)技術(shù)的高速發(fā)展，醫(yī)學(xué)成像技術(shù)日新月異，為臨床醫(yī)學(xué)提供了各種形態(tài)和功能的影像信息。但是各種成像技術(shù)和檢查方法都有它的優(yōu)勢(shì)與不足，并非一種成像技術(shù)可以適用于人體所有器官的檢查和疾病診斷，也不是一種成像技術(shù)能取代另一種成像技術(shù)，而是相輔相成、相互補(bǔ)充。

8.1應(yīng)用背景介紹隨著計(jì)算機(jī)技術(shù)的高速發(fā)展，醫(yī)學(xué)成像技術(shù)日新月異，為臨3根據(jù)醫(yī)學(xué)圖像所提供的信息內(nèi)涵，分為兩大類：解剖結(jié)構(gòu)圖像（CT、MRI、B超等）功能圖像（SPECT、PET等）解剖圖像以較高的分辨率提供了臟器的解剖形態(tài)信息（功能圖像無法提供臟器或病灶的解剖細(xì)節(jié)），但無法反映臟器的功能情況。功能圖像分辨率較差，但它提供的臟器功能代謝信息是解剖圖像所不能替代的；8.1應(yīng)用背景介紹根據(jù)醫(yī)學(xué)圖像所提供的信息內(nèi)涵，分為兩大類：8.1應(yīng)用背景4目前這兩類成像設(shè)備的研究都已取得了很大的進(jìn)步，圖像的空間分辨率和圖像質(zhì)量有很大的提高，但由于成像原理不同所造成的圖像信息局限性,使得單獨(dú)使用某一類圖像的效果并不理想。因此，為了提高診斷正確率，需要綜合利用患者的各種圖像信息。

8.1應(yīng)用背景介紹目前這兩類成像設(shè)備的研究都已取得了很大的進(jìn)步，圖像的空間分5最有效的解決方法：以醫(yī)學(xué)圖像配準(zhǔn)技術(shù)為基礎(chǔ)，利用信息融合技術(shù)，將這兩種圖像結(jié)合起來，利用各自的信息優(yōu)勢(shì)，在一幅圖像上同時(shí)表達(dá)來自人體的多方面信息。更加直觀地提供了人體解剖、生理及病理等信息。其中配準(zhǔn)技術(shù)是圖像融合的先決條件,必須先進(jìn)行配準(zhǔn),才能實(shí)現(xiàn)準(zhǔn)確地融合。8.1應(yīng)用背景介紹最有效的解決方法：以醫(yī)學(xué)圖像配準(zhǔn)技術(shù)為基礎(chǔ)，利用信息融合技6二、醫(yī)學(xué)圖像配準(zhǔn)在臨床上的應(yīng)用

醫(yī)學(xué)圖像配準(zhǔn)具有很重要的臨床應(yīng)用價(jià)值。對(duì)使用各種不同或相同的成像手段所獲得的醫(yī)學(xué)圖像進(jìn)行配準(zhǔn)不僅可以用于醫(yī)療診斷，還可用于手術(shù)計(jì)劃的制定、放射治療計(jì)劃的制定、病理變化的跟蹤和治療效果的評(píng)價(jià)等各個(gè)方面。二、醫(yī)學(xué)圖像配準(zhǔn)在臨床上的應(yīng)用醫(yī)學(xué)圖像7臨床應(yīng)用舉例

1、計(jì)算機(jī)輔助手術(shù)中，外科醫(yī)生根據(jù)配準(zhǔn)的CT/MR/DSA圖像精確定位病灶及周圍相關(guān)的解剖結(jié)構(gòu)信息，設(shè)計(jì)出縝密的手術(shù)計(jì)劃。在手術(shù)過程中，利用三維空間定位系統(tǒng)使術(shù)前計(jì)劃的虛擬病人、手術(shù)臺(tái)上的真實(shí)病人和手術(shù)器械三者精確聯(lián)系起來進(jìn)行手術(shù)跟蹤。

二、醫(yī)學(xué)圖像配準(zhǔn)在臨床上的應(yīng)用臨床應(yīng)用舉例二、醫(yī)學(xué)圖像配準(zhǔn)在臨床上的應(yīng)用8臨床應(yīng)用舉例2、在癲癇病的治療中，一方面需要通過CT，MRI等圖像獲得病人的解剖信息，另一方面又需要通過SPECT或PET等得到病人的功能信息，這兩方面的結(jié)合將有助于對(duì)病人的精確治療。二、醫(yī)學(xué)圖像配準(zhǔn)在臨床上的應(yīng)用臨床應(yīng)用舉例二、醫(yī)學(xué)圖像配準(zhǔn)在臨床上的應(yīng)用9臨床應(yīng)用舉例

3、放射治療中，應(yīng)用CT和MR圖像的配準(zhǔn)和融合來制定放療計(jì)劃和進(jìn)行評(píng)估，用CT圖像精確計(jì)算放射劑量，用MR圖像描述腫瘤的結(jié)構(gòu)，用PET和SPECT圖像對(duì)腫瘤的代謝、免疫及其他生理方面進(jìn)行識(shí)別和特性化處理，整合的圖像可用于改進(jìn)放射治療計(jì)劃或立體定向活檢或手術(shù)。

二、醫(yī)學(xué)圖像配準(zhǔn)在臨床上的應(yīng)用臨床應(yīng)用舉例二、醫(yī)學(xué)圖像配準(zhǔn)在臨床上的應(yīng)用108.2醫(yī)學(xué)圖像配準(zhǔn)概述一、醫(yī)學(xué)圖像配準(zhǔn)的概念

二、醫(yī)學(xué)圖像配準(zhǔn)方法的分類三、醫(yī)學(xué)圖像配準(zhǔn)的基本過程

8.2醫(yī)學(xué)圖像配準(zhǔn)概述一、醫(yī)學(xué)圖像配準(zhǔn)的概念11一、醫(yī)學(xué)圖像配準(zhǔn)的概念

醫(yī)學(xué)圖像配準(zhǔn)是指對(duì)于一幅醫(yī)學(xué)圖像尋求一種（或一系列）空間變換，使它與另一幅醫(yī)學(xué)圖像上的對(duì)應(yīng)點(diǎn)達(dá)到空間上的一致。這種一致是指人體上的同一解剖點(diǎn)在兩張匹配圖像上有相同的空間位置（位置一致，角度一致、大小一致）。配準(zhǔn)的結(jié)果應(yīng)使兩幅圖像上所有的解剖點(diǎn)，或至少是所有具有診斷意義的點(diǎn)及手術(shù)感興趣的點(diǎn)都達(dá)到匹配。

一、醫(yī)學(xué)圖像配準(zhǔn)的概念醫(yī)學(xué)圖像配準(zhǔn)是指對(duì)12醫(yī)學(xué)圖像配準(zhǔn)示意圖一、醫(yī)學(xué)圖像配準(zhǔn)的概念醫(yī)學(xué)圖像配準(zhǔn)示意圖一、醫(yī)學(xué)圖像配準(zhǔn)的概念13二、醫(yī)學(xué)圖像配準(zhǔn)方法的分類

到目前為止，圖像配準(zhǔn)方法的分類始終沒有一個(gè)統(tǒng)一的說法。目前比較流行的是1993年VandenElsen等人對(duì)醫(yī)學(xué)圖像配準(zhǔn)進(jìn)行的分類，歸納了七種分類標(biāo)準(zhǔn)。二、醫(yī)學(xué)圖像配準(zhǔn)方法的分類到目前14（一）按圖像維數(shù)分類

按圖像維數(shù)分為2D/2D，2D/3D，以及3D/3D配準(zhǔn)。2D/2D配準(zhǔn)通常指兩個(gè)斷層面間的配準(zhǔn)；2D/3D配準(zhǔn)通常指空間圖像和投影圖像（或者是單獨(dú)的一個(gè)層面）間的直接配準(zhǔn)；3D/3D配準(zhǔn)指2幅三維空間圖像間的配準(zhǔn)。二、醫(yī)學(xué)圖像配準(zhǔn)方法的分類（一）按圖像維數(shù)分類二、醫(yī)學(xué)圖像配準(zhǔn)方法的分類15（二）根據(jù)醫(yī)學(xué)圖像的模態(tài)分類

單模態(tài)醫(yī)學(xué)圖像配準(zhǔn)：是指待配準(zhǔn)的兩幅圖像是用同一種成像設(shè)備獲取的。一般用在生長監(jiān)控、減影成像等。多模態(tài)圖像配準(zhǔn)：是指待配準(zhǔn)的兩幅圖像來源于不同的成像設(shè)備，主要應(yīng)用于神經(jīng)外科的診斷、手術(shù)定位及放療計(jì)劃設(shè)計(jì)等。

二、醫(yī)學(xué)圖像配準(zhǔn)方法的分類（二）根據(jù)醫(yī)學(xué)圖像的模態(tài)分類二、醫(yī)學(xué)圖像配準(zhǔn)方法的分類16（三）根據(jù)變換性質(zhì)分類

剛性變換：只包括平移和旋轉(zhuǎn)。仿射變換：將平行線變換為平行線。

投影變換：將直線映射為直線。曲線變換：將直線映射為曲線。二、醫(yī)學(xué)圖像配準(zhǔn)方法的分類（三）根據(jù)變換性質(zhì)分類二、醫(yī)學(xué)圖像配準(zhǔn)方法的分類17（四）根據(jù)用戶交互性的多少分類

自動(dòng)配準(zhǔn)：用戶只需提供相應(yīng)的算法和圖像數(shù)據(jù)。半自動(dòng)配準(zhǔn)：用戶需初始化算法或指導(dǎo)算法(如拒絕或接受配準(zhǔn)假設(shè))；交互配準(zhǔn)：用戶在軟件的幫助下進(jìn)行配準(zhǔn)

二、醫(yī)學(xué)圖像配準(zhǔn)方法的分類（四）根據(jù)用戶交互性的多少分類二、醫(yī)學(xué)圖像配準(zhǔn)方法的分類18（五）根據(jù)配準(zhǔn)所基于的圖像特征分類

基于外部特征的圖像配準(zhǔn)：是指在研究對(duì)象上設(shè)置一些標(biāo)志點(diǎn)，使這些標(biāo)記點(diǎn)能在不同的影像模式中顯示，然后再用自動(dòng)、半自動(dòng)或交互式的方法用標(biāo)記將圖像配準(zhǔn)。基于內(nèi)部特征的配準(zhǔn)：主要包括三個(gè)方面：基于標(biāo)記的配準(zhǔn)方法、基于分割的配準(zhǔn)方法、基于像素特性的配準(zhǔn)。

二、醫(yī)學(xué)圖像配準(zhǔn)方法的分類（五）根據(jù)配準(zhǔn)所基于的圖像特征分類二、醫(yī)學(xué)圖像配準(zhǔn)方法的分19（六）根據(jù)配準(zhǔn)過程中變換參數(shù)確定的方式分類

1、通過直接計(jì)算公式得到變換參數(shù)的配準(zhǔn)：限制在基于特征信息(例如小數(shù)目的特征點(diǎn)集、二維曲線、三維表面)的配準(zhǔn)應(yīng)用中。

2、通過在參數(shù)空間中尋求某個(gè)函數(shù)的最優(yōu)解得到變換參數(shù)的配準(zhǔn)：所有的配準(zhǔn)都變成一個(gè)能量函數(shù)的極值求解問題。

二、醫(yī)學(xué)圖像配準(zhǔn)方法的分類（六）根據(jù)配準(zhǔn)過程中變換參數(shù)確定的方式分類二、醫(yī)學(xué)圖像配準(zhǔn)20（七）根據(jù)主體分類

1、同一患者(Intrasubject)的配準(zhǔn)：指將來自同一個(gè)病人的待配準(zhǔn)圖像，用于任何種類的診斷中；2、不同患者(Intersubject)的配準(zhǔn)：指待配準(zhǔn)圖像來自不同病人，主要用在三維頭部圖像(MR、CT)的配準(zhǔn)中3、患者與圖譜的(Atlas)圖像配準(zhǔn)。是指待配準(zhǔn)圖像一幅來自病人，一幅來自圖譜。二、醫(yī)學(xué)圖像配準(zhǔn)方法的分類（七）根據(jù)主體分類二、醫(yī)學(xué)圖像配準(zhǔn)方法的分類21三、醫(yī)學(xué)圖像配準(zhǔn)的基本過程

1、根據(jù)待配準(zhǔn)圖像（浮動(dòng)圖像）I2與參考圖像（基準(zhǔn)圖像）I1，提取出圖像的特征信息組成特征空間；2、根據(jù)提取出的特征空間確定出一種空間變換，使待配準(zhǔn)圖像I2經(jīng)過該變換后與參考圖像I1能夠達(dá)到所定義的相似性測度；3、在確定變換的過程中，還需采取一定的搜索策略也就是優(yōu)化措施以使相似性測度更快更好地達(dá)到最優(yōu)值。三、醫(yī)學(xué)圖像配準(zhǔn)的基本過程1、根據(jù)待配準(zhǔn)圖像（22NY待配準(zhǔn)圖像I2幾何變換T變換后的圖像I*=T(I2)相似性測度評(píng)價(jià)T最優(yōu)？最優(yōu)T更新T初始變換T參考圖像I1圖像配準(zhǔn)的流程圖三、醫(yī)學(xué)圖像配準(zhǔn)的基本過程N(yùn)Y待配準(zhǔn)圖像I2幾何變換T變換后的圖像I*=T(I2)相似238.3圖像配準(zhǔn)的理論基礎(chǔ)一、圖像配準(zhǔn)原理

二、空間變換

三、參數(shù)的優(yōu)化搜索

四、插值方法

五、相似性測度

8.3圖像配準(zhǔn)的理論基礎(chǔ)一、圖像配準(zhǔn)原理二、空間變換三、24一、圖像配準(zhǔn)原理對(duì)于在不同時(shí)間或/和不同條件下獲取的兩幅圖像A(x)和B(x)的配準(zhǔn)，就是要定義一個(gè)相似性測度并尋找一個(gè)空間變換關(guān)系，使得經(jīng)過該空間變換后兩幅圖像間的相似性達(dá)到最大（或者差異性最?。?。即使圖像A上的每一個(gè)點(diǎn)在圖像B上都有唯一的點(diǎn)與之對(duì)應(yīng)，并且這兩點(diǎn)應(yīng)對(duì)應(yīng)同一解剖位置。

一、圖像配準(zhǔn)原理對(duì)于在不同時(shí)間或/和不同條件25S是相似性測度，配準(zhǔn)的過程歸結(jié)為尋求最佳空間變換的過程。公式表示:

由于空間變換包含多個(gè)參數(shù)，是一個(gè)多參數(shù)最優(yōu)化問題，一般由迭代過程實(shí)現(xiàn)：一、圖像配準(zhǔn)原理S是相似性測度，配準(zhǔn)的過程歸結(jié)為尋求最佳空間變換的過程。公26二、空間變換

圖像A和B的配準(zhǔn)就是尋找一種映射關(guān)系T：XA→XB，使得XA上的每一點(diǎn)在XB上都有唯一的點(diǎn)與之對(duì)應(yīng)。這種映射關(guān)系表現(xiàn)為一組連續(xù)的空間變換，如整幅圖像應(yīng)用相同的空間變換，則稱之為全局變換（globaltransformation），否則，稱之為局部變換（localtransformation）。

二、空間變換圖像A和B的配準(zhǔn)就是尋27

圖像配準(zhǔn)的基本變換二、空間變換圖像配準(zhǔn)的基本變換二、空間變換28二、空間變換——?jiǎng)傮w變換

剛體：是指物體內(nèi)部任意兩點(diǎn)間的距離保持不變。

剛體變換：使得一幅圖像中任意兩點(diǎn)間的距離在變換前后保持不變。例如：人體的頭部由堅(jiān)硬的顱骨支撐，在處理時(shí)通常忽略頭部皮膚的微小變形，將整個(gè)人腦看作是一個(gè)剛體。二、空間變換——?jiǎng)傮w變換剛體：是指物體內(nèi)部任意兩點(diǎn)間29兩幅圖像之間的剛體變換可由一個(gè)剛體模型描述：s是比例變換因子。

是圖像之間沿x，y，z方向上的平移量。R是3×3的旋轉(zhuǎn)矩陣，滿足約束條件：

二、空間變換——?jiǎng)傮w變換兩幅圖像之間的剛體變換可由一個(gè)剛體模型描述：s是比例變換因子30相對(duì)笛卡爾坐標(biāo)系的三個(gè)坐標(biāo)軸，R有三種不同的形式：分別表示圍繞坐標(biāo)軸的旋轉(zhuǎn)角度

二、空間變換——?jiǎng)傮w變換相對(duì)笛卡爾坐標(biāo)系的三個(gè)坐標(biāo)軸，R有三種不同的形式：分別表示31二、空間變換-仿射變換仿射變換：將直線映射為直線，并保持平行性。不滿足：二、空間變換-仿射變換仿射變換：將直線映射為直線，并保持平行32在笛卡兒坐標(biāo)系下，二維仿射變換的旋轉(zhuǎn)矩陣R’表示為：三維：二、空間變換-仿射變換在笛卡兒坐標(biāo)系下，二維仿射變換的旋轉(zhuǎn)矩陣R’表示為：三維：二33二、空間變換——投影變換投影變換：將直線映射為直線，但不保持平行性質(zhì)。投影變換主要用于二維投影圖像與三維體積圖像的配準(zhǔn)。

二維投影變換按照下式將圖像映射至圖像：是依賴于圖像本身的常數(shù)。

二、空間變換——投影變換投影變換：將直線映射為直線，但不保持34二、空間變換——非線性變換非線性變換是把直線變換為曲線。它反映的是圖像中組織或器官的嚴(yán)重變形或位移。典型的非線性變換是多項(xiàng)式函數(shù)，如二次、三次函數(shù)及薄板樣條函數(shù)。有時(shí)也使用指數(shù)函數(shù)。非線性變換多用于使解剖圖譜變形來擬合圖像數(shù)據(jù)或?qū)τ腥中孕巫兊男?、腹部臟器圖像的配準(zhǔn)。二、空間變換——非線性變換非線性變換是把直線變換為曲線。它反35二、空間變換——非線性變換1.二階多項(xiàng)式變換

二、空間變換——非線性變換1.二階多項(xiàng)式變換362.薄板樣條變換

其中：X是坐標(biāo)向量，A與B定義一個(gè)仿射變換，U是徑向基函數(shù)?？梢员硎緸榉律渥儞Q與徑向基函數(shù)的線性組合：二、空間變換——非線性變換2.薄板樣條變換其中：X是坐標(biāo)向量，可以表示為仿射變換與37在二維圖像配準(zhǔn)中：在三維圖像配準(zhǔn)中：二、空間變換——非線性變換在二維圖像配準(zhǔn)中：在三維圖像配準(zhǔn)中：二、空間變換——非線性變38三、參數(shù)的優(yōu)化搜索配準(zhǔn)的幾何變換參數(shù)根據(jù)求解方式可分成兩類：一、根據(jù)獲得的數(shù)據(jù)用聯(lián)立方程組直接計(jì)算得到的，這一類完全限制在基于特征信息的配準(zhǔn)應(yīng)用中。二、根據(jù)參數(shù)空間的能量函數(shù)最優(yōu)化搜索得到。在這一類中所有的配準(zhǔn)都變成一個(gè)能量函數(shù)的極值求解問題。因此圖像配準(zhǔn)問題本質(zhì)上是多參數(shù)優(yōu)化問題，優(yōu)化算法的選擇至關(guān)重要。三、參數(shù)的優(yōu)化搜索配準(zhǔn)的幾何變換參數(shù)根據(jù)求解方式可分成兩類：39常用的優(yōu)化算法:Powell法、梯度下降法、遺傳算法、模擬退火法、下山單純形法、Levenberg-Marquadrt法等。三、參數(shù)的優(yōu)化搜索常用的優(yōu)化算法:三、參數(shù)的優(yōu)化搜索40(一)Powell法Powell法是一種傳統(tǒng)的確定性優(yōu)化方法，又稱為方向加速法，由M.J.D.Powell于1964年首先提出?；竞x是:對(duì)于n維極值問題，首先沿著n個(gè)坐標(biāo)方向求極小，經(jīng)多n次之后得到n個(gè)共軛方向，然后沿n個(gè)共軛方向求極小，經(jīng)過多次迭代后便可求得極小值。三、參數(shù)的優(yōu)化搜索(一)Powell法三、參數(shù)的優(yōu)化搜索41Powell法的原理：對(duì)于某一問題，將其歸結(jié)為求取某一目標(biāo)函數(shù)的極小值。其中Y為一個(gè)向量：。設(shè)置一個(gè)滿秩的步長矩陣：三、參數(shù)的優(yōu)化搜索Powell法的原理：設(shè)置一個(gè)滿秩的步長矩陣：三、參數(shù)的優(yōu)化42對(duì)于某一初始值,迭代過程如下：

首先在方向上搜索，求，使為極小，并令：2.依次求，使為極小，并令，如此下去.3.最后求，使為極小，并令，4.令,在新的方向上在搜索一

次，即求,使為極小，并令新的為至此，完成了第一輪n+1次的搜索。接下去進(jìn)行下一輪的搜索，直至性能指標(biāo)滿意或滿足某種停止條件為止。三、參數(shù)的優(yōu)化搜索對(duì)于某一初始值,迭代過程如下：首先在方向上搜索，求，使為極43(二)梯度下降法該算法在求最小化過程中直接利用梯度信息，沿著起始點(diǎn)梯度方向的反方向，求出最小值點(diǎn)，然后移動(dòng)到最小值點(diǎn)，再重復(fù)上面的過程，直到前后點(diǎn)的函數(shù)值的差小于給定的誤差值，則結(jié)束迭代過程。三、參數(shù)的優(yōu)化搜索(二)梯度下降法三、參數(shù)的優(yōu)化搜索44(三)遺傳算法遺傳算法（GeneticAlgorithm）是模擬達(dá)爾文的遺傳選擇和自然淘汰的生物進(jìn)化過程的計(jì)算模型，是一種通過模擬自然進(jìn)化過程搜索最優(yōu)解的方法，它是由美國Michigan大學(xué)J.Holland教授于1975年首先提出來的。三、參數(shù)的優(yōu)化搜索(三)遺傳算法三、參數(shù)的優(yōu)化搜索45(三)遺傳算法在求解優(yōu)化問題時(shí)，遺傳算法將優(yōu)化問題當(dāng)作一個(gè)生存環(huán)境，問題的一個(gè)解當(dāng)作生存環(huán)境中的一個(gè)個(gè)體，以目標(biāo)函數(shù)值或其變化形式來評(píng)價(jià)個(gè)體對(duì)環(huán)境的適應(yīng)能力，模擬由一定數(shù)量個(gè)體所組成的群體的進(jìn)化過程，優(yōu)勝劣汰，最終獲得最好的個(gè)體，即問題的最優(yōu)解。三、參數(shù)的優(yōu)化搜索(三)遺傳算法三、參數(shù)的優(yōu)化搜索46四、插值方法

在圖像配準(zhǔn)中，空間坐標(biāo)變換后得到的像素坐標(biāo)位置可能不在整數(shù)像素上，因此需要用灰度插值的方法對(duì)像素值進(jìn)行估計(jì)。常用的插值方法有:最近鄰插值法、雙線性插值法和部分體積分布法等。四、插值方法在圖像配準(zhǔn)中，空間坐標(biāo)變換后得到的47(1)最近鄰插值（NN）圖8-4最近鄰插值示意圖計(jì)算n和鄰近四個(gè)點(diǎn)之間的距離，并將與該點(diǎn)距離最小的點(diǎn)的灰度值賦給n。(1)最近鄰插值（NN）圖8-4最近鄰插值示意圖計(jì)算n和48(2)雙線性插值（BI）雙線性插值法又稱為一階插值算法，它是用線性插值來求像素灰度的一種方法。具體計(jì)算方法為先沿著一個(gè)坐標(biāo)軸方向使用線性插值方法求出兩點(diǎn)的插值灰度，然后沿另一個(gè)坐標(biāo)軸，利用這兩個(gè)點(diǎn)對(duì)目標(biāo)點(diǎn)進(jìn)行線性插值來求灰度。

灰度值,

各相鄰點(diǎn)的權(quán)重，與它們到n的距離成反比。(2)雙線性插值（BI）雙線性插值法又稱為一階插值算法，它是49(2)雙線性插值（BI）(2)雙線性插值（BI）50(四)部分體積插值法（PV）

部分體積分布法是F.Maes等人提出來的，是對(duì)雙線性插值方法的一個(gè)改進(jìn)。主要是為了克服雙線性插值方法在圖像中會(huì)產(chǎn)生新的灰度值而引起圖像灰度分布發(fā)生變化的缺點(diǎn)，以便得到比較光滑的目標(biāo)函數(shù)，有利于優(yōu)化搜索。(四)部分體積插值法（PV）部分體積分布法是51PV根據(jù)線性插值的權(quán)重分配原則，將每對(duì)像素對(duì)聯(lián)合直方圖的貢獻(xiàn)分散到聯(lián)合直方圖中與之相鄰的各個(gè)像素對(duì)上，這樣聯(lián)合直方圖上各個(gè)像素對(duì)的頻度值以小數(shù)增加，因此不會(huì)出現(xiàn)新的灰度值而破壞目標(biāo)函數(shù)值分布的光滑性。具體的計(jì)算公式為:為權(quán)重，其取值同BI法。

(四)部分體積插值法（PV）

PV根據(jù)線性插值的權(quán)重分配原則，將每對(duì)像素對(duì)聯(lián)合直為52五、相似性測度

配準(zhǔn)過程在得到幾何變換后，進(jìn)一步的工作就是要找到一種合適、最優(yōu)的描述量，用以表征相似或者差異，稱這種描述量為相似性測度。

五、相似性測度配準(zhǔn)過程在得到幾何變換后，進(jìn)一53（一）灰度均方差設(shè)和分別表示參考圖像和浮動(dòng)圖像中的數(shù)據(jù)，兩幅圖像像素值的均方差可以表示為:其中，V表示參與計(jì)算的圖像區(qū)域，表示參與計(jì)算的像素總量，表示對(duì)圖像數(shù)據(jù)的變換。灰度均方差作為相似性測度適用于單模醫(yī)學(xué)圖像的配準(zhǔn)。（一）灰度均方差設(shè)和分別表示參考圖像和浮動(dòng)54（二）歸一化互相關(guān)分別是參考圖和浮動(dòng)圖在區(qū)域內(nèi)的像素灰度平均值，R為相關(guān)系數(shù)。（二）歸一化互相關(guān)分別是參考圖和浮動(dòng)圖在區(qū)域內(nèi)的像素灰度平55（三）互信息相似測度形式多樣，在基于全圖像信息的圖像配準(zhǔn)中，以互信息量作為相似測度的方法以其計(jì)算復(fù)雜度低、魯棒性好等特性逐漸成為當(dāng)前研究的熱點(diǎn)。下一節(jié)對(duì)基于互信息量的圖像配準(zhǔn)方法做詳細(xì)的介紹。（三）互信息相似測度形式多樣，在基于全圖像信息的圖568.4圖像配準(zhǔn)的主要方法

圖像配準(zhǔn)的方法有多種，目前主要的配準(zhǔn)方法大體上可以分為兩類:基于特征的配準(zhǔn)方法基于灰度的配準(zhǔn)方法。

8.4圖像配準(zhǔn)的主要方法圖像配準(zhǔn)的方法有多57一、基于特征的配準(zhǔn)方法

配準(zhǔn)過程：首先對(duì)待配準(zhǔn)圖像進(jìn)行特征提取，常用到的圖像特征有:點(diǎn)、直線段、邊緣、輪廓、閉合區(qū)域、特征結(jié)構(gòu)以及統(tǒng)計(jì)特征如矩不變量、重心等等。然后利用提取到的特征完成兩幅圖像特征之間的匹配。一、基于特征的配準(zhǔn)方法配準(zhǔn)過程：58（一）、基于點(diǎn)特征的配準(zhǔn)

點(diǎn)特征是圖像配準(zhǔn)中最為常用的圖像特征之一，分為外部特征點(diǎn)與內(nèi)部特征點(diǎn)兩種。

外部特征點(diǎn)：是成像時(shí)固定在患者身體上的標(biāo)記物。這種方法的配準(zhǔn)變換被限制為剛性變換。

侵入性標(biāo)記物

非侵入性標(biāo)記物

（一）、基于點(diǎn)特征的配準(zhǔn)點(diǎn)特征是圖像配59（一）基于點(diǎn)特征的配準(zhǔn)內(nèi)部特征點(diǎn)：是一些有限的可明顯識(shí)別的點(diǎn)集，可以是解剖點(diǎn)(一般由用戶識(shí)別出)，也可以是幾何點(diǎn)(包括邊緣點(diǎn)、角點(diǎn)、灰度的極值點(diǎn)、曲率的極值點(diǎn)、兩個(gè)線性結(jié)構(gòu)的交點(diǎn)或某一封閉區(qū)域的質(zhì)心等)。

這種方法主要求解剛體或仿射變換，如果標(biāo)記點(diǎn)數(shù)目足夠多，也能用來更復(fù)雜的非剛體變換。

（一）基于點(diǎn)特征的配準(zhǔn)內(nèi)部特征點(diǎn)：是一些有限的可明顯識(shí)別的60（二）基于直線特征的配準(zhǔn)

線段是圖像中另一個(gè)易于提取的特征。一般利用Hough變換提取圖像中的直線。

建立兩幅圖像中分別提取的直線段的對(duì)應(yīng)關(guān)系。

利用直線段的斜率和端點(diǎn)的位置關(guān)系，可以構(gòu)造一個(gè)這些信息指標(biāo)的直方圖，并通過尋找直方圖的聚集束達(dá)到直線段的匹配。（二）基于直線特征的配準(zhǔn)線段是圖像中另一個(gè)易于提取的特征61（三）基于輪廓與曲線特征的配準(zhǔn)

近年來，隨著圖像分割、邊緣檢測等技術(shù)的發(fā)展，基于邊緣、輪廓的圖像配準(zhǔn)方法逐漸成為配準(zhǔn)領(lǐng)域的研究熱點(diǎn)。分割和邊緣檢測技術(shù)是這類方法的基礎(chǔ)，目前已報(bào)道的有很多圖像分割方法可以用來做圖像配準(zhǔn)需要的邊緣輪廓和區(qū)域的檢測，比如Canny邊緣提取算子，拉普拉斯-高斯算子(LoG)，動(dòng)態(tài)閾值技術(shù)，區(qū)域增長等。（三）基于輪廓與曲線特征的配準(zhǔn)近年來，隨著圖像分割、62（三）基于輪廓與曲線特征的配準(zhǔn)在特征提取的基礎(chǔ)上，很多學(xué)者針對(duì)輪廓、邊緣等進(jìn)行了配準(zhǔn)研究。

1、Govindu等采用輪廓上點(diǎn)的切線斜率來表示物體輪廓，通過比較輪廓邊緣的分布確定變換參數(shù)。2、Davatzikos等提出了一種二階段大腦圖像配準(zhǔn)算法，在第一階段使用活動(dòng)輪廓算法建立一一影射，第二階段采用彈性變換函數(shù)確定輪廓的最佳變換。（三）基于輪廓與曲線特征的配準(zhǔn)在特征提取的基礎(chǔ)上，很多學(xué)者針63（三）基于輪廓與曲線特征的配準(zhǔn)3、李登高等提出了一種對(duì)部分重疊的圖像進(jìn)行快速配準(zhǔn)的方法，該方法是基于輪廓特征的隨機(jī)匹配算法。通過提取輪廓上的“關(guān)鍵點(diǎn)”作為特征點(diǎn)，隨機(jī)選擇若干特征點(diǎn)對(duì)得到候選變換，隨后的投票階段對(duì)其變換參數(shù)進(jìn)行檢驗(yàn)和求精。4、趙訓(xùn)坡等提出一種基于證據(jù)積累的圖像曲線粗匹配方法，比較有效地解決了將圖像中提取的一條曲線(較短)與一條參考曲線(較長)相匹配的問題。（三）基于輪廓與曲線特征的配準(zhǔn)3、李登高等提出了一種對(duì)部分64（四）基于面特征的配準(zhǔn)基于面的配準(zhǔn)方法中最典型的算法是由Pelizzari和Chen提出的“頭帽法”（Head-HatMethod）。從一幅圖像中提取一個(gè)表面模型稱為“頭”(Head)，從另外一幅圖像輪廓上提取的點(diǎn)集稱為“帽子”(Hat)。用剛體變換或選擇性的仿射變換將“帽子”的點(diǎn)集變換到“頭”上，然后采用優(yōu)化算法使得“帽子”的各點(diǎn)到“頭”表面的均方根距離最小。（四）基于面特征的配準(zhǔn)基于面的配準(zhǔn)方法中最典型的算法是由Pe65（四）基于面特征的配準(zhǔn)

頭帽法最初用于頭部的SPECT和CT(或MRI)配準(zhǔn)，參考特征是頭部的皮膚表面；然后用于頭部的SPECT圖像之間的配準(zhǔn)，參考特征是頭顱骨表面和大腦表面。

優(yōu)化算法目前一般用Powell法。均方距離是六個(gè)待求剛體變換參數(shù)的函數(shù)，其最小時(shí)可得剛體變換參數(shù)。

（四）基于面特征的配準(zhǔn)頭帽法最初用于頭部的SPEC66（四）基于面特征的配準(zhǔn)比較常用的配準(zhǔn)方法還有迭代最近點(diǎn)算法(ICP)。迭代最近點(diǎn)（ICP）配準(zhǔn)算法由Besl和Mckay提出的，它將一般的非線性最小化問題歸結(jié)為基于點(diǎn)的迭代配準(zhǔn)問題。迭代最近點(diǎn)算法(ICP)中必須先采樣出圖像結(jié)構(gòu)上的特征點(diǎn)，然后用迭代的方法不斷求出一幅圖中相對(duì)于另一幅圖中所有采樣點(diǎn)的最近點(diǎn)，直到兩個(gè)點(diǎn)集的均方差低于設(shè)定閾值，這時(shí)可得到匹配變換參數(shù)。（四）基于面特征的配準(zhǔn)比較常用的配準(zhǔn)方法還有迭代最近67二、基于灰度的配準(zhǔn)方法基于灰度的配準(zhǔn)方法是目前研究得較多的一種方法，它直接利用圖像的灰度信息進(jìn)行配準(zhǔn)，從而避免了因分割帶來的誤差，因而具有精度較高、穩(wěn)健性強(qiáng)、不需要預(yù)處理而能實(shí)現(xiàn)自動(dòng)配準(zhǔn)的特點(diǎn)。基于灰度的配準(zhǔn)有兩類主要的方法，一類是通過圖像灰度直接計(jì)算出代表性的比例和方向等要素；另一類是配準(zhǔn)過程中使用全部的灰度信息。第一種方法以力矩和主軸法為代表，第二種方法一般稱為體素相似性。二、基于灰度的配準(zhǔn)方法基于灰度的配準(zhǔn)方法是目前研究得較多的一68（一）力矩和主軸法

力矩和主軸法是指先用經(jīng)典力學(xué)物體質(zhì)量分布的原理計(jì)算出兩幅圖像的質(zhì)心和主軸，再通過平移和旋轉(zhuǎn)變換使兩幅圖像達(dá)到配準(zhǔn)。利用此方法，圖像可以模型化為橢圓形區(qū)域的點(diǎn)分布。這樣的分布可以用這些點(diǎn)的位置的一階和二階矩描述。

（一）力矩和主軸法力矩和主軸法是指先用經(jīng)典力學(xué)69（一）力矩和主軸法缺點(diǎn)：該方法對(duì)數(shù)據(jù)的缺失較敏感，要求整個(gè)物體必須完整地出現(xiàn)在兩幅圖像中。從整體上來說，配準(zhǔn)精度較差，所以目前它更多地用來進(jìn)行粗配準(zhǔn)，使兩幅圖像初步對(duì)齊，以減少后續(xù)主要配準(zhǔn)方法的搜索步驟。（一）力矩和主軸法缺點(diǎn)：該方法對(duì)數(shù)據(jù)的缺失較敏感，要求整個(gè)70（二）體素相似性法：體素相似性法是目前研究較多的一類方法。它是利用圖像中的所有灰度信息，這種方法一般都較為穩(wěn)定，并能獲得相當(dāng)準(zhǔn)確的結(jié)果。該方法是完全自動(dòng)的，不需要特殊的預(yù)處理，但這種方法由于需要大量的復(fù)雜計(jì)算，因此最近幾年才轉(zhuǎn)入實(shí)際應(yīng)用。（二）體素相似性法：體素相似性法是目前研究較71（二）體素相似性法：常見的基于體素相似性的配準(zhǔn)方法有：①互相關(guān)法②基于傅立葉域的互相關(guān)法和相位相關(guān)法③灰度比的方差最小化法④直方圖的互信息最大化法等。主要討論④。（二）體素相似性法：常見的基于體素相似性的配準(zhǔn)方法有：72

最大互信息法

最大互信息法以互信息作為相似性測度。

1995年分別被Viola和Collignon等首次用于醫(yī)學(xué)圖像配準(zhǔn)中。

互信息(MutualInformation，MI)是信息論中的一個(gè)基本概念，用于描述兩個(gè)系統(tǒng)間的統(tǒng)計(jì)相關(guān)性，或者是在一個(gè)系統(tǒng)中包含的另一個(gè)系統(tǒng)的信息的多少，一般用熵來表示，表達(dá)的是一個(gè)系統(tǒng)的復(fù)雜性或不確定性。最大互信息法最大互信息法以互信息作為相似性測度73對(duì)于概率分布函數(shù)為的隨機(jī)變量集A，其熵：

表示已知系統(tǒng)B時(shí)A的條件熵。

最大互信息法對(duì)于概率分布函數(shù)為的隨機(jī)變量集A，其熵：表示已知系74

在醫(yī)學(xué)圖像配準(zhǔn)中，雖然兩幅圖像來源于不同的成像設(shè)備，但是它們基于共同的人體解剖信息，所以當(dāng)兩幅圖像的空間位置達(dá)到完全一致時(shí)，其中一幅圖像表達(dá)的關(guān)于另一幅圖像的信息，也就是對(duì)應(yīng)像素灰度的互信息應(yīng)為最大。通常用聯(lián)合概率分布和完全獨(dú)立時(shí)的概率分布間的廣義距離來估計(jì)互信息：

最大互信息法在醫(yī)學(xué)圖像配準(zhǔn)中，雖然兩幅圖像來源于不同的成像設(shè)備75

對(duì)于離散的數(shù)字圖像，聯(lián)合概率分布可以用歸一化的聯(lián)合直方圖表示：邊緣概率分布表示為：

最大互信息法對(duì)于離散的數(shù)字圖像，聯(lián)合概率分布可以用76接下來尋找一個(gè)變換使得一幅圖像經(jīng)過此變換后和另一幅圖像的互信息最大。一般采用剛體變換，即在三維空間中尋找三個(gè)方向上的平移值和旋轉(zhuǎn)角度。對(duì)于大規(guī)模斷層掃描醫(yī)學(xué)圖像來說，三維體積數(shù)據(jù)集包含的數(shù)據(jù)量極大無法滿足臨床上實(shí)時(shí)處理的要求，因此必須采取優(yōu)化措施。常用無需計(jì)算梯度的Powell多參數(shù)優(yōu)化算法。

最大互信息法接下來尋找一個(gè)變換使得一幅圖像經(jīng)過此變換后和另一幅最大互信778.5圖像配準(zhǔn)的評(píng)估

醫(yī)學(xué)圖像配準(zhǔn)，特別是多模醫(yī)學(xué)圖像配準(zhǔn)結(jié)果的評(píng)估一直是件很困難的事情。由于待配準(zhǔn)的多幅圖像基本上都是在不同時(shí)間或/和條件下獲取的，所以沒有絕對(duì)的配準(zhǔn)問題，即不存在什么金標(biāo)準(zhǔn)（goldstandard）。只有相對(duì)的最優(yōu)（某種準(zhǔn)則下的）配準(zhǔn)。常用的評(píng)估方法有以下幾種：8.5圖像配準(zhǔn)的評(píng)估醫(yī)學(xué)圖像配準(zhǔn)，特別是多模醫(yī)學(xué)78一、體模（Phantom）

體模又有硬件體模和軟件體模之分。后者是計(jì)算機(jī)圖像合成的結(jié)果。體模法用已知的圖像信息驗(yàn)證新配準(zhǔn)算法的精度。由于體模都比較簡單，與實(shí)際臨床圖像差異較大，因此只能對(duì)配準(zhǔn)方法作初步的評(píng)估。一、體模（Phantom）體模又有硬件體79二、準(zhǔn)標(biāo)（FiducialMarks）

立體定向框架系統(tǒng)（StereotacticFrameSystems）包括立體定向參考框架、立體定向圖像獲取、探針或手術(shù)器械導(dǎo)向幾部分。優(yōu)點(diǎn)是定位準(zhǔn)確，不易產(chǎn)生圖像畸變。使用立體定向框架系統(tǒng)的體積圖像數(shù)據(jù)可以用來評(píng)估其它配準(zhǔn)方法的精度。二、準(zhǔn)標(biāo)（FiducialMarks）立體定向80二、準(zhǔn)標(biāo)（FiducialMarks）

使用人工記號(hào)作準(zhǔn)標(biāo)的方法很多。一種準(zhǔn)標(biāo)是使用9根棍棒組成的3個(gè)方向的N字型結(jié)構(gòu)。在作CT測試時(shí)，棒內(nèi)充以硫酸銅溶液；作PET測試則填充氟18。這樣，在兩組圖像中都可見此N字型準(zhǔn)標(biāo)，從而可對(duì)圖像準(zhǔn)確空間定位。例如用在人腦表面嵌螺絲作標(biāo)記（每人8個(gè)）的方法對(duì)多個(gè)病人做CT、MR（T1、T2及PD）和PET實(shí)測，得到多組數(shù)據(jù)。這些數(shù)據(jù)專門用于多模醫(yī)學(xué)圖像配準(zhǔn)算法評(píng)估使用。二、準(zhǔn)標(biāo)（FiducialMarks）81三、圖譜（Atlas）

Thompson用隨機(jī)向量場變換構(gòu)造一個(gè)可變形的概率腦圖譜。包括從多個(gè)受試者到單一解剖模板的功能、血管、組織諸方面映射，三維圖譜到新受試者的掃描圖像的映射。VisibleHumanCD的CT骨窗圖像、MR圖像及彩繪的冷凍切片照片由于具有清晰的解剖結(jié)構(gòu)和高度的分辨（1毫米/每層片），近來也被用來做新配準(zhǔn)方法精度的評(píng)估。三、圖譜（Atlas）Thompson用隨機(jī)向量82四、目測檢驗(yàn)（VisualInspection）

對(duì)多模醫(yī)學(xué)圖像配準(zhǔn)的結(jié)果請(qǐng)領(lǐng)域?qū)＜矣媚繙y方法檢驗(yàn)，聽起來有些主觀，但在一定程度上的確是一種相當(dāng)可信的方法。四、目測檢驗(yàn)（VisualInspection）838.6醫(yī)學(xué)圖像融合概述

醫(yī)學(xué)圖像融合：是指將兩幅(或兩幅以上)來自不同成像設(shè)備或不同時(shí)刻獲取的已配準(zhǔn)的圖像，采用某種算法，把各個(gè)圖像的優(yōu)點(diǎn)或互補(bǔ)性有機(jī)地結(jié)合起來，獲得信息量更豐富的新圖像的技術(shù)。先決條件：醫(yī)學(xué)圖像的配準(zhǔn)。8.6醫(yī)學(xué)圖像融合概述醫(yī)學(xué)圖像融合：是指將兩幅(或兩幅84醫(yī)學(xué)圖像融合的分類1．按照融合圖像成像方式的不同，分為單模融合(mono-modality)和多模融合(multi-modality)。單模：CT-CT，MRI-MRI。

多模：CT與MRI等。醫(yī)學(xué)圖像融合的分類1．按照融合圖像成像方式的不同，分為單模融852．按照融合對(duì)象的不同，分為單樣本時(shí)間融合、單樣本空間融合和模板融合。

單樣本時(shí)間融合：指跟蹤某個(gè)病人，將其一段時(shí)間內(nèi)對(duì)同一臟器所做的同種檢查圖像進(jìn)行融合。

單樣本空間融合：指將某個(gè)病人在同一時(shí)期內(nèi)對(duì)同一臟器所做的幾種檢查的圖像進(jìn)行融合。

模板融合：從許多健康人的研究中建立一系列模板，將病人的圖像與模板圖像融合。醫(yī)學(xué)圖像融合的分類2．按照融合對(duì)象的不同，分為單樣本時(shí)間融合、單樣本空間融合和863．按照?qǐng)D像處理方法的不同，分為數(shù)值融合法和智能融合法。

數(shù)值融合法：將不同來源的圖像做空間歸一化處理后直接融合。智能融合法：將不同來源的圖像做歸一化處理后，根據(jù)需要選擇不同圖像中的所需信息再進(jìn)行融合。醫(yī)學(xué)圖像融合的分類3．按照?qǐng)D像處理方法的不同，分為數(shù)值融合法和智能融合法。874．按圖像類型不同，可以分為斷層圖像間相互融合、斷層圖像與投影圖像融合以及結(jié)構(gòu)圖像與功能圖像融合。斷層圖像間相互融合主要指CT與MRI圖像融合；

斷層圖像與投影圖像融合主要指CT、MRI圖像與DSA圖像通過三維重建后進(jìn)行融合；

結(jié)構(gòu)圖像融合與功能圖像融合主要指CT、MRI圖像與PET、SPECT圖像進(jìn)行融合。

醫(yī)學(xué)圖像融合的分類4．按圖像類型不同，可以分為斷層圖像間相互融合、斷層圖像與投88醫(yī)學(xué)圖像融合的分類5．前瞻性融合和回溯性融合

前瞻性融合：在圖像采集時(shí)使用特別措施（如加外部標(biāo)志等）；回溯性融合：在圖像采集時(shí)則不采取特別措施。醫(yī)學(xué)圖像融合的分類5．前瞻性融合和回溯性融合898.7常用的圖像融合方法一、基于空域的圖像融合

1、圖像像素灰度值極大（?。┤诤戏?；

2、圖像像素灰度值加權(quán)融合法；

3、TOET圖像融合方法。二、基于變換域的圖像融合基于小波變換的圖像融合。

8.7常用的圖像融合方法一、基于空域的圖像融合901、圖像像素灰度值極大（小）融合法設(shè)g1(i,j)和g2(i,j)為待融合圖像，F(xiàn)(i,j)為融合后的圖像，其中i，j為圖像中某一像素的坐標(biāo)，圖像大小為M*N，則i∈[0,M-1]，j∈[0,N-1]。

極大值法：極小值法：1、圖像像素灰度值極大（?。┤诤戏ㄔO(shè)g1(i,j)和g2912、圖像像素灰度值加權(quán)融合法

設(shè)g1(i,j)和g2(i,j)為待融合圖像，F(xiàn)(i,j)為融合后的圖像。其中：a為權(quán)重因子，且0≤a≤1，可以根據(jù)需要調(diào)節(jié)a的大小。該算法實(shí)現(xiàn)簡單，其困難在于如何選擇權(quán)重系數(shù)，才能達(dá)到最佳的視覺效果。2、圖像像素灰度值加權(quán)融合法設(shè)g1(i,j)和g923、TOET圖像融合方法

設(shè)g1(i,j)和g2(i,j)為待融合圖像，F(xiàn)(i,j)為融合后的圖像。①首先求輸入圖像和的共同成分：

②從圖像上扣除共同成分得到圖像的特征成分：

③從圖像中扣除圖像的特征成分：3、TOET圖像融合方法設(shè)g1(i,j)和g2(i,j)為93

融合結(jié)果CT圖像

MR圖像

像素灰度極小值法像素灰度極大值法融合結(jié)果CT圖像MR圖像像素灰度極小值法像素灰94融合結(jié)果CT圖像MR圖像灰度加權(quán)法TOET法融合結(jié)果CT圖像MR圖像灰度加權(quán)法TOET法95二、基于變換域的圖像融合變換域法，顧名思義，就是將變換后的兩個(gè)或多個(gè)圖像進(jìn)行融合，再通過反變換得到融合后圖像的方法。

多分辨率金字塔小波變換法

傅里葉變換法二、基于變換域的圖像融合變換域法，顧名思義，就96一、圖像的二維小波分解Mallat算法：

分別表示水平、垂直和對(duì)角分量；

和分別是H和G的共軛轉(zhuǎn)置矩陣；J為分解層數(shù)。一、圖像的二維小波分解Mallat算法：分別表示水平、97一、圖像的二維小波分解圖像經(jīng)二維小波變換分解后，可得到四個(gè)不同的頻帶LL、LH、HL、HH。其中低頻帶

LL保留了原圖的輪廓信息。HL、LH、HH分別保留了原圖水平、垂直和對(duì)角方向的高頻信息，代表圖像的細(xì)節(jié)部分。一、圖像的二維小波分解圖像經(jīng)二維小波變換分解后，可得到四個(gè)不98基于小波變換的圖像融合步驟①分解：對(duì)每一源圖像分別進(jìn)行小波變換，得到每幅圖像在不同分辨率下不同頻帶上的小波系數(shù)；②融合：針對(duì)小波分解系數(shù)的特性，對(duì)各個(gè)不同分辨率上的小波分解得到的頻率分量采用不同的融合方案和融合算子分別進(jìn)行融合處理；③逆變換：對(duì)融合后系數(shù)進(jìn)行小波逆變換，得到融合圖像。基于小波變換的圖像融合步驟①分解：對(duì)每一源圖像分別進(jìn)行小波99小波分解融合結(jié)構(gòu)圖圖8-7小波分解融合圖融合后的圖像小波分解圖小波分解圖系數(shù)融合A圖像小波變換F圖像B圖像小波變換逆變換小波分解融合結(jié)構(gòu)圖圖8-7小波分解融合圖融合后小波分解圖小波100二、基于小波變換的融合規(guī)則1、低頻系數(shù)融合規(guī)則

通過小波分解得到的低頻系數(shù)都是正的變換值，反映的是源圖像在該分辨率上的概貌。低頻小波系數(shù)的融合規(guī)則有多種方法：既可以取源圖像對(duì)應(yīng)系數(shù)的均值，也可以取較大值，這要根據(jù)具體的圖像和目的來定。二、基于小波變換的融合規(guī)則1、低頻系數(shù)融合規(guī)則101二、基于小波變換的融合規(guī)則2、高頻系數(shù)融合規(guī)則

通過小波分解得到的三個(gè)高頻子帶都包含了一些在零附近的變換值，在這些子帶中，較大的變換值對(duì)應(yīng)著亮度急劇變化的點(diǎn)，也就是圖像中的顯著特征點(diǎn)，如邊緣、亮線及區(qū)域輪廓。這些細(xì)節(jié)信息，也反映了局部的視覺敏感對(duì)比度，應(yīng)該進(jìn)行特殊的選擇。

二、基于小波變換的融合規(guī)則2、高頻系數(shù)融合規(guī)則102二、基于小波變換的融合規(guī)則圖像A分解層圖像B分解層基于像素的融合規(guī)則基于區(qū)域的融合規(guī)則基于窗口的融合規(guī)則圖像F分解層融合規(guī)則系數(shù)加權(quán)絕對(duì)值選大區(qū)域能量最大系數(shù)模值極大。。。。。。融合處理圖8-8小波融合規(guī)則二、基于小波變換的融合規(guī)則圖像A分解層圖像B分解層基于像素的103二、基于小波變換的融合規(guī)則（1）基于像素點(diǎn)的融合規(guī)則

逐個(gè)考慮源圖像相應(yīng)位置的小波系數(shù)，要求源圖是經(jīng)過嚴(yán)格對(duì)準(zhǔn)處理的。因?yàn)榛谙袼氐倪x擇方法具有其片面性，其融合效果有待改善。二、基于小波變換的融合規(guī)則（1）基于像素點(diǎn)的融合規(guī)則104二、基于小波變換的融合規(guī)則（2）基于窗口的融合規(guī)則

是對(duì)第一類方法的改進(jìn)。由于相鄰像素往往有相關(guān)性，該方法以像素點(diǎn)為中心，取一個(gè)M×N的窗口，綜合考慮區(qū)域特征來確定融合圖像相應(yīng)位置的小波系數(shù)。該類方法的融合效果好，但是也相應(yīng)的增加了運(yùn)算量和運(yùn)算時(shí)間。由于窗口是一個(gè)矩形，是規(guī)則的；而實(shí)際上，圖像中相似的像素點(diǎn)往往具有不規(guī)則性。

二、基于小波變換的融合規(guī)則（2）基于窗口的融合規(guī)則105二、基于小波變換的融合規(guī)則（3