醫(yī)學圖像的配準與融合

第八章醫(yī)學圖像的配準與融合第一節(jié)概述-、醫(yī)學圖像配準與融合的應用背景隨著計算機技術的飛速發(fā)展，與計算機技術密切相關的醫(yī)學成像技術也是日新月異。但是，各種成像技術和檢查方法都有它的優(yōu)勢與不足，并非一種成像技術可以適用于人體所有器官的檢查和疾病診斷，也不是一種成像技術能取代另一種成像技術，它們之間是相輔相成、相互補充的。如CT和X線機對骨等密度較高的組織能提供高清晰的圖像，MRI對人體軟組織的成像具有較高的分辨率，而PET和SPECT則能夠提供人體組織或器官的功能性代謝的圖像。成像原理的不同造成了某一種成像模式所能提供的圖像信息具有一定的局限性，有時單獨使用某一類圖像難以獲得正確的診斷結(jié)論。因此，為了提高診斷正確率，需要綜合利用患者的各種圖像信息。圖像配準與融合技術為醫(yī)學圖像的綜合利用提供了很好的技術手段。根據(jù)醫(yī)學圖像所提供的信息，可將醫(yī)學圖像分為兩大類：解剖結(jié)構(gòu)圖像(CT、MRkX線圖像等)和功能圖像(SPECT,PET等)。這兩類圖像各有其優(yōu)缺點：解剖圖像以較高的分辨率提供了臟器的解剖形態(tài)信息，但無法反映臟器的功能情況。功能圖像分辨率較差，但它提供的臟器功能代謝信息是解剖圖像所不能替代的，這些信息是對疾病特別是腫瘤進行早期診斷的重要依據(jù)。目前醫(yī)學影像學的?個明顯的發(fā)展趨勢是利用信息融合技術，將多種醫(yī)學圖像結(jié)合起來，充分利用不同醫(yī)學圖像的特點，在一幅圖像上同時表達來自人體的多方面信息，使人體內(nèi)部的結(jié)構(gòu)、功能等多方面的狀況通過影像反映出來，從而更加直觀地提供人體解剖、生理及病理等信息。二、醫(yī)學圖像配準與融合的關系醫(yī)學圖像配準和融合有著密切的關系，特別是對多模態(tài)圖像而言，配準和融合是密不可分的。待融合的圖像往往來自于不同的成像設備，它們的成像方位、角度和分辨率等因子都是不同的，所以這些圖像中相應組織的位置、大小等都有差異，若事先不對融合圖像進行空間上的對準，那么融合后的圖像豪無意義。因此，圖像配準是圖像融合的先決條件，必須先進行配準變換，才能實現(xiàn)準確地融合。三、醫(yī)學圖像配準和融合在臨床中的應用醫(yī)學圖像配準和融合具有很重要的臨床應用價值。對使用各種不同或相同的成像手段所獲得的醫(yī)學圖像進行配準和融合不僅可以用于醫(yī)療診斷，還可用于外科手術計劃的制定、放射治療計劃的制定、病理變化的跟蹤和治療效果的評價等各個方面。1、在外科手術中的應用了解病變與周圍組織的關系對制定手術方案，決定手術是否成功至關重要。如對腦腫瘤患者，一般是采用外科手術切除腫瘤。患者的生存時間和生活質(zhì)量與病灶（如腫瘤、血腫等）的切除程度密切相關。如果對病灶過度切除，會造成對病灶周圍重要功能區(qū)域的損害，而這種損害是不可逆轉(zhuǎn)的，嚴重影響患者的生活質(zhì)量；反之如果對病灶切除不夠，殘余病灶會嚴重影響患者的生存時間。最大程度地切除病灶，同時使主要的腦功能區(qū)域（如視覺、語言和感知運動皮層等）得以保留是神經(jīng)外科手術的目標。為此，在手術前，?般要利用CT或MRI獲取患者的腦腫瘤結(jié)構(gòu)信息，利用PET或fMRI獲取患者腦腫瘤周圍的腦功能信息，通過對結(jié)構(gòu)成像和功能成像的配準、融合，對腦腫瘤及其周圍的功能區(qū)進行精確定位，在此基礎上制定出外科手術計劃，是對患者進行精確手術的基礎。2,在放射治療中的應用大約70%的病人在腫瘤的治療過程中接受放療。放療的目的就是最大限度的把放射能量集中在靶位上，從而使周圍的正常組織的損害達到最小。放射治療中，應用CT和MR圖像的配準和融合來制定放療計劃和進行評估，用CT圖像精確計算放射劑量，用MR圖像描述腫瘤的結(jié)構(gòu)。用PET和SPECT圖像對腫瘤的代謝、免疫及其他生理方面進行識別和特性化處理，整合的圖像可用于改進放射治療計劃或立體定向活檢或手術。此外，放射治療后掃描的MRI圖像中，壞死組織往往表現(xiàn)為亮區(qū)，很容易與癌癥復發(fā)混淆。把MRI圖像與PET或SPECT圖像進行配準，可區(qū)分壞死組織（沒有代謝）與腫瘤復發(fā)（通常表現(xiàn)為高代謝）。3、在癲癇病治療中的應用原發(fā)癲癇病灶的準確定位一直是困擾影像界的一大難題，許多學者利用配準和融合技術對此做出了富有成效的探索。例如：Pelizzari等人對癲癇病人的MREPET圖像融合處理后，可觀察到病人的腦外傷、炎癥、硬化癥等的變化,還可看到手術及麻醉前后的區(qū)別；Lewis等研究表明，在發(fā)作期和發(fā)作期間，對癲癇患者分別進行SPECT檢查，將兩者的圖像相減，再分別與MRI圖像融合，可使功能損傷的解剖學標記更準確，以SPECT所示的局部腦血流對大腦新皮質(zhì)的癲癇病灶進行準確定位，從而為手術提供重要依據(jù)。第二節(jié)醫(yī)學圖像配準技術-、醫(yī)學圖像配準的概念對幾幅不同的圖像作定量分析，首先要解決這幾幅圖像的嚴格對齊問題，這就是我們所說的圖像配準（imageregistration）o醫(yī)學圖像配準是指對于一幅醫(yī)學圖像尋求一種（或一系列）空間變換，使它與另一幅醫(yī)學圖像上的對應點達到空間上的?致。這種一致是指人體上的同一解剖點在兩張匹配圖像上有相同的空間位置（位置一致，角度一致、大小一致）。配準的結(jié)果應使兩幅圖像上所有的解剖點，或至少是所有具有診斷意義的點及手術感興趣的點都達到匹配。圖8-1是配準示意圖。同一個人從不同角度、不同位置拍攝的兩張照片，由于拍攝條件不同，每張照片只反映某些方面的特征。要將這兩張照片一起分析,就要將其中的一張人像做移動和旋轉(zhuǎn)，使它與另一幅對齊。這一對齊過程就是配準過程。保持不動的叫做參考圖像，做變換的稱作浮動圖像。將配準后的圖像進行融合就可以得到反映人的全貌的融合圖像。圖8-1圖像配準示意圖二、醫(yī)學圖像配準方法的分類到目前為止，醫(yī)學圖像配準方法的分類始終沒有一個統(tǒng)一的說法。目前比較

流行的是1993年VandenEisen等人對醫(yī)學圖像配準進行的分類，歸納了七種分類標準。（一）按圖像維數(shù)分類按圖像維數(shù)分為2D/2D,2D/3D,以及3D/3D配準。2D/2D配準通常指兩個斷層面間的配準；2D/3D配準通常指空間圖像和投影圖像（或者是單獨的「個層面）間的直接配準；3D/3D配準指2幅三維空間圖像間的配準。（二）根據(jù)醫(yī)學圖像的模態(tài)分類根據(jù)醫(yī)學圖像的模態(tài)分為單模態(tài)醫(yī)學圖像配準和多模態(tài)醫(yī)學圖像配準。單模態(tài)圖像配準是指待配準的兩幅圖像是用同一種成像設備獲取的。?般應用在生長監(jiān)控、減影成像等。多模態(tài)圖像配準是指待配準的兩幅圖像來源于不同的成像設備，主要應用于神經(jīng)外科的診斷、手術定位及放療計劃設計等。比如將MRLCT、DSA等解剖圖像與SPECT、PET和EEG等功能信息相互結(jié)合，對癲癇進行手術定位。另外，由于MR適于腫瘤組織的輪廓描述而通過CT又可精確計算劑量，因此，在放療中常需要將二者進行配準。多模態(tài)圖像配準是醫(yī)學圖像配準的重點研究課題。（三）根據(jù)變換性質(zhì)分類根據(jù)變換的性質(zhì)可分為剛性變換、仿射變換、投影變換和曲線變換四種。剛性變換只包括平移和旋轉(zhuǎn)；仿射變換將平行線變換為平行線；投影變換將直線映射為直線；曲線變換則將直線映射為曲線。（四）根據(jù)用戶交互性的多少分類根據(jù)用戶參與的程度，分為自動配準、半自動配準和交互配準。自動配準是用戶只需提供相應的算法和圖像數(shù)據(jù)；半自動配準是用戶需初始化算法或指導算法（如拒絕或接受配準假設）；交互配準是用戶在軟件的幫助下進行配準。（五）根據(jù)配準所基于的圖像特征分類根據(jù)配準所基于的圖像特征分為基于外部特征和基于內(nèi)部特征兩大類。外部特征的圖像配準是指在研究對象上設置一些標志點（這些標記點可以是立體定位框架、在顱骨上固定螺栓和在表皮加上可顯像的標記），使這些標記點能在不同的影像模式中顯示，然后再用自動、半自動或交互式的方法用標記將圖像配準。基于內(nèi)部特征的配準方法主要包括三個方面：基于標記的配準方法、基于分割的

配準方法、基于像素特性的配準。基于標記的配準方法分為解剖知識的標記（如：利用人體特殊的解剖結(jié)構(gòu)，i般由人工直接描述）和基于兒何知識的標記（如：運用數(shù)學知識得到大量的點、線、面的曲率、角落特征等）；基于分割的配準指通過圖像分割獲得一些配準標志；基于像素特性的配準方法是把圖像內(nèi)部的灰度信息值作為配準的依據(jù)。又可分為兩種。一是把圖像灰度信息簡約成具有一定的尺度和方向的集合（如力矩主軸法）二是在配準過程中始終使用整幅圖像的灰度信息（如：互相關法、最大互信息法）。（六）根據(jù)配準過程中變換參數(shù)確定的方式分類根據(jù)配準過程中變換參數(shù)確定的方式可以分為兩種：一是通過直接計算公式得到變換參數(shù)的配準，二是通過在參數(shù)空間中尋求某個函數(shù)的最優(yōu)解得到變換參數(shù)的配準。前者完全限制在基于特征信息（例如小數(shù)目的特征點集、二維曲線、三維表面）的配準應用中。在后者中，所有的配準都變成一-個能量函數(shù)的極值求解問題。（七）根據(jù)主體分類根據(jù)主體可分為：（1）同一患者（Intrasubject）的配準。是指將來自同一個病人的待配準圖像，用于任何種類的診斷中；（2）不同患者（Intersubject）的配準。指待配準圖像來自不同病人，主要用在三維頭部圖像（MR、CT）的配準中，既可以基于分割也可以基于灰度。變換方式多為非線性的曲線變換，有時也采用剛性變換。（3）患者與圖譜的（Atlas）圖像配準。是指待配準圖像一幅來自病人，一幅來自圖譜；主要用于收集某些特定結(jié)構(gòu)、大小和形狀的統(tǒng)計信息。目前典型的數(shù)字化醫(yī)學圖譜是法國Talairach和Toumoux制作的Talairach-Tournoux圖譜（TTAtlas）o圖譜和實際圖像配準后，能更直觀和方便地應用圖譜中的信息。三、醫(yī)學圖像配準的基本過程醫(yī)學圖像配準一般由以下三個步驟組成：（1）根據(jù)待配準圖像（浮動圖像）b與參考圖像（基準圖像）L,提取出圖像的特征信息組成特征空間；（2）根據(jù)提取出的特征空間確定出一種空間變換（T）,使待配準圖像L經(jīng)過該變換后與參考圖像L能夠達到所定義的相似性測度，即I尸T（L）；

(3)在確定變換的過程中，還需采取一定的搜索策略也就是優(yōu)化措施以使相似性測度更快更好地達到最優(yōu)值。當然，配準過程并不絕對按上述步驟進行，比如一些自動配準方法，一般不包括特征提取步驟。此外，(2)和(3)的過程在實際計算過程中是彼此交叉進行的。圖8-2給出了醫(yī)學圖像配準的流程圖：圖8-2醫(yī)學圖像配準流程圖第三節(jié)醫(yī)學圖像配準的理論基礎一、圖像配準原理由圖8-2,可以看出：對于在不同時間或/和不同條件下獲取的兩幅圖像4(X)和B(X)的配準，就是要定義一個相似性測度并尋找一個空間變換關系，使得經(jīng)過該空間變換后兩幅圖像間的相似性達到最大(或者差異性最小)。即使圖像A上的每一個點在圖像B上都有唯的點與之對應，并且這兩點應對應同一解剖位置。用公式表示如下：S(T)=S(4(X),B(T(X))) zon式中，S是相似性測度，配準的過程可歸結(jié)為尋求最佳空間變換的過程。

(8.2)T=argmaxS(T)(8.2)由于空間變換包含多個參數(shù)，是一個多參數(shù)最優(yōu)化問題，所以一般由迭代過程實現(xiàn)：T'=T+AT (8.3)增量AT可以用計算梯度的方法計算：g包 (8.4)dT二、空間變換圖像A和B的配準就是尋找一種映射關系T：Xa~Xb，使得Xa上的每一點在Xb上都有唯一的點與之對應。這種映射關系表現(xiàn)為一組連續(xù)的空間變換，如整幅圖像應用相同的空間變換，則稱之為全局變換(globaltransformation),否則，稱之為局部變換(localtransformation)o根據(jù)圖像變換形式的不同，有線性變換(lineartransfbrmation)和非線性變換(nonlineartransformation,也稱作彎曲變換(curvedtransformation))兩種。線性變換包括剛體變換(rigidbodytransformation),仿射變換(affinetransformation)和投影變換(projectivetransformation)。如圖8-3所示。圖8-3圖像配準的基本變換(一)剛體變換所謂剛體，是指物體內(nèi)部任意兩點間的距離保持不變。剛體變換使得一幅圖像中任意兩點間的距離在變換前后保持不變。例如人體的頭部由堅硬的顱骨支

撐，在處理時通常忽略頭部皮膚的微小變形，將整個人腦看作是一個剛體。兩幅圖像之間的剛體變換可由一個剛體模型描述：V=sRU+T （8.5）其中，S是比例變換因子。7=（%仆山），是圖像之間沿為，y,Z方向上的平移量。R是3X3的旋轉(zhuǎn)矩陣，滿足約束條件：R'R=RR'=1,det（/?）=1 （8.6）相對笛卡爾坐標系的三個坐標軸，/?有三種不同的形式：’10 o、&=0cos0xsin0x(8.7)-sin4cos0K)'cos40-sing'R、=0 1 0(8.8)sin0 0cos0\y yz'cos夕-sin0.0、R：=sin0_cos6_ 0(8.9)Looi,其中8，ev,d分別表示圍繞x,r,z坐標軸的旋轉(zhuǎn)角度。（二）仿射變換二維仿射變換的旋轉(zhuǎn)矩陣叫3、/?23 (8.10)1,當式（8.6）的約束條件不滿足時，方程式（二維仿射變換的旋轉(zhuǎn)矩陣叫3、/?23 (8.10)1,'叫1叫2R'=加21m22

、00三維仿射變換的旋轉(zhuǎn)矩陣R表示為：叫41團叫41團24加341JTOC\o"1-5"\h\zr,=W21加22 m23m3\叫2 m33、0 0 0仿射變換的具體表現(xiàn)可以是各個方向尺度變換系數(shù)??致的均勻尺度變換或變換系數(shù)不一致的非均勻尺度變換及剪切變換等。均勻尺度變換多用于使用透鏡系統(tǒng)的照相圖像，在這種情況下，物體的圖像和該物體與成像的光學儀器間的距離有直接的關系，一般的仿射變換可用于校正CT臺架傾斜引起的剪切或MR梯度線圈不完善產(chǎn)生的畸變。（三）投影變換與仿射變換相似，投影變換將直線映射為直線，但不保持平行性質(zhì)。投影變換主要用于二維投影圖像與三維體積圖像的配準。二維投影變換按照下式將圖像A（x，m）映射至圖像8（%2，%）：(8.12)_/丙+。|2弘+卬3

。3111+432M+(8.12)(8.13)_〃2內(nèi)+〃22yl+。23/2― (8.13)a3\X\+-32yl+。33其中的變換參數(shù)與是依賴于圖像本身的常數(shù)。另外一種類似的變換方式稱為透視變換。透視變換是投影變換的子集。某些醫(yī)療成像設備，如內(nèi)窺鏡、顯微鏡等，獲取的圖像都是通過將三維物體投影到二維平面，由此產(chǎn)生的兒何變換稱為透視變換。（四）非線性變換非線性變換是把直線變換為曲線。它反映的是圖像中組織或器官的嚴重變形或位移。典型的非線性變換是多項式函數(shù)，如二次、三次函數(shù)及薄板樣條函數(shù)。有時也使用指數(shù)函數(shù)。非線性變換多用于使解剖圖譜變形來擬合圖像數(shù)據(jù)或?qū)τ腥中孕巫兊男?、腹部臟器圖像的配準。.二階多項式變換基于二階多項式變換的公式如下：x2=?00+?01-^1+a02yl+fl03^l+aO4xl+?05-9，+?06^+?07>,|2+a08K+?0922丫2=fll0+a\\x\+a12yl+0132!+a14xl+al5-xy+al6x^+anyi+al8yz+a1922（8.14）Z2=a20+a2lxl+a22yl+023Z1+。24》：+。25孫+。26》2+。27N：+a2sy^+a29^這里涉及30個變換參數(shù).薄板樣條變換薄板樣條函數(shù)變換可以表示為仿射變換與徑向基函數(shù)的線性組合:f(X)=AX+B+y1￥,(/(|P,-X\) (8.15)i=l其中，X是坐標向量，A與8定義一個仿射變換，。是徑向基函數(shù)，在二維圖像配準中TOC\o"1-5"\h\zU(r)=r2logr2 (8. 16)r=^Jx2+y2 (8. 17)對三維圖像配準t/(r)=|r| (8. 18)r=ylx2+y2+z2 (8. 19)三、參數(shù)的優(yōu)化搜索配準的兒何變換參數(shù)根據(jù)求解方式可分成兩類，-是根據(jù)獲得的數(shù)據(jù)用聯(lián)立方程組直接計算得到的，二是根據(jù)參數(shù)空間的能量函數(shù)最優(yōu)化搜索得到。前者完全限制在基于特征信息的配準應用中。在后者中，所有的配準都變成一個能量函數(shù)的極值求解問題。因此圖像配準問題本質(zhì)上是多參數(shù)優(yōu)化問題，所以優(yōu)化算法的選擇至關重要。常用的優(yōu)化算法有:Powell法、梯度下降法、遺傳算法、模擬退火法、下山單純形法、Levenberg-Marquadrt法等。下面簡要介紹最為常用的搜索方法:Powell法、梯度下降法和遺傳算法。(―)Powell法Powell法是一種傳統(tǒng)的確定性優(yōu)化方法，又稱為方向加速法，由M.J.D.Powell于1964年首先提出?；竞x是:對于n維極值問題，首先沿著n個坐標方向求極小，經(jīng)多n次之后得到n個共挽方向，然后沿n個共挽方向求極小，經(jīng)過多次迭代后便可求得極小值。原理如下：對于某一問題，將其歸結(jié)為求取某一目標函數(shù)J=j(y)的極小值。其中y為一個向量：y=[yi，y2,-yn]T-設置一個滿秩的步長矩陣:

Dl(8.20)u\ndDl(8.20)其中，O,=[dn,di2,--din]o對于某-初始值丫=%=[yoi，y1）2,…，Powell算法的迭代過程如下:（1）首先在方向上搜索,即求5，使1/=1/*（）+5。1）為極小，并令=丫0+。1。1（2）依次求。2，使?/=（匕+。2。2）為極小，并令彩=匕+。2。2，如此下去（3）最后求Q"，使?/=?/（匕i+Q“O“）為極小，并令匕==+￡]“￡>“（4）令i=l,2,…,”-1,=人（匕-%）在新的。“方向上在搜索一次,即求a使J=J（匕+Q。,,）為極小，并令新的Yq為丫°=Y,,+OD?o至此，完成了第一輪n+1次的搜索。接下去進行下一輪的搜索，直至性能指標滿意或滿足某種停止條件為止。該法不需要對目標函數(shù)進行求導計算，具有直接法的優(yōu)點，且具有二次收斂性，收斂速度快、精度高、可靠性好，被公認是目前解無約束最優(yōu)化問題十分有效的直接法。（二）梯度下降法該算法在求最小化過程中直接利用梯度信息，沿著起始點梯度方向的反方向，求出最小值點，然后移動到最小值點，再重復上面的過程，直到前后點的函數(shù)值的差小于給定的誤差值，則結(jié)束迭代過程。梯度下降法不是一個好算法，梯度方向并非直接指向優(yōu)化的最終方向，優(yōu)化過程中前后兩步之間方向相互垂直,步長很小，需要多次迭代才能達到最優(yōu)結(jié)果。實際上，當目標函數(shù)F的一階導數(shù)連續(xù)時，梯度算法效果比較好。（三）遺傳算法遺傳算法（GeneticAlgorithm）是模擬達爾文的遺傳選擇和自然淘汰的生物進化過程的計算模型，是一種通過模擬自然進化過程搜索最優(yōu)解的方法，它是由美國Michigan大學J.Holland教授于1975年首先提出來的。在求解優(yōu)化問題時，遺傳算法將優(yōu)化問題當作一個生存環(huán)境，問題的一個解當作生存環(huán)境中的?個個體，以目標函數(shù)值或其變化形式來評價個體對環(huán)境的適應能力，模擬由一定數(shù)量個體所組成的群體的進化過程，優(yōu)勝劣汰，最終獲得最好的個體，即問題的最優(yōu)解。它呈現(xiàn)出的是一種通用算法框架，該框架不依賴于問題的種類，因而具有較強的魯棒性，特別是對于一些大型復雜非線性系統(tǒng)，表現(xiàn)出比其它傳統(tǒng)優(yōu)化方法更加獨特和優(yōu)越的性能。其隱含并行性和全局搜索特性，保證算法能夠在大區(qū)域中作快速搜索，有較大把握尋找到全局最優(yōu)解。目前國內(nèi)外研究中，最受關注的是Powell法，因為Powell法與遺傳算法都是無需求導數(shù)的直接優(yōu)化法，因此可以適用于搜索中的任何空間限制。遺傳算法中的雜交和變異操作可以避免使算法陷入局部最優(yōu)，從而有很強的優(yōu)化能力，但是速度較慢，而Powell法的優(yōu)化速度較快，但容易陷入局部最優(yōu)。遺傳算法中實現(xiàn)了并行計算。若以增加時間為代價來找到更多的命中參數(shù)，則遺傳算法較為理想，尤其是在有能量約束時。對于參數(shù)相對較少的配準來說，一般還是選擇Powell算法，以減少配準所需的時間。在實際應用中，經(jīng)常使用附加的多分辨率和多尺度方法加速收斂，降低需要求解的變換參數(shù)樹木、避免局部最小值，并且多種優(yōu)化算法混合使用，即開始時使用粗略的快速算法，然后使用精確的慢速算法。四、插值方法在圖像配準中，空間坐標變換后得到的像素坐標位置可能不在整數(shù)像素上，因此需要用灰度插值的方法對像素值進行估計。常用的插值方法有:最近鄰插值(NN,NearestNeighbor)法、雙線性插值(BLBilinearInterpolation)法和部分體積分布(PV,PartialVolumnDistribution)法等。(一)最近鄰插值(NN)該方法是一種簡單的插值算法，也稱為零階插值。設需要插值的點為〃，在二維圖像中，臨近該點的落在坐標網(wǎng)格上的像素點分別為nt,小，小，最近鄰法直接計算〃和鄰近四個點之間的距離，并將與該點距離最小的點的灰度值賦給〃，如圖8-4所示。計算公式如下：(8.21)/(?)=/(v),v=argmin(J(?,?,))

(8.21)這種方法簡單快捷，但當鄰近點之間的像素灰度差別很大時，會產(chǎn)生較大的誤差。圖8-4最近鄰插值示意圖(二)雙線性插值(B1)雙線性插值法又稱為一階插值算法。它是使用線性插值來求像素灰度的一種方法。具體計算方法為先沿著一個坐標軸方向使用線性插值方法求出兩點的插值灰度，然后沿另一個坐標軸，利用這兩個點對目標點進行線性插值來求灰度。計算方法如圖8-5所示：計算公式為：/(")=工3,/(",) (8.22)上式中/(〃,)為它們的灰度值，3,為各相鄰點的權重，與它們到〃的距離成反比，表達式如下:(8.23)31=(1-必(1-dy)

0)2=cbe(}-dy)

(1)3=dx^dy

(x)4(8.23)其中：dx,dy分別是〃與力之間沿x,y方向的距離。雙線性插值方法由于考慮到直接鄰近點對待插值點的灰度的影響，因此一般能得到令人滿意的插值效果。但這種方法具有低通濾波性質(zhì)，使高頻分量受到損失。此外，由插值所得到的灰度值是經(jīng)過數(shù)字計算出來的，一般不會是整數(shù)值，而且也有可能產(chǎn)生原始圖像中所沒有的灰度值，因此可能會改變圖像中的灰度分布，特別是當圖像中有很多需要進行插值的像素點時。圖8-5線性插值和部分體積插值示意圖(三)部分體積插值法(PV)部分體積分布法是F.Maes等人提出來的，是對雙線性插值方法的一個改進。主要是為了克服雙線性插值方法在圖像中會產(chǎn)生新的灰度值而引起圖像灰度分布發(fā)生變化的缺點，以便得到比較光滑的目標函數(shù)，有利于優(yōu)化搜索。PV是根據(jù)線性插值的權重分配原則，將每對像素對聯(lián)合直方圖的貢獻分散到聯(lián)合直方圖中與之相鄰的各個像素對上，這樣聯(lián)合直方圖上各個像素對的頻度值以小數(shù)增加，因此不會出現(xiàn)新的灰度值而破壞目標函數(shù)值分布的光滑性。PV方法具體的計算公式為：獻〃“),/(，))=W(“)J(Vj))+3, (8.24)3,.為權重，其取值同BI法。實際上，PV方法只是用灰度統(tǒng)計來代替插值，這反應了醫(yī)學圖像配準問題與其它醫(yī)學圖像處理問題中的不同之處。特別地，對基于灰度的配準方法來說，需要進行統(tǒng)計的是圖像中的灰度信息而不是每點的灰度值，這意味著在處理的過程中不一定要得到每點的灰度值，因此可以采用PV方法來得到分布較好的目標函數(shù)。五、相似性測度配準過程在得到幾何變換后，進一步的工作就是要找到一種合適、最優(yōu)的描述量，用以表征相似或者差異，稱這種描述量為相似性測度。下面介紹兒種常用的相似性測度。(一)灰度均方差設力⑴和方⑴分別表示參考圖像和浮動圖像中的數(shù)據(jù)，兩幅圖像像素值的均方差可以表示為:/—J(/r⑴-。(力?⑴))成 (8.25)II"llxeV其中，V表示參與計算的圖像區(qū)域，|比||表示參與計算的像素總量，QCD表示對圖像數(shù)據(jù)的變換?；叶染讲钭鳛橄嗨菩詼y度適用于單模醫(yī)學圖像的配準問題，它的優(yōu)點是易于理解且優(yōu)化過程相對簡單。(二)歸一化互相關歸一化互相關公式如下：R= "3 _ __ (8.26)X(/何(iJ)-%)2^(/A,(i,j)-7A,)其中：幾/和心，分別是參考圖和浮動圖在(i,j)eT區(qū)域內(nèi)的像素灰度平均值，R為相關系數(shù)。(三)互信息相似測度形式多樣，在基于全圖像信息的圖像配準中，以互信息量作為相似測度的方法以其計算復雜度低、魯棒性好等特性逐漸成為當前研究的熱點。本章下一節(jié)將對基于互信息量的圖像配準方法做詳細的介紹。第四節(jié)醫(yī)學圖像配準的主要方法醫(yī)學圖像配準的方法有很多種，目前主要的配準方法大體上可以分為兩類:基于特征的配準方法和基于灰度的配準方法。下面重點介紹這兩種常用的圖像配準方法。一、基于特征的配準方法基于特征的配準方法首先要對待配準圖像進行預處理，也就是特征提取的過程，然后利用提取到的特征完成兩幅圖像特征之間的匹配。由于圖像中有很多種可以利用的特征，因而產(chǎn)生了多種基于特征的方法。常用到的圖像特征有:點、直線段、邊緣、輪廓、閉合區(qū)域、特征結(jié)構(gòu)以及統(tǒng)計特征如矩不變量、重心等等。(一)基于點特征的配準點特征是圖像配準中最為常用的圖像特征之一，分為外部特征點與內(nèi)部特征點兩種。外部特征點是成像時固定在患者身體上的標記物，不同成像時灌入不同的顯影物質(zhì)使得標記物在所有圖像模態(tài)中均能清楚可視和精確檢測。這種方法所求參數(shù)可用聯(lián)立方程組直接計算得到，但標記物的固定對人體是侵入性的。這種方法的配準變換被限制為剛性變換，臨床上常使用的基于立體框架的配準方法精度最高，它是用螺絲旋入頭骨將其固定在患者的外顱表面，可作為其他配準算法評估的金標準，這種方法主要應用在神經(jīng)外科手術的定位和導航（精度1mm之內(nèi)）。目前已出現(xiàn)了多種對患者友好的非侵入性標記物，或是為個體定制的泡沫面具，或是用定位栓將特制的面具固定在患者頭顱上，或是用特制的牙套，或是使用個體定制的鼻部支撐物和兩耳的插件形成一種頭部固定架，這些方法的配準誤差均不超過2mm。內(nèi)部特征點是一些有限的可明顯識別的點集，標記點可以是解剖點（一般由用戶識別出），也可以是兒何點（包括邊緣點、角點、灰度的極值點、曲率的極值點、兩個線性結(jié)構(gòu)的交點或某一封閉區(qū)域的質(zhì)心等）。這種方法主要求解剛體或仿射變換，如果標記點數(shù)目足夠多，也能用來更復雜的非剛體變換。識別出來的標志點集與原始圖像信息量相比是稀疏的，這樣參數(shù)優(yōu)化相對比較快。在基于點特征的圖像配準方法中，Besl等首先將ICP策略引入到圖像配準算法中，通過迭代過程使兩點集間距離不斷減小，最終實現(xiàn)3D點特征的配準Chui等提出一種更為通用的配準框架TPS-RPM（ThinPlateSplines-RobustPointMatching）,能夠確定特征點的對應關系并彈性地配準點特征。在國內(nèi)，張煜等提出了一種通過離散輪廓半自動地提取特征點的方法，然后采用平滑的薄板樣條函數(shù)對特征點進行插值，該方法能夠有效地減弱特征點對應位置誤差對配準結(jié)果產(chǎn)生的影響。張二虎等將互信息相似性測度引入到點配準算法中，首先建立起兩特征點集間匹配對應關系的聯(lián)合概率分布匹配矩陣，通過最大化嫡和互信息最大化建立一個包含匹配矩陣和空間變換參數(shù)的能量函數(shù)，最后采用退火算法獲得最優(yōu)解。（二）基于直線特征的配準線段是圖像中另一個易于提取的特征。Hough變換是提取圖像中直線的有效方法。Hough變換可以將原始圖像中給定形狀的曲線或直線變換到變換域空間的?個點位置。它使得原始圖像中給定形狀的曲線或直線上所有的點都集中到變換域上的某一個點位置從而形成峰值。這樣，原圖像中的直線或曲線的檢測問題就變成尋找變換空間中的峰點問題。正確地建立兩幅圖像中分別提取的直線段的對應關系依然是該方法的重點和難點。綜合考慮直線段的斜率和端點的位置關系，可以構(gòu)造一個這些信息指標的直方圖，并通過尋找直方圖的聚集束達到直線段的匹配。（三）基于輪廓與曲線特征的配準近年來，隨著圖像分割、邊緣檢測等技術的發(fā)展，基于邊緣、輪廓的圖像配準方法逐漸成為配準領域的研究熱點。分割和邊緣檢測技術是這類方法的基礎，目前已報道的有很多圖像分割方法可以用來做圖像配準需要的邊緣輪廓和區(qū)域的檢測，比如Canny邊緣提取算子，拉普拉斯-高斯算子（LoG）,動態(tài)閾值技術,區(qū)域增長等。在特征提取的基礎上，很多學者針對輪廓、邊緣等進行了配準研究。Govindu等采用輪廓上點的切線斜率來表示物體輪廓，通過比較輪廓邊緣的分布確定變換參數(shù)。Davatzikos等提出了…種二階段大腦圖像配準算法，在第?階段使用活動輪廓算法建立一一影射，第二階段采用彈性變換函數(shù)確定輪廓的最佳變換。李登高等提出了一種對部分重疊的圖像進行快速配準的方法，該方法是基于輪廓特征的隨機匹配算法。通過提取輪廓上的“關鍵點”作為特征點，隨機選擇若干特征點對得到候選變換，隨后的投票階段對其變換參數(shù)進行檢驗和求精。趙訓坡等提出一種基于證據(jù)積累的圖像曲線粗匹配方法，比較有效地解決了將圖像中提取的一條曲線（較短）與一條參考曲線（較長）相匹配的問題。（四）基于面特征的配準基于面的配準方法中最典型的算法是由Pelizzari和Chen提出的“頭帽法”（Head-HatMethod）o即從一幅圖像中提取一個表面模型稱為"頭"（Head）,從另外一幅圖像輪廓上提取的點集稱為“帽子”（Hat）。用剛體變換或選擇性的仿射變換將“帽子”的點集變換到“頭”上，然后采用優(yōu)化算法使得“帽子”的各點到“頭”表面的均方根距離最小。頭帽法最初用于頭部的SPECT和CT（或MRI）配準，參考特征是頭部的皮膚表面；然后用于頭部的SPECT圖像之間的配準，參考特征是頭盧頁骨表面和大腦表面。優(yōu)化算法目前一般用Powell法。均方距離是六個待求剛體變換參數(shù)的函數(shù)，其最小時可得剛體變換參數(shù)。許多學者對

該算法作了重要改進，例如用多分辨金字塔技術克服局部極值問題；用距離變換擬合兩幅圖像的邊緣點(EdgePoints),斜面匹配技術(ChamferingMethod)可有效地計算距離變換。另外比較常用的配準方法還有迭代最近點算法(ICP)。迭代最近點(ICP)配準算法:由Besl和Mckay提出的，它將?般的非線性最小化問題歸結(jié)為基于點的迭代配準問題。迭代最近點算法(ICP)中必須先采樣出圖像結(jié)構(gòu)上的特征點，然后用迭代的方法不斷求出一幅圖中相對于另一幅圖中所有采樣點的最近點，直到兩個點集的均方差低于設定閾值，這時可得到匹配變換參數(shù)。除了采用分割的方法提取兩幅圖像中腦外表面輪廓特征外，還有用多尺度算子提取腦內(nèi)部兒何特征，然后采用相關方法在多尺度空間結(jié)合外表面特征和內(nèi)部特征進行自動配準的方法。也有采用平面變形輪廓和樣條插值提取手術前CT圖像的表面輪廓點集，通過最小化從二維輪廓到三維表面的投影線的能量而達到與手術中所獲得的脊椎點集配準的目的。(五)實用算法舉例下面給大家介紹一種基于特征點的剛體變換配準算法。設在待配準的兩幅圖像上選擇的特征點集分別為：丫,=｛為"=(4,仇),《也為直角坐標值｝,i=0,l,2…N(N為點的個數(shù))Xi={Xj|Xj=(a^bj),i=0,l,2…N。由于X,和匕上的點是一一對應的，所以它們點的個數(shù)是相同的。設剛性變換F為待求的最佳變換，F(xiàn)可以表示為一個旋轉(zhuǎn)變換R和一個平移變換T的組合。R和T可以表示為：(cos6-sinfrR=.八八，7=t (8.27)^sin0cos6J可得下式：%=F(Xj)+j,j=0,1,2,-^ (8.28)其中E,.為誤差矢量項。于是求取最佳變換F可表示為最小化下面的均方誤差:minEminE=min—

ffNXu1=0(8.29)我們稱上式為代價函數(shù)。為了求得F變換中的剛性變換，傳統(tǒng)的方法是應用迭代法，這種方法的時間開銷比較大，并且需要較多的配準點。為此我們選用基于奇異值分解(SVD)的最小二乘算法。此算法只需較少的配準點就能快速計算出旋轉(zhuǎn)變換矩陣并同時算出平移矢量。將最小化均方誤差該為對下式最小化：?N<8.30)Ni=Q算法過程如下：①計算X,和y,的坐標中心點N _NX=—>X,,F=—>V, (8.31)②計算每個特征點相對與中心點的位移x\=Xj-X,y\=y,-V (8.32)③計算矩陣H：NT(8.33)i=0④求H的奇異值分解：//=1/aV7 (8.34)其中 =/\=diag(入i，入2,入3)，且人?士入2 >0⑤求R:R=Vdiag(\,\,det(VU))UT (8.35)⑥求T:t=Y-RX (8.36)二、基于灰度的配準方法基于灰度的配準方法是目前研究得較多的一種方法，它直接利用圖像的灰度信息進行配準，從而避免了因分割帶來的誤差，因而具有精度較高、穩(wěn)健性強、不需要預處理而能實現(xiàn)自動配準的特點?；诨叶鹊呐錅视袃深愔饕姆椒?，…類是通過圖像灰度直接計算出代表性的比例和方向等要素；另一類是配準過程中使用全部的灰度信息。第一種方法以力矩和主軸法為代表，第二種方法一般稱為體素相似性。(一)力矩和主軸法力矩和主軸法是指先用經(jīng)典力學物體質(zhì)量分布的原理計算出兩幅圖像的質(zhì)心和主軸，再通過平移和旋轉(zhuǎn)變換使兩幅圖像達到配準。利用此方法，圖像可以模型化為橢圓形區(qū)域的點分布。這樣的分布可以用這些點的位置的一階和二階矩描述。該方法對數(shù)據(jù)的缺失較敏感，要求整個物體必須完整地出現(xiàn)在兩幅圖像中。從整體上來說，配準精度較差，所以目前它更多地用來進行粗配準，使兩幅圖像初步對齊，以減少后續(xù)主要配準方法的搜索步驟。矩和主軸法的一個應用是將多個三維圖像合成到標準腦的坐標系下，從而得到統(tǒng)計學平均意義上的腦模型，我們以這個例子重點講述矩和主軸法的配準過程。首先使用閾值法和數(shù)學形態(tài)學等方法逐個層面地進行處理，半自動地得到腦的二值化模板，并通過基于形狀的插值方法得到三維腦二值化模板B。然后按照下面的步驟將各個腦配準：①定義模板B：D,、_U 如果(x,y,z)在腦結(jié)構(gòu)內(nèi)[0如果(x,y,Z)不在腦結(jié)構(gòu)內(nèi) (8.37)②計算模板中心，用(Xg,%,Zg)表示：y,z)xty,zXg=干 y,z)x,ytzZyB(x,y,z)ye (8.38)2^8(x,y,z)x,y,zZzB(x,y,z)"Zs(x,y,z)③計算旋轉(zhuǎn)角度:B(x,y,z)的主導軸為下列矩陣的特征向量(8.39)(8.39)其中；&=>(丫-工)2+(z-Zg)2]B(x,y,z)x.y.zlyy=Z1(x-Xg)2+(Z-ZJ]fi(x,y,z)x,y,z心=Z[(x-Xg)2+(y-yg)2]B(x,y,z)x,y,zIxy=^(x-xg)(y-yK)B(x,y,z) (8.40)x,y,zIyz=2L(y- )(z-zg)B(x,y,z)x,y,z%=X(x-4)(z-Zg)8(x,y,z)x,y,zl的歸一化特征向量矩陣E等于三個方向的旋轉(zhuǎn)矩陣的乘積。設E為(8.41)TOC\o"1-5"\h\ze\\ e\2 e\3(8.41)E= ^21 e22 e23e31 e32 e33設x,y,z三個軸方向的旋轉(zhuǎn)角度為aPy,對應矩陣為此,陣乘積cosy/?Y/?p/?Qcosy/?Y/?p/?Q=-siny0sinY0cosy00 1cosP00 1sin30-sinpFl0 0cosP00 0cosasina

-sinacosa(8.42)(8.43)(8.43)(8.44)求得：3=arcsin(^31)Y=arcsin(-e2(/cos0)a=arcsin(-e32/cos0)④計算縮放比例：比例因子：八松%為標準腦體積，彩為實際腦模板體積。最后，對每個實際腦執(zhí)行上述步驟，并利用移位、旋轉(zhuǎn)和縮放變換，將實際腦轉(zhuǎn)換到標準腦的坐標空間，利用簡單的加權平均就可以得到腦的空間概率分-Ar仲o(―)體素相似性法體素相似性法是目前研究較多的一類方法。由于它利用了圖像中的所有灰度信息，因此這種方法一般都較為穩(wěn)定，并能獲得相當準確的結(jié)果。該方法還有一個優(yōu)點是它是完全自動的，且不需要特殊的預處理，但這種方法由于需要大量的復雜計算，因此最近幾年才轉(zhuǎn)入實際應用。常見的基于體素相似性的配準方法有：①互相關法②基于傅立葉域的互相關法和相位相關法③灰度比的方差垠小化法④直方圖的互信息最大化法等。.互相關法(Cross-CorrelationMethod) 互相關函數(shù)配準是應用廣泛的一種配準方法?；叶然ハ嚓P配準就是在參考圖像上選擇一臨時窗口卬億m),在目標圖像SG,/)上尋找與其對應的最相似的窗口57(/,機)(移動窗口)，用互相關相似性測度為：MMR(i,j)= (?*，/) (8.45)/=!m=\或定義歸一化互相關函數(shù)：MMr (」，/*) l<i,j<L-M+\ (8.46)MM MM..xxs2‘4")1_1=1m=1 _in=\其中W(i,j)是大小為MxM的窗口圖像，S7(/,⑼是參考圖像中的臨時窗口。窗口圖像W(i,/)在搜索圖像S中以掃描方式搜索，對該過程中每一位置相關函數(shù)值以億力中最大值點的位置(門廣)，并認為此處就是配準點位置。在基于傅立葉分析的測度中主要有兩種，??是將空域中的互相關在頻域中進行計算，另一個是相位相關法。由傅立葉的相關定理可知，兩個函數(shù)在定義域中的卷積等于它們在頻域中的乘積，而相關是卷積的一種特定形式。因此，可以利用快速傅立葉變換來求解相似度。相位相關法可以用于計算兩幅圖像的平移。基于傅立葉變換的性質(zhì)，兩幅圖像的平移可以認為是傅立葉變換的角度差別，計算兩幅圖像的互功率譜就可以得到兩幅圖像的角度差別。相關法主要限于單模圖像配準，特別是對一系列圖像進行比較，從中發(fā)現(xiàn)由疾病引起的微小改變。.最大互信息法最大互信息法以互信息作為相似性測度?；バ畔?MutualInformation,MI)是信息論中的一個基本概念，用于描述兩個系統(tǒng)間的統(tǒng)計相關性，或者是在一個系統(tǒng)中包含的另一個系統(tǒng)的信息的多少，一般用場來表示，表達的是?個系統(tǒng)的復雜性或不確定性。1995年分別被Viola和Collignon等首次用于醫(yī)學圖像配準中。對于概率分布函數(shù)為p(a)的隨機變量集A,其病，(4)定義如下：H(A)= p(a)logp(a)aeA (8.47)對兩個離散的隨機變量A和B,它們的邊緣概率分布函數(shù)分別是p(a)和p(b),聯(lián)合概率分布函數(shù)是P33,則隨機變量A和B的聯(lián)合燧定義如下：H(A,B)=p(a,b)\ogp(a,h)aeAbeB (8.48)如果”(A|8)表示已知系統(tǒng)B時A的條件嫡，那么”(A)與H(A|8)的差值，就代表了在系統(tǒng)B中包含的A的信息，即互信息。因此兩個系統(tǒng)間的互信息定義為：=(849)在醫(yī)學圖像配準中，雖然兩幅圖像來源于不同的成像設備，但是它們基于共同的人體解剖信息，所以當兩幅圖像的空間位置達到完全?致時，其中--幅圖像表達的關于另一幅圖像的信息，也就是對應像素灰度的互信息應為最大。通常用聯(lián)合概率分布和完全獨立時的概率分布間的廣義距離來估計互信息：/(4,B)=Zp(aMlog要2、 (8.50)J P(a)P(b)對于離散的數(shù)字圖像，聯(lián)合概率分布外8(。向可以用歸一化的聯(lián)合直方圖表

75：pAB（i,j）=J，（iJ） （8.51）邊緣概率分布勿⑷表示為：PA（i）=ZPA8（i，/） （8.52）邊緣概率分布/⑶表示為：PB（j）=￡pAB（i，j） （8.53）則有：(8.(8.54)這就是用互信息表示的相似性測度。接下來的任務是尋找一個變換使得一幅圖像經(jīng)過此變換后和另-一幅圖像的互信息最大。一般采用剛體變換，即在三維空間中尋找三個方向上的平移值和旋轉(zhuǎn)角度。對于大規(guī)模斷層掃描醫(yī)學圖像來說，三維體積數(shù)據(jù)集包含的數(shù)據(jù)量極大，無法滿足臨床上實時處理的要求，因此必須采取優(yōu)化措施。常用無需計算梯度的Powell多參數(shù)優(yōu)化算法。最大互信息法是目前應用較多的一種方法，其配準精度一般高于基于特征的方法。由于該方法不需要對圖像做分割、特征提取等預處理，兒乎可以用于任何不同模式圖像的配準，并具有較強的魯棒性，特別是當其中一幅圖像的數(shù)據(jù)部分缺損時，也能得到很好的配準效果。因此，從它一開始出現(xiàn)，就得到了學者的普遍重視和廣泛應用。但是，研究者也發(fā)現(xiàn)該方法并不是盡善盡美的。從1998年開始就有相關文獻指出基于最大互信息量的圖像配準方法并不像Maes在文章中描述的那樣，沒有誤配，精確度可以達到亞像素水平。Studholme通過研究發(fā)現(xiàn)，互信息本身的大小與待配準兩圖像間的重疊度具有一定的關聯(lián)性。為了消除這種關聯(lián)關系，他提出標準化互信息的方法，實驗證明，它比標準的互信息方法更具有魯棒性。其公式表示為(8.55)i(a,b)(8.55)其中”（A）,"（B）分別是圖像A,B的邊緣嫡,H（A,8）是它們的聯(lián)合嫡，則配準過程就是尋找最優(yōu)變換”的過程：7。=argmaxI(A,TB)=argmax叱);黑)T TH(A,TB) (8.56)它將B變換為t08,并且最可能多的包含參考圖像A的信息。F.Maes等人也提出了類似的標準化互信息配準準則。第五節(jié)醫(yī)學圖像配準的評估醫(yī)學圖像配準，特別是多模醫(yī)學圖像配準結(jié)果的評估一直是件很困難的事情。由于待配準的多幅圖像基本上都是在不同時間或/和條件下獲取的，所以沒有絕對的配準問題，即不存在什么金標準(goldstandard)。只有相對的最優(yōu)(某種準則下的)配準。在此意義上，最優(yōu)配準與配準的目的有關。常用的評估方法有以下幾種：一、體模(Phantom)體模又有硬件體模和軟件體模之分。后者是計算機圖像合成的結(jié)果。體模法用已知的圖像信息驗證新配準算法的精度。由于體模都比較簡單，與實際臨床圖像差異較大，因此只能對配準方法作初步的評估。二、準標(FiducialMarks)立體定向框架系統(tǒng)(StereotacticFrameSystems)包括立體定向參考框架、立體定向圖像獲取、探針或手術器械導向兒部分。優(yōu)點是定位準確，不易產(chǎn)生圖像畸變。使用立體定向框架系統(tǒng)的體積圖像數(shù)據(jù)可以用來評估其它配準方法的精度。使用人工記號作準標的方法很多。一種準標是使用9根棍棒組成的3個方向的N字型結(jié)構(gòu)。在作CT測試時，棒內(nèi)充以硫酸銅溶液；作PET測試則填充氟18o這樣，在兩組圖像中都可見此N字型準標，從而可對圖像準確空間定位。例如用在人腦表面嵌螺絲作標記(每人8個)的方法對多個病人做CT、MRCTUT2及PD)和PET實測，得到多組數(shù)據(jù)。這些數(shù)據(jù)專門用于多模醫(yī)學圖像配準算法評估使用。三、圖譜(Atlas)Thompson用隨機向量場變換構(gòu)造一個可變形的概率腦圖譜。包括從多個受試者到單一-解剖模板的功能、血管、組織諸方面映射，三維圖譜到新受試者的掃描圖像的映射。VisibleHumanCD的CT骨窗圖像、MR圖像及彩繪的冷凍切片照片由于具有清晰的解剖結(jié)構(gòu)和高度的分辨(1毫米/每層片)，近來也被用來做新配準方法精度的評估。四、目測檢驗(VisualInspection)對多模醫(yī)學圖像配準的結(jié)果請領域?qū)＜矣媚繙y方法檢驗，聽起來有些主觀，但在一定程度上的確是一種相當可信的方法。第六節(jié)醫(yī)學圖像融合技術一、醫(yī)學圖像融合概念醫(yī)學圖像融合(MedicalImageFusion)是指將兩幅(或兩幅以上)來自不同成像設備或不同時刻獲取的已配準的圖像，采用某種算法，把各個圖像的優(yōu)點或互補性有機地結(jié)合起來，獲得信息量更豐富的新圖像的技術。在圖像融合處理中，圖像配準是圖像融合的第一步，也是實現(xiàn)圖像融合的先決條件，只有實現(xiàn)了待融合圖像的配準，才能實現(xiàn)相應組織之間的融合，如果對應組織的位置有較大的偏差，那么融合的圖像是不準確的。只有兩幅圖像中同一空間位置的像素都對應相同的解剖結(jié)構(gòu)，融合起來的圖像才有意義。二、醫(yī)學圖像融合分類因為研究者的研究對象和研究目的不一樣，所以發(fā)展和形成的圖像融合分類也就多種多樣。.按照被融合圖像的成像方式不同，可以把融合分為單模融合(mono-modality)和多模融合(multi-modality)。所謂單模融合是指待融合的圖像由同一設備獲取的。簡單地說，就是CT-CT或者MRI-MRI這種類似形式的融合處理。多模融合是指待融合的兩幅或多幅圖像來源于不同的成像設備，研究較多的CT與MRI圖像融合和CT與核醫(yī)學圖像的融合都屬于此類。.按照融合對象的不同，可分為單樣本時間融合、單樣本空間融合和模板融合。單樣本時間融合是指跟蹤某個病人，將其一段時間內(nèi)對同一臟器所做的同種檢查圖像進行融合，以助于跟蹤病理發(fā)展和研究該檢查對該疾病診斷的特異性。單樣本空間融合是指將某個病人在同一時期內(nèi)（臨床上視1-2周內(nèi)的時間為同時）對同一臟器所做的兒種檢查的圖像進行融合，以便綜合利用這兒種檢查提供的信息（如MRI/CT可以提供臟器的結(jié)構(gòu)信息，SPECT可以提供臟器的功能信息），對病情做出更準確的診斷。模板融合：從許多健康人的研究中建立一系列模板，將病人的圖像與模板圖像融合，有助于研究某種疾病和確立診斷標準。.按照圖像處理方法的不同，又可分為數(shù)值融合法和智能融合法。數(shù)值融合法將不同來源的圖像做空間歸一化處理后直接融合。智能融合法將不同來源的圖像做歸--化處理后，根據(jù)需要選擇不同圖像中的所需信息再進行融合。.按圖像類型不同，可以分為斷層圖像間相互融合、斷層圖像與投影圖像融合以及結(jié)構(gòu)圖像與功能圖像融合。斷層圖像間相互融合主要指CT與MRI圖像融合；斷層圖像與投影圖像融合主要指CT、MRI圖像與DSA圖像通過三維重建后進行融合；而結(jié)構(gòu)圖像融合與功能圖像融合主要指CT、MRI圖像與PET、SPECT圖像進行融合。另外，還可以將圖像融合分為前瞻性融合和回溯性融合。兩者的區(qū)別在于：前瞻性融合在圖像采集時使用特別措施（如加外部標志等），而回溯性融合在圖像采集時則不采取特別措施。綜上所述，依據(jù)不同的分類原則，圖像融合有多種分類方式，應該指出，以上分類不是絕對的，孤立的，在實際應用中，一個融合系統(tǒng)的設計過程往往是綜合各種分類概念來實現(xiàn)的。第七節(jié)常用的醫(yī)學圖像融合方法一、基于空域的圖像融合基于空域的圖像融合是指直接在空間域中對圖像的像素點進行操作，該類方法簡單直觀，易于理解，但常常融合效果有限，只適用于有限的場合。（一）圖像像素灰度值極大（?。┤诤戏ㄔOgC,力和g2（i,及為待融合圖像，/億力為融合后的圖像，其中八j為圖像中某一像素的坐標，圖像大小為M*N,貝hG[O,M-l],je[0,NT],g】(i,j),g2(i，j)e[0,255]=Max{gl（i,j）,g2（i,j）} （857）F（"= （i,力,g2（，,/）} （&58）此方法只需對兩幅待配準圖像取對應像素點灰度值較大（?。┱呒纯?。這種方法計算簡單，效果有限，只適用于對融合效果要求不高的場合。（二）圖像像素灰度值加權融合法加權法是將兩幅輸入圖像g《,j）和g2。，力各自乘上一個權系數(shù)，融合而成新的圖像EG,j）。=ag[j）+（\-a）g2（i,j） （859）其中：a為權重因子，且OWaWl,可以根據(jù)需要調(diào)節(jié)a的大小。該算法實現(xiàn)簡單，其困難在于如何選擇權重系數(shù)，才能達到最佳的視覺效果。（三）TOET圖像融合方法①首先求輸入圖像由?,_/）和g2（i，，）的共同成分。gieg?=Mi〃{g”g2} （8.60）②從圖像?上扣除共同成分得到圖像g2的特征成分g；：g「=gi-giCg2 （8.61）同理得到g2的特征成分g2*：82=82-8x^82 （8.62）③從圖像團中扣除圖像g2的特征成分g2，，得到：gl-2'=（gl-g2）+giCg2 （8.63）同理，從圖像g2中扣除圖像的特征成分g；，得到：g2-gj=（g|-g2）+giCg2 （8.64）這項操作是為了改善圖像的融合效果。（4）確定圖像g2（i，j）和?力力的不同成分,g2-Si=82-81 （8.65）當|g2*|<|g:|時'定義g2*-g「=0。此操作的目的是將兩幅圖像的不同部分作為背景，突出圖像g2（i"）的特征，以便準確判斷?Gj）的位置；反之也行。該成分在融合圖像中的比重由權重系

數(shù)決定，這里到底突出哪個圖像的特征以及判斷哪個圖像的位置要根據(jù)實際情況確定。⑤將步驟3和步驟4中得到的結(jié)果按不同權重計算融合圖像的灰度值:F，(hj)=a(gi-g2)+b(g2-g*)+c(g2'-gl，) 記46)其中：a,b,c為權重系數(shù)，且a+b+c=l,具體可根據(jù)需要選取。圖8-6是分別采用以上方法對已配準的CT、MR圖像進行的融合。CT圖像MR圖像像素灰度極小值法像素灰度極大值法TOET法CT圖像MR圖像像素灰度極小值法像素灰度極大值法TOET法圖8-6幾種融合方法比較二、基于變換域的圖像融合變換域法，顧名思義，就是將變換后的兩個或多個圖像進行融合，再通過反變換得到融合后圖像的方法。下面介紹兒種常用的基于變換域的圖像融合方法。(一)、基于多分辨率的金字塔融合法這是最早的一種基于變換域的方法。在這種方法中，原圖像不斷地被濾波,形成一個塔狀結(jié)構(gòu)。在塔的每一層都用一種算法對這?層的數(shù)據(jù)進行融合，從而得到一個合成的塔式結(jié)構(gòu)，然后對合成的塔式結(jié)構(gòu)進行重構(gòu)，最后得到合成的圖像。合成圖像包含了原圖像的所有重要信息。但這類方法產(chǎn)生的數(shù)據(jù)有冗余，且不同級的數(shù)據(jù)之間相關。（二）、基于傅里葉變換的圖像融合法傅立葉變換是數(shù)字圖像處理技術的基礎，其通過在時空域和頻率域來回切換圖像，對圖像的信息特征進行提取和分析，簡化了計算工作量，被喻為描述圖像信息的第二種語言。基于傅里葉變換的圖像融合法包括以下三個步驟：1、對每一源圖像分別進行圖像的二維傅里葉變換；2、對變換系數(shù)通過加權得到融合圖像的傅里葉變換；3、對融合后的系數(shù)進行傅里葉反變換，得到融合圖像。（三）基于小波變換的圖像融合小波變換本質(zhì)是一種高通濾波，當采用不同的小波基，就會產(chǎn)生不同的濾波效果。小波變換可將原始圖像分解成系列具有不同空間分辨率和頻域特性的子圖像，可以針對不同頻帶子圖像的小波系數(shù)進行組合，形成融合圖像的小波系數(shù)。1、圖像的二維小波分解及融合Mallat于1989年提出了圖像的二維小波分解的Mallat快速算法，公式如下：CjrHCjH*Dhj+i=GCjH*'D'j+i=HCjG”Ddi+\=GCjG'j= （8.67）式中：6,分別表示水平、垂直和對角分量；H（低通）和G（高通）為兩個?維濾波算子，/和G“分別是”和G的共胡轉(zhuǎn)置矩陣；1/為分解層數(shù)。相應的小波重構(gòu)算法為：Cj-fCjH+G*%H+H*D'jG+G*D：G （8.68）圖像經(jīng)二維小波變換分解后，可得到四個不同的頻帶LL、LH、HL、HH。其中低頻帶LL保留了原圖的輪廓信息。HL、LH、HH分別保留了原圖水平、垂直和對角方向的高頻信息，代表圖像的細節(jié)部分。然后在對子圖像分解得到LL2,HL2,LH2及HH2,依次進行多層分解。N層小波分解后可得到（3N+1）個頻帶?；谛〔ǚ纸獾膱D像融合的本質(zhì)是采用不同的濾波器，將源圖像分解到一系列的頻率通道中，然后針對系數(shù)特性采用不同的融合規(guī)則和融合策略。基于小波變換的圖像融合具體步驟為：①分解：對每一源圖像分別進行小波變換，得到每幅圖像在不同分辨率下不同頻帶上的小波系數(shù)；②融合：針對小波分解系數(shù)的特性，對各個不同分辨率上的小波分解得到的頻率分量采用不同的融合方案和融合算子分別進行融合處理；③逆變換：對融合后系數(shù)進行小波逆變換，得到融合圖像。整個過程如圖8-7所示：從圖8-7可以看出設計合理的融合規(guī)則是獲得高品質(zhì)融合的關鍵。小波變換應用于圖像融合的優(yōu)勢在于它可以將圖像分解到不同的頻率域，在不同的頻率域運用不同的融合規(guī)則，得到合成圖像的多分辨率分析，從而在合成圖像中保留原圖像在不同頻率域的顯著特征。小波分解圖圖8-7小波分解融合圖2、基于小波變換的融合規(guī)則（1）低頻系數(shù)融合規(guī)則通過小波分解得到的低頻系數(shù)都是正的變換值，反映的是源圖像在該分辨率上的概貌。低頻小波系數(shù)的融合規(guī)則可有多種方法：既可以取源圖像對應系數(shù)的均值，也可以取較大值，這要根據(jù)具體的圖像和目的來定。（2）高頻系數(shù)融合規(guī)則通過小波分解得到的三個高頻子帶都包含了一些在零附近的變換值，在這些子帶中，較大的變換值對應著亮度急劇變化的點，也就是圖像中的顯著特征點，如邊緣、亮線及區(qū)域輪廓。這些細節(jié)信息，也反映了局部的視覺敏感對比度，應該進行特殊的選擇。高頻子帶常用的融合規(guī)則有三大類，即基于像素點的融合規(guī)則、基于窗口的融合規(guī)則和基于區(qū)域的融合規(guī)則。如圖8-8所示。融合處理融合規(guī)則:圖像A分解層1)2)3)4)5)基于窗口的融合規(guī)則圖像F融合處理融合規(guī)則:圖像A分解層1)2)3)4)5)基于窗口的融合規(guī)則圖像F分解層基于區(qū)域的融合規(guī)則基于像素的融合規(guī)則系數(shù)加權絕對值選大區(qū)域能量最大系數(shù)模值極大圖像B分解層圖8-8小波融合規(guī)則第?類方法是逐個考慮源圖像相應位置的小波系數(shù)，要求源圖是經(jīng)過嚴格對準處理的。因為基于像素的選擇方法具有其片面性，其融合效果有待改善。第二類是基于窗口的融合規(guī)則，是對第一類方法的改進。由于相鄰像素往往有相關性,該方法以像素點為中心，取一個MXN的窗口，綜合考慮區(qū)域特征來確定融合圖像相應位置的小波系數(shù)。該類方法的融合效果好，但是也相應的增加了運算量和運算時間。由于窗口是一個矩形，是規(guī)則的；而實際上，圖像中相似的像素點往往具有不規(guī)則性，因此，近年來又提出了基于區(qū)域的融合規(guī)則。該類方法常常利用模糊聚類來尋找具有相似性的像素點集。下面介紹幾種小波分解系數(shù)的融合規(guī)則。①小波系數(shù)加權法，如下式所示:(8.69)Cj(F,p)=aCj(A,p)+(l-a)Cj(B,p),(8.69)其中：Cj(A,p),Cj(B,p),g(尸,p)分別表示源圖像A,B和融合圖像F在J層小波分解時，在P點的系數(shù)，下同。②小波分解系數(shù)絕對值極大法:Cj(F,p)=Cj(A,PCj(F,p)=Cj(A,P)\CJ(A,p)\>\CJ(B,p)\"B,p)|Cj(4,p)」g(B,p)|(8.70)③小波分解系數(shù)絕對值極小法:Cj(F,p)=Cj(A,p)|CCj(F,p)=Cj(A,p)|C7(A,p)|<|Cj(B,p)\\CJ(A,p)\<\CJ(B,p)\(8.71)④區(qū)域能量最大法:在1/層小波分解的情況下，局部區(qū)域Q的能量定義為:E(4,p)=E(4,p)=Zgeo3(q)C；(4,g)(8.72)其中：0(q)表示權值，g點離p點越近極轆尢且；°是0的個鄰或iwawE(B'p)Cj(F,p)=Cj(A,p)E(A,p)>E(B,p)Cj(B,p)Cj(F,p)=Cj(A,p)E(A,p)>E(B,p)Cj(B,p)E(A,p)<E(B,p)(8.73)以CT、MR兩幅圖像為例，進行小波融合。①選擇小波db2,對所需融合圖像進行小波兩層分解。②對小波分解后的小波低頻系數(shù)采用均值法，高頻系數(shù)分別采用系數(shù)加權、絕對值極大極小法、區(qū)域能量法、直接進行融合。③以融合后的小波系數(shù)進行圖像重構(gòu)，得到融合后的圖像如圖8-9?均值、絕對值極小均值、區(qū)域能量最大均值、絕對值極小均值、區(qū)域能量最大圖8-9原始圖像及小波融合結(jié)果我們還對原始圖像進行了不同層的小波分解,然后融合重構(gòu)，實驗結(jié)果顯示,小波分解層數(shù)等于3、4的時候，效果最好。我們又選取了不同的小波函數(shù)sym5,sym6,db4,coif3,coifs,haar等小波函數(shù)對兩原始圖像進行融合，實驗結(jié)果表明重構(gòu)圖像變換不大，基本相同。第八節(jié)醫(yī)學圖像融合效果的評價目前，圖像融合效果的評價主要有主觀評價和客觀評價兩種。主觀評價以人作為觀察者，對圖像的優(yōu)劣做出主觀定性評價。人對圖像的識別或理解不僅和圖像的內(nèi)容有關，而且還與觀察者的心理狀態(tài)有關。由于人的視覺系統(tǒng)很復雜，受環(huán)境條件、視覺性能、人的情緒愛好以及知識狀況影響很大，因此主觀評價具有主觀性和不全面性，所以有必要把主觀評價與客觀的定量評價標準相結(jié)合，這樣既便于人的觀察，也便于將融合結(jié)果交于計算機進行處理。下面是一些常用的客觀評價指標。一、.月(Entropy)圖像的熠值是衡量圖像信息豐富程度的?個重要指標，端值的大小表示圖像所包含的平均信息量的多少。根據(jù)香農(nóng)信息論的原理，一幅圖像的信息嫡為：L-1H=PjInPj (8.74)i=0其中Pi為圖像的直方圖，即灰度值等于，?的像素數(shù)與圖像總像素數(shù)之比。如果融合圖像的嫡增大，表示融合圖像的信息量增加，融合圖像所包含的信息就越豐富，融合質(zhì)量越好。二、交叉炳CE(CrossEntropy)交叉燧也稱相對燧，直接反映了兩幅圖像灰度分布信息的差異。設源圖像和融合圖像的直方圖分別為P，和“，則交叉嫡定義為：L-\CE=Yp,log2-^- (8.75)M/交叉炳越小，說明融合圖像從源圖像提取的信息量越多，融合效果越好。在實際應用中，可以選擇平均值來描述融合圖像與源圖像的綜合差異： C4-CCfab=、fb （8.76）三、交互信息量A//（MutualInformation）交互信息量為兩個變量之間相關性的量度，或一個變量包含另一個變量的信息量的量度。假設兩幅源圖像A和8,將它們?nèi)诤系玫饺诤蠄D像F,E與A、B的交互信息量分別表示為M/fa和MIfb：（&77）k-Qi=0 Pf*）Pa⑴M2罵/"加弗特 （8-78）式中Pa、Pb和Pf分別是a、B、尸的灰度直方圖；PFA（k,i）和。萬伏，/）分別代表兩組圖像的歸一化聯(lián)合灰度直方圖。綜合考慮這兩個值量，用M/必和MIfb之和來表示圖像融合后包含源圖像A、B的交互信息量的總和。M，=MIfa+M%b （8.79）交互信息量的值越大，表示融合圖像從源圖像中獲取的信息越豐富，融合效果越好。四、圖像均值％圖像均值是圖像像素的灰度平均值，對人眼反映為平均亮度。圖像均值的定義為：_ 1MN〃= VVG（x,y） （8.80）MxN金勺其中G（x,y）表示圖像中第（x,y）個像素的灰度，圖像尺寸為MxN。如果均值適中，則目視效果良好。五、灰度標準差3g圖像的灰度標準差定義為為：忖（g>xp（g） （8.81）其中L為圖像的總灰度級，g表示圖像第（x,y）個像素的灰度，〃表示圖

像均值，p(g)表示灰度值為g的像素出現(xiàn)的概率。標準差反映了圖像灰度相對于灰度平均值的離散情況，若標準差大，則圖像灰度級分布分散，圖像的反差大，可以看出更多的信息。六、均方誤差MSE(MeanSquareError)均方誤差表示融合圖像與標準參考圖像之間的差異，定義為：MMZZW(M)-MSE= (8.82)M*N其中/G,j)為融合圖像，R(i,j)為標準參考圖像。均方誤差越小說明融合圖像與標準參考圖像越接近。七、信噪比SNR(SignalNoiseRatio)與峰值信噪比PSNR(PeakSignalNoiseRatio)將融合圖像與標準參考圖像的差異看作噪聲，而標準參考圖像看作信息。融合圖像信噪比SNR定義為：MN2￡固，疥SNR=W\Sm；=，＞=1 (8.83)1=1j=l融合圖像峰值信噪比PSNR為：(8.84)255(8.84)PSNR=\0\q MSE信噪比、峰值信噪比越高，說明融合效果就越好。八、平均梯度MG(MeanGradient)圖像的平均梯度定義為：1MN (8.85)MG=FT汨￡Z^xF(x,yy+^yF(x,y)(8.85)1V1XIVx=|y=l式中：△.vF(x,y)分別為尸(x,y)沿x方向和y方向的差分，定義如下:(8.86)(8.87)尸(x,y+1)一尸(x,y)+產(chǎn)(x+l,y+l)-/(x+l,y)

(8.86)(8.87)^yF-(x,y)=F(x+1,y)—F(x,y)+F(x+1,y+1)—P(x,y+^yF-(x,y)=平均梯度用來表示圖像的清晰度，反映圖像融合質(zhì)量的改進及圖像中的微小細節(jié)反差和紋理變換特征，平均梯度越大，則圖像的清晰度越高，微小細節(jié)及紋理反映越好。在以上8種指標中，其中MSE、SNR、PSNR均是通過比較融合圖像與標準參考圖像之間的關系來評價圖像融合的實際效果。在圖像融合的一些應用中很難獲得標準參考圖像，所以這幾種方法的使用受到一定限制。(鞏萍，聶生東)作業(yè)8：1、簡述圖像配準的原理及實現(xiàn)過程。2、試舉例說明醫(yī)學圖像配準在臨床醫(yī)學中的應用。3、常用的圖像配準方法有哪些，比較各種方法的優(yōu)缺點。4、試用MATLAB語言編程實現(xiàn)基于最大互信息的圖像配準。5、常用的圖像融合方法有哪些，并比較各種方法的優(yōu)缺點。6、試述基于小波變換的圖像融合步驟及常用的小波融合規(guī)則。7、圖像配準與圖像融合的評價標準有哪些。參考文獻：1、羅述謙，周果宏，醫(yī)學圖像處理與分析，北京:科學出版社，2003。2、PelizzariCA.ImageProcessinginstereotacticplanning:volumevisualizationandimageregistration[J].MedDosim,1996,23(3):137-144.3、LewisPJ,SiegelA,SiegelAM,etal.DoesperformingimageregistrationandsubtractioninictalbrainSPECThelplocalizeneocorticalseizures[J].NuclMed,2000,41(10):216-229.J?B?Maintz,M.A.Viergever,ASurveyofMedicalImageRegistration,MedicalImageAnalysis,1998,1,1-36.5、B.Zitova,,J.Flusser,ImageRegistrationMethods:ASurvey,ImageAndVisionComputing,2003,21,977-1000.6、D.Hill,P.Batchelor,M.Holden,etahMedicalImageRegistration,PhysicsinMedicineandBiology,46,2001,1-45.7、J.P.W.Pluim,J.B.A.Maintz,M.A.Viergever,MutualInformationbasedRegistrationofMedicalImages:ASurvey,MedicalImaging,2003,986-1004.8、BrownLG,Asurveyofimageregistrationtechniques[J],ACMComputingSurveys,1992,24(4):325-376.9、RitterN,OwensR,CopperJ,etahRegistrationofstereoandtemporalimagesoftheretina[J],IEEETransMedimaging,1999,18(5):404-418.10>ZukTD,AtkinsMS,Acomparisonofmanualandautomaticmethodsforregisteringscansofthehe