ch09基于深度學習的醫(yī)學圖像配準

第九章基于深度學習的醫(yī)學圖像配準新工科建設·人工智能與智能科學系列深度學習在數字圖像處理中的應用01醫(yī)學圖像配準概述PARTONE醫(yī)學圖像配準概述1.概念

（一）概念醫(yī)學圖像分析(Me山calImageAnalysis)是綜合醫(yī)學成像、數學建模、數字圖像處理、人工智能和數值算法等學科的交叉領域。醫(yī)學圖像配準技術是20世紀90年代才發(fā)展起來的一項重要醫(yī)學圖像分析技術當前，國際上關于醫(yī)學圖像配準的研究集中在斷層掃描圖像及時序圖像上。1基本概念醫(yī)學圖像配準概述1.剛體變換

指物體內部任意兩點間的距離保持不變。例如，可將人腦看作一個剛體。處理人腦圖像，對不同方向成像的圖像配準常使用剛體變換。剛體變換可以分解為平移變換、旋轉變換和反轉（鏡像）變換。2基本變換醫(yī)學圖像配準概述2.仿射變換

（一）概念仿射變換將直線映射為直線，并保持平行性。仿射變換在圖形中的變換包括平移、縮放、旋轉、斜切及它們的組合形式。（二）特點平行關系和線段的長度比例保持不變。仿射變換可用于校正由CT臺架傾斜引起的剪切或MR梯度線圈不完善產生的畸變。2基本變換醫(yī)學圖像配準概述2基本變換3.投影變換（一）定義與仿射變換相似，投影變換將直線映射為直線，但不再保持平行性質。投影變換主要用于二維投影圖像與三維體積醫(yī)像的配準。醫(yī)學圖像配準概述4.非線性變換(一)定義非線性變換也稱作彎曲變換(CurvedTransformation)，它把直線變換為曲線。使用較多的是多項式函數，如二次、三次函數及薄板樣條函數，有時也使用指數函數。非線性變換多用于使解剖圖譜變形來擬合圖像數據或對有全局性形變的胸、腹部臟器圖像的配準。2基本變換醫(yī)學圖像配準概述1.按成像模式分類由于成像的原理和設備不同，存在多種成像模式。從大的方面來說，可以分為描述生理形態(tài)的解剖成像模式和描述人體功能或代謝的功能成像模式，因此可分為單模醫(yī)學圖像配準（指待配準的兩幅圖像是用同一種成像設備獲取的）和多模醫(yī)學圖像配準（指待配準的兩幅圖像來源于不同的成像設備）。3方法分類醫(yī)學圖像配準概述3方法分類2.按受試對象分類如果待配準的圖像是同一個人的，則屬于自身配準。如果待配準圖像是不同人的，則屬于圖譜配準。醫(yī)學圖像配準概述1.點法

點分為內部點(IntrinsicPoints)及外部點(ExtrinsicPoints)。內部點是從與患者相關的圖像性質中得到的；外部點法包含皮膚標記點和利用外置固定框等方法。4典型配準方法醫(yī)學圖像配準概述2.曲線法

Batler等人對首先用人工的方法在兩幅二維投影放射圖像中尋找對應的開曲線(OpenCurve)，再在兩條曲線局部曲率最佳擬合的線段用相同的采樣率找出一組對應，點以后繼續(xù)用點法匹配兩幅圖像。4典型配準方法醫(yī)學圖像配準概述3.表面法

基于表面的配準技術典型的例子是Pelizzari和Chen研究的“頭帽法”。從一幅圖像輪廓提取的點集稱作帽子(Hat)，從另一幅圖像輪廓提取的表面模型稱作頭(Head)。一般用體積較大的患者圖像，或在圖像體積大小差不多時用分辨率較高的圖像來產生頭表面模型。4典型配準方法醫(yī)學圖像配準概述4.矩和主軸法

矩和主軸法(MomentandPrincipalAxesMethod)借用經典力學中物體質量分布的概念風計算兩幅圖像像素點的質心和主軸，再通過平移和旋轉，使兩幅圖像的質心和主軸對齊，從而達到配準的目的。4典型配準方法醫(yī)學圖像配準概述5.相關法

相關法(CorrelationMethod)，對于同一物體由于圖像獲取條件的差異或物體自身發(fā)生的小的改變而產生的圖像序列，采用使圖像間相似性最大化的原理實現圖像間的配準。4典型配準方法6.最大互信息配準法互信息是信息論的一個基本概念，是兩個隨機變量統(tǒng)計相關性的測度。他據此提出AIR配準法，這是PET到MR圖像配準的算法。醫(yī)學圖像配準概述4典型配準方法7.圖譜法圖譜法利用人類解剖結構的一致性來配準兩幅圖像。雖然每個人的形體都有很大的差異，但如果將人體圖像進行恰當的尺度變換，就會發(fā)現不同人的解剖結構具有一定的共性。這就使我們有可能構造一個解剖結構的標準圖譜?？衫么藞D譜對不同患者的解剖結構進行識別，從而完成配準過程。醫(yī)學圖像配準概述4典型配準方法1.體模(Phantom)法體模又有硬件體模和軟件體模之分，后者是計算機圖像合成的結果。體模法用已知的圖像信息驗證新配準算法的精度。優(yōu)點：可以在各種實際成像環(huán)境廣泛使用，性能已知，而且穩(wěn)定；缺點：由于太穩(wěn)定，很難對其形狀和材料做些變動。醫(yī)學圖像配準概述5評估方法2.準標(FiducialMarks)法立體定向框架系統(tǒng)(StereotacticFrameSystems)包括立體定向參考框架、立體定向圖像獲取、探針或手術器械導向等部分。其優(yōu)點是定位準確，不易產生圖像畸變。使用立體定向框架系統(tǒng)獲取的體積距像數據可以用來評估其他配準方法的精度。使用人工記號做準標的方法有很多。一種準標是使9用根棍棒組成的3個方向的N字型結構。在做CT測試時，棒內充以硫酸銅溶液；做PET測試時，則填充氝18。這樣，在兩組圖像中都可見此N字型準標，從而可對圖像進行準確空間定位。醫(yī)學圖像配準概述5評估方法醫(yī)學圖像配準概述5評估方法3.圖譜(A伽s)法UCLA的Thompson用隨機向量場變換構造一個可變形的概率圖，譜包括血管等組織結構。VisibleHumanCD的CT骨窗圖像、MR圖像及彩繪的冷凍切片由于具有清晰的解剖結構和高度的分辨(1毫米／層片），近來也被用來做新配準方法精度的評估。醫(yī)學圖像配準概述5評估方法2.準標(FiducialMarks)法對醫(yī)學圖像配準的結果請領域專家用目測方法進行驗證，雖然聽起來有些主觀，但也是一種相當可信的方法。醫(yī)學專家用肉眼對CT/MR配準結果的評估準確度可達2mm。02基于分形沙漏網絡由MV-DR合成kV-DRRPARTTWO基于分形沙漏網絡由MV-DR合成kV-DRR圖像合成可以作為密集像素預測任務的一個實，例它對于圖像分割、邊界檢測和圖像恢復等都具有重要意義。1引言基于分形沙漏網絡由MV-DR合成kV-DRR用于圖像合成的深度神經網絡通常由在學習全局表示的同時逐漸降低空間分辨率的編碼器組成。2分形沙漏網絡由于深度神經網絡的高模型容量，成功的深度神經網絡訓練需要數于個有標記的樣本。為了解決這個問題，本書作者提出了一個由軟組織DRR和骨組織DRR圖像對組成的輔助數據集來模擬原始數據集的數據分布，然后通過遷移學習的原理在輔助數據集上對網絡進行預訓練。

基于分形沙漏網絡由MV-DR合成kV-DRR根據從某省腫瘤醫(yī)院收集的圖像評估本書作者提出的網絡。收集的圖像共有646個kV-DRR和MV-DR圖像，輔助數據集包含3040個圖像對。所有圖像均調整為384x384分辨率，約有80%的圖像用于訓練，其余圖像則留作評估。所有模型均使用Adam優(yōu)化器進行訓練，初始學習率為Jx!0-4。在TITANGPU上，訓練和測試分別耗時約一周和800ms。1.分形設計的效果

為了衡量分形拓撲的影響，將本書方案與單沙漏網絡和堆疊沙漏網絡進行了比較。所有模型都采用遷移學習策略進行訓練。3實驗基于分形沙漏網絡由MV-DR合成kV-DRR2.有遷移學習或沒有遷移學習的比較

為評估遷移學習的影響，首先在輔助數據集上從頭開始用5個沙漏模塊訓練一個分形網絡。然后，使用較小的學習率Ix!05-在kV-DRR和MV-DR數據集上對其進行重新訓練。當僅在kV-DRR和MV-DR數據集上訓練網絡時，會丟失精細的解剖細節(jié)，例如鼻中隔和眼眶輪廓。當僅在輔助數據集上訓練網絡時，遷移學習可以幫助模型檢測這些輪廓，但是無法很好地預測另一個區(qū)域。當采用遷移學習時，從圖中可以觀察到快速收斂和顯著的性能改進。3實驗基于分形沙漏網絡由MV-DR合成kV-DRR3.與目前最先進的方法進行比較本書提出的網絡在所有指標上均勝過競爭網絡。3實驗03基于公共表征學習和幾何約束的多模態(tài)醫(yī)學圖像配準PARTTHREE基于公共表征學習和幾何約束的多模態(tài)醫(yī)學圖像配準當圖像中存在強烈的外觀變化和不精確的對齊方式時，多模態(tài)醫(yī)學圖像配準仍然是一個具有挑戰(zhàn)性的問題。目標：建立多模態(tài)醫(yī)學圖像之間的對應關系.1引言基于公共表征學習和幾何約束的多模態(tài)醫(yī)學圖像配準方法給定一對圖像x和x'，目標是估計它們之間的空間變換T：爐熘一頁研。首先在公共語義空間中提取圖像表，示然后通過附加的幾何約束在這些表示上預T測來實現此目標。

2方法基于公共表征學習和幾何約束的多模態(tài)醫(yī)學圖像配準以某省腫瘤醫(yī)院提供的3318幅圖像為數據集，我們對所提出的方法進行訓練。轉換的結果表現在圖像中，并由臨床醫(yī)生糾正。20％的圖像用作評估。從成功率的角度來評價配準質量，如果圖像任意方向的偏移誤差小于2mm,那么就視作一個成功的配準。

3實驗及算法比較04基于信息瓶頸條件生成對抗網絡的MV-DR和kV-DRR配準PARTFOUR基于信息瓶頸條件生成對抗網絡的MV-DR和kV-DRR配準電子平板成像設備CEPID)作為一種經濟實惠的設備，廣泛應用于放射治療科，用于確定患者病灶的位置，以便進行精確的放射治療。然而，在兆伏X射線下，這些設備往往生成視覺模糊和低對比度的平面數字X射線照片CMV-DR)，這給臨床醫(yī)生在MV-DR和于伏數字重建X射線照片(kV-DRR)之間進行多模式配準帶來了巨大的挑戰(zhàn)。此外，強烈外觀變化的存在也使得現有的自動算法無法實現精確配準。1概述基于信息瓶頸條件生成對抗網絡的MV-DR和kV-DRR配準核心思想：是首先從MV-DR中生成合成kV圖像，然后將合成的kV-DRR與真實的kV-DRR進行配準。在模態(tài)轉換后，使用基于MI的迭代優(yōu)化方法進行簡單的2D剛性配準來對齊圖像。為了生成反映MV-DR解剖結構的合成kV圖像，開發(fā)一個利用MV-DR和非對齊kV-DRR的生成網絡。為了解決不完全對應的問題，在訓練生成網絡時引入對抗性損失，使真實分布和近似分布之間的差異最小化，從而在語義層而不是不完美的像素層提供訓練監(jiān)督。為了確保合成的kV圖像真實地反映MV-DR的細節(jié)而不是未對齊的kV-DRR,對來自未對齊kV-DRR的信息流施加了信息瓶頸(IB)約束。IB強制生成網絡丟棄未對齊的kV-DRR中與合成無關的所有可變性，從而減少來自非對齊kV-DRR的不相關信息。該模型可以看作條件生成對抗網絡的信息瓶頸擴展，因此稱為IB-cGAN。

1概述基于信息瓶頸條件生成對抗網絡的MV-DR和kV-DRR配準1.數據在介紹模型之前，首先介紹訓練和測試數據集。訓練數據集包含2698個患者掃描圖，掃描范圍包括4個身體部位：頭部、頸部、胸部和骨盆。每個患者掃描圖包括兩個圖像對：0度（正視圖）對和90度（側視圖）對。測試數據集包含208個患者掃描圖，數據清洗橫向(LAT入縱向(LNG)和垂直方向(VRT)的平移位移分布。2材料和方法基于信息瓶頸條件生成對抗網絡的MV-DR和kV-DRR配準2.IB-cGAN結構編碼器E將非對齊kV-DRRy編碼為潛在表示z,以從y獲取必要的信息。生成器G利用輸入的MV-DRx和潛在表示z合成與x的骨骼解剖結構相對應的kV圖像y。在訓練過程中，使用了3種損失。形式上，設x是MV-DR,y是非對齊的kV-DRR,y是對齊的kV-DRR,y是合成圖像。目標是通過學習發(fā)生器G(x,z)-y來簡化MV-DRx和非對齊kV-DRRy之間的多模式配準。通過以下方法來實現這一目標：O最小化真實條件分布與估計的散度minGD[p（陽x)IIqa(YI(x,z)）］之間的差異，使得從估計分布qG（滬（x,z)）提取的樣本與從真實分布p（陽x）提取的樣本是不可區(qū)分的；＠通過強制一個IB來調節(jié)y和z之間的信息流，使它們之間的 M［最小化，I認z;y)即z對y的最大壓縮。把這兩個目標寫在一起，得出min6,,L(G,E)=D[p(yIx)IIq6(j)I(x,z))]+21幾(z;y)2材料和方法基于信息瓶頸條件生成對抗網絡的MV-DR和kV-DRR配準3.對抗性損失我們依賴于J－散度[34]的對偶公式來估計D[p(jilx)llqG（引（x,z))]"f-散度是一類散度，著名的Kullback-Leibler(KL)散度和Jensen-ShannonOS)散度是J～散度的特殊情況。假設D現在是JS散度，影丘的研究[34]利用f散度的對偶表示，證明了JS散度的下界（含一些常數因子）為DJS[p（滬x）飛（們(x,z)）］江m嚴丘，y-p(x,y,y)[logD(y)+Ey-G(x,,),,-E(yi[log(l-D（沁）］］（9-12)其中，DEF,F是函數X-R的任意一類。對于足夠大的F,界是緊的。為了估計真實分布和假分布之間的散度，可以使方程關于D的右邊最大化。根據估計的散度，可以使關于G和E的散度最小化，使假分布接近真實分布。這些可選的優(yōu)化可以寫成兩者的極小極大值，就像普通的GAN[32]一樣，即LGAN(D,G,E)＝叨1m嚴互，y,y-p(x,y,y)[logD(y)+E,-G（立），,-E(y)[log(l-D(ji))]J(9-13)

2材料和方法基于信息瓶頸條件生成對抗網絡的MV-DR和kV-DRR配準3.對抗性損失如果把D作為鑒別器，這就相當于GAN的目標，即訓練鑒別器D將樣本進行真假分類，而生成器G學習產生真實的樣本來欺騙鑒別器。通常，可以用深度神經網絡參數化生成器G、編碼器E和鑒別器D,但這使它們具有確定性，需要一種隨機編碼器來提取樣本z。為了解決這個問題，我們轉向使z不僅隨機且可微的重參數化技巧[36]。遵循重參數化技巧中的標準實踐，假設參數化后驗分布q忒砌）遵循近似對角協(xié)方差的近似高斯形式，qE(動）＝N(μ比＂i),其中，均值μE和方差礦將由網絡E(y)從y進行預測。然后，使用下述方法[36]從包含噪聲項8的qE(動）對z進行采樣z=r(E(y),&)=μ,+&Ou,N(O,l)2材料和方法基于信息瓶頸條件生成對抗網絡的MV-DR和kV-DRR配準5.Photoshop中的色彩模式其中，r表示重參數化技巧，O表示元素積。注意到最小化的差異是在普遍水平上而不是在個體水平上衡量的。在實踐中，我們也進行了L2矩離和余弦距離的實驗，但發(fā)現Ll矩離支持尖銳的真實樣本。2材料和方法基于信息瓶頸條件生成對抗網絡的MV-DR和kV-DRR配準4.信息瓶頸如前所述，要求編碼器E產生潛在表示z,它可以捕獲與對齊kV-DRRy相關的信息，同時減少對y沒有貢獻的無關信息。由于選擇了可微估計量，對于從訓練集中隨機抽取的小批量樣本，可以直接通過網絡反向傳播梯度來更新其參數。2材料和方法基于信息瓶頸條件生成對抗網絡的MV-DR和kV-DRR配準5.網絡結構我們基于U-Net[6]參數化生成器G。將下采樣層和上采樣層的數量設置為8,下采樣層和上采樣層分別實現為卷積層（濾波器尺寸為3x3,步長為2)和轉置卷積層（濾波器尺寸為3x3,步長為2)。對于轉置卷積層，卷積層的濾波器編號分別為64、128、256、512、512、512、512。所有的卷積層之后是批處理歸一化和一個ReLU（斜率為0.01)。我們使用維數為8的潛在表示z。它首先在空間上復制到256x256x8大小，然后在通道軸上與256x256xl的輸入圖像連接。2材料和方法基于信息瓶頸條件生成對抗網絡的MV-DR和kV-DRR配準5.網絡結構鑒別器D采用PatchGAN架構[37J,該架構將注意力機制限制在局部補丁細節(jié)上，以抵消模糊效應，增強細節(jié)。PatchGAN網絡由4個卷積層組成，濾波器大小為3x3,步長為2。濾波器編號分別為64、128、256和512。每個卷積層后面都是批處理歸一化和一個ReLU（斜率為0.02)。最后一個輸出層使用全局池化將空間大小減小到1，然后對普通GAN進行Sigmoid激活，對其他層使用線性激活。2材料和方法基于信息瓶頸條件生成對抗網絡的MV-DR和kV-DRR配準5.網絡結構基于ResN忒設計了編碼器E。編碼器從一個卷積層開始，有64個大小為4x4和步長為2的濾波器，然后是4個殘差塊。每個塊體由層模式組成：卷積(3x3,步長I)－瞬間漏失CO.I)卷積(3x3,步長2)－瞬間漏失(0.l)。塊中的濾波器編號為64xl28、128Xl92、192x256、256x256。編碼器以一個8X8平均池化層和一個8路完全連接層結束。編碼器預測由均值和方差組成的概率輸出，可通過分割預測軸得到均值和方差。2材料和方法基于信息瓶頸條件生成對抗網絡的MV-DR和kV-DRR配準6.訓練和評估詳情1.訓練為了準備用于訓練的輸入圖像，將480x480像素的對齊MV-DR和kV-DRR圖像對隨機裁剪為384x384像素，然后重采樣到256x256像素，在訓練過程中，圖像被標準化為單位方差強度的零均值，并通過隨機水平翻轉進行增強。所有的網絡都是用Xavier初始化器初始化的，用Adam優(yōu)化器訓練，學習率為2x)0-4,批量大小為4,采用200次遍歷。在單個NVIDIATitanX(Pascal)GPU上訓練大約需要2天。2材料和方法基于信息瓶頸條件生成對抗網絡的MV-DR和kV-DRR配準6.訓練和評估詳情2.評估80x480像素的非對齊MV-DR和kV-DRR圖像時在圖像的中心區(qū)域首先被裁剪為384x384像素。然后，將384x384像素MV-DR重采樣到256X256像素，并輸入IB-cGAN以產生256x256像素的合成圖像。為了評估配準的性能，將合成圖像噩采樣為384x384像素。然后，將384x384像素的真實和合成的kV圖像輸入下游配準算法中，以預測平移位移。最后，將預測的偏移量與真實偏移量進行比較，計算出配準成功率。該訓練和評估流程如圖9.12所示。如果在任意方向上的公差小于2mm,就認為配準是成功的。2mm公差是學術界和工業(yè)界科學家對這一具體任務的共識。AAPMTG-142報告[43]建議定位公差在2mm的精度范圍內。方差[44]也使用2mm作為截止闕值。2材料和方法6.訓練和評估詳情2.評估基于信息瓶頸條件生成對抗網絡的MV-DR和kV-DRR配準2材料和方法基于信息瓶頸條件生成對抗網絡的MV-DR和kV-DRR配準6.訓練和評估詳情3.下