第7講-醫(yī)學(xué)圖像配準(zhǔn)和融合-課件

第七章醫(yī)學(xué)圖像配準(zhǔn)與融合

MedicalImageregistrationandfusion1ppt課件主要內(nèi)容配準(zhǔn)融合技術(shù)概述醫(yī)學(xué)圖像配準(zhǔn)技術(shù)圖像圖像融合技術(shù)理論方法評(píng)估方法評(píng)估背景意義2ppt課件背景醫(yī)學(xué)影像設(shè)備在最近十年中得到迅速的發(fā)展，并廣泛應(yīng)用于臨床診斷和治療中。由于成像的原理和設(shè)備不同，存在有多種成像模式（解剖成像、功能成像）。對(duì)人腦可用多種模式成像3ppt課件意義解剖圖像：提供解剖形態(tài)信息，分辨率高功能圖像：提供功能代謝信息，分辨率差二者結(jié)合：在一幅圖像中同時(shí)表達(dá)來(lái)自人體多方面的信息，使人體內(nèi)部結(jié)構(gòu)和功能等狀況能通過(guò)影像反映出來(lái)，直觀(guān)提供人體解剖生理病理信息。于是出現(xiàn)了配準(zhǔn)和融合技術(shù)，配準(zhǔn)是融合的先決條件4ppt課件臨床應(yīng)用外科手術(shù)

術(shù)前病灶精確定位放療計(jì)劃

CT圖像精確計(jì)算放射劑量、MR圖像描述腫瘤結(jié)構(gòu)，PET對(duì)代謝、免疫及生理方面進(jìn)行識(shí)別，配準(zhǔn)融合后圖像用于改進(jìn)放療計(jì)劃、立體定向活檢、手術(shù)癲癇病治療

觀(guān)察炎癥、腦外傷、硬化癥等變化、病灶精確定位5ppt課件配準(zhǔn)（imageregistration）的概念醫(yī)學(xué)圖像配準(zhǔn)是指對(duì)于一幅醫(yī)學(xué)圖像尋求一種（或一系列）空間變換，使它與另一幅醫(yī)學(xué)圖像上的對(duì)應(yīng)點(diǎn)達(dá)到空間上的一致。這種一致是指人體上的同一解剖點(diǎn)在兩張匹配圖像上有相同的空間位置（位置一致，角度一致、大小一致）。、目的：將多種成像模式或同一種模式得到的多幅 圖像綜合分析，更好的了解組織情況解決的問(wèn)題：幾幅圖像的嚴(yán)格對(duì)齊6ppt課件幾幅圖像信息綜合的結(jié)果稱(chēng)作圖像的融合（imagefusion）。

利用圖像融合技術(shù)，將多種圖像結(jié)合起來(lái)，利用各自的信息優(yōu)勢(shì)，在一幅圖像上同時(shí)表達(dá)來(lái)自人體的多方面信息，使人體內(nèi)部的結(jié)構(gòu)、功能等多方面的狀況通過(guò)影像反映出來(lái)，從而更加直觀(guān)地提供人體解剖、生理及病理等信息。圖像配準(zhǔn)技術(shù)是圖像融合的先決條件7ppt課件圖像配準(zhǔn)示意圖配準(zhǔn)實(shí)現(xiàn)過(guò)程：1.獲得特征圖像：不同角度，不同位置，反映某些方面的特征2.圖像配準(zhǔn)：通過(guò)空間變換（移動(dòng)和旋轉(zhuǎn)），使兩幅圖像對(duì)齊3.圖像融合：得到整體特征圖像8ppt課件實(shí)例：9ppt課件方法分類(lèi)：1993年VDE7種按維數(shù)：2 D、3D按摸態(tài)：?jiǎn)?、多按變換性質(zhì)：按用戶(hù)交互性：自動(dòng)、半自動(dòng)、交互按配準(zhǔn)所基于圖像特征：外、內(nèi)按變換參數(shù)確定的方式：公式、最優(yōu)解按主體分：同一患者、不同患者、患者與圖譜10ppt課件剛體變換：指物體內(nèi)部任意兩點(diǎn)間的距離及平行關(guān)系保持 不變（處理人腦圖像，對(duì)不同方向成像的圖像配

準(zhǔn)常使用剛體變換）仿射變換：保持平行性，但距離發(fā)生變化，直線(xiàn)還是直線(xiàn)（校正成像設(shè)備的誤差產(chǎn)生的畸變）投影變換：直線(xiàn)映射成直線(xiàn)，平行性和兩點(diǎn)間的距離變化（二維投影圖像與三維圖像的配準(zhǔn)）彎曲變換：直線(xiàn)變成曲線(xiàn)

(解剖圖譜變形擬合圖像數(shù)據(jù))11ppt課件單模配準(zhǔn)的典型應(yīng)用：（1）不同MR加權(quán)像間的配準(zhǔn)T1加權(quán)像T2加權(quán)像質(zhì)子密度加權(quán)像不同組織表現(xiàn)不同強(qiáng)度信息互補(bǔ)（2）電鏡圖像序列的配準(zhǔn)不同時(shí)間采集的多幅圖像（時(shí)間序列圖像）粒子移動(dòng)，形態(tài)變化研究生長(zhǎng)現(xiàn)象12ppt課件單模配準(zhǔn)的典型應(yīng)用：（3）fMRI圖像序列的配準(zhǔn)（4）胸腹部臟器的圖像配準(zhǔn)不同時(shí)刻的三維臟器圖像四維圖像分析時(shí)間序列圖像，大腦活動(dòng)會(huì)產(chǎn)生氧攝取量和血流間的不平衡MRI圖像測(cè)得信號(hào)的改變解決：參考點(diǎn)位置確定（定位問(wèn)題）運(yùn)動(dòng)過(guò)程中的局部變形和噪聲問(wèn)題13ppt課件多模醫(yī)學(xué)圖像配準(zhǔn)：待配準(zhǔn)的兩幅圖像來(lái)源于不同的成像設(shè)備。解剖圖像：CT：對(duì)密度差異較大的組織效果好MRI：可識(shí)別軟組織較高的空間分辨率功能圖像：SPECT/PET：能反映人體的功能和代謝信息空間分辨率差一般臨床上的應(yīng)用：

CT（或MRI）和SPECT（或PET）的綜合分析，同時(shí)提供功能和解剖信息14ppt課件多模醫(yī)學(xué)圖像配準(zhǔn)：難點(diǎn)：由于掃描設(shè)備的原理不同，兩種斷層圖像間并不存在簡(jiǎn)單的一一對(duì)應(yīng)關(guān)系人腦MR/PET圖像配準(zhǔn)

上排：軸向圖；中間：矢狀圖；下排：冠壯圖

左：PET圖像；中：MRI圖像；右：融合圖像15ppt課件不同對(duì)象的圖像配準(zhǔn)被試圖像典型正常圖像疾病的典型圖像對(duì)比是否出現(xiàn)異常是否屬于同類(lèi)難點(diǎn)：不同對(duì)象形狀、大小、位置差異方法：1）確定一個(gè)共同的標(biāo)準(zhǔn)。要求有一個(gè)詳細(xì)標(biāo)記人體各個(gè)解剖位置的計(jì)算機(jī)化標(biāo)準(zhǔn)圖譜，如Talairach標(biāo)準(zhǔn)空間，把兩幅圖像分別映射到圖譜，再比較16ppt課件Talairach人腦圖譜

對(duì)兩個(gè)病人的PET或MR圖象進(jìn)行比較，首先把二者的圖像都映射到這個(gè)共同的參考空間，然后再比較不同對(duì)象的圖像配準(zhǔn)方法：胼胝體17ppt課件用非線(xiàn)性變換法配準(zhǔn)不同人腦表面溝回2）非線(xiàn)性形變法將三維圖像逐漸變形，最終較好的與另一個(gè)三維圖像匹配不同對(duì)象的圖像配準(zhǔn)方法：18ppt課件圖像與圖譜配準(zhǔn)或與物理空間配準(zhǔn)在手術(shù)導(dǎo)航系統(tǒng)中解決圖像像素與實(shí)際物理空間的位置配準(zhǔn)圖像空間立體定向裝置、人體實(shí)體空間坐標(biāo)變換實(shí)現(xiàn)方法：19ppt課件配準(zhǔn)理論基礎(chǔ)

每一幅待配準(zhǔn)的圖像都與定義圖像空間的坐標(biāo)系有關(guān)。一般情況下，圖像配準(zhǔn)都是基于幾何變換的，即尋找一幅圖像空間X中的點(diǎn)（用列向量x表示）與另一幅圖像空間Y中的點(diǎn)（用列向量y表示）之間的映射。X經(jīng)T變換后得到點(diǎn)x?，即：x?=T(x)如果y與x是對(duì)應(yīng)點(diǎn)，則成功的配準(zhǔn)應(yīng)該使得x?等于或近似等于y，若兩者之間的差值T(x)-y非零，則說(shuō)明存在配準(zhǔn)誤差。根據(jù)空間變換T的形式不同，可將其分為剛體變換和非剛體變換兩種形式。20ppt課件圖像的變換模型：

剛體變換（二維剛體變換、三維剛體變換）全局尺度變換

仿射變換（9參數(shù)仿射變換、一般仿射變換）透視變換*非線(xiàn)性空間變換*21ppt課件醫(yī)學(xué)圖像配準(zhǔn)在大多數(shù)情況下是采用剛體變換模型。人體的很多組織可以近似為剛體，如骨頭、由顱骨固定的大腦等剛體變換：平移、旋轉(zhuǎn)剛體變換物體內(nèi)部?jī)牲c(diǎn)間的距離和角度保持不變22ppt課件

二維剛體變換：沿x軸平移：向右平移p為正向左平移p為負(fù)矩陣公式：變換公式：

其中x’與y’是平移后的結(jié)果從（x,y)變到新坐標(biāo)系（x’,y’)23ppt課件沿y軸平移：

向上平移q為正向下平移q為負(fù)矩陣公式：變換公式：

其中x’與y’是平移后的結(jié)果24ppt課件繞坐標(biāo)原點(diǎn)旋轉(zhuǎn)：矩陣公式：變換公式：25ppt課件復(fù)合變換：不同順序的變換得到的結(jié)果是不同。先沿x軸平移，再沿y軸平移，最后繞原點(diǎn)旋轉(zhuǎn)先繞原點(diǎn)旋轉(zhuǎn)，再沿y軸平移，最后沿x軸平移26ppt課件舉例：設(shè)剛體變換先繞坐標(biāo)原點(diǎn)旋轉(zhuǎn)10°，再沿x軸平移4個(gè)單位，然后沿y軸平移9個(gè)單位設(shè)剛體變換先沿x軸平移4個(gè)單位，再沿y軸平移9個(gè)單位，然后繞坐標(biāo)原點(diǎn)旋轉(zhuǎn)10°27ppt課件對(duì)于一個(gè)給定的變換結(jié)果，可以有許多不同的變換途徑先沿X軸平移2.3764個(gè)單位再沿Y軸平移9，5579個(gè)單位最后繞坐標(biāo)原點(diǎn)旋轉(zhuǎn)10度28ppt課件②三維剛體變換：沿x軸平移向右平移p為正向左平移p為負(fù)矩陣公式：變換公式：

其中x’,y’,z’是平移后的結(jié)果29ppt課件沿y軸平移：

向上平移q為正向下平移q為負(fù)矩陣公式：變換公式：

其中x’,y’,z’是平移后的結(jié)果30ppt課件沿z軸平移：

向前平移r為正向后平移r為負(fù)矩陣公式：變換公式：

其中x’,y’,z’是平移后的結(jié)果31ppt課件繞坐標(biāo)軸旋轉(zhuǎn)：繞x軸旋轉(zhuǎn)：繞y軸旋轉(zhuǎn)：繞z軸旋轉(zhuǎn)：32ppt課件復(fù)合變換：結(jié)合先旋轉(zhuǎn)、后平移，及先平移后旋轉(zhuǎn)，共有12種不同的組合順序。對(duì)于先旋轉(zhuǎn)后平移有：與二維復(fù)合變換相同，不同順序的變換得到的結(jié)果是不同;對(duì)于一個(gè)給定的變換結(jié)果，可以有許多不同的變換途徑33ppt課件全局尺度變換在剛體變換基礎(chǔ)上增加一個(gè)新參數(shù)m，使圖像全局縮放m倍注：尺度變換與平移變換的順序有影響，但與旋轉(zhuǎn)變換順序無(wú)關(guān)。34ppt課件（3）仿射變換－9參數(shù)仿射變換各方向上尺度變換系數(shù)不同，1）對(duì)于同一個(gè)人的圖像配準(zhǔn)，可以在做旋轉(zhuǎn)變換之前做尺 度縮放2）對(duì)于不同人的圖像配準(zhǔn)，可以先旋轉(zhuǎn)對(duì)準(zhǔn)圖譜，然后做 三個(gè)方向的尺度縮放35ppt課件基本的二維仿射變換舉例：沿X軸整體旋轉(zhuǎn)沿Y軸沿X擴(kuò)大整體擴(kuò)大/縮小沿Y擴(kuò)大原圖不改變面積改變面積36ppt課件②一般仿射變換二維仿射變換：三維仿射變換：無(wú)需計(jì)算正弦和余弦，由變換參數(shù)決定變換結(jié)果37ppt課件（4）透視變換直線(xiàn)經(jīng)變換后還是直線(xiàn)，但平行的直線(xiàn)經(jīng)變換后可能相交。38ppt課件（5）非線(xiàn)性變換無(wú)線(xiàn)性約束，一般用于校正圖像獲取過(guò)程中由儀器設(shè)備引入的畸變39ppt課件主要配準(zhǔn)方法

點(diǎn)法曲線(xiàn)法表面法矩和主軸法相關(guān)法最大互信息配準(zhǔn)方法圖譜法非線(xiàn)性變換40ppt課件（1）點(diǎn)法先尋找兩幅圖像之間的標(biāo)志點(diǎn)（相同的點(diǎn)），然后通過(guò)對(duì)對(duì)應(yīng)點(diǎn)集的剛體變換，將標(biāo)志點(diǎn)對(duì)準(zhǔn)，實(shí)現(xiàn)圖像配準(zhǔn)標(biāo)志點(diǎn)可以分為：內(nèi)部點(diǎn)和外部點(diǎn)兩種內(nèi)部點(diǎn)：是從與病人相關(guān)的圖像性質(zhì)中 得到解剖標(biāo)志點(diǎn)，如耳蝸尖端 拐角、血管分叉或拐角處等 內(nèi)部點(diǎn)尋找困難、費(fèi)時(shí)外部點(diǎn)：采集圖像前，在病人的特定部位添加標(biāo)記，使 得兩幅圖像都能檢測(cè)到標(biāo)記點(diǎn)，如螺釘、記號(hào) 外部點(diǎn)容易識(shí)別，但受試者需要嚴(yán)格保持不動(dòng)41ppt課件圖像1圖像2確定標(biāo)志點(diǎn)幾何變換配準(zhǔn)圖像尋找對(duì)應(yīng)點(diǎn)確定對(duì)應(yīng)關(guān)系42ppt課件（2）曲線(xiàn)法用人工的方法尋找兩幅圖像對(duì)應(yīng)的開(kāi)曲線(xiàn)，在兩條曲線(xiàn)對(duì)應(yīng)最佳的線(xiàn)段找出一組對(duì)應(yīng)點(diǎn)，再用點(diǎn)法配準(zhǔn)ridgelines（脊線(xiàn)）43ppt課件“帽子”——從一幅圖像輪廓提取的點(diǎn)集頭表面模型——另一幅圖像表面（3）表面法配準(zhǔn)原則：尋找到的幾何變換使得點(diǎn)與表面間的距離平 均平方值最小44ppt課件（4）矩和主軸法計(jì)算兩幅圖像像素點(diǎn)的質(zhì)心和主軸，通過(guò)平移和旋轉(zhuǎn)使質(zhì)心和主軸對(duì)齊，實(shí)現(xiàn)配準(zhǔn)缺點(diǎn)：1.對(duì)數(shù)據(jù)的缺失敏感，整個(gè)物體必須完整的出現(xiàn)在 兩幅圖像中

2.對(duì)準(zhǔn)效果不是很好，只能做前期配準(zhǔn)，減少后續(xù) 主要配準(zhǔn)方法的搜索步驟45ppt課件（5）相關(guān)法適用于同一個(gè)物體由于圖像獲取條件的差異或物體自身發(fā)生的微小變化而產(chǎn)生的圖像序列的配準(zhǔn)，從而發(fā)現(xiàn)物體的改變采用使圖像間相似性最大化的原理，估計(jì)變換參數(shù)，利用剛體的平移與旋轉(zhuǎn)，實(shí)現(xiàn)配準(zhǔn)缺點(diǎn)：每種變換參數(shù)可能的取值都要計(jì)算相似性，相關(guān)法計(jì)算代價(jià)十分龐大相似性：相關(guān)函數(shù)、相關(guān)系數(shù)、差值的平方、差的絕對(duì)值等46ppt課件配準(zhǔn)實(shí)例（1）：點(diǎn)法腦部冠狀圖像47ppt課件腦部3D解剖圖像傳統(tǒng)的解剖圖像配準(zhǔn)實(shí)例（2）：相關(guān)性48ppt課件1）圖像中心對(duì)準(zhǔn)2）表面法配準(zhǔn)49ppt課件圖像配準(zhǔn)的評(píng)估相對(duì)標(biāo)準(zhǔn)，與配準(zhǔn)目的有關(guān)體模---初步準(zhǔn)標(biāo)---人工記號(hào)圖譜目測(cè)檢驗(yàn)50ppt課件圖像融合技術(shù)將幾幅圖像的信息融合到一幅圖像中，并可視化顯示的過(guò)程前提：圖像已經(jīng)較好的配準(zhǔn)融合的圖像可能有以下性質(zhì)：

在一副圖象中出現(xiàn)的