醫(yī)學(xué)圖象三維重建及可視化技術(shù)研究

1、醫(yī)學(xué)圖象三維重建及可視化醫(yī)學(xué)圖象三維重建及可視化技術(shù)研究技術(shù)研究1 緒論緒論 1.1 引言引言 1.2 基于三維數(shù)據(jù)的建模與可視化基于三維數(shù)據(jù)的建模與可視化 1.三維數(shù)據(jù)的來源與分類 2.三維數(shù)據(jù)建模及可視化研究內(nèi)容 數(shù)據(jù)預(yù)處理 建模 繪制與顯示 3.數(shù)據(jù)建模技術(shù)綜述 三維幾何模型 基于三維數(shù)據(jù)的建模方法 1)基于斷層輪廓的表面重建 2)基于體素的等值面重建 3)幾何變形模型 4)體素建模 1.3 1.3 醫(yī)學(xué)圖象三維重建技術(shù)綜述醫(yī)學(xué)圖象三維重建技術(shù)綜述 1 醫(yī)學(xué)圖象的預(yù)處理 2 醫(yī)學(xué)圖象的分割 3 三維重建方法 4 模型的網(wǎng)格簡化 1.4 1.4 醫(yī)學(xué)圖象三維重建在醫(yī)療中的應(yīng)用醫(yī)學(xué)圖象三維重

2、建在醫(yī)療中的應(yīng)用 1 在醫(yī)療診斷中的應(yīng)用 2 在手術(shù)規(guī)劃及放射治療規(guī)劃中的應(yīng)用 3 在整形與假肢外科中的應(yīng)用 4 在虛擬手術(shù)及解剖教育中的應(yīng)用 1.5 1.5論文背景及主要工作論文背景及主要工作 1 論文背景及研究意義 2 本文的主要工作 1) 圖象預(yù)處理，組織器官分割與提取 2) MC、MT算法構(gòu)建表面幾何模型 3) 模型表面網(wǎng)格簡化，剖切與開窗 4) 由表面幾何模型轉(zhuǎn)換成實體幾何模型 5) 適用于適形放射治療規(guī)劃的醫(yī)學(xué)圖象 三維重建系統(tǒng)的開發(fā) 2醫(yī)學(xué)圖象預(yù)處理與人體組織的分割醫(yī)學(xué)圖象預(yù)處理與人體組織的分割 醫(yī)學(xué)圖象預(yù)處理醫(yī)學(xué)圖象預(yù)處理 分割流程分割流程 圖圖2.1 2.1 三維醫(yī)學(xué)圖象分割

3、流程三維醫(yī)學(xué)圖象分割流程 2.2 CT 2.2 CT、MRIMRI圖象的獲取與輸入圖象的獲取與輸入 2.2 2.2 二維圖象處理與規(guī)則體數(shù)據(jù)封裝二維圖象處理與規(guī)則體數(shù)據(jù)封裝 1 二維圖象濾波 (1) 鄰域平均法 (2) 中值濾波法 (3) 保持邊緣濾波法 2 斷層圖象間插值 3 三維規(guī)則體數(shù)據(jù)封裝 (1) 內(nèi)存記錄方式 (2) 體數(shù)據(jù)文件格式 圖圖2.4 2.4 體數(shù)據(jù)內(nèi)存記錄方式體數(shù)據(jù)內(nèi)存記錄方式 2.3 交互分割過程交互分割過程 1 三維圖象二值化 其余若0),(1),( 21qzyxfqzyxf 二值化結(jié)果 圖圖2.8 2.8 斷層圖象二值化結(jié)果斷層圖象二值化結(jié)果 2 數(shù)學(xué)形態(tài)學(xué)操作進(jìn)行

4、區(qū)域修整 (1) 二值形態(tài)學(xué)操作簡述 (a) (a) 原圖象原圖象 (b)(b)結(jié)構(gòu)元素結(jié)構(gòu)元素 (c)(c)對原圖象的腐蝕對原圖象的腐蝕 (d)(d)對腐蝕圖象的膨脹對腐蝕圖象的膨脹 圖圖2.9 2.9 開啟操作開啟操作 (a) (a)原圖象原圖象 (b)(b)結(jié)構(gòu)元素結(jié)構(gòu)元素 (c)(c)對原圖象的膨脹對原圖象的膨脹 (d)(d)對膨脹圖象的腐蝕對膨脹圖象的腐蝕 圖圖2.102.10閉合操作閉合操作 3 種子填充法進(jìn)行組織提取 圖圖2.12 2.12 交互分割結(jié)果交互分割結(jié)果 圖圖2.13 2.13 對分割區(qū)域的重建對分割區(qū)域的重建 3 基于規(guī)則體數(shù)據(jù)的三維表面模型的基于規(guī)則體數(shù)據(jù)的三維表

5、面模型的構(gòu)建構(gòu)建 3.2.1 體素模型 (a) (a) 方向無關(guān)的三線性插值模型方向無關(guān)的三線性插值模型 (b) (b) 方向有關(guān)的三線性插值模型方向有關(guān)的三線性插值模型圖圖3.1 3.1 體素模型體素模型 3.2.2 等值面（IsoSurface）定義 1三線性插值結(jié)果 2等值面定義xyzazxayzaxyazayaxaazyxf76543210),(是常數(shù)cczyxfzyx,),(| ),(等值面是三次曲面 3.3 移動立方體（Marching Cubes）算 法抽取等值面 1 MC1 MC算法的基本原理算法的基本原理 a a 體素中等值面剖分方式的確定體素中等值面剖分方式的確定 1 1）

6、 如立方體頂點的數(shù)據(jù)值如立方體頂點的數(shù)據(jù)值等值面的值，則定義該頂點等值面的值，則定義該頂點位于等值面之外，記為位于等值面之外，記為“0 0”； 2 2） 如立方體頂點的數(shù)據(jù)值等值面的值，則定義該頂點如立方體頂點的數(shù)據(jù)值等值面的值，則定義該頂點位于等值之內(nèi)，記為位于等值之內(nèi)，記為“1 1”。 8 8個頂點，每個頂點共有個頂點，每個頂點共有2 2個狀態(tài)，因此共個狀態(tài)，因此共256256種組合狀態(tài)種組合狀態(tài) 根據(jù)互補(bǔ)對稱性根據(jù)互補(bǔ)對稱性, , 256 128 256 128 根據(jù)旋轉(zhuǎn)對稱性，根據(jù)旋轉(zhuǎn)對稱性， 256 15256 15 (1)體素中由三角片逼近的等值面計算 (2)三角片各頂點法向量計算

7、 2 等值面連接方式上的二義性 (a)(a)連接方式二義性的二維表示連接方式二義性的二維表示 (b) (b) 連接方式二義性的三維表示連接方式二義性的三維表示 圖圖3.5 3.5 拓?fù)洳灰恢略斐煽紫锻負(fù)洳灰恢略斐煽紫?圖圖3.4 MC3.4 MC方法的二義性方法的二義性 3.3.3 漸近線判別法消除二義性 3.3.4 MC算法的重建結(jié)果及分析 256256256256109MRI109MRI表皮重建表皮重建 （b b）12812812812893CT93CT顱骨重建顱骨重建 （c c）12812812812893CT93CT表皮重建表皮重建 三角面片：三角面片：696889頂點：頂點：3473

8、22三角面片：三角面片：187559頂點：頂點：94015三角面片：三角面片：137799頂點：頂點：69331 圖圖3.83.8MCMC算法重建的表面模型算法重建的表面模型 3.4 移動四面體（Marching Tetrahedra）算法抽取等值面 3.4.1 MT算法的基本原理 圖圖3.9 3.9 立方體的四面體剖分立方體的四面體剖分 圖圖3.10 3.10 四面體中的等值面四面體中的等值面 3.4.2 四面體剖分的一致性處理 圖圖3.11 3.11 立方體剖分為四面體立方體剖分為四面體的不同方式的不同方式 圖圖3.12 3.12 兩相鄰立方體剖分不一致時共有兩相鄰立方體剖分不一致時共有面

9、的剖分情況面的剖分情況 圖圖3.133.13相鄰立方體公共面上的剖分一致性相鄰立方體公共面上的剖分一致性 3.4.3 相關(guān)性處理加速MT重建速度 1 體素內(nèi)的相關(guān)性處理 2 體素間的相關(guān)性處理 圖圖3.14 3.14 剖分后立方體的頂點及棱邊編號剖分后立方體的頂點及棱邊編號 3.4.4 MT算法的重建結(jié)果及分析 (a) 128(a) 128128128113CT113CT顱骨重建顱骨重建 （b b）104104185185220CT220CT腳骨骼重建腳骨骼重建 (c) 128(c) 128128128113CT113CT表皮重建表皮重建 三角面片：三角面片：423998頂點：頂點：21190

10、5三角面片：三角面片：365858頂點：頂點：183056三角面片：三角面片：331290頂點：頂點：165808圖圖3.153.15MTMT算法重建的表面模型算法重建的表面模型4.三維模型的網(wǎng)格簡化與模型的剖切三維模型的網(wǎng)格簡化與模型的剖切 4.2 基于邊收縮的網(wǎng)格簡化算法 1 網(wǎng)格簡化算法簡述 （1 1）抽樣（）抽樣（SamplingSampling） （2 2）自適應(yīng)細(xì)分）自適應(yīng)細(xì)分(Adaptive subdivision)(Adaptive subdivision) （3 3）刪除）刪除 (Decimation)(Decimation) （4 4）頂點合并）頂點合并 （Vertex

11、mergingVertex merging） 2 基于邊收縮的網(wǎng)格簡化算法Hoppe采用顯式能量函數(shù)E（M）來度量簡化網(wǎng)格與原始網(wǎng)格的逼近度Hoppe96：其中Edist(M)為M的距離能量，它定義為點集到網(wǎng)格的距離平方：Espring(M)為彈性能量，這相當(dāng)于在的每條邊上均放置一條彈性系數(shù)為k的彈簧，即： Escalar(M)度量M的標(biāo)量屬性的精度，而Edisc(M)則度量了M上視覺不連續(xù)的特征線（如邊界線、側(cè)影輪廓線等）的幾何精度。 )()()()()(MEMEMEMEMEdiscscalarspringdistnividistKxdME12|)(|,()(KjijispringvvkME

12、,2|)()()(MEMEE 邊收縮過程示意圖邊收縮過程示意圖 (a) (a)收縮前收縮前 (b)(b)收縮后收縮后 圖圖4.14.1邊收縮過程邊收縮過程 4 網(wǎng)格簡化結(jié)果 MT重建結(jié)果重建結(jié)果 簡化簡化50 簡化簡化90簡化簡化90表面繪制表面繪制 MC重建結(jié)果簡化重建結(jié)果簡化50簡化簡化85 簡化簡化85表面繪制表面繪制4.3 三維模型的剖切 4.3.1 模型三角面片的剖切處理 1 平面方程的確定 ax + by + cz + d = 0 2 三角面片與剖切平面的求交檢測 定義空間一點定義空間一點P P（X,Y,ZX,Y,Z）, , 定義定義“距離距離”D D： D = aX + bY +

13、 cZ + dD = aX + bY + cZ + d 則有：則有： 1 1）若）若 D D0 0，P P點處在點處在A A半空間；半空間； 2 2）若）若 D D0 0，P P點處在平點處在平面上；面上； 3 3）若）若 D D0 0，P P點處在點處在B B半空間。半空間。 圖圖 4.64.6切面與三角面片的交切面與三角面片的交 3 三角面片與剖切面的切割運(yùn)算 4 表面模型的剖切 (1)邊表和頂點表均為動態(tài)鏈表結(jié)構(gòu) (2)表面模型的剖切計算 class Cedgeclass Cedge class CedgeVertexclass CedgeVertex 4.4 剖切截面的生成 4.4.1

14、 邊界多邊形包含關(guān)系檢測與確定 1 封閉環(huán)的檢出 2 封閉輪廓的包含性檢測 夾角之和檢驗法夾角之和檢驗法: : 0n1iinii12 4.4.2 剖切面區(qū)域的三角剖分 1.任意平面多邊形Delaunay三角剖分示意圖圖4.11 圖4.7對應(yīng)輪廓的三角剖分 4.5 手術(shù)開窗操作 開窗操作一般是用立方體或棱柱對重建模型進(jìn)行切割，模型處于剖切體之內(nèi)的部分被切割掉，之外的部分被保留下來。 4.6 實驗結(jié)果分析 圖圖4.12模型的剖切與開窗模型的剖切與開窗 (a)剖切剖切 (b)開窗開窗 (c)開窗開窗 5 由基于輪廓重建的表面模型構(gòu)由基于輪廓重建的表面模型構(gòu)建實體幾何模型建實體幾何模型 5.1 引言

15、5.2 相關(guān)工作 （1）提取邊界輪廓線 （2）提取輪廓線上的特征點 （3）輪廓對應(yīng) （4）三維表面重建 （a a）輪廓線）輪廓線 （b b）基礎(chǔ)輪廓表面模型）基礎(chǔ)輪廓表面模型 （c c）左分支表面模型）左分支表面模型 （d d）右分支表面模型）右分支表面模型 圖圖5.3 5.3 輪廓及表面子模型輪廓及表面子模型 5.3 實體幾何模型的構(gòu)建 1 邊界模型的數(shù)據(jù)結(jié)構(gòu) 圖圖5.4 5.4 系統(tǒng)系統(tǒng)B- repB- rep模型的數(shù)據(jù)結(jié)構(gòu)及半邊的結(jié)構(gòu)示意模型的數(shù)據(jù)結(jié)構(gòu)及半邊的結(jié)構(gòu)示意 2 實體造型的基本操作 歐拉特征關(guān)系： 其中v、e、f、s、h分別代表頂點、邊、小面、殼和孔?；镜臍W拉操作包括如下互逆

16、的5對：MVFS，MEV，MEF，MEKR，KFMRH；KVFS，KEV，KEF，KEMR，MFKRH。其中M表示構(gòu)造，K表示刪除，S、E、V、F、R、H分別表示體、邊、頂點、面、環(huán)、孔。 )(2hsfevrhsfev)( 2 3 由輪廓重建的表面模型重建實體幾何模型的方法 用圖5.10(a)的表面模型說明構(gòu)建實體的主要步驟： (a)(a) (b)(b) （b b）光照圖）光照圖 圖圖5.11 5.11 實體模型實體模型 （a a）線框圖）線框圖 實體幾何模型的構(gòu)建結(jié)果6 6 適用于適形放射治療規(guī)劃的醫(yī)學(xué)圖適用于適形放射治療規(guī)劃的醫(yī)學(xué)圖象三維重建系統(tǒng)的開發(fā)象三維重建系統(tǒng)的開發(fā) 圖象輸入圖象輸入

17、 二維圖象預(yù)處理二維圖象預(yù)處理 圖象分割與提取圖象分割與提取 三維重建三維重建 （CT/MRICT/MRI） （濾波、插值）（濾波、插值） （自動分割、手工勾畫）（自動分割、手工勾畫） （MCMC、MTMT表面重建）表面重建） 病變體投影輪廓照射射束設(shè)置病變體投影輪廓照射射束設(shè)置 效果顯示效果顯示 幾何操作幾何操作（由此計算光柵廓線）（由此計算光柵廓線） （放射治療規(guī)劃）（放射治療規(guī)劃） （ 顏色、半透明）顏色、半透明） （剖切、手術(shù)開窗）（剖切、手術(shù)開窗） 圖圖6.16.1三維重建過程示意圖三維重建過程示意圖 重建系統(tǒng)結(jié)構(gòu)重建系統(tǒng)結(jié)構(gòu) 圖圖6.26.2系統(tǒng)結(jié)構(gòu)系統(tǒng)結(jié)構(gòu) 系統(tǒng)程序流程 圖圖 6

18、.3 6.3 系統(tǒng)程序流程系統(tǒng)程序流程 系統(tǒng)數(shù)據(jù)結(jié)構(gòu) 圖圖6.4 6.4 系統(tǒng)數(shù)據(jù)結(jié)構(gòu)系統(tǒng)數(shù)據(jù)結(jié)構(gòu) 系統(tǒng)界面系統(tǒng)界面 治療射束安排與光柵輪廓線計算 7 7 結(jié)論與展望結(jié)論與展望 7.1 工作總結(jié)工作總結(jié)(1) 對輸入圖象進(jìn)行了濾波、斷層插值并封裝成規(guī)則體數(shù)據(jù)。定義了體數(shù)據(jù)的內(nèi)存記錄方式及外存文件格式，壓縮存儲空間。(2) 提出并實現(xiàn)了三維醫(yī)學(xué)圖象交互分割的方法，交互分割的技術(shù)路線是：先分析斷層圖象，交互給定分割閾值，對圖象二值化，然后選擇適當(dāng)?shù)男螒B(tài)學(xué)操作進(jìn)行區(qū)域修整，最后用種子填充的方法填充出所要區(qū)域。(3)實現(xiàn)了MC算法和MT算法構(gòu)造表面模型。針對MT算法，為避免體元棱邊與等值面交點的重復(fù)性插值計算，提出了相關(guān)性處理方法。采用相關(guān)性處理，加快了MT算法的重建速度。(4) 實現(xiàn)了Hoppe的邊收縮算法，重建模型經(jīng)簡化90，依然能較好地保持原模型特征，基本不影響視覺效果。模型經(jīng)網(wǎng)格簡化，繪制時間大大縮短，提高了交互