蘇第七章醫(yī)學(xué)圖像可視化技術(shù)及應(yīng)用.

1、任務(wù)：任務(wù)：二維二維早期探索階段（1970s - 1980s） 主要針對(duì)心臟、肝臟、胚胎、神經(jīng)等器官的三維重建；表面重建的算法：輪廓線提取算法、輪廓線對(duì)應(yīng)算法、三角片鑲嵌算法、曲面擬合算法等等； 基礎(chǔ)算法研究階段（1990s） 基于體元的表面繪制算法：Cuberille，Marching ； 直接體繪制算法：Raycasting，Splatting，V-Buffer； 及各種加速算法； 實(shí)用系統(tǒng)研究階段(90年代末) 外科手術(shù)模擬系統(tǒng)、放射治療模擬、虛擬內(nèi)窺鏡、整形外科、解剖模擬。3、應(yīng)用領(lǐng)域、應(yīng)用領(lǐng)域診斷醫(yī)學(xué)： 在臨床核醫(yī)學(xué)研究中，CT圖象、磁共振圖象和超聲圖象的廣泛應(yīng)用是診斷的有力的手段。

2、應(yīng)用先進(jìn)的可視化技術(shù)對(duì)這些圖象進(jìn)行處理、構(gòu)造三維實(shí)體模型以及對(duì)其進(jìn)行剖切顯示，有助于了解復(fù)雜解剖特征的空間定位和隨著時(shí)間所發(fā)生的變化。 整形與假肢手術(shù)規(guī)劃 可視化技術(shù)在整形外科中的應(yīng)用是假肢設(shè)計(jì)（造型）。例如，在做髖骨更換手術(shù)前，需要根據(jù)病人的個(gè)體特征正確地設(shè)計(jì)所需髖骨假肢的外形，才能減少因假肢形狀差異造成手術(shù)失敗的概率。首先根據(jù)CT或MR圖象重構(gòu)假肢的精確三維模型，交工廠制作，然后進(jìn)行手術(shù)更換。 放射治療計(jì)劃 利用放射性射線殺死或抑制惡性腫瘤需要事先做出仔細(xì)規(guī)劃，包括劑量計(jì)算和照射點(diǎn)定位。如果輻射定位不準(zhǔn)或劑量不當(dāng)，輕則造成治療效果不佳，重則危及周圍正常組織。根據(jù)醫(yī)學(xué)圖象重建病人病灶區(qū)的解剖

3、結(jié)構(gòu)，并作出精確定位和劑量計(jì)算已是實(shí)際可行的。 腦結(jié)構(gòu)圖及其功能研究 由于腦的復(fù)雜性，純粹采用神經(jīng)生物學(xué)家所常采用的簡(jiǎn)化方法無法對(duì)之作出進(jìn)一步了解。可視化技術(shù)在通過組織切片、醫(yī)學(xué)成象儀器（如超聲波、CT、MR、PET等）、藥物吸收和神經(jīng)生理實(shí)驗(yàn)等手段獲取腦的數(shù)字圖象，并進(jìn)行特征提取和腦圖分析，重構(gòu)三維腦的結(jié)構(gòu)圖和功能圖，以適當(dāng)?shù)娜S顯示方式顯示出來。三維可視化的分類三維可視化的分類w曲面重建曲面重建CMPR是常規(guī)是常規(guī)MPR的一種引伸方法，的一種引伸方法，能使復(fù)雜的三維結(jié)構(gòu)有效地顯示在一個(gè)單一能使復(fù)雜的三維結(jié)構(gòu)有效地顯示在一個(gè)單一的展開的斷面上，避免了與掃描平面不平行的展開的斷面上，避免了與掃

4、描平面不平行的結(jié)構(gòu)或彎曲的結(jié)構(gòu)縮短和重疊。的結(jié)構(gòu)或彎曲的結(jié)構(gòu)縮短和重疊。二維分割二維分割三維分割三維分割醫(yī)學(xué)圖像的三維重建就是根據(jù)輸入的醫(yī)學(xué)圖像的三維重建就是根據(jù)輸入的斷層圖像序列，經(jīng)分割和提取后，構(gòu)建斷層圖像序列，經(jīng)分割和提取后，構(gòu)建出待建組織的三維幾何表達(dá)。這種三維出待建組織的三維幾何表達(dá)。這種三維幾何表達(dá)的模型最常用的就是表面模型。幾何表達(dá)的模型最常用的就是表面模型。表面模型一般以平面片特別是三角面片表面模型一般以平面片特別是三角面片來逼近表示，對(duì)于封閉的表面，構(gòu)成一來逼近表示，對(duì)于封閉的表面，構(gòu)成一多面體，這時(shí)也稱多面體模型。多面體，這時(shí)也稱多面體模型。早期早期CT切片間距較大，因此早

5、期的主要切片間距較大，因此早期的主要研究工作集中在輪廓連接（研究工作集中在輪廓連接（Contour Connection）或稱從平面輪廓重建形體）或稱從平面輪廓重建形體（Shape from Planar Contours），其中），其中具有代表性的是具有代表性的是Keppel在在1975年提出的用年提出的用三角片擬合物體表面的方法。這類重建方三角片擬合物體表面的方法。這類重建方法需要解決斷層圖像上的輪廓提取、層之法需要解決斷層圖像上的輪廓提取、層之間的輪廓對(duì)應(yīng)和物體外表面的擬合等問題。間的輪廓對(duì)應(yīng)和物體外表面的擬合等問題。隨著新一代隨著新一代CT和和MRI設(shè)備出現(xiàn)，切片間距設(shè)備出現(xiàn)，切片間距

6、及切片內(nèi)像素間距都可以達(dá)到很小，出現(xiàn)及切片內(nèi)像素間距都可以達(dá)到很小，出現(xiàn)了基于體素級(jí)的重建方法。了基于體素級(jí)的重建方法。用用MC方法構(gòu)造的組織或器官的表面模型一般都有數(shù)方法構(gòu)造的組織或器官的表面模型一般都有數(shù)十萬甚至上百萬個(gè)三角片，用十萬甚至上百萬個(gè)三角片，用MT方法構(gòu)造的表面模型方法構(gòu)造的表面模型三角面片的數(shù)量更多。示例圖的重建模型的三角面片數(shù)三角面片的數(shù)量更多。示例圖的重建模型的三角面片數(shù)為為696889。模型的三角面數(shù)量巨大，占據(jù)大量的存儲(chǔ)。模型的三角面數(shù)量巨大，占據(jù)大量的存儲(chǔ)容量。更重要的是難以實(shí)現(xiàn)對(duì)模型的實(shí)時(shí)交互繪制，因容量。更重要的是難以實(shí)現(xiàn)對(duì)模型的實(shí)時(shí)交互繪制，因?yàn)閿?shù)十萬的三角面

7、片，即使用最簡(jiǎn)單的為數(shù)十萬的三角面片，即使用最簡(jiǎn)單的Phong光照模光照模型進(jìn)行繪制，也需要數(shù)秒的時(shí)間。重建組織的數(shù)量增加，型進(jìn)行繪制，也需要數(shù)秒的時(shí)間。重建組織的數(shù)量增加，三角面的數(shù)量巨增，難以實(shí)現(xiàn)模型的旋轉(zhuǎn)、平移、縮放三角面的數(shù)量巨增，難以實(shí)現(xiàn)模型的旋轉(zhuǎn)、平移、縮放和剖切等實(shí)時(shí)交互操作。因此，要提高實(shí)時(shí)交互能力，和剖切等實(shí)時(shí)交互操作。因此，要提高實(shí)時(shí)交互能力，就必須對(duì)模型進(jìn)行網(wǎng)格簡(jiǎn)化。就必須對(duì)模型進(jìn)行網(wǎng)格簡(jiǎn)化。網(wǎng)格簡(jiǎn)化也是虛擬現(xiàn)實(shí)中細(xì)節(jié)層次網(wǎng)格簡(jiǎn)化也是虛擬現(xiàn)實(shí)中細(xì)節(jié)層次（Level of Detail，簡(jiǎn)稱，簡(jiǎn)稱LOD）模型的）模型的主要研究?jī)?nèi)容，其思想是在場(chǎng)景中近景主要研究?jī)?nèi)容，其思想是

8、在場(chǎng)景中近景用精細(xì)模型而遠(yuǎn)景用粗略模型表達(dá)，以用精細(xì)模型而遠(yuǎn)景用粗略模型表達(dá)，以實(shí)現(xiàn)實(shí)時(shí)繪制的需要。早在實(shí)現(xiàn)實(shí)時(shí)繪制的需要。早在70年代年代Clark就提出了層次化模型的思想。就提出了層次化模型的思想。1、面繪制、面繪制2、體繪制、體繪制我們這里說的我們這里說的“繪制繪制”一詞，英文是一詞，英文是“Rendering”。還經(jīng)常被譯做。還經(jīng)常被譯做“描繪描繪”、“渲染渲染”、“重建重建”或或“顯示顯示”等。它的等。它的比較嚴(yán)格定義應(yīng)該是：實(shí)際比較嚴(yán)格定義應(yīng)該是：實(shí)際3D3D物體的物體的2D2D照相寫真式表示。屬于照相寫真式表示。屬于3D3D物體在物體在2D2D平面平面真實(shí)感投影，二者有嚴(yán)格定量關(guān)

9、系及視覺真實(shí)感投影，二者有嚴(yán)格定量關(guān)系及視覺真實(shí)感。真實(shí)感。表面表面重建重建皮膚皮膚灰度灰度閾值閾值HU=500表面表面重建重建皮膚皮膚HU=500骨頭骨頭HU=1150表面表面重建重建透明顯示透明顯示皮膚皮膚HU=500表面表面重建重建透透明顯示明顯示皮膚皮膚HU=500骨骼骨骼HU=1150阻光度阻光度=0.8阻光度阻光度=0.6阻光度阻光度=0.4阻光度阻光度=0.25 在自然環(huán)境和計(jì)算模型中，許多對(duì)象和在自然環(huán)境和計(jì)算模型中，許多對(duì)象和現(xiàn)象只能用三維數(shù)據(jù)場(chǎng)來表示。與傳統(tǒng)的計(jì)現(xiàn)象只能用三維數(shù)據(jù)場(chǎng)來表示。與傳統(tǒng)的計(jì)算機(jī)圖形學(xué)相比，對(duì)象體不再用幾何曲面或算機(jī)圖形學(xué)相比，對(duì)象體不再用幾何曲面或

10、曲線表示的三維實(shí)體，而是用體素（曲線表示的三維實(shí)體，而是用體素（Voxel）作為基本造型單元。對(duì)于每一體素，不僅其作為基本造型單元。對(duì)于每一體素，不僅其表面而且其內(nèi)部都包含了對(duì)象信息，這是僅表面而且其內(nèi)部都包含了對(duì)象信息，這是僅用曲線和曲面等幾何造型方法所無法表示的。用曲線和曲面等幾何造型方法所無法表示的。直接由三維數(shù)據(jù)場(chǎng)產(chǎn)生屏幕上的二維圖象，直接由三維數(shù)據(jù)場(chǎng)產(chǎn)生屏幕上的二維圖象，稱為體繪制算法。這種方法能產(chǎn)生三維數(shù)據(jù)稱為體繪制算法。這種方法能產(chǎn)生三維數(shù)據(jù)場(chǎng)的整體圖象，包括每一個(gè)細(xì)節(jié)，并具有圖場(chǎng)的整體圖象，包括每一個(gè)細(xì)節(jié)，并具有圖象質(zhì)量高、便于并行處理等優(yōu)點(diǎn)。體繪制不象質(zhì)量高、便于并行處理等優(yōu)

11、點(diǎn)。體繪制不同于面繪制，它不需要中間幾何圖元，而是同于面繪制，它不需要中間幾何圖元，而是以體素為基本單位，直接顯示圖像。以體素為基本單位，直接顯示圖像。體繪制的目的就在于提供一種基于體素的繪體繪制的目的就在于提供一種基于體素的繪制技術(shù)，它有別于傳統(tǒng)的基于面的繪制，能制技術(shù)，它有別于傳統(tǒng)的基于面的繪制，能顯示出對(duì)象體的豐富的內(nèi)部細(xì)節(jié)。顯示出對(duì)象體的豐富的內(nèi)部細(xì)節(jié)。體光照模型 體光照模型是研究直接體繪制的基礎(chǔ)。從物理意義上講，當(dāng)光線穿過體素與光線遇到一曲面時(shí)，會(huì)發(fā)生不同的光學(xué)現(xiàn)象。前者如光線穿過云層會(huì)發(fā)生吸收、散射等現(xiàn)象；后者如光線射到桌面上，有漫射、反射、透射等現(xiàn)象。不同的物理背景決定了體光照強(qiáng)

12、度的計(jì)算與面光照強(qiáng)度的計(jì)算有不同的模型和方法。體光照模型就是研究光線穿過體素時(shí)的變化，將光線穿過體素時(shí)的物理現(xiàn)象用數(shù)學(xué)模型來描述。在目前的體繪制中，采用得較多的有： 源-衰減模型（Source attenuation） 變密度發(fā)射模型（Varying density emitters） 材料分類及組合模型（Classification and mixture） 源-衰減模型最早由Jaffery提出。該模型為體數(shù)據(jù)場(chǎng)中的每一體素分配一個(gè)源強(qiáng)度和一個(gè)衰減系數(shù)，每一個(gè)體素作為一個(gè)質(zhì)點(diǎn)光源，發(fā)出的光線在數(shù)據(jù)場(chǎng)中沿距離衰減后被投影到視平面上，形成結(jié)果圖象。 當(dāng)光照射到物體表面時(shí)，光線可能被吸收、反射和透

13、射。被物體吸收的部分轉(zhuǎn)化為熱，反射、透射的光進(jìn)入人的視覺系統(tǒng)，使我們能看見物體。 為模擬這一現(xiàn)象，建立一些數(shù)學(xué)模型來替代復(fù)雜的物理模型，這些模型就稱為明暗效應(yīng)模型或者光照明模型。三維形體的圖形經(jīng)過消隱后，再進(jìn)行明暗效應(yīng)的處理，可以進(jìn)一步提高圖形的真實(shí)感。 計(jì)算某一點(diǎn)的光強(qiáng)度的模型。 光源 法向量 入射光 反射光 視線 入射光折射光2112sinsinidstvIIIII0 . 1aI4 . 0aK8 . 0aK2, 0cosdpdKIIpIdKdI)(NLKIKIIIIdpaade光滑平面I = Ip K scosna鏡面nspsKIIcosnspsRVKII)(或pI)()(nsdpaasd

14、eRVKNLKIKIIIIIIe=0.75，Id=0.5 Is=0.25Ie=0. 5，Id=0.5 Is=0.25Ie=0.75，Id=0.75 Is=0Ie=0.75，Id=0 Is=0.75Ie=1，Id=0 Is=0.9體繪制方法 體光照模型提供了體數(shù)據(jù)中各數(shù)據(jù)點(diǎn)光照強(qiáng)度的計(jì)算方法，體繪制方法提供的是二維結(jié)果圖象的生成方法。 首先根據(jù)數(shù)據(jù)點(diǎn)值對(duì)每一數(shù)據(jù)點(diǎn)賦以透明度t和顏色值（R,G,B），再根據(jù)各數(shù)據(jù)點(diǎn)所在點(diǎn)的梯度及光照模型計(jì)算出各數(shù)據(jù)點(diǎn)的光照強(qiáng)度，然后將投射到圖象。 平面中同一象素點(diǎn)的各數(shù)據(jù)點(diǎn)的透明度和顏色值綜合在一起，形成最終的結(jié)果圖象。 根據(jù)不同的繪制次序，體繪制可以分為兩類 以

15、圖象空間為序的體繪制方法-體光線跟蹤法 以對(duì)象空間為序的體繪制方法-體單元投影法 體光線跟蹤法 - 光線投射法光線投射法(Ray Casting) 以圖象空間為序的體光線跟蹤繪制算法是從屏幕上的每一象素點(diǎn)出發(fā)，根據(jù)視點(diǎn)方向，發(fā)出一條射線，這條射線穿過三維體數(shù)據(jù)場(chǎng)。沿這條射線選擇K個(gè)等距采樣點(diǎn)，由距離采樣點(diǎn)最近的八個(gè)體素的顏色值和不透明度值做三線性插值，求出該采樣點(diǎn)的顏色值和不透明度值。而后可以采用由后到前或由前到后的方法，將射線上每一采樣點(diǎn)的顏色和不透明度組合起來，計(jì)算出屏幕上該象素點(diǎn)對(duì)應(yīng)的顏色值。 光線跟蹤算法的主要步驟是： For 每條光線 Do For 每個(gè)與光線相交的體素 Do計(jì)算該體

16、素對(duì)圖象空間對(duì)應(yīng)象素的貢獻(xiàn)。根據(jù)光子傳輸理論根據(jù)光子傳輸理論,有以下體顯示方程有以下體顯示方程:體單元投影法 以對(duì)象空間為序的體繪制方法首先根據(jù)每個(gè)數(shù)據(jù)點(diǎn)的函數(shù)值計(jì)算該點(diǎn)的不透明度及顏色值， 然后根據(jù)給定的視平面和觀察方向，將每個(gè)數(shù)據(jù)點(diǎn)的坐標(biāo)由對(duì)象空間變換到圖象空間； 接著根據(jù)選定的光照模型，計(jì)算出每個(gè)數(shù)據(jù)點(diǎn)處的光強(qiáng)；然后根據(jù)選定的重構(gòu)核函數(shù)計(jì)算出從三維數(shù)據(jù)點(diǎn)光強(qiáng)到二維圖象空間的映射關(guān)系，得出每個(gè)數(shù)據(jù)點(diǎn)所影響的二維象素的范圍及對(duì)其中每個(gè)象素點(diǎn)的光強(qiáng)的貢獻(xiàn)； 最后將不同的數(shù)據(jù)點(diǎn)對(duì)同一象素點(diǎn)的貢獻(xiàn)加以合成。 單元投影算法的主要步驟： For 每一體素或單元 DoFor 該體素在視平面投影區(qū)域內(nèi)的每

17、一象素 Do計(jì)算象素點(diǎn)獲得的光強(qiáng)。 面繪制面繪制最大的特點(diǎn)是采用曲面造型技術(shù)，生成數(shù)據(jù)場(chǎng)等值面的曲面表示，再采用面光照模型計(jì)算出繪制圖象。面繪制與體繪制比較 體體繪制繪制特點(diǎn)就在于放棄了傳統(tǒng)圖形學(xué)中體由面構(gòu)造的這一約束，采用體繪制光照模型直接從三維數(shù)據(jù)場(chǎng)中繪制出各類物理量的分布情況。等值面、等勢(shì)面、等數(shù)據(jù)場(chǎng)的幾何面表示方法是研究者們?yōu)榱诉m應(yīng)圖形顯示，人為地提出的一種數(shù)據(jù)場(chǎng)表示形式。體繪制的根本點(diǎn)就在于放棄了這一做法，直接研究光線穿過三維體數(shù)據(jù)場(chǎng)時(shí)的變化，得到最終的繪制結(jié)果，所以有時(shí)體繪制也被稱做直接體繪制。由于體繪制的這種直接性，非常符合人的視見過程，因此保留了大量的細(xì)節(jié)信息大大地提高了圖象的保真度，這時(shí)圖象質(zhì)量已不在以來面地分割如何，而是集中在光照模型、繪制過程上。 面繪制要構(gòu)造中間曲面表示，必然要通過域值或極值等方法提取出中間曲面，這就是被稱為分割（Segmentation）的過程。由于目前的分割基本上還是一種二者擇一的方法，缺少準(zhǔn)確有效的方法。通過分割，許多三維數(shù)據(jù)場(chǎng)中的細(xì)節(jié)信息被丟失，有些分界面被擴(kuò)大，結(jié)果的飽真性較差。體繪制由于直接研究光線通過體數(shù)據(jù)場(chǎng)時(shí)與體素