圖形學(xué)課程-可視化在醫(yī)學(xué)中的應(yīng)用

1、圖形學(xué)課程之可視化在醫(yī)學(xué)中的研究可視化在醫(yī)學(xué)中的研究南方醫(yī)科大學(xué)生物醫(yī)學(xué)工程學(xué)院郝立巍博士， 2006介紹內(nèi)容 可視化技術(shù)簡介 常見軟件工具介紹: VTK ITK AVS&AMIRA MITK IDL/3D Doctor/Mimics/VGStudio(Skip) 總結(jié)與討論可視化技術(shù)簡介圖形學(xué)在醫(yī)學(xué)中應(yīng)用總論 三維重建 治療計(jì)劃 計(jì)算機(jī)輔助外科（CAS） 虛擬現(xiàn)實(shí)（VR） 虛擬人項(xiàng)目 手術(shù)模擬訓(xùn)練 最開始 Roentgen 一百年前接下來 - CT Hounsfield 30多年前現(xiàn)在掃描速度越來越快，數(shù)據(jù)量越來越大醫(yī)學(xué)可視化研究的產(chǎn)生 目的：從2D堆疊的數(shù)據(jù)得到3D圖像渲染：科學(xué)美

2、學(xué) 兩種主要渲染方法：等值面 3D網(wǎng)格上搜索等值面 由三角網(wǎng)格近似 轉(zhuǎn)化為面片集，直接渲染 輪廓線重建（略） Marching Cubes（MC） 在8個(gè)像素組成的體元中搜索。 體元內(nèi)可能存在的等值面用線性插值近似處理為平面。繼續(xù)匹配下一個(gè)體元繼續(xù)匹配下一個(gè)體元 對每個(gè)節(jié)點(diǎn)判斷它在面內(nèi)還是面外 如果一條邊的兩個(gè)端點(diǎn)一個(gè)在面內(nèi)一個(gè)在面外就認(rèn)為這條邊與等值面相交MC ：等值面與Cubes相交的判斷MC ：窮舉等值面與Cubes相交類型 理論上 28=256種等值面與Cube的相交類型 三角化每種情況MC ：利用對稱減少等值面與Cubes相交類型 利用對稱性，等值面與Cube相交的類型由256種減少

3、到15種。MC ：等值面與Cubes15種類型MC ：算法簡介 利用線性插值計(jì)算等值面與體元的邊的相交情況. 計(jì)算體元每個(gè)角點(diǎn)的梯度 采用離散近似的方法 利用線性插值，計(jì)算三角形各頂點(diǎn)的梯度，即認(rèn)為是各頂點(diǎn)的法向量（錯(cuò)誤的計(jì)算方向?qū)е碌戎得婧诙矗?對三角形的每個(gè)節(jié)點(diǎn)置法向量（或三角形置法向量）zkjiDkjiDkjiGykjiDkjiDkjiGxkjiDkjiDkjiGzyx2) 1,() 1,(),(2), 1,(), 1,(),(2), 1(), 1(),(MC ：結(jié)果組織 小面片組成一個(gè)大的等值面 渲染MC ：優(yōu)點(diǎn)與問題 優(yōu)點(diǎn) 渲染簡單，易于硬件加速 高解析度 問題 生成的模型過于復(fù)雜

4、MC的三角面片是待求等值面的近似表示 幾何二義性 可能形成空洞256x256x128 820,000MC ：可以繼續(xù)的工作 成組連接 可視面判別 并行、大數(shù)據(jù)量處理 切割、組合、填充 混合渲染 實(shí)用的軟件 等值面面片的簡化 曲線擬合 3維變形及受力模擬 與特定硬件結(jié)合的研究體繪制 基本思想 無需構(gòu)建三維幾何模型 直接使用體數(shù)據(jù) 幾種加速方法 軟件加速方法 Shear-warp 方法 硬件加速方法 2D/3D紋理映射直接體繪制 直接渲染沒有提取任何表面 (DVR) 把標(biāo)量值映射為光學(xué)屬性（顏色、透明度） 選擇一個(gè)光學(xué)模型：發(fā)射、吸收或混合 通過光線跟蹤的方法實(shí)現(xiàn)體繪制積分光學(xué)模型 吸收型(比如D

5、RR，Digitally Reconstruction Radiology ) 發(fā)射型 吸收發(fā)射混合型 最大密度投射（CTA，MRA）尺度值 s顏色值 RGB透明度 AT(s)物質(zhì)的分類光線跟蹤 體繪制積分的數(shù)值近似 沿光線追蹤方向等步長采樣 三線性差值體繪制圖像的合成沿著入射光線重采樣沿著入射光線重采樣:RayT(s)T(s)由后到前的合成：由后到前的合成：最大密度投射（MIP）沒有發(fā)射和吸收 取沿入射光線上的最大尺度值光線s0s 優(yōu)點(diǎn)優(yōu)點(diǎn): 不需要傳遞函數(shù)! 缺點(diǎn)缺點(diǎn): 沒有深度信息!尺度值 S最大尺度 Smax體繪制加速算法 軟件：ShearWarp 硬件：2D/3D 紋理加速Shear

6、-warp 變換 直接體繪制速度慢的幾點(diǎn)思考： 沿光線方向的坐標(biāo)變換費(fèi)時(shí) 三維離散數(shù)據(jù)場的重新采樣 如果數(shù)據(jù)集的方向與入射方向垂直計(jì)算就簡單多了 Shear-warp算法 對數(shù)據(jù)集進(jìn)行錯(cuò)切變換 計(jì)算沿光線上各點(diǎn)的貢獻(xiàn)的積分變成了平行方向的疊加 把結(jié)果再變形回來 繼續(xù)提速的辦法 快速消除透明體素硬件加速方法2D 紋理加速3D 紋理加速紋理加速的原理幾何近似幾何近似 （考慮成紋理薄片）（考慮成紋理薄片）沒有對應(yīng)體數(shù)據(jù)的幾何元素沒有對應(yīng)體數(shù)據(jù)的幾何元素GeometryProcessingRasterizationFragmentOperations2D紋理加速 軸對齊的薄片軸對齊的薄片硬件的雙線性插

7、值硬件的雙線性插值在內(nèi)存中數(shù)據(jù)集成三個(gè)正交方向存三份在內(nèi)存中數(shù)據(jù)集成三個(gè)正交方向存三份!2D紋理加速: 弱點(diǎn)產(chǎn)生原因是雙線性插值代替三線性插值產(chǎn)生的誤差產(chǎn)生原因是雙線性插值代替三線性插值產(chǎn)生的誤差更好的選擇: 3D 紋理映射根據(jù)視點(diǎn)對齊的數(shù)據(jù)根據(jù)視點(diǎn)對齊的數(shù)據(jù) 利用硬件的三線性插值利用硬件的三線性插值在內(nèi)存中只需保留一份數(shù)據(jù)在內(nèi)存中只需保留一份數(shù)據(jù)生成紋理薄片生成紋理薄片紋理薄片的渲染紋理薄片的渲染結(jié)果圖像結(jié)果圖像硬件三線性插值硬件三線性插值合成合成3D紋理映射示意醫(yī)學(xué)中體繪制：可以繼續(xù)的工作 加速（軟件，硬件） 傳遞函數(shù) 混合體繪制（MIPRayCast） 體繪制中的物體的拾取 混合渲染（體

8、繪制面繪制） 實(shí)用的軟件 頻域體繪制研究（傅立葉投影截面定理） 多模圖像的體繪制體繪制結(jié)果（1）明暗計(jì)算明暗計(jì)算體繪制結(jié)果（2）傳遞函數(shù)傳遞函數(shù)體繪制結(jié)果（3）MIP發(fā)射吸收模型最大密度投射三種常見可視化模式同時(shí)顯示 體繪制, 等值面, 混合模式體繪制的優(yōu)缺點(diǎn) 優(yōu)點(diǎn) 可以同時(shí)顯示多種組織 高解析度 缺點(diǎn) 渲染過程復(fù)雜 交互性差：慢，物體拾取困難VTK簡介 VTK的內(nèi)容 支持幾乎所有的通用可視化算法和常見圖像處理算法。 利用C+，面向?qū)ο箝_發(fā)的對象庫。 到3.2版本為止，一共包含600個(gè)類和32.5萬行代碼。 跨平臺 支持OpenGL 和 Mesa。 支持多種解釋型語言“粘合”代碼: Tcl/T

9、k, Java, and Python 開放源代碼。 VTK設(shè)計(jì)思想 Data source Visualizatoin Graphics數(shù)據(jù)流思想: 管道模式Source Filter Mapper Actor 數(shù)據(jù)流方向 update方向RenderVisualization model Graphics modelVTK圖形模型模擬現(xiàn)實(shí)世界的舞臺的一個(gè)場景交互類設(shè)計(jì)cameraLightActorscreenVTK圖形模型(2)對應(yīng)上一頁的類抽象vtkCameravtkLightvtkActorvtkPropertyvtkMappervtkTransformvtkRenderWindow

10、vtkRenderervtkRenderWindowInteractorVTK圖形模型(3)1 vtkRenderWindow2 vtkRenderervtkCameravtkLightvtkActor( property, geometry(mapper), transformation, etc)VTK 的應(yīng)用3D Slicer:8000/pages/papers/slicer/VTK 的學(xué)習(xí)資源 VTK Users Guide June 1999, Will Schroeder and Ken Martin, Kitware, In

11、c. (1999) The Visualization Toolkit, 2nd ed., Will Schroeder, Ken Martin and Bill Lorensen, Prentice Hall PTR (1998) ISBN 0-13-954694-4. Manual pages for all releases are available through: vtkusers mailing list available through KitwareITK簡介什么是 ITK? ITK 是專門用于處理醫(yī)學(xué)圖像的分割與配準(zhǔn)問題的代碼開放的軟件開發(fā)包。 ITK 雖然是主要針對醫(yī)學(xué)

12、圖像處理，也同樣可以用來處理其他類型的圖像。 ITK 主要是使用C+語言來設(shè)計(jì)和實(shí)現(xiàn)。同時(shí)支持解釋性語言(TCL, Python)“粘合”各個(gè)軟件模塊，比較簡單地實(shí)現(xiàn)運(yùn)用層次的開發(fā)。ITK的起源：美國虛擬人計(jì)劃美國虛擬人計(jì)劃2的一部分的一部分 NLM (the US National Library of Medicine) 及其它六個(gè)主要的組織。 三個(gè)商業(yè)伙伴: GE 研發(fā)部, Kitware和 Insightful 三個(gè)學(xué)術(shù)界伙伴： North Carolina (UNC), University of Tennessee (UT), and University of Pennsylva

13、nia (UPenn)ITK庫的設(shè)計(jì)特點(diǎn) ITK 跨平臺 (Unix and Windows)。 ITK 大量使用C+的 語言特性，同時(shí)又支持MSVC, Sun, gcc 和 SGI等多種編譯器 。 “Smart pointers”: 智能指針，簡化資源的管理。 Cmake: 跨平臺的編譯環(huán)境。ITK 庫的主要內(nèi)容（1） ITK 主要設(shè)計(jì)理念是提供一個(gè)研究新算法和運(yùn)用老算法的通用平臺。 配準(zhǔn)算法: Metrics: Mutual Information Landmark Distance Transformations Affine, Rigid, or Projective Kernel-b

14、ased (e.g., Elastic-Body Splines and Thin-Plate Splines) Optimization Algorithms Conjugate Gradient Gradient DescentITK 庫的主要內(nèi)容（2） 分割算法: Deformable mesh Balloon force filter Region growing Watershed 圖像處理算法: Contrast Enhancement (Power-law Adaptive Histogram Equalization ) Morphology Image filtersITK帶

15、給我們的益處 可以從大量優(yōu)秀的代碼中學(xué)習(xí)。 減少了重復(fù)開發(fā)的工作量。 建立了一個(gè)基礎(chǔ)的可通用的算法庫。 建立了一個(gè)可用于高級開發(fā)的算法平臺。 方便了我們的以后的研究工作。 ITK與VTK的關(guān)系 相似性: 代碼開放的結(jié)構(gòu) 庫設(shè)計(jì)結(jié)構(gòu)相似: 數(shù)據(jù)流的類關(guān)聯(lián)結(jié)構(gòu) 使用對象廠的模式 相似的庫維護(hù)和發(fā)展機(jī)制. 不同: VTK: Visualization ITK: Segmentation and Registration ITK 使用模板和智能指針 不同數(shù)據(jù)格式ITK與VTK的接口 回調(diào)函數(shù)用于連接 ITK和VTK的數(shù)據(jù)管道 : ITK: itkVTKImageImport, itkVTKImageE

16、xport VTK: vtkImageImport, vtkImageExport Typical data flow:vtkDatavtkImageExportItk:VTKImageImportItk:ImageFilterItk:VTKImageExportvtkImageImportITK應(yīng)用實(shí)例 - 利用互信息量配準(zhǔn)Visualization by VTKPatient scans in multi modalitiesinput VTK /ITK InterfaceRegistrationresultsoutputUpdateviewportsMutual Information

17、Registration Filterin ITKItk:MutualInformationImageToImageMetricItk:Rigid or AffineRegistrationItk:GradientDescentOptimizerITK應(yīng)用實(shí)例 - 利用互信息量配準(zhǔn)（2）商業(yè)可視化工具-AVS&AMIRA介紹AVS/Express的內(nèi)容 面向?qū)ο罂梢暬ぞ?模塊化 分層次 開放可擴(kuò)展 上百種預(yù)先定義的可視化開發(fā)工具 分析 顯示 數(shù)據(jù)編輯 交互 組件庫選擇頁 菜單條 組件庫 被使用的組件 狀態(tài)條組件AVS編程界面生成一個(gè)立方體的示例生成一個(gè)立方體的示例（2）Amira 最

18、簡單地醫(yī)學(xué)可視化系統(tǒng)最簡單地醫(yī)學(xué)可視化系統(tǒng) 支持多種可視化方法 支持硬件加速 支持多種文件格式 傻瓜化的可視化數(shù)據(jù)處理 參數(shù)調(diào)節(jié)多樣 幾乎沒有學(xué)習(xí)曲線 Amira體繪制示例體繪制示例Amira體繪制示例（體繪制示例（2）MITK介紹http:/ MITK, Medical Imaging ToolKit, is a C+ library for integrated medical image processing and analyzing developed by 中國科學(xué)院自動化研究所醫(yī)學(xué)影像處理研中國科學(xué)院自動化研究所醫(yī)學(xué)影像處理研究組究組. The development of MITK is inspired by the big success of open source softwares VTK and ITK, and its main purpose is to provide medical image community a consistent framework to combine the function of medical image segmentation, registration and visualiz