CT圖像肺結節(jié)計算機輔助檢測算法研究與實現(xiàn)課件

1、CT圖像肺結節(jié)計算機輔助檢測算法的研究與實現(xiàn) 2021/2/61CT圖像肺結節(jié)計算機輔助檢測算法的研究與實現(xiàn) 2021/2/內(nèi)容提要一、項目進展情況二、研究過程三、成果展示四、經(jīng)費使用情況五、新結果六、項目組成員的訓練收獲2021/2/62內(nèi)容提要一、項目進展情況2021/2/62一、項目進展情況(1)前期調(diào)研:查閱大量的中英文文獻資料,確定項目的研究方法和手段;項目進行中，項目組成員到醫(yī)院進行實地調(diào)研，先后與河北大學附屬醫(yī)院和中國人民解放軍第263醫(yī)院醫(yī)生合作，了解了當下醫(yī)生在應用肺部CT圖像診斷病人患病時的實際需求，并共同商討了項目解決的方案；獲取并整理實驗數(shù)據(jù)，數(shù)據(jù)主要來源于LIDC和河

2、北大學附屬醫(yī)院的CT影像，經(jīng)過歸納整理、分類存儲，為此后的研究提供了方便。確定算法實現(xiàn)方案：分割肺實質(zhì)；識別肺內(nèi)顯著區(qū)域及結節(jié)；肺結節(jié)的三維重建；對肺內(nèi)ROI進行量化分析及聚類分析。2021/2/63一、項目進展情況(1)前期調(diào)研:2021/2/63一、項目進展情況(2)擬定項目實施解決方案:本項目針對肺部CT圖像的特點,利用計算機圖像處理及模式識別等技術，在肺部異常結節(jié)狀病變的計算機輔助檢測、量化分析、聚類分析和三維重建方面開展研究?？傮w流程圖ROI提取結節(jié)量化分析肺實質(zhì)分割圖像預處理圖像獲取三維空間顯示結節(jié)聚類分析2021/2/64一、項目進展情況(2)擬定項目實施解決方案:總體流程圖R結

3、節(jié)一、項目進展情況(3)確定實驗環(huán)境和實驗方法:實驗環(huán)境：編程語言主要有C+、C#,編程工具主要采用Visual C+6.0以及Visual Studio 2008，部分函數(shù)調(diào)用了提供醫(yī)學圖像處理算法的VTK、ITK平臺（針對于C+）;實驗方法：首先依據(jù)擬定的算法實現(xiàn)解決方案，分階段按步驟進行實驗。然后進行階段性總結各個階段中會對比不同的函數(shù)算法等得出最佳解決方案。最后，將各個階段的程序統(tǒng)和，排查錯誤，完善整個算法。2021/2/65一、項目進展情況(3)確定實驗環(huán)境和實驗方法:2021/2/肺部CT圖像特性簡介一幅視窗為肺窗的肺部CT圖像中含有很多信息。A為肺實質(zhì),B為肺結節(jié)，C為肺內(nèi)支氣管

4、和血管，D為胸骨及周圍軟組織部分，E為CT圖像所取的窗寬和窗位值，F(xiàn)為患者的主要信息及圖像的成像日期、成像所在醫(yī)院、圖像序列號等信息，G為氣管和支氣管，H為CT床，I為標尺。2021/2/66肺部CT圖像特性簡介一幅視窗為肺窗的肺部CT圖像中含有很多信肺結節(jié)實例2021/2/67肺結節(jié)實例2021/2/67二、研究過程肺實質(zhì)自動分割肺實質(zhì)初步提取肺實質(zhì)修補肺實質(zhì)連接肺內(nèi)ROI提取肺內(nèi)顯著區(qū)域提取候選肺結節(jié)識別特征提取及量化分析聚類分析三維重建2021/2/68二、研究過程肺實質(zhì)自動分割2021/2/68肺實質(zhì)自動分割肺實質(zhì)初步提取一張肺部CT圖像包含很多信息,為了自動檢測出是否包含肺結節(jié)，需要

5、先去除不必要的信息，通常的做法是提取肺實質(zhì)。肺實質(zhì)提取思想從肺部CT圖像中可以看到，胸廓的形狀是閉合的，而且肺實質(zhì)包含在其中，所以如果找到胸廓，然后去除胸廓和胸廓以外的部分，那么剩下的就是肺實質(zhì)和氣管。氣管的位置在中間，而且面積較小，只要在去除胸廓和胸廓以外部分后，去除位于圖像中央、面積較小的氣管（支氣管），就將肺實質(zhì)提取出來了。2021/2/69肺實質(zhì)自動分割肺實質(zhì)初步提取2021/2/69肺實質(zhì)自動分割肺實質(zhì)提取方法胸廓是圖像中高亮度連通區(qū)域中面積最大的部分,對圖像去噪，二值化后，遍歷圖像中的所有值為255的連通區(qū)域，并且計算區(qū)域大小，記錄其中最大的區(qū)域，標記該區(qū)域，從圖像左上角和右下角做

6、區(qū)域生長，只要不是標記的胸廓部分就生長并且去除，這樣就去除胸廓以外的部分，然后去除標記的胸廓再去除氣管就將肺實質(zhì)提取出來了。2021/2/610肺實質(zhì)自動分割肺實質(zhì)提取方法2021/2/610CT原圖二值化結果去除胸廓及以外部分和氣管結果2021/2/611CT原圖二值化結果去除胸廓及以外部分和氣管結果2021/2/在肺實質(zhì)邊緣上存在血管,也可能存在結節(jié)，它們的亮度都比較高，所以在去除胸廓時當作胸廓一并去除了。在肺實質(zhì)初步提取后要對邊緣進行修補，將過度分割的部分修補回來。肺實質(zhì)邊緣修補方法利用模版匹配法尋找邊緣凸點，凸點分別入隊，左右肺入不同隊對左右肺凸點分別進行計算，只要兩個凸點A和B滿足下

7、面兩式:則連接A和B兩點，為了使修補更加完整，連線算法采用一種基于貝塞爾曲線的方法。肺實質(zhì)修補2021/2/612在肺實質(zhì)邊緣上存在血管,也可能存在結節(jié)，它們的亮度都比較高，肺實質(zhì)修補貝塞爾曲線P0、P1、P2、P3四個點在平面或在三維空間中定義了三次貝茲曲線。曲線起始于P0走向P1,并從P2的方向來到P3。一般不會經(jīng)過P1或P2;這兩個點只提供方向信息。P0和P1之間的間距，決定了曲線在轉(zhuǎn)而趨進P3之前，走向P2方向的“長度有多長”。曲線參數(shù)形式為:貝塞爾曲線示意圖2021/2/613肺實質(zhì)修補貝塞爾曲線貝塞爾曲線示意圖2021/2/613邊界凸點檢測及連線 2021/2/614邊界凸點檢測

8、及連線 2021/2/614肺實質(zhì)連接在病人的病情比較嚴重時,肺炎區(qū)域太大將一個肺分開，在肺實質(zhì)提取后，需要將這個肺分開的部分連接起來，保持其完整性。肺實質(zhì)連接方法在邊緣修補后，判斷是否需要連接，計算左右肺凸點隊的個數(shù)，如果一邊肺的隊的個數(shù)大于一就需要進行連接。連接的方法如下:首先找到兩個區(qū)域距離最近的兩個凸點，并且記錄下來為A和B，然后在A點的區(qū)域凸點隊列中查找凸點C，在B點的區(qū)域凸點隊列中查找凸點D，計算下面的算式： 找到該算式最大的C點和D點，然后連接AB和CD，就將兩部分連接起來了 。2021/2/615肺實質(zhì)連接在病人的病情比較嚴重時,肺炎區(qū)域太大將一個肺分開，破裂肺的CT原圖肺實質(zhì)

9、初步提取結果邊緣修補和連接后的結果肺實質(zhì)提取最終結果2021/2/616破裂肺的CT原圖肺實質(zhì)初步提取結果邊緣修補和連接后的結果肺實肺內(nèi)ROI提取ROI的提取為了自動識別肺結節(jié),方便后面的肺結節(jié)的檢測與量化分析，我們需要在肺實質(zhì)提取的結果中將目標區(qū)域提取出來。ROI包括結節(jié)、亮度同結節(jié)相近的血管和亮度較低的磨玻璃結節(jié)。ROI提取方法在肺實質(zhì)中除了目標區(qū)域以外的部分是亮度比目標區(qū)域低、且在肺實質(zhì)中所占比例最大的氣泡對應的部分。我們提取ROI的方法，就是去除氣泡對應的部分，間接提取ROI。本文提出了兩種方法來間接提取ROI，針對氣泡部分基于區(qū)域生長的提取方法和肺實質(zhì)直方圖波底閾值提取方法。2021

10、/2/617肺內(nèi)ROI提取ROI的提取2021/2/617基于區(qū)域生長提取方法對肺實質(zhì)部分進行直方圖統(tǒng)計。找到直方圖中的最大值Max。從肺部CT圖的統(tǒng)計中可以認為該值對應氣泡部分。遍歷肺實質(zhì)中所有像素,如果像素對應的值為Max,則以該點為種子點，以一個事先設定的值為閾值進行區(qū)域生長，將生長出來的區(qū)域去除。2021/2/618基于區(qū)域生長提取方法對肺實質(zhì)部分進行直方圖統(tǒng)計。2021/2波底閾值分割提取方法對肺實質(zhì)部分進行灰度直方圖統(tǒng)計 找到直方圖中的最大值Max。從肺部CT圖的統(tǒng)計中可以認為該值對應氣泡部分 從Max對應的灰度值遞增,計算灰度直方圖中對應數(shù)據(jù)的變化，當數(shù)據(jù)變換變緩，且該灰度值的像

11、素點占全部肺實質(zhì)的比例低于某一個值是，認為此時是這個波的波底了，記錄該值T。 然后以T為閾值對肺實質(zhì)進行分割，低于T的像素點置0，高于T的像素點置255。 2021/2/619波底閾值分割提取方法對肺實質(zhì)部分進行灰度直方圖統(tǒng)計 2021有磨玻璃結節(jié)的肺實質(zhì)提取結果MaxT肺實質(zhì)對應直方圖區(qū)域生長方法間接提取結果波底閾值分割方法間接提取結果2021/2/620有磨玻璃結節(jié)的肺實質(zhì)提取結果MaxT肺實質(zhì)對應直方圖區(qū)域生長去除肺內(nèi)ROI中細小區(qū)域?qū)?jīng)過上面步驟剩下的血管和結節(jié)部分,如果其區(qū)域面積過小，則可以認為是細小的血管，將其去除。如果有一些小的氣泡部分，那么也是需要去掉的，方便接下來的自動量化分

12、析。步驟如下:復制目標圖的數(shù)據(jù)到標記圖中。 遍歷標記圖，找到一個值不為0的點。 以這個點作為種子點進行區(qū)域生長，將這塊區(qū)域在標記圖中置為0，同時計算出該區(qū)域的面積。如果該區(qū)域的面積小于一定閾值，則以該種子點在目標圖中區(qū)域生長，將生長點都置為0，去除目標圖中的這塊區(qū)域。尋找標記圖中下一個不為0的點，重復第3步，直到遍歷完整個標記圖。2021/2/621去除肺內(nèi)ROI中細小區(qū)域?qū)?jīng)過上面步驟剩下的血管和結節(jié)部分,區(qū)域生長方法間接提取結果去除細小區(qū)域結果2021/2/622區(qū)域生長方法間接提取結果去除細小區(qū)域結果2021/2/622特征提取及量化分析量化分析所做的工作包括:肺門位置的計算;針對每一個

13、ROI,計算其區(qū)域面積、平均灰度、方差、圓形度、似圓度、邊界離心率、距肺門的距離，計算的結果用于后續(xù)聚類判斷依據(jù)。本項目實現(xiàn)了根據(jù)上述特征進行聚類分析的結節(jié)檢測算法，以及根據(jù)具體需要進行人工選擇所需用的特征組合進行肺結節(jié)的檢測。2021/2/623特征提取及量化分析量化分析所做的工作包括:2021/2/62聚類分析所用算法:使用的是改進后的基于模糊C均值（FCM）聚類算法,算法思想為：對象間的相似度和相異度是基于兩個對象間的距離來計算的。本文使用歐幾里得距離來表示相異度，對于兩個數(shù)據(jù)點X=x1，x2，xn，Y=y1，y2，yn兩者的歐式空間距離表示為：加權后的空間距離表示為：對于權重值A=A1

14、，A2，An則需要根據(jù)各個特征向量的貢獻的不同而賦給不同的值。權重值A=A1，A2，An的計算方法為：先用一般的FCM算法對數(shù)據(jù)進行第一遍的聚類，得到聚類中心C=C1，C2，Cn，找出屬于肺結節(jié)一類的聚類中心Ci和與其歐式距離最遠的聚類中心Cm，則得到動態(tài)權值公式：聚類分析2021/2/624聚類分析所用算法:聚類分析2021/2/6242021/2/6252021/2/625三維重建MC(Marching Cubes)方法求CT圖像等值面算法流程:將CT圖像分層讀入內(nèi)存掃面兩層圖片數(shù)據(jù),構造體元將體元八個角點逐個與等值面值C比較，構造體元狀態(tài)表根據(jù)狀態(tài)表，找出等值面穿過的體元，通過線性插值，

15、中心差分方法構造三角形，組成等值面等值面與體元不同位置示意圖2021/2/626三維重建MC(Marching Cubes)方法求CT圖像等肺實質(zhì)重建結果肺結節(jié)單獨重建結果結節(jié)與骨骼混合重建結果2021/2/627肺實質(zhì)重建結果肺結節(jié)單獨重建結果結節(jié)與骨骼混合重建結果202三、成果展示2021/2/628三、成果展示2021/2/6282021/2/6292021/2/629四、經(jīng)費使用情況2021/2/630四、經(jīng)費使用情況2021/2/630五、新結果(1)采用局部極小值點連線法對凹陷部分進行修補。尋找高曲率點:此方法不需要計算邊界的曲率,只需要求邊界曲線上不同坐標系下的局部極小值點，代替

16、求邊界點的曲率，以此找到邊界上的凸點，連接凹陷缺口處兩邊的兩個鄰近凸點，修補凹陷部分。邊界線上的點包括局部極小值點和非局部極小值點兩類，通過設置不同的匹配模板，表示在不同坐標系下尋找局部極小值點。連接：判斷兩點間是否需要連線的條件為符合兩點間弧長與直線距離之比大于1.5符合以上條件的點中，選擇弧長最長的。提出了一種新的基于貝塞爾曲線的邊緣修補連線算法以及破裂肺實質(zhì)連接算法，對肺實質(zhì)缺損及由于肺內(nèi)組織影響導致肺實質(zhì)出現(xiàn)嚴重斷裂的情況進行了研究及處理。2021/2/631五、新結果(1)采用局部極小值點連線法對凹陷部分進行修補。2五、新結果(2)將結節(jié)劃分為四類:孤立結節(jié),胸膜結節(jié)，粘連血管結節(jié)，

17、磨玻璃結節(jié)。確立各自分割方法：對于孤立結節(jié)，應用圓形度檢測算法結合結節(jié)面積、結節(jié)所在位置進行檢測識別;對于胸膜結節(jié)，由于先進行了肺實質(zhì)提取，對胸膜結節(jié)所造成的的肺實質(zhì)缺失進行修補，所以將胸膜結節(jié)可歸類為孤立結節(jié)或與血管粘連結節(jié)；對于粘連血管結節(jié)，先應用割補法，進行結節(jié)與血管的分割，然后，應用圓形度檢測算法結合結節(jié)面積進行檢測識別 ；對于磨玻璃結節(jié)，選用CV模型及自動肺內(nèi)顯著區(qū)域提取進行識別，得到了較好的提取效果。2021/2/632五、新結果(2)將結節(jié)劃分為四類:孤立結節(jié),胸膜結節(jié)，粘連血五、新結果(3)對ROI區(qū)域進行量化分析,提取出一組合適的特征，然后以這些特征為一組數(shù)據(jù)，利用改進后的模糊C均值聚類算法，根據(jù)這些ROI區(qū)域特征的相似度，將這些ROI區(qū)域進行分類，進而把是肺結節(jié)的可能性比較大的ROI區(qū)域分離出來，最后得到肺結節(jié)。進行了肺實質(zhì)及肺結節(jié)進行了三維繪制，選用VTK及ITK平臺結合Visual Studio 2008 進行肺部CT圖像的三維顯示，應用VTK中的Marching Cubes算法，將從原CT圖像中處理得到的肺結節(jié)進行三維繪制，