CT圖像肺結(jié)節(jié)計(jì)算機(jī)輔助檢測算法研究與實(shí)現(xiàn)課件

1、CT圖像肺結(jié)節(jié)計(jì)算機(jī)輔助檢測算法的研究與實(shí)現(xiàn) 2021/2/61CT圖像肺結(jié)節(jié)計(jì)算機(jī)輔助檢測算法的研究與實(shí)現(xiàn) 2021/2/內(nèi)容提要一、項(xiàng)目進(jìn)展情況二、研究過程三、成果展示四、經(jīng)費(fèi)使用情況五、新結(jié)果六、項(xiàng)目組成員的訓(xùn)練收獲2021/2/62內(nèi)容提要一、項(xiàng)目進(jìn)展情況2021/2/62一、項(xiàng)目進(jìn)展情況(1)前期調(diào)研:查閱大量的中英文文獻(xiàn)資料,確定項(xiàng)目的研究方法和手段;項(xiàng)目進(jìn)行中，項(xiàng)目組成員到醫(yī)院進(jìn)行實(shí)地調(diào)研，先后與河北大學(xué)附屬醫(yī)院和中國人民解放軍第263醫(yī)院醫(yī)生合作，了解了當(dāng)下醫(yī)生在應(yīng)用肺部CT圖像診斷病人患病時(shí)的實(shí)際需求，并共同商討了項(xiàng)目解決的方案；獲取并整理實(shí)驗(yàn)數(shù)據(jù)，數(shù)據(jù)主要來源于LIDC和河

2、北大學(xué)附屬醫(yī)院的CT影像，經(jīng)過歸納整理、分類存儲，為此后的研究提供了方便。確定算法實(shí)現(xiàn)方案：分割肺實(shí)質(zhì)；識別肺內(nèi)顯著區(qū)域及結(jié)節(jié)；肺結(jié)節(jié)的三維重建；對肺內(nèi)ROI進(jìn)行量化分析及聚類分析。2021/2/63一、項(xiàng)目進(jìn)展情況(1)前期調(diào)研:2021/2/63一、項(xiàng)目進(jìn)展情況(2)擬定項(xiàng)目實(shí)施解決方案:本項(xiàng)目針對肺部CT圖像的特點(diǎn),利用計(jì)算機(jī)圖像處理及模式識別等技術(shù)，在肺部異常結(jié)節(jié)狀病變的計(jì)算機(jī)輔助檢測、量化分析、聚類分析和三維重建方面開展研究?？傮w流程圖ROI提取結(jié)節(jié)量化分析肺實(shí)質(zhì)分割圖像預(yù)處理圖像獲取三維空間顯示結(jié)節(jié)聚類分析2021/2/64一、項(xiàng)目進(jìn)展情況(2)擬定項(xiàng)目實(shí)施解決方案:總體流程圖R結(jié)

3、節(jié)一、項(xiàng)目進(jìn)展情況(3)確定實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)方法:實(shí)驗(yàn)環(huán)境：編程語言主要有C+、C#,編程工具主要采用Visual C+6.0以及Visual Studio 2008，部分函數(shù)調(diào)用了提供醫(yī)學(xué)圖像處理算法的VTK、ITK平臺（針對于C+）;實(shí)驗(yàn)方法：首先依據(jù)擬定的算法實(shí)現(xiàn)解決方案，分階段按步驟進(jìn)行實(shí)驗(yàn)。然后進(jìn)行階段性總結(jié)各個(gè)階段中會(huì)對比不同的函數(shù)算法等得出最佳解決方案。最后，將各個(gè)階段的程序統(tǒng)和，排查錯(cuò)誤，完善整個(gè)算法。2021/2/65一、項(xiàng)目進(jìn)展情況(3)確定實(shí)驗(yàn)環(huán)境和實(shí)驗(yàn)方法:2021/2/肺部CT圖像特性簡介一幅視窗為肺窗的肺部CT圖像中含有很多信息。A為肺實(shí)質(zhì),B為肺結(jié)節(jié)，C為肺內(nèi)支氣管

4、和血管，D為胸骨及周圍軟組織部分，E為CT圖像所取的窗寬和窗位值，F(xiàn)為患者的主要信息及圖像的成像日期、成像所在醫(yī)院、圖像序列號等信息，G為氣管和支氣管，H為CT床，I為標(biāo)尺。2021/2/66肺部CT圖像特性簡介一幅視窗為肺窗的肺部CT圖像中含有很多信肺結(jié)節(jié)實(shí)例2021/2/67肺結(jié)節(jié)實(shí)例2021/2/67二、研究過程肺實(shí)質(zhì)自動(dòng)分割肺實(shí)質(zhì)初步提取肺實(shí)質(zhì)修補(bǔ)肺實(shí)質(zhì)連接肺內(nèi)ROI提取肺內(nèi)顯著區(qū)域提取候選肺結(jié)節(jié)識別特征提取及量化分析聚類分析三維重建2021/2/68二、研究過程肺實(shí)質(zhì)自動(dòng)分割2021/2/68肺實(shí)質(zhì)自動(dòng)分割肺實(shí)質(zhì)初步提取一張肺部CT圖像包含很多信息,為了自動(dòng)檢測出是否包含肺結(jié)節(jié)，需要

5、先去除不必要的信息，通常的做法是提取肺實(shí)質(zhì)。肺實(shí)質(zhì)提取思想從肺部CT圖像中可以看到，胸廓的形狀是閉合的，而且肺實(shí)質(zhì)包含在其中，所以如果找到胸廓，然后去除胸廓和胸廓以外的部分，那么剩下的就是肺實(shí)質(zhì)和氣管。氣管的位置在中間，而且面積較小，只要在去除胸廓和胸廓以外部分后，去除位于圖像中央、面積較小的氣管（支氣管），就將肺實(shí)質(zhì)提取出來了。2021/2/69肺實(shí)質(zhì)自動(dòng)分割肺實(shí)質(zhì)初步提取2021/2/69肺實(shí)質(zhì)自動(dòng)分割肺實(shí)質(zhì)提取方法胸廓是圖像中高亮度連通區(qū)域中面積最大的部分,對圖像去噪，二值化后，遍歷圖像中的所有值為255的連通區(qū)域，并且計(jì)算區(qū)域大小，記錄其中最大的區(qū)域，標(biāo)記該區(qū)域，從圖像左上角和右下角做

6、區(qū)域生長，只要不是標(biāo)記的胸廓部分就生長并且去除，這樣就去除胸廓以外的部分，然后去除標(biāo)記的胸廓再去除氣管就將肺實(shí)質(zhì)提取出來了。2021/2/610肺實(shí)質(zhì)自動(dòng)分割肺實(shí)質(zhì)提取方法2021/2/610CT原圖二值化結(jié)果去除胸廓及以外部分和氣管結(jié)果2021/2/611CT原圖二值化結(jié)果去除胸廓及以外部分和氣管結(jié)果2021/2/在肺實(shí)質(zhì)邊緣上存在血管,也可能存在結(jié)節(jié)，它們的亮度都比較高，所以在去除胸廓時(shí)當(dāng)作胸廓一并去除了。在肺實(shí)質(zhì)初步提取后要對邊緣進(jìn)行修補(bǔ)，將過度分割的部分修補(bǔ)回來。肺實(shí)質(zhì)邊緣修補(bǔ)方法利用模版匹配法尋找邊緣凸點(diǎn)，凸點(diǎn)分別入隊(duì)，左右肺入不同隊(duì)對左右肺凸點(diǎn)分別進(jìn)行計(jì)算，只要兩個(gè)凸點(diǎn)A和B滿足下

7、面兩式:則連接A和B兩點(diǎn)，為了使修補(bǔ)更加完整，連線算法采用一種基于貝塞爾曲線的方法。肺實(shí)質(zhì)修補(bǔ)2021/2/612在肺實(shí)質(zhì)邊緣上存在血管,也可能存在結(jié)節(jié)，它們的亮度都比較高，肺實(shí)質(zhì)修補(bǔ)貝塞爾曲線P0、P1、P2、P3四個(gè)點(diǎn)在平面或在三維空間中定義了三次貝茲曲線。曲線起始于P0走向P1,并從P2的方向來到P3。一般不會(huì)經(jīng)過P1或P2;這兩個(gè)點(diǎn)只提供方向信息。P0和P1之間的間距，決定了曲線在轉(zhuǎn)而趨進(jìn)P3之前，走向P2方向的“長度有多長”。曲線參數(shù)形式為:貝塞爾曲線示意圖2021/2/613肺實(shí)質(zhì)修補(bǔ)貝塞爾曲線貝塞爾曲線示意圖2021/2/613邊界凸點(diǎn)檢測及連線 2021/2/614邊界凸點(diǎn)檢測

8、及連線 2021/2/614肺實(shí)質(zhì)連接在病人的病情比較嚴(yán)重時(shí),肺炎區(qū)域太大將一個(gè)肺分開，在肺實(shí)質(zhì)提取后，需要將這個(gè)肺分開的部分連接起來，保持其完整性。肺實(shí)質(zhì)連接方法在邊緣修補(bǔ)后，判斷是否需要連接，計(jì)算左右肺凸點(diǎn)隊(duì)的個(gè)數(shù)，如果一邊肺的隊(duì)的個(gè)數(shù)大于一就需要進(jìn)行連接。連接的方法如下:首先找到兩個(gè)區(qū)域距離最近的兩個(gè)凸點(diǎn)，并且記錄下來為A和B，然后在A點(diǎn)的區(qū)域凸點(diǎn)隊(duì)列中查找凸點(diǎn)C，在B點(diǎn)的區(qū)域凸點(diǎn)隊(duì)列中查找凸點(diǎn)D，計(jì)算下面的算式： 找到該算式最大的C點(diǎn)和D點(diǎn)，然后連接AB和CD，就將兩部分連接起來了 。2021/2/615肺實(shí)質(zhì)連接在病人的病情比較嚴(yán)重時(shí),肺炎區(qū)域太大將一個(gè)肺分開，破裂肺的CT原圖肺實(shí)質(zhì)

9、初步提取結(jié)果邊緣修補(bǔ)和連接后的結(jié)果肺實(shí)質(zhì)提取最終結(jié)果2021/2/616破裂肺的CT原圖肺實(shí)質(zhì)初步提取結(jié)果邊緣修補(bǔ)和連接后的結(jié)果肺實(shí)肺內(nèi)ROI提取ROI的提取為了自動(dòng)識別肺結(jié)節(jié),方便后面的肺結(jié)節(jié)的檢測與量化分析，我們需要在肺實(shí)質(zhì)提取的結(jié)果中將目標(biāo)區(qū)域提取出來。ROI包括結(jié)節(jié)、亮度同結(jié)節(jié)相近的血管和亮度較低的磨玻璃結(jié)節(jié)。ROI提取方法在肺實(shí)質(zhì)中除了目標(biāo)區(qū)域以外的部分是亮度比目標(biāo)區(qū)域低、且在肺實(shí)質(zhì)中所占比例最大的氣泡對應(yīng)的部分。我們提取ROI的方法，就是去除氣泡對應(yīng)的部分，間接提取ROI。本文提出了兩種方法來間接提取ROI，針對氣泡部分基于區(qū)域生長的提取方法和肺實(shí)質(zhì)直方圖波底閾值提取方法。2021

10、/2/617肺內(nèi)ROI提取ROI的提取2021/2/617基于區(qū)域生長提取方法對肺實(shí)質(zhì)部分進(jìn)行直方圖統(tǒng)計(jì)。找到直方圖中的最大值Max。從肺部CT圖的統(tǒng)計(jì)中可以認(rèn)為該值對應(yīng)氣泡部分。遍歷肺實(shí)質(zhì)中所有像素,如果像素對應(yīng)的值為Max,則以該點(diǎn)為種子點(diǎn)，以一個(gè)事先設(shè)定的值為閾值進(jìn)行區(qū)域生長，將生長出來的區(qū)域去除。2021/2/618基于區(qū)域生長提取方法對肺實(shí)質(zhì)部分進(jìn)行直方圖統(tǒng)計(jì)。2021/2波底閾值分割提取方法對肺實(shí)質(zhì)部分進(jìn)行灰度直方圖統(tǒng)計(jì) 找到直方圖中的最大值Max。從肺部CT圖的統(tǒng)計(jì)中可以認(rèn)為該值對應(yīng)氣泡部分 從Max對應(yīng)的灰度值遞增,計(jì)算灰度直方圖中對應(yīng)數(shù)據(jù)的變化，當(dāng)數(shù)據(jù)變換變緩，且該灰度值的像

11、素點(diǎn)占全部肺實(shí)質(zhì)的比例低于某一個(gè)值是，認(rèn)為此時(shí)是這個(gè)波的波底了，記錄該值T。 然后以T為閾值對肺實(shí)質(zhì)進(jìn)行分割，低于T的像素點(diǎn)置0，高于T的像素點(diǎn)置255。 2021/2/619波底閾值分割提取方法對肺實(shí)質(zhì)部分進(jìn)行灰度直方圖統(tǒng)計(jì) 2021有磨玻璃結(jié)節(jié)的肺實(shí)質(zhì)提取結(jié)果MaxT肺實(shí)質(zhì)對應(yīng)直方圖區(qū)域生長方法間接提取結(jié)果波底閾值分割方法間接提取結(jié)果2021/2/620有磨玻璃結(jié)節(jié)的肺實(shí)質(zhì)提取結(jié)果MaxT肺實(shí)質(zhì)對應(yīng)直方圖區(qū)域生長去除肺內(nèi)ROI中細(xì)小區(qū)域?qū)?jīng)過上面步驟剩下的血管和結(jié)節(jié)部分,如果其區(qū)域面積過小，則可以認(rèn)為是細(xì)小的血管，將其去除。如果有一些小的氣泡部分，那么也是需要去掉的，方便接下來的自動(dòng)量化分

12、析。步驟如下:復(fù)制目標(biāo)圖的數(shù)據(jù)到標(biāo)記圖中。 遍歷標(biāo)記圖，找到一個(gè)值不為0的點(diǎn)。 以這個(gè)點(diǎn)作為種子點(diǎn)進(jìn)行區(qū)域生長，將這塊區(qū)域在標(biāo)記圖中置為0，同時(shí)計(jì)算出該區(qū)域的面積。如果該區(qū)域的面積小于一定閾值，則以該種子點(diǎn)在目標(biāo)圖中區(qū)域生長，將生長點(diǎn)都置為0，去除目標(biāo)圖中的這塊區(qū)域。尋找標(biāo)記圖中下一個(gè)不為0的點(diǎn)，重復(fù)第3步，直到遍歷完整個(gè)標(biāo)記圖。2021/2/621去除肺內(nèi)ROI中細(xì)小區(qū)域?qū)?jīng)過上面步驟剩下的血管和結(jié)節(jié)部分,區(qū)域生長方法間接提取結(jié)果去除細(xì)小區(qū)域結(jié)果2021/2/622區(qū)域生長方法間接提取結(jié)果去除細(xì)小區(qū)域結(jié)果2021/2/622特征提取及量化分析量化分析所做的工作包括:肺門位置的計(jì)算;針對每一個(gè)

13、ROI,計(jì)算其區(qū)域面積、平均灰度、方差、圓形度、似圓度、邊界離心率、距肺門的距離，計(jì)算的結(jié)果用于后續(xù)聚類判斷依據(jù)。本項(xiàng)目實(shí)現(xiàn)了根據(jù)上述特征進(jìn)行聚類分析的結(jié)節(jié)檢測算法，以及根據(jù)具體需要進(jìn)行人工選擇所需用的特征組合進(jìn)行肺結(jié)節(jié)的檢測。2021/2/623特征提取及量化分析量化分析所做的工作包括:2021/2/62聚類分析所用算法:使用的是改進(jìn)后的基于模糊C均值（FCM）聚類算法,算法思想為：對象間的相似度和相異度是基于兩個(gè)對象間的距離來計(jì)算的。本文使用歐幾里得距離來表示相異度，對于兩個(gè)數(shù)據(jù)點(diǎn)X=x1，x2，xn，Y=y1，y2，yn兩者的歐式空間距離表示為：加權(quán)后的空間距離表示為：對于權(quán)重值A(chǔ)=A1

14、，A2，An則需要根據(jù)各個(gè)特征向量的貢獻(xiàn)的不同而賦給不同的值。權(quán)重值A(chǔ)=A1，A2，An的計(jì)算方法為：先用一般的FCM算法對數(shù)據(jù)進(jìn)行第一遍的聚類，得到聚類中心C=C1，C2，Cn，找出屬于肺結(jié)節(jié)一類的聚類中心Ci和與其歐式距離最遠(yuǎn)的聚類中心Cm，則得到動(dòng)態(tài)權(quán)值公式：聚類分析2021/2/624聚類分析所用算法:聚類分析2021/2/6242021/2/6252021/2/625三維重建MC(Marching Cubes)方法求CT圖像等值面算法流程:將CT圖像分層讀入內(nèi)存掃面兩層圖片數(shù)據(jù),構(gòu)造體元將體元八個(gè)角點(diǎn)逐個(gè)與等值面值C比較，構(gòu)造體元狀態(tài)表根據(jù)狀態(tài)表，找出等值面穿過的體元，通過線性插值，

15、中心差分方法構(gòu)造三角形，組成等值面等值面與體元不同位置示意圖2021/2/626三維重建MC(Marching Cubes)方法求CT圖像等肺實(shí)質(zhì)重建結(jié)果肺結(jié)節(jié)單獨(dú)重建結(jié)果結(jié)節(jié)與骨骼混合重建結(jié)果2021/2/627肺實(shí)質(zhì)重建結(jié)果肺結(jié)節(jié)單獨(dú)重建結(jié)果結(jié)節(jié)與骨骼混合重建結(jié)果202三、成果展示2021/2/628三、成果展示2021/2/6282021/2/6292021/2/629四、經(jīng)費(fèi)使用情況2021/2/630四、經(jīng)費(fèi)使用情況2021/2/630五、新結(jié)果(1)采用局部極小值點(diǎn)連線法對凹陷部分進(jìn)行修補(bǔ)。尋找高曲率點(diǎn):此方法不需要計(jì)算邊界的曲率,只需要求邊界曲線上不同坐標(biāo)系下的局部極小值點(diǎn)，代替

16、求邊界點(diǎn)的曲率，以此找到邊界上的凸點(diǎn)，連接凹陷缺口處兩邊的兩個(gè)鄰近凸點(diǎn)，修補(bǔ)凹陷部分。邊界線上的點(diǎn)包括局部極小值點(diǎn)和非局部極小值點(diǎn)兩類，通過設(shè)置不同的匹配模板，表示在不同坐標(biāo)系下尋找局部極小值點(diǎn)。連接：判斷兩點(diǎn)間是否需要連線的條件為符合兩點(diǎn)間弧長與直線距離之比大于1.5符合以上條件的點(diǎn)中，選擇弧長最長的。提出了一種新的基于貝塞爾曲線的邊緣修補(bǔ)連線算法以及破裂肺實(shí)質(zhì)連接算法，對肺實(shí)質(zhì)缺損及由于肺內(nèi)組織影響導(dǎo)致肺實(shí)質(zhì)出現(xiàn)嚴(yán)重?cái)嗔训那闆r進(jìn)行了研究及處理。2021/2/631五、新結(jié)果(1)采用局部極小值點(diǎn)連線法對凹陷部分進(jìn)行修補(bǔ)。2五、新結(jié)果(2)將結(jié)節(jié)劃分為四類:孤立結(jié)節(jié),胸膜結(jié)節(jié)，粘連血管結(jié)節(jié)，

17、磨玻璃結(jié)節(jié)。確立各自分割方法：對于孤立結(jié)節(jié)，應(yīng)用圓形度檢測算法結(jié)合結(jié)節(jié)面積、結(jié)節(jié)所在位置進(jìn)行檢測識別;對于胸膜結(jié)節(jié)，由于先進(jìn)行了肺實(shí)質(zhì)提取，對胸膜結(jié)節(jié)所造成的的肺實(shí)質(zhì)缺失進(jìn)行修補(bǔ)，所以將胸膜結(jié)節(jié)可歸類為孤立結(jié)節(jié)或與血管粘連結(jié)節(jié)；對于粘連血管結(jié)節(jié)，先應(yīng)用割補(bǔ)法，進(jìn)行結(jié)節(jié)與血管的分割，然后，應(yīng)用圓形度檢測算法結(jié)合結(jié)節(jié)面積進(jìn)行檢測識別 ；對于磨玻璃結(jié)節(jié)，選用CV模型及自動(dòng)肺內(nèi)顯著區(qū)域提取進(jìn)行識別，得到了較好的提取效果。2021/2/632五、新結(jié)果(2)將結(jié)節(jié)劃分為四類:孤立結(jié)節(jié),胸膜結(jié)節(jié)，粘連血五、新結(jié)果(3)對ROI區(qū)域進(jìn)行量化分析,提取出一組合適的特征，然后以這些特征為一組數(shù)據(jù)，利用改進(jìn)后的模糊C均值聚類算法，根據(jù)這些ROI區(qū)域特征的相似度，將這些ROI區(qū)域進(jìn)行分類，進(jìn)而把是肺結(jié)節(jié)的可能性比較大的ROI區(qū)域分離出來，最后得到肺結(jié)節(jié)。進(jìn)行了肺實(shí)質(zhì)及肺結(jié)節(jié)進(jìn)行了三維繪制，選用VTK及ITK平臺結(jié)合Visual Studio 2008 進(jìn)行肺部CT圖像的三維顯示，應(yīng)用VTK中的Marching Cubes算法，將從原CT圖像中處理得到的肺結(jié)節(jié)進(jìn)行三維繪制，