醫(yī)學(xué)影像智能分析的可解釋性

醫(yī)學(xué)影像智能分析的可解釋性王瑞軒智能科學(xué)與系統(tǒng)實(shí)驗(yàn)室中山大學(xué)數(shù)據(jù)科學(xué)與計(jì)算機(jī)學(xué)院1虛擬助手疾病診斷與預(yù)測(cè)醫(yī)療影像病歷文獻(xiàn)與分析醫(yī)院管理智能器械新藥研發(fā)健康管理基因AI+核心技術(shù)：深度學(xué)習(xí)深度學(xué)習(xí)模型是黑盒子？AI系統(tǒng)疾病種類AI系統(tǒng)每個(gè)深度學(xué)習(xí)模型都是一個(gè)復(fù)雜的非線性系統(tǒng)，從輸入到輸出的具體決策過程不夠透明！34為什么要讓深度學(xué)習(xí)模型透明化？AI不如人類時(shí)：幫助研究人員找到AI模型缺陷AI人類不分伯仲：幫助建立對(duì)AI系統(tǒng)的信任感AI比人類強(qiáng)時(shí)：教人類如何更好的分析與決策5試圖理解AI模型輸出層和中間每層神經(jīng)元所關(guān)注的視覺特征透明化思路每層輸入數(shù)據(jù)特征圖卷積核(神經(jīng)元)內(nèi)含模型參數(shù)卷積神經(jīng)網(wǎng)絡(luò)核心模塊：卷積層6訓(xùn)練影像分類模型〔或系統(tǒng)〕輸入圖像深度學(xué)習(xí)模型預(yù)測(cè)種類對(duì)每一個(gè)影像數(shù)據(jù)，通過計(jì)算機(jī)程序比較模型的預(yù)測(cè)結(jié)果與醫(yī)生標(biāo)注的疾病種類的差異來(lái)更新模型參數(shù)…神經(jīng)元7擾動(dòng)/遮擋法：覆蓋重要區(qū)域?qū)⒚黠@改變預(yù)測(cè)結(jié)果輸出層特定神經(jīng)元在關(guān)注什么樣的視覺特征？88遮擋法找不到Alzheimer重要區(qū)域99思路二：利用特征圖激活情況理解輸出層神經(jīng)元1010CAM:

最后一層卷積層特征圖的特定線性組合表示對(duì)應(yīng)輸出神經(jīng)元所關(guān)注的區(qū)域1111深度學(xué)習(xí)模型對(duì)基于X光圖像的肺炎檢測(cè)性能(AUC=0.79)超過了放射科醫(yī)生1212AI模型關(guān)注的區(qū)域與病變區(qū)域一致！1313AI模型診斷時(shí)關(guān)注的區(qū)域與醫(yī)生關(guān)注的類似14能夠發(fā)現(xiàn)側(cè)腦室與局部大腦皮層與Alzheimer相關(guān)1515But…原始CNN模型結(jié)構(gòu)被更改，并重新訓(xùn)練分辨率低：來(lái)自于最后一層卷積輸出16ww1717能定位大局部側(cè)腦室和大腦皮層區(qū)域；分辨率高181819這些方法可以得到輸出層神經(jīng)元關(guān)注的區(qū)域，但無(wú)法告知我們模型到底關(guān)注什么樣的特征！使得醫(yī)生對(duì)智能診斷的信任感還缺乏夠高！如果AI在用醫(yī)生診斷時(shí)用的疾病特征來(lái)判斷疾病類型，醫(yī)生應(yīng)該會(huì)比較容易接受AI系統(tǒng)挑選出AI系統(tǒng)診斷疾病時(shí)最倚重的30-40個(gè)神經(jīng)元，對(duì)其所探測(cè)到的圖像特征讓醫(yī)生進(jìn)行描述2020AI可以自動(dòng)學(xué)習(xí)到通過探測(cè)各種疾病特征進(jìn)行診斷！2121描述信息與醫(yī)生診斷疾病時(shí)常用的特征吻合！AI診斷：惡性查看AI此次診斷倚重的幾個(gè)神經(jīng)元專家曾經(jīng)對(duì)這些神經(jīng)元所探測(cè)到的圖像特征的描述可以解釋AI系統(tǒng)此次決策的過程2222AI誤診：良性查看AI此次診斷倚重的幾個(gè)神經(jīng)元第一個(gè)神經(jīng)元所探測(cè)到的圖像特征被專家描述為良性！2323基于圖像直接生成診斷報(bào)告，讓醫(yī)生更直觀理解AI系統(tǒng)在關(guān)注什么“Severepleomorphismispresentinthenuclei.Thenucleiarecrowdedtoamoderatedegree.Basementmembranepolarityispartiallylost.Mitosisisinfrequentthroughoutthetissue.Theneucleioliaremostlyinconspicuous.Highgradecancer.〞2424增加AI診斷可解釋性的其他途徑自動(dòng)生成診斷報(bào)告，并顯示每個(gè)單詞關(guān)注的區(qū)域252527EncoderDecoder利用解碼器觀測(cè)〔解釋〕分類器132 Gradient

ascentHealthy/diseaseClassifier-訓(xùn)練Encoder

+

Decoder

+

MLP

classifier；-新來(lái)健康數(shù)據(jù)：12 3Biffietal.,MICCAI2023解碼器重構(gòu)數(shù)據(jù)的特征與醫(yī)生診斷標(biāo)