第4講-人工智能在醫(yī)學(xué)圖像的應(yīng)用-課件

第四講人工智能在醫(yī)學(xué)圖像的應(yīng)用講座提綱人工智能在醫(yī)學(xué)圖像中的應(yīng)用研究3醫(yī)學(xué)圖像相關(guān)技術(shù)需求分析2人工智能核心技術(shù)概述1人工智能在醫(yī)學(xué)圖像中的應(yīng)用展望4單擊此處添加標(biāo)題1人工智能核心技術(shù)概述人工神經(jīng)網(wǎng)絡(luò)統(tǒng)計(jì)機(jī)器學(xué)習(xí)深度學(xué)習(xí)強(qiáng)化學(xué)習(xí)自然語(yǔ)言處理知識(shí)圖譜1.人工智能核心技術(shù)概述PART011.1人工神經(jīng)網(wǎng)絡(luò)生物學(xué)基礎(chǔ)神經(jīng)網(wǎng)絡(luò)：人腦智慧的物質(zhì)基礎(chǔ)神經(jīng)元/神經(jīng)細(xì)胞：生物神經(jīng)系統(tǒng)的基本單位細(xì)胞體細(xì)胞突起樹(shù)突軸突1.1人工神經(jīng)網(wǎng)絡(luò)基本概念—神經(jīng)元（1943）細(xì)胞體細(xì)胞突起樹(shù)突軸突突觸:神經(jīng)元之間的連接點(diǎn)神經(jīng)沖動(dòng)權(quán)值向量W無(wú)法自動(dòng)學(xué)習(xí)和更新，不具備學(xué)習(xí)的能力。1.1人工神經(jīng)網(wǎng)絡(luò)基本概念—感知機(jī)（1957）人工神經(jīng)網(wǎng)絡(luò)：通過(guò)算法調(diào)整神經(jīng)元中的權(quán)值，模擬人類(lèi)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力。1.1人工神經(jīng)網(wǎng)絡(luò)多層神經(jīng)網(wǎng)絡(luò)如果神經(jīng)網(wǎng)絡(luò)中有足夠的隱藏層，每個(gè)隱含層中有足夠多的神經(jīng)元，神經(jīng)網(wǎng)絡(luò)就可以表示任意復(fù)雜函數(shù)或空間分布.1.2統(tǒng)計(jì)機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)理論及發(fā)展2016年3月，AlphaGo和圍棋世界冠軍、職業(yè)九段棋手李世石進(jìn)行圍棋人機(jī)大戰(zhàn)，以4比1的總比分獲勝；2017年5月，在中國(guó)烏鎮(zhèn)圍棋峰會(huì)上，它與排名世界第一的世界圍棋冠軍柯潔對(duì)戰(zhàn)，以3比0的總比分獲勝。1.2統(tǒng)計(jì)機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)理論及發(fā)展學(xué)習(xí)環(huán)節(jié)環(huán)境知識(shí)庫(kù)執(zhí)行環(huán)節(jié)環(huán)境和知識(shí)庫(kù)分別代表外界信息來(lái)源和系統(tǒng)具有的知識(shí)。“學(xué)習(xí)環(huán)節(jié)”則利用“環(huán)境”中的信息對(duì)系統(tǒng)的“知識(shí)庫(kù)”進(jìn)行改造，以增進(jìn)系統(tǒng)“執(zhí)行環(huán)節(jié)”完成任務(wù)的效能?！皥?zhí)行環(huán)節(jié)”根據(jù)知識(shí)庫(kù)中的知識(shí)來(lái)完成某種任務(wù)，同時(shí)把獲得的信息反饋給“學(xué)習(xí)環(huán)節(jié)?！痹诰唧w的應(yīng)用中，環(huán)境、知識(shí)庫(kù)和執(zhí)行環(huán)節(jié)決定了具體的工作內(nèi)容，學(xué)習(xí)環(huán)節(jié)所需要解決的問(wèn)題完全由上述三個(gè)部分決定。1.2統(tǒng)計(jì)機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)方法機(jī)器學(xué)習(xí)方法有監(jiān)督學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)半（弱）監(jiān)督學(xué)習(xí)分類(lèi)問(wèn)題回歸問(wèn)題分類(lèi)問(wèn)題回歸問(wèn)題聚類(lèi)問(wèn)題1.2統(tǒng)計(jì)機(jī)器學(xué)習(xí)有監(jiān)督學(xué)習(xí)1.2統(tǒng)計(jì)機(jī)器學(xué)習(xí)無(wú)監(jiān)督學(xué)習(xí)1.2統(tǒng)計(jì)機(jī)器學(xué)習(xí)半監(jiān)督學(xué)習(xí)半監(jiān)督學(xué)習(xí)則是介于有監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)之間，它同時(shí)利用有標(biāo)記樣本與無(wú)標(biāo)記樣本進(jìn)行學(xué)習(xí)。它所利用的數(shù)據(jù)集可以分為兩部分，一部分是有標(biāo)記的數(shù)據(jù)集，另一部分是無(wú)標(biāo)記數(shù)據(jù)集，這部分?jǐn)?shù)據(jù)集中樣本點(diǎn)的類(lèi)別標(biāo)記未知。1.2統(tǒng)計(jì)機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)算法所解決的三大核心任務(wù)分類(lèi)：輸出是離散數(shù)據(jù)，目的是為輸入數(shù)據(jù)尋找決策邊界1.2統(tǒng)計(jì)機(jī)器學(xué)習(xí)回歸：輸入與輸出均是連續(xù)數(shù)據(jù)，目的是為找到最優(yōu)擬合或預(yù)測(cè)未來(lái)趨勢(shì)例1：根據(jù)2001—2020年鄭州市20年的全年的房?jī)r(jià)變化數(shù)據(jù)，預(yù)測(cè)鄭州市2021年全年的房?jī)r(jià)走勢(shì)例2：根據(jù)2015—2020年雙十一的銷(xiāo)售額等歷史數(shù)據(jù)，預(yù)測(cè)2021年雙十一的銷(xiāo)售額度1.2統(tǒng)計(jì)機(jī)器學(xué)習(xí)聚類(lèi)基本原則：類(lèi)內(nèi)間距最小，類(lèi)間間距最大1.3深度學(xué)習(xí)深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)重要的、前沿的分支，是機(jī)器學(xué)習(xí)發(fā)展到一定階段的產(chǎn)物，得益于兩個(gè)要素：計(jì)算機(jī)硬件（GPU）和大規(guī)模數(shù)據(jù)的產(chǎn)生，是一種端到端的學(xué)習(xí)方法，其中最重要的兩個(gè)技術(shù)是卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)。1.3深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)1.3深度學(xué)習(xí)循環(huán)神經(jīng)網(wǎng)絡(luò)更適用于時(shí)間序列數(shù)據(jù)1.4自然語(yǔ)言處理自然語(yǔ)言處理（NaturalLanguageProcessing，簡(jiǎn)稱(chēng)NLP）就是用計(jì)算機(jī)來(lái)處理、理解以及運(yùn)用人類(lèi)語(yǔ)言(如中文、英文等)，它屬于人工智能的一個(gè)分支。從研究?jī)?nèi)容來(lái)看，自然語(yǔ)言處理包括語(yǔ)法分析、語(yǔ)義分析、篇章理解等。從應(yīng)用角度來(lái)看，自然語(yǔ)言處理具有廣泛的應(yīng)用前景。如：機(jī)器翻譯、手寫(xiě)體和印刷體字符識(shí)別、語(yǔ)音識(shí)別及文語(yǔ)轉(zhuǎn)換、信息檢索、信息抽取與過(guò)濾、文本分類(lèi)與聚類(lèi)、輿情分析和觀點(diǎn)挖掘等。1.4自然語(yǔ)言處理通過(guò)文本向量化（wordtovector）建模和Skip-Gram建模去除詞匯級(jí)別的歧義；利用疾病本體知識(shí)（disease-ontology）構(gòu)建二元語(yǔ)法語(yǔ)言模型（bi-grams），進(jìn)行影像與“病理文字描述”之間的關(guān)系挖掘匹配，進(jìn)行分層次的主題詞輸出。1.4自然語(yǔ)言處理從醫(yī)學(xué)角度出發(fā)，NLP可以從醫(yī)療文本數(shù)據(jù)，如電子健康檔案、電子病歷和臨床語(yǔ)言助手。1.5強(qiáng)化學(xué)習(xí)強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)重要分支，強(qiáng)調(diào)如何基于環(huán)境而行動(dòng)，以取得最大化的預(yù)期利益。其主要優(yōu)勢(shì)在于它能夠利用深度神經(jīng)網(wǎng)絡(luò)對(duì)狀態(tài)特征進(jìn)行自動(dòng)抽取，避免了人工定義狀態(tài)特征帶來(lái)的不準(zhǔn)確性，使得Agent能夠在更原始的狀態(tài)上進(jìn)行學(xué)習(xí)。例1：圍棋游戲。圍棋大師每一步的移動(dòng)，每一步的選擇都暗含了規(guī)劃和瞬間的、直覺(jué)性的關(guān)于一個(gè)特定位置和移動(dòng)的可取性的判斷。例2：垃圾收集機(jī)器人。一個(gè)移動(dòng)機(jī)器人決定他是否應(yīng)該進(jìn)入一個(gè)新的房間以搜索和收集更多的垃圾，還是應(yīng)該返回充電站給電池充電。機(jī)器人的決策基于目前電池的電量和找到充電樁的快捷程度和難易程度。1.5知識(shí)圖譜知識(shí)圖譜本質(zhì)上是語(yǔ)義網(wǎng)絡(luò)（SemanticNetwork）的知識(shí)庫(kù)。從實(shí)際應(yīng)用的角度出發(fā)其實(shí)可以簡(jiǎn)單地把知識(shí)圖譜理解成多關(guān)系圖（Multi-relationalGraph）。多關(guān)系圖一般包含多種類(lèi)型的節(jié)點(diǎn)和多種類(lèi)型的邊。比如右上圖表示一個(gè)經(jīng)典的圖結(jié)構(gòu)，右下圖則表示多關(guān)系圖，因?yàn)閳D里包含了多種類(lèi)型的節(jié)點(diǎn)和邊。單擊此處添加標(biāo)題2醫(yī)學(xué)圖像相關(guān)技術(shù)需求分析2.醫(yī)學(xué)圖像相關(guān)技術(shù)需求分析醫(yī)學(xué)圖像需求分析醫(yī)學(xué)圖像分類(lèi)、目標(biāo)檢測(cè)與分割醫(yī)學(xué)圖像配準(zhǔn)與融合三維重建與可視化計(jì)算機(jī)輔助診斷2.1醫(yī)學(xué)圖像分類(lèi)、目標(biāo)檢測(cè)與分割分類(lèi)任務(wù)是對(duì)整張圖像的所屬類(lèi)別進(jìn)行判定，目標(biāo)檢測(cè)是針對(duì)于圖像上的某一區(qū)域進(jìn)行定位并分類(lèi)，分割是對(duì)圖像上某一類(lèi)對(duì)象的具體區(qū)域進(jìn)行判定，并標(biāo)出這一類(lèi)對(duì)象的輪廓，本質(zhì)上是像素級(jí)的分類(lèi)。即判斷圖片上每一個(gè)像素的所屬類(lèi)別。良性惡性2.1醫(yī)學(xué)圖像分類(lèi)、目標(biāo)檢測(cè)與分割基于DeepLesion構(gòu)建的通用病灶檢測(cè),通用病灶檢測(cè)的難度遠(yuǎn)高于特定病灶檢測(cè)，DeepLesion中包含肺、肝、腎、淋巴、胰腺、骨骼、軟組織等各種病灶，病灶類(lèi)內(nèi)差異大，類(lèi)間差異小（肺、肝的病灶相對(duì)容易檢測(cè)一些，而一些腹腔中的病灶與周?chē)＝M織差異較?。?。2.1醫(yī)學(xué)圖像分類(lèi)、目標(biāo)檢測(cè)與分割2.2醫(yī)學(xué)圖像配準(zhǔn)與融合在臨床應(yīng)用中，單一模態(tài)的圖像往往不能提供醫(yī)生所需要的足夠信息，常需將多種模式或同一模式的多次成像通過(guò)配準(zhǔn)融合來(lái)實(shí)現(xiàn)感興趣區(qū)的信息互補(bǔ)。醫(yī)學(xué)圖像的配準(zhǔn)大部分情況下指對(duì)于在不同時(shí)間或不同條件下獲取的兩幅圖像，基于一個(gè)相似性測(cè)度尋求一種或一系列空間變換關(guān)系，使得兩幅待配準(zhǔn)圖像間的相似性測(cè)度達(dá)到最大。2.3三維重建與可視化因?yàn)?：人體組織器官形態(tài)多樣、結(jié)構(gòu)復(fù)雜,醫(yī)學(xué)圖像中所蘊(yùn)涵的信息還沒(méi)有得到充分利用。2：人體的解剖結(jié)構(gòu)是三維的,醫(yī)生需要具備較強(qiáng)的讀片能力，才能從二維影像上作出正確診斷,所以診斷結(jié)果依賴(lài)于醫(yī)生的讀片經(jīng)驗(yàn)。要精確地確定病變體或畸形的空間位置、大小、幾何形狀以及和周?chē)M織結(jié)構(gòu)的空間關(guān)系,僅僅依靠醫(yī)生的主觀分析判斷是很困難的。所以，通過(guò)對(duì)二維圖像進(jìn)行三維重建和可視化，將復(fù)雜的三維器官結(jié)構(gòu)直觀地顯示出來(lái),必然有助于醫(yī)生進(jìn)行全面而準(zhǔn)確的分析,從而提高醫(yī)療診斷水平。2.3三維重建與可視化另外，目前的臨床診斷應(yīng)用迫切需要將醫(yī)學(xué)數(shù)據(jù)直接以三維圖像的形式直觀地顯示給醫(yī)生，并且讓醫(yī)生能夠?qū)θS圖像進(jìn)行任意縮放、對(duì)比、旋轉(zhuǎn)，從不同角度進(jìn)行觀察分析或進(jìn)行相關(guān)測(cè)量。所以，應(yīng)用計(jì)算機(jī)實(shí)現(xiàn)三維數(shù)據(jù)重建和可視化,幫助醫(yī)生從三維角度進(jìn)行全面準(zhǔn)確的觀察分析，以設(shè)計(jì)精確的治療方案,進(jìn)而提高醫(yī)療診治水平，這無(wú)疑可大大提高影像數(shù)據(jù)的醫(yī)學(xué)利用價(jià)值。2.4計(jì)算機(jī)輔助診斷結(jié)合計(jì)算機(jī)圖像處理技術(shù)以及其他可能的生理、生化手段，輔助發(fā)現(xiàn)病灶和特異性變化，提高診斷的準(zhǔn)確率。以上所有的技術(shù)需求分析都期待最終可以（單獨(dú)或集成）用于計(jì)算機(jī)輔助診斷。單擊此處添加標(biāo)題3人工智能在醫(yī)學(xué)圖像中的應(yīng)用研究3.人工智能在醫(yī)學(xué)圖像中的應(yīng)用研究醫(yī)工交叉應(yīng)用研究人工智能+影像組學(xué)醫(yī)學(xué)圖像配準(zhǔn)與融合醫(yī)學(xué)圖像分類(lèi)、目標(biāo)檢測(cè)與分割多任務(wù)融合醫(yī)療文本與影像融合3.1人工智能+影像組學(xué)影像組學(xué)是高通量地從MRI、PET及CT影像中提取大量高維的定量影像特征，并進(jìn)行分析。影像組學(xué)將傳統(tǒng)的醫(yī)學(xué)影像轉(zhuǎn)化為可挖掘的高通量影像特征，用于定量描述影像中的空間時(shí)間異質(zhì)性，揭示出肉眼無(wú)法識(shí)別的圖像特征，有效地將醫(yī)學(xué)影像轉(zhuǎn)換為高維的可識(shí)別的特征空間，并對(duì)生成的特征空間進(jìn)行統(tǒng)計(jì)學(xué)分析，從而建立具有診斷、預(yù)后或預(yù)測(cè)價(jià)值的模型，為個(gè)性化診療提供有價(jià)值的信息。3.1人工智能+影像組學(xué)影像組學(xué)分析流程：圖像獲取與標(biāo)注、感興趣區(qū)圖像分割、特征提取、特征選擇和降維、訓(xùn)練模型和性能評(píng)估。3.2醫(yī)學(xué)圖像分類(lèi)、目標(biāo)檢測(cè)與分割基于LIDC-IDRI數(shù)據(jù)集中1010位患者的帶標(biāo)記的CT肺部圖像，將CNN與支持向量機(jī)（supportvectormachine，SVM）和隨機(jī)森林（randomforest,RF）分類(lèi)器結(jié)合使用，將肺結(jié)節(jié)分類(lèi)為良性或惡性，該方法對(duì)肺結(jié)節(jié)分類(lèi)的準(zhǔn)確度為86％.3.2醫(yī)學(xué)圖像分類(lèi)、目標(biāo)檢測(cè)與分割基于DeepLesion數(shù)據(jù)集，開(kāi)發(fā)了一種通用的病變檢測(cè)器，為幫助放射科醫(yī)生找到患者身上所有類(lèi)型的病灶提供了技術(shù)可能，如圖8所示。通用病灶檢測(cè)的難度遠(yuǎn)高于特定病灶檢測(cè)，DeepLesion中包含肺、肝、腎、淋巴、胰腺、骨骼、軟組織等各種病灶，病灶類(lèi)內(nèi)差異大，類(lèi)間差異?。ǚ巍⒏蔚牟≡钕鄬?duì)容易檢測(cè)一些，而一些腹腔中的病灶與周?chē)＝M織差異較?。?。3.2醫(yī)學(xué)圖像分類(lèi)、目標(biāo)檢測(cè)與分割3.3醫(yī)學(xué)圖像的配準(zhǔn)與融合對(duì)抗圖像配準(zhǔn)網(wǎng)絡(luò)（adversarialimageregistration，AIRnet）配準(zhǔn)框架，應(yīng)用于MR和經(jīng)直腸超聲（TRUS）圖像融合配準(zhǔn)，訓(xùn)練生成器和判別器兩個(gè)深度神經(jīng)網(wǎng)絡(luò)，不僅可以獲得用于圖像配準(zhǔn)的網(wǎng)絡(luò)，還獲得可以幫助評(píng)估圖像配準(zhǔn)質(zhì)量的度量網(wǎng)絡(luò).3.4多任務(wù)融合一種基于條件生成對(duì)抗網(wǎng)絡(luò)（conditionalgenerativeadversarialnetwork，cGAN）的乳腺腫塊分割與形態(tài)分類(lèi)方法，生成網(wǎng)絡(luò)不斷學(xué)習(xí)腫瘤的內(nèi)在特征，對(duì)抗網(wǎng)絡(luò)不斷進(jìn)行強(qiáng)制分割，并對(duì)形態(tài)進(jìn)行分類(lèi)，該方法在乳腺鉬靶數(shù)據(jù)庫(kù)（digitaldatabaseforscreeningmammography，DDSM）公開(kāi)數(shù)據(jù)集和內(nèi)部數(shù)據(jù)集中提取的數(shù)十個(gè)惡性腫瘤上進(jìn)行了驗(yàn)證。3.5醫(yī)療文本與影像融合LDPO框架（loopeddeeppseudotaskoptimizationframework），訓(xùn)練CNN模型的過(guò)程中，當(dāng)聚合出未知的類(lèi)別時(shí)，使用“偽標(biāo)簽”進(jìn)行標(biāo)注（而不是先從文本報(bào)告中挖掘標(biāo)簽標(biāo)注）；使用通用的ImageNet預(yù)訓(xùn)練CNN模型和通過(guò)文本挖掘出主題標(biāo)簽（topiclabel）的CNN模型進(jìn)行特征提取與編碼，不斷迭代優(yōu)化；當(dāng)圖像聚類(lèi)相對(duì)穩(wěn)定時(shí)，對(duì)每個(gè)聚類(lèi)對(duì)應(yīng)的文本報(bào)告分別進(jìn)行語(yǔ)義標(biāo)簽挖掘。3.5醫(yī)療文本與影像融合通過(guò)文本向量化（wordtovector）建模和Skip-Gram建模去除詞匯級(jí)別的歧義；利用疾病本體知識(shí)（disease-ontology）構(gòu)建二元語(yǔ)法語(yǔ)言模型（bi-grams），進(jìn)行影像與“病理文字描述”之間的關(guān)系挖掘匹配。主題詞是分層次的，訓(xùn)練得到的CNN模型預(yù)測(cè)結(jié)果也是分層次的，最終得到的CNN模型可以根據(jù)影像生成3個(gè)不同層級(jí)的輸出詞匯。4人工智能在醫(yī)學(xué)圖像中的應(yīng)用展望4.1醫(yī)學(xué)圖像的高精度解釋醫(yī)學(xué)是一門(mén)注重實(shí)踐、依賴(lài)循癥的科學(xué)，新興技術(shù)需要醫(yī)生通過(guò)長(zhǎng)期的實(shí)踐進(jìn)行分析總結(jié)，找到科學(xué)依據(jù)，再通過(guò)現(xiàn)代統(tǒng)計(jì)學(xué)的科學(xué)方法結(jié)合臨床實(shí)踐得到最大可能的驗(yàn)證。人工智能和機(jī)器學(xué)習(xí)能夠幫助醫(yī)生更加高效、準(zhǔn)確的“看片子”，是醫(yī)生的高效助手和強(qiáng)大助力。然而，對(duì)醫(yī)學(xué)圖像進(jìn)行高精度解釋?zhuān)枰鼓Ｊ阶R(shí)別算法適用于多源異構(gòu)、缺少標(biāo)注的小樣本數(shù)據(jù)應(yīng)用場(chǎng)景。要處理好四個(gè)問(wèn)題：是什么？在哪里？為什么？怎么辦？4.1醫(yī)學(xué)圖像的高精度解釋泛化問(wèn)題：研發(fā)具有基于小樣本且具有自適應(yīng)遷移學(xué)習(xí)能力的機(jī)器學(xué)習(xí)方法，提出一系列適用于全監(jiān)督、半監(jiān)督與弱監(jiān)督的多模信