技術(shù)報(bào)告基于深度卷積神經(jīng)網(wǎng)絡(luò)的宮頸細(xì)胞涂片的病變細(xì)胞分類

1、計(jì)劃類別 項(xiàng)目編號(hào) 項(xiàng)目技術(shù)報(bào)告課題名稱 項(xiàng)目主持人 承擔(dān)單位 題目：基于深度卷積神經(jīng)網(wǎng)絡(luò)的宮頸細(xì)胞涂片的病變細(xì)胞分類本文重點(diǎn)研究宮頸細(xì)胞圖像分類識(shí)別問題，結(jié)合宮頸細(xì)胞病理學(xué)等方面知識(shí)，利用基于深度卷積神經(jīng)網(wǎng)絡(luò)ResNet50的遷移學(xué)習(xí)，對(duì)實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行模型訓(xùn)練和特征提取。實(shí)驗(yàn)結(jié)果表明，通過基于深度神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)，可以獲取較優(yōu)的病變與正常細(xì)胞的分類結(jié)果。關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)；遷移學(xué)習(xí)；宮頸癌1 引言（Introduction）在互聯(lián)網(wǎng)發(fā)展迅速和計(jì)算機(jī)技術(shù)不斷成熟進(jìn)步的今天，計(jì)算機(jī)技術(shù)中的圖像處理技術(shù)得到廣泛的應(yīng)用，并且取得了不凡的成就。隨著在機(jī)器學(xué)習(xí)方面的進(jìn)一步研究，其在生物醫(yī)學(xué)工程領(lǐng)域的

2、醫(yī)學(xué)圖像中的應(yīng)用顯得越來越重要。宮頸癌癥發(fā)病率的逐年增加，引起了人們利用計(jì)算機(jī)圖像處理中的圖像分類對(duì)宮頸癌癥病理學(xué)進(jìn)行研究的熱潮。宮頸癌細(xì)胞相較于正常細(xì)胞有較為突出的特點(diǎn)，不管是形態(tài)上還是在色彩紋理上都有明顯表現(xiàn)，利用這些特征，分類學(xué)習(xí)算法可以通過不斷迭代修正分類器，最終實(shí)現(xiàn)細(xì)胞圖像的分類1。本文采用基于深度卷積網(wǎng)絡(luò)ResNet50的遷移學(xué)習(xí)實(shí)現(xiàn)對(duì)宮頸癌細(xì)胞涂片照片的自動(dòng)分類，利用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)所提取的圖像特征對(duì)正常和有病變細(xì)胞的涂片自動(dòng)分類。遷移學(xué)習(xí)可以實(shí)現(xiàn)在小規(guī)模數(shù)據(jù)集合上的模型訓(xùn)練，利用預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)提及的廣義圖像特征，并結(jié)合新的數(shù)據(jù)集進(jìn)行特征的進(jìn)一步抽象和組合，進(jìn)而產(chǎn)生新的數(shù)據(jù)集

3、特征，試驗(yàn)結(jié)果表明其具有較短的訓(xùn)練時(shí)間和較高的分類精度。2 相關(guān)工作（Related work）關(guān)濤等人增強(qiáng)宮頸癌細(xì)胞特征，去除雜質(zhì)，提取細(xì)胞核的周長(zhǎng)，并使用K-means算法對(duì)圖像進(jìn)行分類。Edwin等人提出了一種基于特定紋理的宮頸細(xì)胞分類系統(tǒng)，為宮頸細(xì)胞分類指定了七個(gè)宮頸細(xì)胞組織特征，包括細(xì)胞核和細(xì)胞質(zhì)的相對(duì)大小，局部二值模式直方圖，細(xì)胞質(zhì)核的相對(duì)位移，直接邊緣方向圖、Tamura特征、灰度共生矩陣，以及細(xì)胞核和細(xì)胞質(zhì)的密度比與動(dòng)態(tài)范圍。Thanatip等人提出了一種基于塊的模糊C均值圖像分割算法，對(duì)宮頸核進(jìn)行分割，然后根據(jù)分割宮頸核利用最小平均相關(guān)能量（Minimum Average C

4、orrelation，MACE）濾波器來確定宮頸細(xì)胞的病變情況。盧磊提出了基于聯(lián)合特征PCANet的宮頸細(xì)胞圖像分類識(shí)別方法，事先用基于塊的組的非局部自相似先驗(yàn)學(xué)習(xí)圖像去燥對(duì)宮頸細(xì)胞圖像去噪，將PCANet網(wǎng)絡(luò)中間層提取的特征和最后輸出層提取的特征聯(lián)合，減少特征的流失，結(jié)合SVM分類器分類，最終對(duì)宮頸細(xì)胞的二類識(shí)別及三類識(shí)別準(zhǔn)確率分別達(dá)到了95.71%和85.4%。3 宮頸細(xì)胞病理學(xué)基礎(chǔ)知識(shí)（Basic knowledge ofcervical cytopathology）宮頸癌是最常見的女性婦科疾病惡性腫瘤之一，發(fā)病率居高不下，一直威脅著女性的健康，且80%的病例來自發(fā)展中國(guó)家。我國(guó)宮頸癌的

5、發(fā)病率占全球的28%，位居第二。如果在病變初期，得到及時(shí)治療，很大程度上可以治愈。發(fā)病年齡日趨年輕化和擴(kuò)大化。宮頸癌具有較長(zhǎng)病變期的特點(diǎn)，一般需要1015年時(shí)間，篩查年齡相應(yīng)提前510年，可更早發(fā)現(xiàn)宮頸癌前病變期。如今的細(xì)胞學(xué)檢測(cè)主要采用傳統(tǒng)的巴氏涂片或者液基細(xì)胞涂片，分析細(xì)胞特征，判斷細(xì)胞是否有病變趨勢(shì)，一般通過肉眼觀察來判斷，檢測(cè)費(fèi)用昂貴，嚴(yán)重影響了宮頸癌的早期防治。近年來，國(guó)產(chǎn)的細(xì)胞病理制片技術(shù)已接近國(guó)際水平，然而閱片技術(shù)仍停留在需要病理醫(yī)生閱片階段，且細(xì)胞涂片數(shù)量巨大，細(xì)胞分布繁復(fù)，整個(gè)過程消耗巨大，準(zhǔn)確率難以保證2。至今為止，美國(guó)FDA已經(jīng)研制出四臺(tái)具有代表性的宮頸細(xì)胞涂片自動(dòng)化檢測(cè)

6、設(shè)備，但是這些設(shè)備檢查費(fèi)用較高，對(duì)于一年一次的普查來說是一般人無法承受的3。所以迫切需要開發(fā)出較為完善的宮頸細(xì)胞分類系統(tǒng)。在病理學(xué)上宮頸癌主要分為鱗癌、腺癌和鱗腺癌。3.1 病變細(xì)胞分類及特點(diǎn)病變細(xì)胞中LSIL（低風(fēng)險(xiǎn)鱗狀細(xì)胞病變）細(xì)胞特征：核擴(kuò)大，是正常細(xì)胞的三到五倍，染色質(zhì)粗，核質(zhì)比高，中央空泡出現(xiàn)。HSIL（高風(fēng)險(xiǎn)鱗狀細(xì)胞病變）細(xì)胞特征：核質(zhì)比非常高，核膜形狀不規(guī)則，分布不均且深染（細(xì)胞核顏色深），染色質(zhì)粗，分布不均勻，胞質(zhì)疏松透明。癌癥屬性的鱗狀細(xì)胞癌（SCC）細(xì)胞特征：細(xì)胞大小形狀可變，細(xì)胞核大小形狀可變，核質(zhì)比可變，深染，染色質(zhì)分布不均，可能出現(xiàn)嗜橘色細(xì)胞質(zhì)，背景可出現(xiàn)腫瘤特性。腺

7、癌（ADENOCAICINOMA）細(xì)胞特征：可看見核仁，出現(xiàn)乳頭狀腺體，除出現(xiàn)嗜橘色細(xì)胞質(zhì)外，其他特征同鱗狀細(xì)胞癌類似。正常宮頸細(xì)胞最顯著的特征：核質(zhì)比正常。3.2 細(xì)胞識(shí)別的困難點(diǎn)一張細(xì)胞圖片上不僅僅有宮頸細(xì)胞，還有皮膚組織細(xì)胞等其他細(xì)胞的存在，且細(xì)胞之間相互重疊，顯微鏡里光線不足也可能造成視線模糊，無法清晰分別細(xì)胞類型和細(xì)胞特征。4 深度卷積神經(jīng)網(wǎng)絡(luò)（Deep convolution neuralnetwork）卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）提供了一種端到端的深度學(xué)習(xí)模型，模型中的參數(shù)可以通過傳統(tǒng)的梯度下降方法進(jìn)行訓(xùn)練，經(jīng)過訓(xùn)練的卷積神經(jīng)網(wǎng)

8、絡(luò)能夠?qū)W習(xí)到圖像中的特征，并且完成對(duì)圖像特征的提取和分類。而且不再需要復(fù)雜的圖像預(yù)處理，數(shù)據(jù)量小也可以訓(xùn)練出圖像特征。典型的卷積神經(jīng)基本網(wǎng)絡(luò)結(jié)構(gòu)主要由輸入層、卷積層、下采樣層（池化層）、全連接層和輸出層組成4。其中卷積層占主要的部分，可以從輸入圖像中提取特征，包含了若干參數(shù)的用于自主學(xué)習(xí)的卷積核（濾波器），參數(shù)是卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的核心內(nèi)容。不同的濾波器可以檢測(cè)出圖像的不同特征，需要根據(jù)訓(xùn)練測(cè)試的對(duì)象特征修改參數(shù)，達(dá)到分類的最好效果。下采樣層（Spatial Pooling），用于降低每個(gè)特征映射的維度，且保留重要信息，類型有最大值、平均值、和等。完全連接層直接使用激活函數(shù)根據(jù)訓(xùn)練數(shù)據(jù)集將輸入的

9、圖像分為不同的類。21世紀(jì)初，卷積神經(jīng)網(wǎng)絡(luò)的廣泛研究階段，由Krizhevsky5等提出的AlexNet在大型圖像數(shù)據(jù)庫(kù)ImageNet的圖像分類競(jìng)賽中獲得冠軍，使卷積神經(jīng)網(wǎng)絡(luò)成為學(xué)術(shù)界關(guān)注的焦點(diǎn)。在AlexNet之后，新的卷積神經(jīng)網(wǎng)絡(luò)模型不斷涌現(xiàn)，例如牛津大學(xué)的VGG（Visual Geometry Group）、谷歌的GoogLeNet6、微軟的ResNet都刷新了ImageNet上AlexNet的記錄。5 利用遷移學(xué)習(xí)實(shí)現(xiàn)對(duì)宮頸病變細(xì)胞的識(shí)別（Identification of cervical lesion cells throughtransfer learning）遷移學(xué)習(xí)的定義是

10、：“運(yùn)用已存有的知識(shí)對(duì)不同但相關(guān)領(lǐng)域問題進(jìn)行求解的一種機(jī)器學(xué)習(xí)方法”，其目標(biāo)是完成知識(shí)在相關(guān)領(lǐng)域之間的遷移。對(duì)于卷積神經(jīng)網(wǎng)絡(luò)而言，遷移學(xué)習(xí)就是要把在特定數(shù)據(jù)集上訓(xùn)練得到的“知識(shí)”成功運(yùn)用到新的領(lǐng)域之中。卷積神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)的一般流程是：（1）在特定應(yīng)用之前，先利用相關(guān)領(lǐng)域大型數(shù)據(jù)集（如ImageNet）對(duì)網(wǎng)絡(luò)中的隨機(jī)初始化參數(shù)進(jìn)行訓(xùn)練；（2）利用訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)，針對(duì)特定應(yīng)用領(lǐng)域的數(shù)據(jù)（如PASCAL）進(jìn)行特征提?。唬?）利用提取后的特征，針對(duì)特定應(yīng)用領(lǐng)域的數(shù)據(jù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)或者分類器7。遷移學(xué)習(xí)基本原理如圖1所示8。遷移學(xué)習(xí)使用預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)作為學(xué)習(xí)新任務(wù)的起點(diǎn)，并對(duì)網(wǎng)絡(luò)進(jìn)行微調(diào)

11、通常比從頭開始隨機(jī)初始化權(quán)重來訓(xùn)練網(wǎng)絡(luò)要快得多和簡(jiǎn)單。因此，可以使用較少數(shù)量的訓(xùn)練圖像將學(xué)習(xí)功能快速轉(zhuǎn)移到新任務(wù)。5.1 卷積神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)本文使用預(yù)訓(xùn)練的resNet50深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)遷移學(xué)習(xí)。深度殘差網(wǎng)絡(luò)（Deep Residual Network，ResNet）的提出是CNN圖像史上的一件里程碑事件。ResNet網(wǎng)絡(luò)參考了VGG19網(wǎng)絡(luò)，在其基礎(chǔ)上進(jìn)行了修改，網(wǎng)絡(luò)深度增加到152層，并通過短路機(jī)制加入了殘差單元解決了深度網(wǎng)絡(luò)退化問題。殘差F（x）=H（x）-x，所以原始的學(xué)習(xí)特征H（x）=F（x）+x，x為輸入值。當(dāng)殘差為0時(shí)，此時(shí)堆積層僅僅做了恒等映射，至少網(wǎng)絡(luò)性能不會(huì)下降，實(shí)際

12、上殘差不會(huì)為0，這也會(huì)使得堆積層在輸入特征基礎(chǔ)上學(xué)習(xí)到新的特征，從而擁有更好的性能。MATLAB 2017b提供了ResNet50預(yù)訓(xùn)練模型的支持。該模型需要安裝神經(jīng)網(wǎng)絡(luò)工具箱，并需要下載和安裝ResNet-50支持包。為了實(shí)現(xiàn)遷移學(xué)習(xí)，使用全連接層，SoftMax層和分類輸出圖層替換ResNet-50最后三個(gè)層，并轉(zhuǎn)移到新的分類任務(wù)。根據(jù)新數(shù)據(jù)指定的新的全連接層的選項(xiàng)。將全連接層設(shè)置為與新數(shù)據(jù)中類的數(shù)量相同。替換前后的對(duì)比如圖2和圖3所示。6 實(shí)驗(yàn)與分析（Experiment and analysis）6.1 數(shù)據(jù)集介紹本文采用的數(shù)據(jù)集來自皇家墨爾本理工大學(xué)（RMIT University）

13、醫(yī)學(xué)院的檢驗(yàn)醫(yī)學(xué)碩士王宗玥實(shí)驗(yàn)中拍攝的宮頸涂片照片。一共20張涂片拍攝出的96張圖片，包含了54張正常（NAD）圖片和42張病變涂片樣本圖片。6.2 實(shí)驗(yàn)結(jié)果及分析本文將進(jìn)行宮頸細(xì)胞圖像的二分類仿真實(shí)驗(yàn)，即對(duì)正常和病變宮頸細(xì)胞進(jìn)行分類識(shí)別，試驗(yàn)在MATLAB2017b平臺(tái)進(jìn)行，利用MATLAB的機(jī)器學(xué)習(xí)工具箱和神經(jīng)網(wǎng)絡(luò)工具箱進(jìn)行模型的訓(xùn)練。本文使用TITAN X GPU訓(xùn)練遷移學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)模型，TITAN X具有3072個(gè)核心。我們對(duì)96張圖片進(jìn)行90次的迭代訓(xùn)練。為了防止過擬合，提高模型的泛化能力，在模型訓(xùn)練的過程中，將訓(xùn)練集進(jìn)一步的劃分為訓(xùn)練集和驗(yàn)證集，訓(xùn)練集和驗(yàn)證集上的結(jié)果精度，如

14、圖4所示?？梢钥吹皆隍?yàn)證集上，遷移學(xué)習(xí)生成的模型的精度可以達(dá)到82%。同時(shí)，我們通過可視化的方式顯示遷移學(xué)習(xí)生成的模型的預(yù)測(cè)結(jié)果。圖5是原始的病理圖片，圖6顯示了原始病理圖片在經(jīng)過遷移學(xué)習(xí)模型上的第一個(gè)激活層后的結(jié)果。一共有70個(gè)特征被提取，其每個(gè)方塊對(duì)應(yīng)一個(gè)卷積層的輸出通道（也就是一個(gè)特征）。白色像素表示圖像經(jīng)過該特征后被激活的部分，也就是特征放大的部分。我們分別提取了39和40個(gè)通道（特征），以及通道作用后的結(jié)果。原始病理圖片如圖5所示，第1個(gè)激活層后的結(jié)果如圖6所示。從圖7和圖8中可以看到，這個(gè)兩個(gè)學(xué)習(xí)到的特征分別對(duì)應(yīng)圖片中的液體部分和病體部分。特征部分的灰度值較非特征部分低，在圖片中可

15、以清晰的分辨出特征的分布。同時(shí)，作為對(duì)比方案，從預(yù)訓(xùn)練的resnet50深度神經(jīng)網(wǎng)絡(luò)中提取學(xué)習(xí)到的圖像特征，并使用這些特征在訓(xùn)練集訓(xùn)練支持向量機(jī)（SVM）分類模型。Resnet50最后幾層結(jié)構(gòu)如圖9所示。更高層提取的是更加抽象的特征，更低層提取的是更低級(jí)別的特征。本文提取全連接層的1000個(gè)特征。針對(duì)圖6的病理圖片，其對(duì)應(yīng)的1000個(gè)特征顯示，如圖10所示。基于這1000個(gè)特征對(duì)SVM模型進(jìn)行訓(xùn)練，并對(duì)訓(xùn)練的模型進(jìn)行測(cè)試驗(yàn)證，研究結(jié)果的精度為62%。因此，從結(jié)果可以看出，利用遷移學(xué)習(xí)可以提取更加貼近訓(xùn)練集的特征，并且具有更好的泛化能力。7 結(jié)論（Conclusion）本文針對(duì)時(shí)下癌癥診斷難的問

16、題，對(duì)Resnet50深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)遷移學(xué)習(xí)，提出了基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)的圖像分類方法，即可以自動(dòng)判別圖像類別的算法。主要思想是，基于預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型產(chǎn)生基礎(chǔ)特征，通過在小規(guī)模數(shù)據(jù)集合上的訓(xùn)練生成符合數(shù)據(jù)集合自身的更加抽象的特征，基于這些抽象特征實(shí)現(xiàn)對(duì)數(shù)據(jù)集的分類。主要采用基于深度卷積神經(jīng)網(wǎng)絡(luò)利用遷移學(xué)習(xí)實(shí)現(xiàn)對(duì)宮頸細(xì)胞圖片的自動(dòng)病理識(shí)別，選遷移學(xué)習(xí)，是因?yàn)槠鋵?shí)現(xiàn)了在小規(guī)模數(shù)據(jù)集合上，并且在較短的時(shí)間內(nèi)訓(xùn)練生成新的深度神經(jīng)網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明，相對(duì)于使用SVM模型生成的深度神經(jīng)網(wǎng)絡(luò)對(duì)宮頸細(xì)胞圖像分類，有較高的準(zhǔn)確率。其基于預(yù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)模型產(chǎn)生基礎(chǔ)特征，通過在小規(guī)模數(shù)據(jù)集合上的訓(xùn)

17、練生成符合數(shù)據(jù)集合自身的更加抽象的特征，基于這些抽象特征實(shí)現(xiàn)對(duì)數(shù)據(jù)集的分類。此方法不僅降低了細(xì)胞判別的主觀因素的干擾，同時(shí)也幫助提高了工作效率，提供給醫(yī)者輔助決策，未來能夠輔助醫(yī)學(xué)界病理學(xué)的科研發(fā)展，降低醫(yī)療及人力方面的資源消耗。參考文獻(xiàn)（References）1 張琳林，曹軍梅.一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類方法J.福建電腦，2018，34（02）：46-47.2 張璐.醫(yī)學(xué)圖像智能分類技術(shù)研究與應(yīng)用D.電子科技大學(xué)，2017.3 范金坪.宮頸細(xì)胞圖像分割和識(shí)別方法研究D.暨南大學(xué)，2010.4 葉斌強(qiáng)，孫鵬飛.宮頸癌診斷及療效評(píng)價(jià)的影像學(xué)研究進(jìn)展J.中國(guó)CT和MRI雜志，2014，12（02）：109-112.5 Krizhevsky A，Sutskever I，Hinton G E.ImageNet classification with deep convolutional neural networksC.International Conference on Neural Information Processing Systems.Curran Associates Inc，2012：1097-1105.6 Szegedy C，Liu W，Jia Y，et al.Going deeper with convolutionsJ.arXiv prep