第9章 語義分割

第九章語義分割章節(jié)介紹Introduction在前面我們介紹了圖像分類、目標檢測的基礎知識，語義分割作為計算機視覺領域中的另一個基礎任務在近些年來受到了廣泛的關注并且也取得了巨大的進步，目前廣泛應用于醫(yī)學圖像和自動駕駛等領域。相比于分類和檢測兩種任務，語義分割的要求更高、難度更大，在未來的計算機視覺領域仍然存在很多問題亟待解決。本章旨在對語義分割的原理、評價指標等知識進行介紹，并幫助讀者了解現(xiàn)有的經(jīng)典分割網(wǎng)絡。學習目標Learningaims（1）理解語義分割的基本原理；（2）掌握語義分割評價指標的計算方法；（3）掌握經(jīng)典的語義分割網(wǎng)絡結構和各自的創(chuàng)新之處。學習內(nèi)容Learningcontent1語義分割介紹Introductiontosemanticsegmentation基本原理我們已經(jīng)在前面介紹了圖像分類和目標檢測的相關知識，我們再來認識一下語義分割。相比于前兩種任務它的要求更高，要求按照“語義”給圖像中的每一個像素點打上標簽，使得不同種類的物體在圖像上被區(qū)分出來，簡單來說，就是為每一個像素點進行分類。以下圖為例，圖像中存在人、背包、草地、人行道、建筑物5種類別的實物，分別用號碼1、2、3、4、5表示，圖像經(jīng)過分割網(wǎng)絡的預測，最終得到的圖像分辨率與原圖像相同，并且相應的像素點都被分類，即在原圖像中人所占的像素點標記為1，草地所占的像素點標記為3，以此類推?；驹砭唧w的實現(xiàn)方法為：為每個類別創(chuàng)建One-Hot編碼，輸入圖像經(jīng)過網(wǎng)絡預測得到的結果通道數(shù)等于類別數(shù)，如下圖所示。在每個通道上只存在0和1，這時我們可以通過argmax得到每個像素點在通道方向上的索引值，即最終得到的分類標簽。常用數(shù)據(jù)集目前常見的語義分割模型都屬于監(jiān)督學習的范疇，因此用于指導訓練的數(shù)據(jù)集是必不可少的。公開的數(shù)據(jù)集有很多，最常見的有PascalVOC2012、Cityspaces和ADE20K，下面將分別對這幾種數(shù)據(jù)集進行介紹。PascalVOC2012：PascalVOC數(shù)據(jù)集可以同時用于分類、檢測和分割任務。對于分割任務，PascalVOC2012中訓練集包含1464張圖片，驗證集中包含1449張圖片，測試集包含1456張圖片。整個數(shù)據(jù)集共分為21個類別（包含背景）。常用數(shù)據(jù)集Cityspaces：Cityspaces數(shù)據(jù)集，即城市景觀數(shù)據(jù)集，包含了5000張（2975張用于訓練,500張用于驗證,1525張用于測試）城市環(huán)境駕駛場景的圖像，記錄了在不同季節(jié)、天氣等條件下的50個城市的街道場景。ADE20K：ADE20K數(shù)據(jù)集包含了在室內(nèi)、室外、自然場景等的圖像，共包含150個類別，包含20000多張（25574張用于訓練,2000張用于測試）圖像，語義信息標注在灰度圖上，每個點的取值范圍為0-150，其中0代表背景。評價指標語義分割的評價指標會用到混淆矩陣，但是常見的混淆矩陣只適用于最簡單的二分類任務，即類別只分為正例和反例，現(xiàn)在我們將混淆矩陣擴展到K類，如下表所示。評價指標為了方便表示，我們做出如下假設：共有K+1類，Pij表示屬于第i類但被預測為第j類的像素數(shù)量，則Pii表示預測正確的像素數(shù)量。PA（像素精度）：標記正確的像素數(shù)量占總像素數(shù)量的比例，計算公式如下：MPA（均像素精度）：首先對每個類計算標記正確的像素占比，之后對多個類別求平均值。計算公式如下：評價指標IoU（交并比）:某個類別的預測結果與真實標簽之間交集與并集的比值，計算公式如下：MIoU（均交并比）:首先對每個類別計算IoU，之后對每個類別計算平均值，計算公式如下：2經(jīng)典語義分割網(wǎng)絡ClassicalsemanticsegmentationnetworksFCN2015年JonathanLong在CVPR發(fā)表《FullyConvolutionalNetworksforSemanticSegmentation》，成為了語義分割領域的開山之作。傳統(tǒng)的CNN由于其出色特征提取能力廣泛應用于圖像分類、目標檢測等領域，但是在CNN當中，通常會在卷積層后接上若干個全連接層，最終得到一個一維向量用于表示屬于某一類的概率，這種分類是屬于圖像級的分類，而語義分割需要像素級分類，所以這種全連接的方式不適用于語義分割。FCN在全卷積網(wǎng)絡中，作者利用卷積層替換了全連接層，輸出不再是一維的類別概率向量。此外，一般的卷積操作之后都會進行下采樣等，即進行一系列操作之后圖像相比于原圖像會縮小，分辨率降低，所以為了實現(xiàn)對原圖像每個像素都進行分類的功能，則需要進行上采樣操作，將圖像恢復至原圖像大小并進行分類。FCN但是通常來說直接對特征圖進行上采樣得到的預測結果是比較粗糙的，所以在FCN網(wǎng)絡當中作者使用了跳躍結構來優(yōu)化預測結果。具體來說，就是將網(wǎng)絡當中不同池化層得到的下采樣特征圖進行上采樣然后再進行特征圖之間的融合最后得到預測結果，基于不同的融合方式FCN又可以被分為FCN-32s、FCN-16s、FCN-8s等。U-NetU-Net是FCN網(wǎng)絡的升級版，最早出自于2015年MICCAI醫(yī)學圖像頂級會議中，最初是用來解決醫(yī)學圖像分割問題，在2015年獲得了細胞追蹤挑戰(zhàn)賽和齲齒檢測挑戰(zhàn)賽冠軍，在此后的很多圖像分割網(wǎng)絡中都將U-Net網(wǎng)絡作為主干網(wǎng)絡進行改進，并且應用在各個方面，例如衛(wèi)星圖像分割、人像分割等。U-Net從結構圖中可以看到U-Net網(wǎng)絡呈U型的對稱結構，并且沒有全連接層，所以它也是一種經(jīng)典的全卷積網(wǎng)絡。U-Net網(wǎng)絡也是一種編碼器-解碼器結構，其輸入為一張572*572大小的經(jīng)過原圖像（512*512）鏡像操作的圖片。網(wǎng)絡的左側稱為壓縮路徑，包括4個子模塊，每個子模塊包含兩個卷積層和一個最大池化層，最終得到32*32大小的特征圖。網(wǎng)絡右側稱為拓展路徑，四個子模塊通過上采樣的方式逐漸恢復分辨率，并且在每一次進行上采樣結束時會與編碼器同分辨率的特征圖進行拼接作為下一個解碼器的輸入。由于圖中所示結構是一個二分類任務，所以最終該網(wǎng)絡的輸出為二通道的特征圖。SegNetSegNet是由劍橋大學團隊開發(fā)的圖像分割的開源項目。與FCN、U-Net一樣，SegNet同樣采用了編碼器-解碼器結構。在編碼器方面，它采用的是VGG16網(wǎng)絡進行特征提取，在解碼器方面，它使用了在相應編碼器的最大池化步驟中計算的池化索引來執(zhí)行非線性上采樣，這種方式可以避免對上采樣過程的學習。經(jīng)過上采樣后得到稀疏的特征圖，再經(jīng)過卷積操作來得到密集的特征圖。PSPNetPSPNet全名為PyramidSceneParsingNetwork，即金字塔場景解析網(wǎng)絡，其核心模塊為金字塔模塊（PyramidPoolingModule）。金字塔模塊的主要作用就是融合不同尺度的特征和不同區(qū)域的上下文信息，從而提高獲取全局上下文信息的能力。此外PSPNet還在ResNet101網(wǎng)絡當中加入了輔助損失函數(shù)，將它和最后的sofmax損失函數(shù)一起進行反向播并優(yōu)化網(wǎng)絡。DeepLabDeepLab是谷歌提出的一系列語義分割算法，到目前為止DeepLab系列已經(jīng)有DeepLabV1、DeepLabV2、DeepLabV3和DeepLabV3+四個版本。其中DeepLabV1是深度卷積神經(jīng)網(wǎng)絡（DCNNs）的改進版本，它主要是為了解決兩個問題：(1)池化和下采樣等操作導致的分辨率降低而丟失細節(jié)。(2)由于空間不變性導致的精度不夠。針對上面兩種問題，DeepLabV1分別采用了空洞卷積和全連接CRF來提高模型的分割精度。它不僅可以增大感受野，還能捕獲多尺度的上下文信息。全連接CRF是用來對分割邊界進行優(yōu)化。DeepLabDeepLabV2在V1的基礎上進行了改進，包括利用空洞卷積代替原來的上采樣、使用空間金字塔池化ASPP來解決圖像中存在多尺度物體的問題、結合DCNN和概率圖模型來改善定位的性能。DeepLabV3主要是對以前的模塊進行了升級和改進，并且不再使用全連接CRF。DeepLabV3+在V3的基礎上提出了深度可分離卷積，將DeepLabV3當做編碼器并擴展一個解碼器構成了DeepLabV3+模型。5小結Summary本章