技術(shù)報(bào)告基于卷積網(wǎng)絡(luò)的遙感圖像建筑物提取技術(shù)

1、計(jì)劃類別 項(xiàng)目編號(hào) 項(xiàng)目技術(shù)報(bào)告課題名稱 項(xiàng)目主持人 承擔(dān)單位 題目：基于卷積網(wǎng)絡(luò)的遙感圖像建筑物提取技術(shù)研究Mask RCNN是當(dāng)前最高水平的實(shí)例分割算法，本文將該算法應(yīng)用到高分辨率遙感圖像建筑物提取中，提出了一種高效、準(zhǔn)確的高分辨率遙感圖像建筑物提取方法。首先，利用Tensorflow和Keras深度學(xué)習(xí)框架搭建Mask RCNN網(wǎng)絡(luò)模型；然后，通過(guò)有監(jiān)督學(xué)習(xí)方式在IAILD數(shù)據(jù)集上進(jìn)行模型學(xué)習(xí)。利用訓(xùn)練出的模型對(duì)測(cè)試集進(jìn)行建筑物提取實(shí)驗(yàn)，通過(guò)與基于KNN和SVM等建筑物提取方法對(duì)比可以看出，本文方法可以更加完整的、準(zhǔn)確的提取出建筑物。采用mAP評(píng)價(jià)指標(biāo)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行定量評(píng)價(jià)，本文算法的查

2、全率和查準(zhǔn)率均大于對(duì)比算法，且多次實(shí)驗(yàn)中本文算法的mAP均在81%以上，驗(yàn)證了基于卷積網(wǎng)絡(luò)的高分辨率遙感圖像建筑物提取的有效性和準(zhǔn)確性。關(guān)鍵詞：深度學(xué)習(xí)；建筑物提??；Mask RCNN；卷積網(wǎng)絡(luò)1 引言（Introduction）提取遙感圖像建筑物信息是遙感圖像解譯中的重要研究課題之一。一方面，快速準(zhǔn)確地提取遙感圖像中的建筑物能夠滿足遙感圖像制圖、地理信息系統(tǒng)的數(shù)據(jù)獲取、城市空間數(shù)據(jù)庫(kù)的更新和建設(shè)“數(shù)字化城市”的需要；另一方面，建筑物提取方法也能為其他類型地物的提取提供一定的思路，因此建筑物提取方法的研究具有重要意義，特別是高空間分辨率遙感影像的投入使用，對(duì)遙感信息處理與分析提出了更多的要求和

3、挑戰(zhàn)1。目前，國(guó)內(nèi)外對(duì)于遙感圖像建筑物提取研究有很多成果，主要分為基于邊緣提取、基于紋理提取和基于分類提取三大類。Huertas等人2通過(guò)檢測(cè)建筑物邊緣的線條，然后根據(jù)空間關(guān)系，進(jìn)而提取出建筑物；葉盛3根據(jù)幅度譜信息將建筑物的邊緣特征和紋理特征結(jié)合起來(lái)，從而對(duì)建筑物提?。籄tz M等人4提出區(qū)域合并分割技術(shù)進(jìn)行建筑物提取；Zheng等5首次訓(xùn)練了一個(gè)將CNN和CRF結(jié)合的端到端的神經(jīng)網(wǎng)絡(luò)，從而對(duì)建筑物提??；Noh等人6設(shè)計(jì)了一個(gè)端到端的神經(jīng)網(wǎng)絡(luò)提高了對(duì)小物體、有遮擋物體的分割準(zhǔn)確率。由于遙感圖像建筑物提取主要針對(duì)城區(qū)，但城區(qū)綠化區(qū)域較多，植被對(duì)建筑物提取嚴(yán)重干擾，而且建筑物類型復(fù)雜，除了單幢的

4、、規(guī)則的矩形建筑物，還有不規(guī)則的、復(fù)雜的建筑物，這對(duì)建筑物提取也帶來(lái)了困難。基于邊緣和紋理特征提取建筑物的準(zhǔn)確率不高，而且有較高的誤檢率，因此，本文采用Mask RCNN深度卷積網(wǎng)絡(luò)進(jìn)行遙感圖像建筑物提取。實(shí)驗(yàn)表明，深度卷積網(wǎng)絡(luò)模型對(duì)植被信息干擾、建筑物類型復(fù)雜等問(wèn)題具有很好的擼棒性，可以達(dá)到較高的查全率和查準(zhǔn)率。2 算法描述（Algorithm description）2.1 網(wǎng)絡(luò)結(jié)構(gòu)Mask RCNN7是在Faster RCNN8的基礎(chǔ)上融合了FCN9和FPN10思想的一種多任務(wù)深度神經(jīng)網(wǎng)絡(luò)。Mask RCNN有兩個(gè)階段：第一階段，由Mask RCNN主干網(wǎng)絡(luò)（即ResNet10111和F

5、PN）提取出遙感圖像的特征圖，然后使用區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network，RPN）生成目標(biāo)的建議框，并對(duì)建議框篩選得到感興趣區(qū)域（Regions Of Interest，ROIs）；第二階段，對(duì)每個(gè)ROIs預(yù)測(cè)類別、位置和對(duì)應(yīng)的建筑物的二值掩膜。網(wǎng)絡(luò)整體結(jié)構(gòu)如圖1所示。圖1 Mask RCNN網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Mask RCNN structure chart2.2 損失函數(shù)損失函數(shù)表達(dá)了預(yù)測(cè)值與真實(shí)標(biāo)簽的差距程度，本文通過(guò)減小預(yù)測(cè)值與真實(shí)標(biāo)簽之間的損失函數(shù)來(lái)訓(xùn)練模型，Mask RCNN的損失函數(shù)定義為：（1）式（1）中表示分類誤差；表示邊界框回歸誤差；表示掩碼誤

6、差。（2）式（2）中i表示特征圖中ROIs的下標(biāo)；表示類別數(shù)；表示第i個(gè)ROIs預(yù)測(cè)為正樣本的概率；當(dāng)ROIs為正樣本時(shí)，=1，當(dāng)ROIs為負(fù)樣本時(shí)，=0。（3）式（3）中表示正樣本ROIs到預(yù)測(cè)區(qū)域的四個(gè)平移縮放參數(shù)；表示正樣本ROIs到真實(shí)標(biāo)簽的四個(gè)平移縮放參數(shù)；R（）是函數(shù)，即（4）式（4）中表示掩碼分支對(duì)每個(gè)ROIs產(chǎn)生的m*m大小的掩碼；K表示分類物體的種類數(shù)目；i表示當(dāng)前ROIs的類別。3 數(shù)據(jù)集及預(yù)處理（Dataset and preprocessing）在本文中，我們采用了法國(guó)國(guó)家信息與自動(dòng)化研究所提供的Inria Aerial Image Labeling Dataset（簡(jiǎn)

7、稱IAILD數(shù)據(jù)集）。該數(shù)據(jù)集中每張圖片是覆蓋面積405公里，空間分辨率為0.3米的航空正射彩色圖像，每張圖像分為建筑物和非建筑物。這些圖像覆蓋了不同的城市居民點(diǎn)，從人口稠密地區(qū)（例如舊金山的金融區(qū)）到高山城鎮(zhèn)（例如利恩茨在奧地利蒂羅爾，美國(guó)的一個(gè)城鎮(zhèn)）。IAILD數(shù)據(jù)集包含180張5000*5000像素訓(xùn)練數(shù)據(jù)，以及相應(yīng)的掩碼圖片。我們將其分為訓(xùn)練集（150張）、驗(yàn)證集（5張）、測(cè)試集（25張）。由于圖片尺寸太大，直接使用會(huì)造成內(nèi)存溢出，所以，我們使用黑色將圖片的邊緣填充60像素，得到了5120*5120的圖片。然后，同時(shí)將圖像和掩碼分割為20行20列，共400張256*256大小的圖片。最

8、終，得到了訓(xùn)練集（60000張）、驗(yàn)證集（2000張）、測(cè)試集（10000張）。（a）衛(wèi)星圖 （b）掩碼圖圖2 分割后的衛(wèi)星圖Fig.2 Satellite map after segmentation4 實(shí)驗(yàn)與算法評(píng)價(jià)（Experiment and algorithmevaluation）4.1 算法實(shí)現(xiàn)算法：使用Mask RCNN進(jìn)行建筑物提取Input：遙感圖像（RGB）Output：建筑物輪廓（1）將遙感圖像進(jìn)行分割，得到分割后的圖像P。（2）將P輸入ResNet101+FPN卷積網(wǎng)絡(luò)中，得到圖像的特征圖集合。（3）將特征圖集合輸入到RPN中，得到候選框。（4）將候選框的特征交給預(yù)測(cè)器

9、，得到每個(gè)候選框的類別、位置和掩碼的預(yù)測(cè)值。（5）計(jì)算預(yù)測(cè)值與真實(shí)值的損失值loss。（6）優(yōu)化損失函數(shù)loss，得到Mask RCNN網(wǎng)絡(luò)模型。我們使用內(nèi)存為32GB，GPU（1080Ti）為11GB的主機(jī)對(duì)模型進(jìn)行模型訓(xùn)練，每8張圖片一個(gè)批次，訓(xùn)練25小時(shí)左右損失函數(shù)不再下降，停留在1.070左右。（a）原圖 （b）效果圖圖3 模型識(shí)別效果圖Fig.3 Model recognition effect diagram4.2 算法評(píng)價(jià)為了定量評(píng)價(jià)遙感圖像提取算法的性能，本文采用的評(píng)價(jià)標(biāo)準(zhǔn)是mAP（mean Average Precision）。mAP是目標(biāo)檢測(cè)中衡量識(shí)別精度的指標(biāo)，多個(gè)類別物

10、體檢測(cè)中每個(gè)類別都可以根據(jù)查準(zhǔn)率（Precision）和查全率（Recall）繪制一條P-R曲線，AP就是該曲線下的面積，mAP是多個(gè)類別AP的平均值。分類結(jié)果混淆矩陣，見(jiàn)表1。表1 分類結(jié)果混淆矩陣Fig.1 Mixed matrix of categorized results實(shí)際類別預(yù)測(cè)類別PositiveNegativeTureTruePositive（TP）TrueNegative（TN）FalseFaslePositive（FP）FalseNegative（FN）TP（真正例）是將正類預(yù)測(cè)為正類的數(shù)量；TN（真負(fù)例）是將負(fù)類預(yù)測(cè)為負(fù)類的數(shù)量；FP（假正例）是將負(fù)類預(yù)測(cè)為正類的數(shù)量；

11、FN（假負(fù)例）是將真累預(yù)測(cè)為負(fù)類的數(shù)量。查全率、查準(zhǔn)率和mAP的計(jì)算公式分別是：（5）（6）（7）式（7）表示數(shù)據(jù)集中所有類別的平均精度的平均值本文采用IOU（Intersection Over Union）來(lái)判斷檢測(cè)到的建筑物是否正確，即IOU0.5時(shí)，說(shuō)明檢測(cè)到的是建筑物。（7）通過(guò)對(duì)測(cè)試集進(jìn)行實(shí)驗(yàn)，得到mAP：0.8111。為了驗(yàn)證本文算法在遙感圖像建筑物提取方面優(yōu)于其他算法。本文使用基于K-means、KNN、SVM的遙感圖像建筑物提取方法對(duì)IAILD數(shù)據(jù)集進(jìn)行了測(cè)試，評(píng)價(jià)結(jié)果見(jiàn)表2。表2 算法性能評(píng)價(jià)Tab.2 Algorithms performance evaluation方法K

12、-meansKNNSVM本文方法mAP0.68380.69470.70750.8111從上表可以看出本文算法的mAP高于其他方法10%以上，本文算法的查全率和查準(zhǔn)率均大于對(duì)比算法，表明基于卷積網(wǎng)絡(luò)的高分辨率遙感圖像建筑物提取的有效性和準(zhǔn)確性。5 結(jié)論（Conclusion）本研究基于MaskRCNN提出一種建筑物提取方法，通過(guò)使用深度學(xué)習(xí)框架Keras和Tensorflow搭建Mask RCNN網(wǎng)絡(luò)模型，并通過(guò)IAILD數(shù)據(jù)集對(duì)模型進(jìn)行有監(jiān)督學(xué)習(xí)，從而提取出建筑物。并與K-means法、KNN法和SVM法的提取效果進(jìn)行了對(duì)比。研究結(jié)果表明，本文方法提取的mAP較高，能有效提取出建筑物。提取建筑

13、物時(shí)，只需遙感圖像輸入到網(wǎng)絡(luò)模型中，即可提取建筑物的大致輪廓，不需另外的步驟，具有效率性和準(zhǔn)確性。本文方法仍存在一些不足，實(shí)驗(yàn)過(guò)程中發(fā)現(xiàn)在分割建筑物時(shí)，部分建筑物提取存在輪廓不規(guī)則；部分圖像紋理特征類似建筑物的海洋和山地地區(qū)有4%左右的誤檢率。上述問(wèn)題可作為今后研究的重點(diǎn)。我們秉承開(kāi)源，開(kāi)放的技術(shù)分享思想，已經(jīng)將代碼放到了GitHub上：https：/fusimeng/maskrcnn_building。該代碼基于Tensorflow和Keras框架，簡(jiǎn)單易懂。參考文獻(xiàn)（References）1 江華.基于eCongnition面向?qū)ο蠹夹g(shù)的高分辨率遙感影像土地利用分類以福州瑯屹島為例J.海峽

14、科學(xué)，2014（8）：12-17.2 A.Huertas and R.Nevatia.Detecting Building in Aerial Images.Computer VisionJ.Graphics and Image Processing，1998，41（2）：131-152.3 葉盛.基于紋理特征的高分辨率遙感圖像建筑物信息識(shí)別與提取方法研究D.南京大學(xué)博士學(xué)位論文，2008：10-13.4 Atz M and Schape A.Multiresolution segmentation：an optimization approach for high quality multi

15、scale image segmentationJ.Journal of Photogrammetry and Remote Sensing，2000，58：12-23.5 Zheng S，Jayasumana S，Romera-Paredes B，et al.Conditional Random Fields as Recurrent Neural Networks.Proceedings of 2015 IEEE International Conference on Computer Vision（ICCV），2015：1529-1537.6 Noh H，Hong S，Han B.Lea

16、rning Deconvolution Network for Semantic Segmentation.Proceedings of 2015 IEEE International Conference on Computer Vision（ICCV），2015：1520-1528.7 Kaiming He，Georgia Gkioxari，Piotr Dollar，et al.Mask RCNNC.In CVPR，2018，1：1703-1078.8 Kaiming He，Shaoqing Ren，Ross Girshich，et al.Faster R-CNN：Towards Real-Time Object Detection with Region Proposal NetworksC.In CVPR，2016，1：1506-1611.9 Jonathan Long，Evan Shelhamer，Trevor Darrell，et al.Fully Convolutional Networks for Semantic SegmentationC.In CVPR，2015，5：1411-1445.10 Tsung-Yi Lin，Piotr Dollar，Ross Girshick，et al.Feature Pyramid