基于改進SSD的鐵路障礙物檢測研究

基于改進SSD的鐵路障礙物檢測研究

焦雙健，劉東，王超（中國海洋大學工程學院，山東青島266100）0引言鐵路列車在運行過程中容易遇到周圍障礙物入侵鐵軌的風險，極易發(fā)生安全事故，而且事故具有突發(fā)性，造成的后果十分嚴重。傳統(tǒng)的人工巡檢排查效率低[1]。目前主流的方法是將深度學習引入障礙物檢測中，從而有效提高檢測效率，降低運維成本，提高行駛安全系數(shù)。Oh等基于視覺識別，利用圖像處理技術(shù)設(shè)計了車站安全平臺系統(tǒng)，對乘客在站臺的安全進行實時分析和預(yù)警[2]；Silar等基于光流估計和K-means聚類算法將流向量分類，以確定障礙物的位置[3]；史紅梅等將機器視覺與嵌入式技術(shù)結(jié)合，提出一種障礙物自動識別方法[4]；同磊等基于機器視覺對鐵軌位置進行識別定位，檢測列車前方的障礙物[5]；郭保青等基于改進的卷積神經(jīng)網(wǎng)絡(luò)，使用AlexNet和HOG特征結(jié)合的方式提高了算法在鐵路場景下的檢測精度和速度[6]；徐巖等基于FasterR-CNN檢測算法完成了高鐵異物侵限檢測研究，在一定程度的基礎(chǔ)上提高了檢測速度[7]。雖然目前國內(nèi)外在此方面的研究都取得了一定的進展，但是對于不同目標檢測算法在鐵路場景下的適用性還有所欠缺。鑒于鐵路障礙物數(shù)據(jù)集較少，上述研究在檢測精度和速度方面均有提升的空間，故此類研究仍有開展價值。1FasterR-CNN與SSD目標檢測算法1.1FasterR-CNN目標檢測算法FasterR-CNN作為基于區(qū)域候選網(wǎng)絡(luò)的目標檢測模型，主要分為4個部分：1）特征提取卷積。卷積層將提取的特征圖輸入到區(qū)域建議網(wǎng)絡(luò)和全連接層。2）候選區(qū)域生成。此部分由區(qū)域建議網(wǎng)絡(luò)（Region-ProposalNetwork，RPN[8]）模塊完成，其主要作用是生成區(qū)域建議框，將步驟1）的特征圖通過歸一化指數(shù)函數(shù)Softmax分成背景分類與預(yù)測框兩部分。3）感興趣區(qū)域池化（RegionofInterest，ROI）。對特征圖和候選區(qū)域進行信息整合，實現(xiàn)從原圖區(qū)域映射到卷積層區(qū)域，得到目標區(qū)域特征。4）分類與回歸。利用Softmax損失和SmoothL1損失對分類概率和邊界框回歸訓練，降低檢測框和真實物體框的最小偏差。Faster-RCNN網(wǎng)絡(luò)結(jié)構(gòu)圖見文獻[8]。1.2SSD目標檢測算法SSD是一種one-stage（一階段）目標檢測算法，相比FasterR-CNN具有明顯的速度優(yōu)勢，相比部分YOLO[9]算法又有一定的精度優(yōu)勢。SSD目標檢測算法中卷積層特征尺寸隨著網(wǎng)絡(luò)層的加深而減小，大尺寸特征圖用來檢測小目標，小尺度特征圖用來檢測大目標，能夠保證大小目標都能被檢測到；最后將所有預(yù)測框?qū)Ρ?，使用非極大值抑制法去掉重疊框，將得分最高的位置框作為最終結(jié)果，以提高檢測效率。SSD網(wǎng)絡(luò)結(jié)構(gòu)圖見文獻[10-11]。2鐵路障礙物數(shù)據(jù)集的建立由于鐵路障礙物數(shù)據(jù)集獲取難度較大，故本文選擇開源數(shù)據(jù)集與實拍數(shù)據(jù)集結(jié)合的方式建立數(shù)據(jù)集。2.1障礙物數(shù)據(jù)集分類根據(jù)近幾年全國鐵路交通事故統(tǒng)計，結(jié)合日常常見障礙物種類，將本文障礙物分為垃圾類（garbage）、動物類（animal）、車輛類（car）3類，如表1所示。其中垃圾類包含紙箱和瓶子，動物類包含牛羊和行人，車輛類只有汽車。數(shù)據(jù)集包含圖像文件、session模式以及.mat格式的標注文件。表1數(shù)據(jù)集分類2.2數(shù)據(jù)集采集2.2.1開源數(shù)據(jù)集由于開源數(shù)據(jù)集各類場景豐富，可以對特定場景圖像信息進行補充，因此通過對網(wǎng)絡(luò)開源數(shù)據(jù)集進行對比并結(jié)合本研究場景的復(fù)雜性，選擇并篩選部分MSCOCO2017、VOC2007、COCO開源數(shù)據(jù)集作為本文數(shù)據(jù)集。篩選原則為：在滿足要求的前提下，選擇不同背景、不同尺度的目標圖像，以保證模型訓練的魯棒性。2.2.2實拍數(shù)據(jù)集為提高數(shù)據(jù)集場景多樣性，在鐵路叉道口處采集部分數(shù)據(jù)。拍攝天氣包含晴天、陰天、雪霧天，采集時段覆蓋早晨和傍晚。由于單張圖像采集效率較低，故采取視頻數(shù)據(jù)的形式，再用視頻處理軟件進行抽幀處理，設(shè)置幀數(shù)間隔為每1s提取一幀，截取完成后對圖像進行篩選，刪除相似度較大的圖像，共提取到有效圖像360張。3鐵路障礙物檢測模型的建立3.1實驗環(huán)境配置本文實驗環(huán)境配置如表2所示。表2實驗環(huán)境配置3.2Faster-RCNN檢測模型的建立本節(jié)在Faster-RCNN目標檢測框架基礎(chǔ)上，選擇兩種特征提取網(wǎng)絡(luò)，VGG-16（VisualGeometryGroup）[12]和MobileNet-v2[13]，完成兩個檢測模型的訓練和驗證。3.2.1Faster-RCNN_VGG-16檢測模型基于MatlabR2020b框架，完成對Faster-RCNN_VGG-16模型的搭建，命名為FR-1網(wǎng)絡(luò)，對原始網(wǎng)絡(luò)模型的參數(shù)進行參數(shù)分析及修正工作。模型原始參數(shù)如表3、表4所示。修正后的FR-1模型參數(shù)如表5所示。表3Faster-RCNN模型原始參數(shù)表4VGG-16特征提取網(wǎng)絡(luò)原始參數(shù)表5FR-1檢測模型修正參數(shù)對模型進行訓練，將得到的數(shù)據(jù)進行整理，訓練準確率曲線和損失函數(shù)曲線如圖1所示。圖1FR-1檢測模型訓練結(jié)果由圖1可知，模型訓練結(jié)果準確率接近91%。FR-1檢測模型驗證集驗證結(jié)果如圖2所示。圖2FR-1檢測模型驗證結(jié)果3.2.2Faster-RCNN_MobileNet-v2檢測模型基于MatlabR2020b框架，完成對Faster-RCNN_MobileNet-v2模型的搭建，命名為FR-2網(wǎng)絡(luò)，對原始網(wǎng)絡(luò)模型的參數(shù)進行參數(shù)分析及修正工作。特征提取網(wǎng)絡(luò)原始參數(shù)如表6所示，F(xiàn)R-2模型的參數(shù)修正參考3.2.1節(jié)。表6MobileNet-v2特征提取網(wǎng)絡(luò)原始參數(shù)對模型進行訓練，將得到的數(shù)據(jù)進行整理，訓練準確率曲線和損失函數(shù)曲線如圖3所示。圖3FR-2檢測模型訓練結(jié)果由圖3可知，模型訓練結(jié)果準確率接近90%。FR-2檢測模型驗證集驗證結(jié)果如圖4所示。圖4FR-2檢測模型驗證結(jié)果3.2.3Faster-RCNN檢測模型結(jié)果分析由于特征提取網(wǎng)絡(luò)的差異，兩個模型訓練過程的準確率曲線和損失函數(shù)曲線不相同。通過整理，將各曲線放在同一坐標軸內(nèi)討論，對比結(jié)果如圖5所示。圖5不同模型中準確率與損失函數(shù)的對比從圖5a）可以看出：在訓練中FR-1曲線的震蕩較大，迭代次數(shù)達到25次左右時，曲線趨于收斂，準確率達到92%左右；FR-2曲線在初期上升較為平緩，當?shù)螖?shù)達到10次左右，曲線震蕩較大，之后趨于收斂，準確率達到90%左右。從圖5b）可以看出，訓練初期梯度下降，在第一輪訓練結(jié)束處發(fā)生震蕩，體現(xiàn)出學習率的下降，當?shù)螖?shù)達到20次左右時，曲線趨于收斂，之后的函數(shù)值在0～0.5之間輕微波動，且FR-1曲線損失值小于FR-2曲線損失值。兩個檢測模型在相應(yīng)的迭代次數(shù)內(nèi)均實現(xiàn)了訓練準確率和損失函數(shù)的收斂，訓練結(jié)果對比如表7所示。表7Faster-RCNN檢測模型訓練結(jié)果對比3.3SSD檢測模型的建立在SSD目標檢測模型框架下，選取3.2節(jié)中的兩種特征提取網(wǎng)絡(luò)，在網(wǎng)絡(luò)結(jié)構(gòu)不變的基礎(chǔ)上，完成兩種模型的訓練及驗證工作。3.3.1SSD_VGG-16檢測模型基于MatlabR2020b框架，完成對SSD_VGG-16模型的搭建，命名為SSD-1網(wǎng)絡(luò)。對原始網(wǎng)絡(luò)模型的參數(shù)進行分析及修正工作，參數(shù)修正參考3.1節(jié)。對模型進行訓練，將得到的數(shù)據(jù)進行整理，訓練準確率曲線和損失函數(shù)曲線如圖6所示。圖6SSD-1檢測模型訓練結(jié)果由圖6可知，模型訓練結(jié)果準確率接近92%。SSD-1檢測模型驗證集驗證結(jié)果如圖7所示。圖7SSD-1檢測模型驗證結(jié)果3.3.2SSD_MobileNet-v2檢測模型基于MatlabR2020b框架，完成對SSD_MobileNetv2模型的搭建，命名為SSD-2網(wǎng)絡(luò)，對原始網(wǎng)絡(luò)模型的參數(shù)進行分析及修正工作。對模型進行訓練，將得到的數(shù)據(jù)進行整理，訓練準確率曲線和損失函數(shù)曲線如圖8所示。由圖8可知，模型訓練結(jié)果準確率接近91%。SSD-2檢測模型驗證集驗證結(jié)果如圖9所示。圖8SSD-2檢測模型訓練結(jié)果圖9SSD-2檢測模型驗證結(jié)果3.3.3SSD檢測模型結(jié)果分析由于特征提取網(wǎng)絡(luò)的差異，兩個模型訓練過程的準確率曲線和損失函數(shù)曲線不相同。通過整理，將各曲線放在同一坐標軸內(nèi)討論，對比結(jié)果如圖10所示。從圖10a）可以看出：SSD-1曲線在前期震蕩較大，迭代次數(shù)達到15次左右時，曲線趨于收斂，準確率達到92%左右；SSD-2曲線較為平緩，但準確率略低于前者，達到91%左右。從圖10b）可以看出，曲線在開始訓練階段就出現(xiàn)了震蕩，當?shù)螖?shù)達到20次左右時，曲線趨于收斂，且SSD-1曲線損失值小于SSD-2曲線。圖10不同模型中準確率與損失函數(shù)的對比兩個檢測模型在相應(yīng)的迭代次數(shù)內(nèi)均實現(xiàn)了訓練準確率和損失函數(shù)的收斂，訓練結(jié)果如表8所示。表8SSD檢測模型訓練結(jié)果對比3.4檢測模型對比將同一種測試集放在4種網(wǎng)絡(luò)模型上完成測試，對試驗數(shù)據(jù)分析整理，得到4種模型對應(yīng)的檢測標簽識別率和檢測時間，結(jié)果如表9所示。表9四種模型測試比選結(jié)果由表9可知：FR-1檢測模型的檢測準確率最高，平均精度mAP為79.2%；SSD-1檢測模型檢測準確率稍低于前者，平均精度mAP為78.1%，但單張圖像的檢測時間較短。綜合比較，本研究選擇SSD-1檢測模型為改進對象。4SSD-1檢測模型的改進通過對4種檢測模型的準確率和檢測速度進行對比，最終選出最佳檢測模型為SSD-1。對此模型進行改進，改進后的模型命名為New_SSD-1。4.1基于反卷積特征融合的模型改進原始模型的特征提取網(wǎng)絡(luò)只進行多尺度特征的提取工作，未將不同層級間的信息連接起來，導(dǎo)致特征融合性差，存在局限性，特征圖間的語義信息不充分。本文通過增加不同的特征提取層，并利用多尺度特征的優(yōu)勢，實現(xiàn)對目標的多尺度特征融合，從而提高檢測準確率。特征圖的維度與目標特征語義信息呈反比，為加強網(wǎng)絡(luò)的特征表達和語義信息，特征圖通過反卷積運算將高維中的低層特征反映到低維的高層特征里。反卷積運算公式為：式中：s表示步長；x是特征圖的像素；k是反卷積中卷積核的大??；p是padding的值?；谠寄Ｐ?，本文對5個尺度大小相同的特征提取層增加反卷積模塊，便于融合不同特征圖之間的特征。以一個特征提取層為例，其中s=1，i=3，k=3，p=0，輸出Fde=5×5的特征圖。融合反卷積過程如圖11所示。圖11融合反卷積過程改進后的SSD算法是將反卷積運算添加到頂層低維特征圖做上采樣，將低維特征圖與高維特征圖信息融合，使輸出的尺寸和通道數(shù)與上層特征圖一致，便于網(wǎng)絡(luò)提取目標的特征，增強網(wǎng)絡(luò)融合特征的能力，結(jié)構(gòu)圖如圖12所示。圖12改進后的特征提取網(wǎng)絡(luò)結(jié)構(gòu)圖4.2New_SSD_VGG-16模型的訓練與測試基于MatlabR2020b框架，完成對New_SSD_VGG-16模型的搭建，命名為New_SSD-1網(wǎng)絡(luò)。將原始模型與改進后的New_SSD-1模型進行對比，將二者的訓練準確率曲線和損失函數(shù)曲線放在同一坐標軸內(nèi)分析討論，對比結(jié)果如圖13所示。圖13不同模型中準確率與損失函數(shù)的對比從圖13a）可以看出，改進后的模型初始準確率較低而后波動上升，當?shù)螖?shù)達到30次左右時曲線趨于收斂，最終準確率接近95%；從圖13b）可以看出，改進后的模型損失曲線總體呈現(xiàn)下降趨勢，訓練初期曲線下降速度快，而后趨于收斂，當?shù)螖?shù)達到40次左右時，損失值收斂于0.1左右。將驗證集在New_SSD-1模型上驗證，驗證結(jié)果如圖14所示。圖14New_SSD-1檢測模型驗證結(jié)果兩種模型訓練結(jié)果對比如表10所示。表10SSD-1模型改進前后訓練結(jié)果對比將同一種測試集放在兩種模型上進行測試，對試驗數(shù)據(jù)分析整理，得到兩種模型對應(yīng)的檢測標簽識別率和檢測時間，結(jié)果如表11所示。由表11可知：改進后的模型在不同的障礙物目標上的檢測準確率均有提升，mAP達到82.4%，較未改進之前提升了4.3%，較FR-1模型提升了3.2%；對于小目標物體垃圾一類，AP為81.7%，較未改進之前提升了4.4%，較FR-1模型提升了3.3%；單張圖片的平均檢測時間為0.071s，較未改進前提升了14.5%，較FR-1模型提