基于視覺(jué)的樓梯檢測(cè)與定位的中期報(bào)告

基于視覺(jué)的樓梯檢測(cè)與定位的中期報(bào)告中期報(bào)告摘要樓梯檢測(cè)與定位對(duì)于機(jī)器人在室內(nèi)環(huán)境中的應(yīng)用具有重要意義。本文中期報(bào)告介紹了我們針對(duì)基于視覺(jué)的樓梯檢測(cè)與定位的研究進(jìn)展。在現(xiàn)有的研究基礎(chǔ)上，我們提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的樓梯檢測(cè)算法，并利用深度學(xué)習(xí)技術(shù)進(jìn)行模型訓(xùn)練和優(yōu)化。我們進(jìn)一步將檢測(cè)結(jié)果與激光雷達(dá)數(shù)據(jù)進(jìn)行融合，實(shí)現(xiàn)了樓梯位置的精確定位。我們還實(shí)現(xiàn)了一個(gè)基于ROS的系統(tǒng)，其中包括樓梯檢測(cè)、定位和路徑規(guī)劃等功能模塊。關(guān)鍵詞：樓梯檢測(cè)、定位、卷積神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)、路徑規(guī)劃1.研究背景和意義樓梯檢測(cè)與定位是機(jī)器人在室內(nèi)環(huán)境中的重要任務(wù)之一，對(duì)于機(jī)器人自主導(dǎo)航、環(huán)境建模和任務(wù)執(zhí)行具有重要意義。在人類(lèi)能夠輕松完成的樓梯上行、下行操作對(duì)于機(jī)器人而言卻是具有挑戰(zhàn)性的，尤其是在光照變化、復(fù)雜背景、遮擋等情況下，傳統(tǒng)的視覺(jué)算法可能難以取得理想的效果。近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法取得了很大進(jìn)展，也成為了解決樓梯檢測(cè)問(wèn)題的重要工具。因此，基于深度學(xué)習(xí)的樓梯檢測(cè)與定位成為了機(jī)器人視覺(jué)領(lǐng)域的研究熱點(diǎn)。2.研究進(jìn)展在本次研究中，我們主要針對(duì)樓梯檢測(cè)與定位這一問(wèn)題展開(kāi)研究。2.1樓梯檢測(cè)算法針對(duì)樓梯檢測(cè)問(wèn)題，我們提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的算法。具體流程如下：（1）數(shù)據(jù)集準(zhǔn)備：我們使用了一個(gè)包含超過(guò)5000個(gè)樓梯圖像的數(shù)據(jù)集，這些圖像包括了各種不同場(chǎng)景下的樓梯，如室內(nèi)樓梯、室外樓梯、曲線(xiàn)樓梯等。（2）數(shù)據(jù)預(yù)處理：對(duì)于數(shù)據(jù)集中的每張圖片，我們首先進(jìn)行數(shù)據(jù)增強(qiáng)處理，包括旋轉(zhuǎn)、翻轉(zhuǎn)、裁剪等，從而擴(kuò)充數(shù)據(jù)集規(guī)模。然后，我們將圖片轉(zhuǎn)換為固定大小的RGB彩色圖像，并進(jìn)行歸一化處理，將每個(gè)像素值縮放到0-1之間。（3）模型訓(xùn)練：我們采用了基于FasterR-CNN算法的檢測(cè)模型進(jìn)行訓(xùn)練。具體地，我們使用了Resnet50作為主干網(wǎng)絡(luò)，對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行微調(diào)，以適應(yīng)樓梯檢測(cè)任務(wù)。在模型訓(xùn)練過(guò)程中，我們采用了數(shù)據(jù)增強(qiáng)、隨機(jī)采樣等技術(shù)進(jìn)行訓(xùn)練數(shù)據(jù)的擴(kuò)充與提升。（4）模型優(yōu)化：在模型訓(xùn)練過(guò)程中，我們發(fā)現(xiàn)模型在室外光照復(fù)雜、背景雜亂的情況下表現(xiàn)不穩(wěn)定。為了解決這一問(wèn)題，我們引入了一種基于自適應(yīng)校正的算法，對(duì)網(wǎng)絡(luò)中的每一層進(jìn)行自適應(yīng)優(yōu)化，以增加模型的泛化能力。2.2樓梯定位與路徑規(guī)劃針對(duì)樓梯定位與路徑規(guī)劃問(wèn)題，我們借助激光雷達(dá)數(shù)據(jù)與機(jī)器人姿態(tài)信息，進(jìn)一步對(duì)檢測(cè)結(jié)果進(jìn)行融合，實(shí)現(xiàn)了樓梯位置的精確定位。同時(shí)，我們還采用了基于A*算法的路徑規(guī)劃方法，在保持與樓梯保持一定距離的前提下，使機(jī)器人能夠安全地上下樓梯。3.實(shí)驗(yàn)結(jié)果我們?cè)谧灾鳈C(jī)器人上進(jìn)行了各項(xiàng)實(shí)驗(yàn)，并對(duì)算法進(jìn)行了驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，我們提出的基于CNN的樓梯檢測(cè)算法在不同場(chǎng)景下均表現(xiàn)出了很好的穩(wěn)定性和魯棒性，定位精度也較高。同時(shí)，我們實(shí)現(xiàn)的基于ROS的系統(tǒng)可以實(shí)現(xiàn)樓梯檢測(cè)、定位和路徑規(guī)劃等多個(gè)功能模塊的集成，具有較高的實(shí)用性和可擴(kuò)展性。4.計(jì)劃和展望在剩余的研究時(shí)間內(nèi)，我們計(jì)劃完成以下研究任務(wù)：（1）進(jìn)一步優(yōu)化檢測(cè)算法，提高檢測(cè)精度和效率；（2）實(shí)現(xiàn)自主控制算法，使機(jī)器人能夠安全地上下樓梯；（3）進(jìn)一步拓展實(shí)驗(yàn)數(shù)據(jù)集，驗(yàn)證算法的魯棒性和泛化能力；（4）探索多模態(tài)信息融合技術(shù)，提高定位精度和魯棒性。參考文獻(xiàn)[1]RedmonJ,DivvalaS,GirshickR,etal.Youonlylookonce:Unified,real-timeobjectdetection[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2016:779-788.[2]RenS,HeK,GirshickR,etal.FasterR-CNN:Towardsreal-timeobjectdetectionwithregionproposalnetworks[J].IEEEtransactionsonpatternanalysisandmachineintelligence,2017,39(6):1137-1149.[3]LinTY,GoyalP,GirshickR,etal.Focallossfordenseobjectdetection[J].IEEEtransactionsonpatternanalysisandmachineintelligence,2018.[4]WangX,YangJ,ZhangC,etal.Lingual-NMS:End-to-endtextspottingwithnon-maximumsuppression[J].arXivpreprintarXiv:1901.02830,2019.[5]LiJ,SunX,WuY,etal.Recognizingindoorsce