機(jī)器人操作系統(tǒng)（ROS）課件9.2基于深度學(xué)習(xí)的標(biāo)志物檢測(cè)

機(jī)器人操作系統(tǒng)（ROS）機(jī)器人操作系統(tǒng)（ROS）基于深度學(xué)習(xí)的標(biāo)志物檢測(cè)9.2機(jī)器人操作系統(tǒng)（ROS）9.2基于深度學(xué)習(xí)的標(biāo)志物檢測(cè)深度學(xué)習(xí)（deeplearning）是深度學(xué)習(xí)中表征學(xué)習(xí)方法的一類，其通過(guò)監(jiān)督式或者半監(jiān)督式的特征學(xué)習(xí)和分層特征提取高效算法來(lái)代替手工特征，可以讓機(jī)器學(xué)習(xí)算法更加容易的進(jìn)行學(xué)習(xí)。本章我們將學(xué)習(xí)如何進(jìn)行數(shù)據(jù)集的制作和標(biāo)注，以及模型的訓(xùn)練，并利用訓(xùn)練好的模型進(jìn)行道路標(biāo)志物的檢測(cè)。機(jī)器人操作系統(tǒng)（ROS）9.2.1依賴庫(kù)安裝（1）pip3配置通過(guò)如下命令安裝pip3：$sudoapt-getinstallpython3-pip如果此時(shí)顯示Unabletofetchsomearchives，則運(yùn)行如下命令后重新安裝：$sudoapt-getupdate安裝完成后，運(yùn)行如下指令查看pip3版本，如果能顯示出如下內(nèi)容則安裝成功：pip3版本

接下來(lái)運(yùn)行如下命令更新pip3至最新版本：$sudopython3-mpipinstall--upgradepippip3升級(jí)至21.3.1版本機(jī)器人操作系統(tǒng)（ROS）9.2.1依賴庫(kù)安裝（2）labelimg配置labelimg是一個(gè)圖形圖像注釋工具。圖片標(biāo)注主要是用來(lái)創(chuàng)建自己的數(shù)據(jù)集，方便進(jìn)行深度學(xué)習(xí)訓(xùn)練，如目標(biāo)追蹤、圖像分類等。運(yùn)行如下命令進(jìn)行l(wèi)abelimg的安裝：$gitclone/mirrors/ruolingdeng/labelimg.git$cdlabelimg/$sudoapt-getinstallpyqt5-dev-tools$sudopip3--default-timeout=1000install-rrequirements/requirements-linux-python3.txt$makeqt5py3安裝完成后，運(yùn)行如下命令打開(kāi)labelImg軟件：$python3labelImg.py若出現(xiàn)報(bào)錯(cuò)：ImportError:Nomodulenamedlxml則運(yùn)行如下命令安裝相應(yīng)的依賴：$sudoapt-getinstallpython3-lxmllabelImg界面機(jī)器人操作系統(tǒng)（ROS）9.2.1依賴庫(kù)安裝（3）OpenCV配置運(yùn)行如下命令更新相關(guān)的依賴:$sudoapt-getinstallbuild-essentialcmakegitlibgtk2.0-devpkg-configlibavcodec-devlibavformat-devlibswscale-dev接著進(jìn)入OpenCV網(wǎng)站尋找對(duì)應(yīng)的OpenCV版本進(jìn)行下載：/releases/。（根據(jù)11.4.1的方法來(lái)安裝所需版本的OpenCV）（4）安裝v4l2capture模塊v4l2是linux操作系統(tǒng)下用于采集圖片、視頻和音頻數(shù)據(jù)的API接口，配合適當(dāng)?shù)囊曨l采集設(shè)備和相應(yīng)的驅(qū)動(dòng)程序，可以實(shí)現(xiàn)圖片、視頻、音頻等的采集。進(jìn)入網(wǎng)址：/atareao/python3-v4l2capture，下載源碼。解壓后進(jìn)入python3-v4l2capture文件夾，運(yùn)行如下指令進(jìn)行安裝：$sudo./setup.pyinstall若終端顯示如圖所示的信息，則安裝成功。安裝成功機(jī)器人操作系統(tǒng)（ROS）9.2.2數(shù)據(jù)采集首先，將本書配套的源碼解壓到相應(yīng)的文件夾。在/your_path/paddle/detect/目錄下,可以看到里面包含5個(gè)python腳本，其中通過(guò)相機(jī)獲取圖像數(shù)據(jù)的腳本是Data_Coll.py，代碼部分內(nèi)容如下：#!/usr/bin/envpython#-*-coding:utf-8-*-importosimportv4l2captureimportselectfromctypesimport*importstruct,arrayfromfcntlimportioctlimportcv2importnumpyasnpimporttimefromsysimportargvimportmultiprocessingimporttimeimportgetoptpath=os.path.split(os.path.realpath(__file__))[0]save_name="img"……機(jī)器人操作系統(tǒng)（ROS）在終端輸入如下命令運(yùn)行圖像采集腳本：$python3Date_coll.py運(yùn)行成功后會(huì)出現(xiàn)如圖所示的界面。界面中會(huì)顯示當(dāng)前采集的圖像，以及采集的個(gè)數(shù)，此時(shí)移動(dòng)車體或移動(dòng)標(biāo)志物來(lái)獲取不同視角下包含有標(biāo)志物的圖像；當(dāng)采集到合適數(shù)量圖像后，單擊按鍵‘q’結(jié)束采集；保存的圖像將會(huì)放在/your_path/paddle/detect/data/img/rgb目錄下，可以到該目錄下查看已經(jīng)生成的圖像數(shù)據(jù)；將img文件夾名字改成標(biāo)簽名稱(no_entry)；進(jìn)而采集下一個(gè)標(biāo)志物。

也可以從本書配套資料中獲取圖像數(shù)據(jù)，如圖所示。標(biāo)志物圖像文件圖像采集9.2.2數(shù)據(jù)采集機(jī)器人操作系統(tǒng)（ROS）9.2.3數(shù)據(jù)標(biāo)注獲取圖像信息后，需要對(duì)圖像進(jìn)行標(biāo)注，并按照一定格式打包數(shù)據(jù)集。（1）使用labelimg軟件實(shí)現(xiàn)圖像標(biāo)注首先，在終端輸入如下命令運(yùn)行l(wèi)abelimg軟件：

$cdlabelimg/$python3labelImg.py操作步驟如圖所示：1.單擊“Open”圖標(biāo)，打開(kāi)文件，選擇圖像目錄~/paddlepaddle/detect/data/{標(biāo)簽名}/rgb；此時(shí)會(huì)顯示目錄下的圖像；2.單擊“OpenDir”圖標(biāo)，選擇圖像標(biāo)簽保存目錄；3.在右側(cè)“Usedefaultlabel”（使用預(yù)設(shè)標(biāo)簽）前面打勾并在后面輸入標(biāo)簽名；4.單擊“Create\nRectBox”（創(chuàng)建區(qū)塊）按鈕，拖動(dòng)窗口，給當(dāng)前顯示圖像打標(biāo)簽；5.單擊“Save”保存當(dāng)前標(biāo)簽文件；6.單擊“NextImage”切換到下一張圖片，循環(huán)執(zhí)行4、5、6三步直至此文件夾標(biāo)記完。標(biāo)記完后，目錄結(jié)構(gòu)如下---data-------{標(biāo)簽1}-----rgb#放標(biāo)簽1的圖片||------xml#放標(biāo)簽1的標(biāo)簽||-------{標(biāo)簽2}|…圖像打標(biāo)簽步驟機(jī)器人操作系統(tǒng)（ROS）9.2.3數(shù)據(jù)標(biāo)注（2）生成列表文件運(yùn)行如下命令進(jìn)入到/your_path/paddle/detect/文件夾，$cd~/paddle/detect/創(chuàng)建train_txt_xml.py文件，將如下代碼填入其中，該腳本的作用是生成標(biāo)簽信息列表文件。$gedittrain_txt_xml.pytrain_txt_xml.py文件部分內(nèi)容如下：fromxml.etree.ElementTreeimportElementTree,Elementimportxml.etree.ElementTreeasETimportcv2importnumpyasnpdefsave_train_txt(file_write,label,num):m=0whilem<=num:if(m%10!=0):tree=ET.parse('data/{0}/xml/{1}.xml'.format(str(label),str(m)))root=tree.getroot()#遍歷文件所有的tag為目標(biāo)的值得標(biāo)簽

foreleminroot.iter('xmin'):a=int(elem.text)foreleminroot.iter('ymin'):b=int(elem.text)……機(jī)器人操作系統(tǒng)（ROS）9.2.3數(shù)據(jù)標(biāo)注運(yùn)行如下命令將生成train.txt、eval.txt文件；$python3train_txt_xml.py在同目錄下,運(yùn)行如下命令打開(kāi)label_list.txt和label_list文件；將我們剛標(biāo)注完成的標(biāo)簽分別添加到文件中，最后保存并關(guān)閉兩個(gè)文件。$geditlaxbel_list.txt$geditlabel_list修改后的label_list.txt和label_list文件如圖所示。在此次實(shí)驗(yàn)中我們針對(duì)一個(gè)標(biāo)志物進(jìn)行檢測(cè)，后續(xù)若進(jìn)行多個(gè)標(biāo)志物檢測(cè)的話，可以按照如圖所示的格式增加多個(gè)標(biāo)簽名。修改后的label_list.txt和label_list文件label.txt和label格式機(jī)器人操作系統(tǒng)（ROS）最終得到的數(shù)據(jù)集格式如下所示：---data-------{標(biāo)簽1}-----rgb#放標(biāo)簽1的圖片||------xml#放標(biāo)簽1的標(biāo)簽|-------{標(biāo)簽2}|…|-------{標(biāo)簽*}|-------train.txt|-------eval.txt|-------label_list|-------label_list.txt9.2.3數(shù)據(jù)標(biāo)注機(jī)器人操作系統(tǒng)（ROS）數(shù)據(jù)采集和標(biāo)注完成后，我們將開(kāi)始對(duì)數(shù)據(jù)進(jìn)行模型訓(xùn)練。本節(jié)利用AIstudio線上平臺(tái)（飛槳AIStudio-人工智能學(xué)習(xí)實(shí)訓(xùn)社區(qū)()）線上資源對(duì)模型進(jìn)行訓(xùn)練。飛槳AIStudio是面向AI學(xué)習(xí)者的人工智能學(xué)習(xí)與實(shí)訓(xùn)社區(qū)，社區(qū)集成了很多深度學(xué)習(xí)樣例項(xiàng)目和各領(lǐng)域經(jīng)典數(shù)據(jù)集，給廣大開(kāi)發(fā)者提供了更加完善自由的編程環(huán)境，幫助開(kāi)發(fā)者更快捷簡(jiǎn)便的完成深度學(xué)習(xí)項(xiàng)目。在開(kāi)始使用之前，我們要先注冊(cè)自己的賬號(hào)，用于后續(xù)的訓(xùn)練。9.2.4模型訓(xùn)練機(jī)器人操作系統(tǒng)（ROS）使用該平臺(tái)訓(xùn)練步驟如下：1.首先需要構(gòu)建AIstudio開(kāi)源項(xiàng)目；2.上傳數(shù)據(jù)集；3.然后關(guān)聯(lián)數(shù)據(jù)集和項(xiàng)目；4.訓(xùn)練模型；5.下載訓(xùn)練好的模型。在本次實(shí)驗(yàn)中，我們使用名為“無(wú)人車教具，目標(biāo)檢測(cè)”的標(biāo)志物識(shí)別開(kāi)源項(xiàng)目，該項(xiàng)目地址為：/aistudio/projectdetail/298734，進(jìn)入網(wǎng)址，首先單擊右上角的登錄按鈕，登錄個(gè)人賬戶后；單擊右側(cè)“fork”鍵，fork到自己的項(xiàng)目里。開(kāi)源項(xiàng)目地址9.2.4模型訓(xùn)練機(jī)器人操作系統(tǒng)（ROS）回到AIstudio首頁(yè)，單擊標(biāo)簽欄“項(xiàng)目”，然后單擊“我的項(xiàng)目”，就可以看到剛才創(chuàng)建的新項(xiàng)目。9.2.4模型訓(xùn)練我的項(xiàng)目在個(gè)人中心里，單擊左側(cè)標(biāo)題欄的“數(shù)據(jù)集”；接著單擊“創(chuàng)建數(shù)據(jù)集”。

我的項(xiàng)目創(chuàng)建數(shù)據(jù)集機(jī)器人操作系統(tǒng)（ROS）此時(shí)會(huì)彈出對(duì)話框，添加數(shù)據(jù)集名稱，數(shù)據(jù)集簡(jiǎn)介等如圖，接著單擊“上傳文件”，接著單擊“下一步”在彈出對(duì)話框下面選擇“創(chuàng)建”，該數(shù)據(jù)集創(chuàng)建完成，如圖。創(chuàng)建數(shù)據(jù)集9.2.4模型訓(xùn)練機(jī)器人操作系統(tǒng)（ROS）編輯界面進(jìn)入到我的項(xiàng)目中；單擊“修改”

。使用默認(rèn)的配置環(huán)境點(diǎn)擊下一步，進(jìn)入項(xiàng)目描述界面，刪除已有的數(shù)據(jù)集項(xiàng)目描述9.2.4模型訓(xùn)練配置環(huán)境機(jī)器人操作系統(tǒng)（ROS）單擊“添加數(shù)據(jù)集”選擇已經(jīng)創(chuàng)建的數(shù)據(jù)集。添加數(shù)據(jù)集最后單擊“保存”“取消”，項(xiàng)目編輯完成。添加數(shù)據(jù)集項(xiàng)目編輯完成9.2.4模型訓(xùn)練機(jī)器人操作系統(tǒng)（ROS）接著單擊“啟動(dòng)環(huán)境”。此時(shí)跳出選擇運(yùn)行環(huán)境，在對(duì)話框中選擇使用GPU資源還是CPU資源；建議優(yōu)先使用GPU資源，該項(xiàng)目默認(rèn)代碼是在GPU環(huán)境下運(yùn)行的；最后單擊“確定”。啟動(dòng)環(huán)境選擇運(yùn)行環(huán)境9.2.4模型訓(xùn)練機(jī)器人操作系統(tǒng)（ROS）當(dāng)顯示環(huán)境啟動(dòng)成功時(shí)，點(diǎn)擊“進(jìn)入”。9.2.4模型訓(xùn)練環(huán)境啟動(dòng)成功機(jī)器人操作系統(tǒng)（ROS）進(jìn)入項(xiàng)目后，首先在左側(cè)看一下data目錄下包含的數(shù)據(jù)集；然后找到自己上傳的數(shù)據(jù)集，將右側(cè)相應(yīng)位置進(jìn)行修改。

修改代碼

默認(rèn)使用的是GPU資源，如果使用CPU資源，需要把參數(shù)改成use_gpu”：False。接著按執(zhí)行鍵從第一個(gè)開(kāi)始，逐一運(yùn)行代碼

。修改參數(shù)及運(yùn)行代碼9.2.4模型訓(xùn)練機(jī)器人操作系統(tǒng)（ROS）可以通過(guò)在“終端-1”中輸入tailflogs/train.log命令查看當(dāng)前l(fā)og信息。訓(xùn)練完成后，終端輸出“trainingtilllastepcho.endtraining”。訓(xùn)練完成“終端-1”界面9.2.4模型訓(xùn)練機(jī)器人操作系統(tǒng)（ROS）運(yùn)行最后一部分代碼，測(cè)試訓(xùn)練的模型是否能成功檢測(cè)出標(biāo)志物，若出現(xiàn)如圖的界面，則說(shuō)明模型是可用的。最后一部分代碼模型測(cè)試9.2.4模型訓(xùn)練機(jī)器人操作系統(tǒng)（ROS）代碼運(yùn)行后在右側(cè)會(huì)生成freeze_model文件夾；單擊“下載按鈕”將該壓縮包下載到本地電腦上；選中“保存文件”并單擊確定；此時(shí)保存到本地；通過(guò)單擊“文件夾”圖標(biāo)可顯示當(dāng)前下載的freeze_model.zip文件。9.2.4模型訓(xùn)練下載模型文件保存模型文件完成模型下載機(jī)器人操作系統(tǒng)（ROS）右鍵壓縮文件，單擊“提取到此處”進(jìn)行解壓操作，如圖。然后將~/下載/home/aistudio/目錄下的freeze_model文件復(fù)制粘貼到/your_path/paddle/pd/目錄下。9.2.4模型訓(xùn)練文件解壓縮最后，在/your_path/paddle/pd/目錄下，創(chuàng)建test.py腳本文件，用訓(xùn)練好的模型進(jìn)行標(biāo)志物檢測(cè)實(shí)驗(yàn)，部分代碼如下：frompaddle.fluid.initializerimportMSRAfrompaddle.fluid.param_attrimportParamAttrfrompaddle.fluid.regularizerimportL2DecayfromPILimportImage,ImageEnhance,ImageDrawpaddle.enable_static()#logger=Nonetrain_parameters={"data_dir":"data","train_list":"train.txt","eval_list":"eval.txt","class_dim":-1,"label_dict":{},"num_dict":{},"image_count":-1,……機(jī)器人操作系統(tǒng)（ROS）在終端輸入如下指令運(yùn)行該腳本：$python3test.py代碼運(yùn)行時(shí)，在/your_path/paddlepaddle/pd/下的result.jpg圖像會(huì)持續(xù)更新，運(yùn)行效果如圖，禁止駛?cè)耄╪o_entry）標(biāo)志物已被識(shí)別出來(lái)，并用紅色方框標(biāo)出。9.2.4模型訓(xùn)練實(shí)驗(yàn)結(jié)果機(jī)器人操作系統(tǒng)（ROS）9.2.5在ROS中使用訓(xùn)練好的模型為了使該深度學(xué)習(xí)的標(biāo)志物檢測(cè)能夠在ROS下使用，以便與其他功能節(jié)點(diǎn)進(jìn)行結(jié)合，需要對(duì)test.py文件進(jìn)行修改，使之成為獨(dú)立的節(jié)點(diǎn)。在工作空間的src目錄下運(yùn)行如下命令創(chuàng)建新的功能包DeepLearning，并添加所需的依賴：$catkin_create_pkgDeepLearningstd_msgsrospyroscpp將freeze_model和data兩個(gè)文件夾復(fù)制到工作空間目錄下。進(jìn)入該功能包，運(yùn)行如下命令建立文件夾scripts，并進(jìn)入scripts文件夾：$roscdDeepLearning/$mkdirscripts$cdscripts將上一節(jié)中/your_path/paddle/pd/目錄下的test.py文件拷貝到scripts目錄下，

并在此基礎(chǔ)上進(jìn)行修改，修改后的test.py部分代碼如下：file_list=os.path.join(train_parameters['data_dir'],train_parameters['train_list'])label_list=os.path.join(train_parameters['data_dir'],"label_list")#print(file_list)#print(label_list)index=0withcodecs.open(label_list,encoding='utf-8')asflist:lines=[line.strip()forlineinflist]forlineinlines:train_parameters['num_dict'][index]=line.strip()train_parameters['label_dict'][line.strip()]=indexindex+=1train_parameters['class_dim']=indexwithcodecs.open(file_list,encoding='utf-8')asflist:lines=[line.strip()forlineinflist]train_parameters['image_count']=len(lines)……代碼主要添加了以下內(nèi)容：在腳本文件頂部添加#!/usr/bin/envpython，將該腳本成為可以被python執(zhí)行的可執(zhí)行文件。在頭文件中添加importrospy和fromstd_msgs.msgimportString。在主函數(shù)里添加rospy.init_node('test',anonymous=True)，即在ros中初始化一個(gè)名為test的節(jié)點(diǎn)，以及pub=rospy.Publisher("test",String,queue_size=10)，即發(fā)布一個(gè)名為test的話題。機(jī)器人操作系統(tǒng)（ROS）9.2.5在ROS中使用訓(xùn)練好的模型代碼主要添加了以下內(nèi)容：在腳本文件頂部添加#!/usr/bin/envpython，將該腳本成為可以被python執(zhí)行的可執(zhí)行文件。在頭文件中添加importrospy和fromstd_msgs.msgimportString。在主函數(shù)里添加rospy.init_node('test',anonymous=True)，即在ros中初始化一個(gè)名為test的節(jié)點(diǎn)，以及pub=rospy.Publisher("test",String,queue_size=10)，即發(fā)布一個(gè)名為test的話題。修改CMakeLists.txt文件如下：cmake_minimum_required(VERSION2.8.3)project(DeepLearning)##Findcatkinmacrosandlibraries##ifCOMPONENTSlistlikefind_package(catkinREQUIREDCOMPONENTSxyz)##isused,alsofindothercatkinpackagesset(OpenCV_DIR/usr/share/OpenCV)find_package(catkinREQUIREDCOMPONENTSroscpprospystd_msgs)catkin_package()install(PROGRAMSscripts/test.pyDESTINATION${CATKIN_PACKAGE_BIN_DESTINATION})機(jī)器人操作系統(tǒng)（ROS）9.2.5在ROS中使用訓(xùn)練好的模型回到工作空間目錄下，進(jìn)行功能包的編譯：$catkin_make編譯完成后，開(kāi)啟節(jié)點(diǎn)管理器：$roscore在終端輸入如下命令設(shè)置環(huán)境變量并開(kāi)啟節(jié)點(diǎn)：$sourcecatktin/devel/setup.bash$rosrunrosrunDeepLearningtest.py這里要注意切換python的版本，因?yàn)閞os默認(rèn)在python2的環(huán)境中運(yùn)行，因此開(kāi)啟roscore時(shí)的python環(huán)境是python2，而test.py腳本需要的環(huán)境是python3，因此，在運(yùn)行test節(jié)點(diǎn)時(shí)，需要將python版本切換為3。執(zhí)行如