《鴻蒙機(jī)器人編程》課件-3-1ROS機(jī)器人視覺應(yīng)用

1.機(jī)器視覺初步課程介紹課程安排：介紹ROS下與機(jī)器視覺相關(guān)的基礎(chǔ)包以及彩色和深度相機(jī)的使用方法。課程目的：了解ROS下機(jī)器視覺入門工具包，并知道如何使用。所需基礎(chǔ)：了解攝像頭基本原理，掌握ROS編程基礎(chǔ)。課程內(nèi)容：機(jī)器視覺概述，獲取并顯示圖像，攝像頭的標(biāo)定，深度攝像頭初步?NXROBO20222機(jī)器視覺概述機(jī)器視覺就是用機(jī)器代替人眼來做測量和判斷。機(jī)器視覺檢測系統(tǒng)采用CCD或CMOS照相機(jī)將被檢測的目標(biāo)轉(zhuǎn)換成圖像信號，傳送給專用的圖像處理系統(tǒng)根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號圖像處理系統(tǒng)對這些信號進(jìn)行各種運算來抽取目標(biāo)的機(jī)器視覺特征，如面積、數(shù)量、位置、長度再根據(jù)預(yù)設(shè)的允許度和其他條件輸出結(jié)果，包括尺寸、角度、個數(shù)、合格/不合格、有/無等，實現(xiàn)自動識別功能。?NXROBO20223機(jī)器視覺概述在ROS系統(tǒng)中，我們常用的視覺傳感器是USB攝像頭，價格低廉并且大家都很熟悉。但是不同于windows，我們可能需要自己安裝驅(qū)動程序。在驅(qū)動程序搞定之后，我們就可以使用image_view包來顯示圖像然后進(jìn)一步提供給其他算法包來做進(jìn)一步處理。當(dāng)然了，和其他傳感器不同的是，我們在正式使用攝像頭的數(shù)據(jù)之前需要對它進(jìn)行標(biāo)定，以獲取攝像頭的各項參數(shù)，在后面的處理中進(jìn)行校正。?NXROBO20224獲取并顯示圖像當(dāng)我們把攝像頭通過USB與計算機(jī)連接之后，下一步便是通過ROS來調(diào)取攝像頭圖像了。不過，在ROS系統(tǒng)中，USB攝像頭并不被原生支持，我們需要自己安裝驅(qū)動包來獲取攝像頭圖像并發(fā)布出去，這樣image_view包才能夠獲取圖像并顯示出來。下載并編譯usb_cam包：?NXROBO20225$cd~/<你的工作空間>/src$gitclone/bosch-ros-pkg/usb_cam.git$cd..$catkin_make獲取并顯示圖像?NXROBO20226獲取并顯示圖像運行test腳本：?NXROBO20227$cd~/catkin_make/$roslaunchusb_camusb_cam-test.launchusb_cam-test.launch文件?NXROBO20228<launch><nodename="usb_cam"pkg="usb_cam"type="usb_cam_node"output="screen"><paramname="video_device"value="/dev/video0"/><paramname="image_width"value="640"/><paramname="image_height"value="480"/><paramname="pixel_format"value="yuyv"/><paramname="camera_frame_id"value="usb_cam"/><paramname="io_method"value="mmap"/></node><nodename="image_view"pkg="image_view"type="image_view"respawn="false"output="screen"><remapfrom="image"to="/usb_cam/image_raw"/><paramname="autosize"value="true"/></node></launch>獲取并顯示圖像可以看到，腳本中開啟了兩個節(jié)點一個是usb_cam自身的節(jié)點，它附帶了幾個參數(shù)以確定圖像的來源及格式；其中，video_device設(shè)定圖像來源的設(shè)備，在Ubuntu中，可以通過以下命令查看當(dāng)前系統(tǒng)中可用的視頻設(shè)備另一個是image_view節(jié)點，用于顯示獲取到的圖像數(shù)據(jù)。

?NXROBO20229$ls/dev/|grepvideo標(biāo)定由于大部分?jǐn)z像頭經(jīng)過鏡頭獲取圖像之后會產(chǎn)生失真，對我們后期的圖像處理造成誤差所以，我們需要首先對此攝像頭進(jìn)行標(biāo)定，以此獲取攝像頭內(nèi)參。標(biāo)定方法主要是使用一種已知的標(biāo)定圖案，通過對不同角度的視圖進(jìn)行辨識來實現(xiàn)。在這里我們使用經(jīng)典的棋盤圖案來做標(biāo)定，當(dāng)然也有其他的標(biāo)定圖案，不過不在我們本次的討論范圍，大家有興趣可自行查詢。?NXROBO202210標(biāo)定?NXROBO202211我們使用camera_calibration包進(jìn)行標(biāo)定，不過在標(biāo)定之前我們需要打開攝像頭并將圖像發(fā)布出來，并不需要開啟image_view包來顯示圖像，所以，我們需要精簡上一步所使用的launch文件，去掉開啟image_view包的腳本。修改如下：<launch><nodename="usb_cam"pkg="usb_cam"type="usb_cam_node"output="screen"><paramname="video_device"value="/dev/video0"/><paramname="image_width"value="640"/><paramname="image_height"value="480"/><paramname="pixel_format"value="yuyv"/><paramname="camera_frame_id"value="usb_cam"/><paramname="io_method"value="mmap"/></node></launch>標(biāo)定啟動上面腳本之后，執(zhí)行下面的指令：

上面的命令中，傳遞了幾個參數(shù)，含義如下：--size 標(biāo)定使用棋盤大小，棋盤內(nèi)部角落數(shù)量--square 棋盤中每個棋格的邊長，以米為單位--image 使用的圖像topic--no-service-check 在啟動時禁用檢查set_camera_info服務(wù)?NXROBO202212$rosruncamera_calibrationcameracalibrator.py--size8x6--square0.036image:=/usb_cam/image_rawcamera:=/camera--no-service-check標(biāo)定啟動后，顯示界面如下?NXROBO202213標(biāo)定界面正常出現(xiàn)后，需要手持棋盤板在不同的距離不同的角度位置讓程序識別棋盤所以需要確保棋盤全部保持出現(xiàn)在圖像中，大致的幾個位置如下圖（轉(zhuǎn)自官網(wǎng)）顯示：?NXROBO202214標(biāo)定在每個不同位置保持片刻，等棋盤被彩色高亮標(biāo)示后即可移動。在移動過程中可以看到窗口右上角的幾個進(jìn)度條在增長，同時顏色也漸漸趨向綠色。當(dāng)右側(cè)的calibration按鈕亮起之后，表示我們已經(jīng)采集夠了標(biāo)定所需數(shù)據(jù)，點擊按鈕便會自動計算并顯示結(jié)果。?NXROBO202215camera_info關(guān)于ROScameradriver中最難以理解的一點camera_info：首先我們需要了解camera本身的模型參數(shù)，具體分為內(nèi)參與外參，camera還存在不同程度的畸變，描述這些畸變也有對應(yīng)的模型及其參數(shù)。對于雙目相機(jī)來說，相機(jī)成像平面與等本征矩陣參數(shù)也需要記錄。這些信息被ROS統(tǒng)一整合到了一起，放在camera_info里面與image資料一起發(fā)布。最讓人難以上手的地方在于，在ROS系統(tǒng)體系中，一般默認(rèn)cameradriver負(fù)責(zé)管理這部分信息但是大部分開源出來的ROScameradriver并沒有對這部分做很好的處理原因很簡單，因為硬件種類太多了，即使是硬件廠家如Pointgrey的官方ROS驅(qū)動，camera_info也需要我們進(jìn)行手動測定。?NXROBO202216RGB-D攝像頭除了常見的色彩攝像頭之外，還有深度攝像頭也是機(jī)器人常用的一種傳感器它能在一定的范圍內(nèi)探測前方物體距離攝像頭的距離，例如：Kinect、Xtion、realsense等。使用的測距方法也主要是時間飛行（ToF）及結(jié)構(gòu)光等，大家可自行了解下，這里不做過多討論。以我們spark自帶的深度攝像頭作為講解，當(dāng)插入攝像頭，應(yīng)可以看到ID為2b05:0401的設(shè)備。?NXROBO202217RGB-D攝像頭我們在/NXROBO/spark.git下載源碼并編譯，一切就緒后，運行指令：開啟astra節(jié)點獲取并發(fā)布圖像消息，打開rqt_image_view，通過界面左上角下拉菜單選擇topic顯示深度信息?NXROBO202218$cd~/spark$sourcedevel/setup.bash$roslaunchastra_launchastra.launch$rqt_image_viewRGB-D攝像頭?NXROBO202219RGB-D攝像頭至此，我們已經(jīng)成功驅(qū)動深度攝像頭并顯示其深度數(shù)據(jù)。當(dāng)然，我們還可以使用rviz包來查看深度數(shù)據(jù)：界面啟動后，修改GlobalOptions中的FixedFrame為camera_link，之后點擊Add添加PointCloud2類型，修改Topic為/camera/depth/points，具體的參數(shù)如下圖所示。?NXROBO202220$rosrunrvizrvizRGB-D攝像頭?NXROBO202221小結(jié)這一課我們介紹了部分在ROS下與攝像頭相關(guān)的包包括攝像頭驅(qū)動、顯示及標(biāo)定等工具對機(jī)器視覺相關(guān)的設(shè)備有一定的了解，為后面的進(jìn)階功能打下基礎(chǔ)。?NXROBO2022222.實踐課-圖像采集與目標(biāo)識別課程介紹課程安排：介紹開源視覺庫OpenCV以及如何將OpenCV在ROS中使用，并完成一個小小的視覺應(yīng)用。課程目的：掌握使用ROS和OpenCV進(jìn)行機(jī)器視覺應(yīng)用開發(fā)所需基礎(chǔ)：了解攝像頭基本原理，掌握ROS、OpenCV編程基礎(chǔ)。?NXROBO202224OpenCVOpenCV的全稱是：OpenSourceComputerVisionLibrary。OpenCV是一個基于BSD許可（開源）發(fā)行的跨平臺計算器視覺庫。實現(xiàn)了圖像處理和計算器視覺方面的很多通用算法，輕量而高效在OpenCV2.4之后，其架構(gòu)改為以C++為主(之前為C)，同時提供了Python、Java等語言的接口。OpenCV的官方網(wǎng)站是/。?NXROBO202225ROSperception一般來說，ROS中已經(jīng)集成了OpenCV，所以不需要進(jìn)行額外的安裝操作。如果沒有安裝，推薦安裝ROSperception包，perception集成了OpenCV和開源點云處理庫PCL以及其他機(jī)器人感知相關(guān)的包，輸入如果想要使用GPU加速等高級功能，那可能就需要自行編譯OpenCV庫了，ROS集成的OpenCV并不包含這些拓展模塊?NXROBO202226$sudoaptinstallros-<你的ROS版本>-perception

首先構(gòu)建包空間：然后進(jìn)入功能包的src文件夾，新建一個文件并命名為cv_tutorial.cpp在此文件中，定義了兩個類ImageConverter、ImageProcessorImageConverter：負(fù)責(zé)訂閱ROS的topic，并將圖像格式進(jìn)行轉(zhuǎn)換。ImageProcessor：處理目標(biāo)識別?NXROBO202227$cd~/spark/src$catkin_create_pkgcv_tutorialcv_bridgeimage_transportroscppsensor_msgstd_msg編寫一個目標(biāo)識別的程序ImageConverter類?NXROBO202228ImageConverter類在ROS中圖像數(shù)據(jù)是以Image消息的格式進(jìn)行傳輸?shù)?，然而OpenCV的圖像格式是cv::Mat，所以我們需要使用cv_bridge將消息轉(zhuǎn)換成Mat。這就是ImageConverter類要實現(xiàn)的功能，具體使用Subscriber獲取圖像，用cv_bridge進(jìn)行圖像格式的轉(zhuǎn)換。其具體實現(xiàn)如下：其中，_it是image_transport::ImageTransport類型，訂閱一個Topic，并注冊了一個回調(diào)函數(shù)imageCb，指定其在Topic有信息來到時如何處理消息，其中SUBSCRIBLE_TOPIC可以修改為其他用戶需要訂閱的Topic名。?NXROBO202229_image_sub=_it.subscribe(SUBSCRIBLE_TOPIC,1,&ImageConverter::imageCb,this);回調(diào)函數(shù)：?NXROBO202230在回調(diào)函數(shù)中，首先使用cv_bridge將ROS的image消息轉(zhuǎn)換到OpenCV所能處理的Mat格式sensor_msgs::image_encodings::BGR8說明當(dāng)前數(shù)據(jù)我們規(guī)定以8位BGR格式轉(zhuǎn)換。voidimageCb(constsensor_msgs::ImageConstPtr&msg){cv_bridge::CvImagePtrcv_ptr;try{cv_ptr=cv_bridge::toCvCopy(msg,sensor_msgs::image_encodings::BGR8);}catch(cv_bridge::Exception&e){ROS_ERROR("cv_bridgeexception:%s",e.what());return;}cess(cv_ptr->image);}ImageProcessor類ImageProcessor主要工作：提取當(dāng)前獲取圖像的邊緣和預(yù)存的模板圖像（在這里我們提供的是一個圓）進(jìn)行模板匹配在匹配度大于閾值的時候認(rèn)為當(dāng)前圖像中存在與預(yù)存模板相同的圖像，并將其在窗口中繪出。?NXROBO202231ImageProcessor類?NXROBO202232初始化首先創(chuàng)建了一個120×120的3通道8位圖像，并使用cv::circle在其中心畫了一個圓作為范本

cv::cvtColor(templateImg,this->_template,CV_BGR2GRAY)轉(zhuǎn)換模板為灰度圖像。?NXROBO202233voidinital(){cv::MattemplateImg(120,120,CV_8UC3);cv::circle(templateImg,cv::Point(60,60),50,cv::Scalar(255,255,255));cv::cvtColor(templateImg,this->_template,CV_BGR2GRAY);}主處理函數(shù)函數(shù)將當(dāng)前獲取的圖像轉(zhuǎn)換為灰度圖，并進(jìn)行邊緣檢測，之后進(jìn)行模板匹配并輸出匹配結(jié)果。?NXROBO202234voidprocess(cv::Mat_img){cv::Matgray_img,edges,result;cv::cvtColor(_img,gray_img,CV_BGR2GRAY);cv::Canny(gray_img,edges,30,90);cv::matchTemplate(edges,this->_template,result,CV_TM_CCORR);doubleminValue,maxValue;cv::PointminLoc,maxLoc;cv::minMaxLoc(result,&minValue,&maxValue,&minLoc,&maxLoc);}主處理函數(shù)cv::cvtColor(_img,gray_img,CV_BGR2GRAY)將當(dāng)前圖像轉(zhuǎn)換為灰度圖，便以進(jìn)行邊緣檢測。cv::Canny(gray_img,edges,30,90)使用canny操作數(shù)對圖像進(jìn)行邊緣檢測。cv::matchTemplate(edges,this->_template,result,CV_TM_CCORR)進(jìn)行模板匹配，在本文中我們使用CV_TM_CCORR，即自相關(guān)匹配的方式進(jìn)行匹配，其輸出的值越大表示匹配度越高。cv::minMaxLoc(result,&minValue,&maxValue,&minLoc,&maxLoc);在圖像中尋找匹配結(jié)果最小和最大的位置。?NXROBO202235打印結(jié)果?NXROBO202236if(maxValue>THRESHOLD){std::cout<<"findacircleatx="<<maxLoc.x<<"y="<<maxLoc.y<<"Valueis:"<<maxValue<<std::endl;cv::rectangle(_img,maxLoc,cvPoint(maxLoc.x+this->_template.cols,maxLoc.y+this->_template.rows),cvScalar(0,0,255),5);}elsestd::cout<<"cannotfindacircle"<<std::endl;圖形顯示輸出當(dāng)最大匹配結(jié)果大于閾值時候，將其位置用方框表示出，并輸出其在圖像中的位置。方框的原點為范本匹配的最大值點，大小為范本的大小。?NXROBO202237cv::imshow(OPENCV_WINDOW,_img) //將當(dāng)前處理的圖像顯示。cv::imshow(TEMPLATE_WINDOW,this->_template)//將當(dāng)前模板顯示。cv::imshow(MATCH_WINDOW,_img);cv::imshow(TEMPLATE_WINDOW,this->_template);if('q'==cv::waitKey(3))exit(0);}編寫CmakeLists.txt文件?NXROBO202238cmake_minimum_required(VERSION2.8.3)project(cv_tutorial)

find_package(catkinREQUIREDCOMPONENTSOpenCVREQUIREDcv_bridgeimage_transportroscppsensor_msgs)catkin_package()include_directories(${catkin_INCLUDE_DIRS}${OpenCV_INCLUDE_DIRS})add_executable(cv_tutorialsrc/cv_tutorial.cpp)target_link_libraries(cv_tutorial${catkin_LIBRARIES}${OpenCV_LIBRARIES})${OpenCV_LIBRARIES})編譯并運行?NXROBO202239$catkin_make$roslaunchastra_launchastra.launch$rosruncv_tutorialcv_tutorial進(jìn)階應(yīng)用：不同主題的時間同步如果我們想同時使用圖像和相機(jī)信息怎么辦？如何保證時間同步？在/message_filtersmessage_filters是一個用于roscpp和rospy的實用功能庫。它包含有常用的消息“過濾”算法。消息過濾器收到一個消息，根據(jù)特定條件決定在稍后的時間里是否再將其吐出來。其中一個例子是時間同步器，它接收來自多個源的不同類型的消息，并且僅當(dāng)在每個源上接收到消息具有相同時間戳的時才輸出它們。TimeSynchronizer濾波器通過包含在其報頭中的時間戳來同步輸入通道，并將它們輸出到一個單一的回調(diào)中，回調(diào)中采用相同數(shù)量的通道。C++的實現(xiàn)最多可以9個通道的同步。?NXROBO2022