《鴻蒙機器人編程》課件-16-實踐課-圖像采集與目標(biāo)識別

實踐課-圖像采集與目標(biāo)識別課程介紹課程安排：介紹開源視覺庫OpenCV以及如何將OpenCV在ROS中使用，并完成一個小小的視覺應(yīng)用。課程目的：掌握使用ROS和OpenCV進(jìn)行機器視覺應(yīng)用開發(fā)所需基礎(chǔ)：了解攝像頭基本原理，掌握ROS、OpenCV編程基礎(chǔ)。?NXROBO20222OpenCVOpenCV的全稱是：OpenSourceComputerVisionLibrary。OpenCV是一個基于BSD許可（開源）發(fā)行的跨平臺計算器視覺庫。實現(xiàn)了圖像處理和計算器視覺方面的很多通用算法，輕量而高效在OpenCV2.4之后，其架構(gòu)改為以C++為主(之前為C)，同時提供了Python、Java等語言的接口。OpenCV的官方網(wǎng)站是/。?NXROBO20223ROSperception一般來說，ROS中已經(jīng)集成了OpenCV，所以不需要進(jìn)行額外的安裝操作。如果沒有安裝，推薦安裝ROSperception包，perception集成了OpenCV和開源點云處理庫PCL以及其他機器人感知相關(guān)的包，輸入如果想要使用GPU加速等高級功能，那可能就需要自行編譯OpenCV庫了，ROS集成的OpenCV并不包含這些拓展模塊?NXROBO20224$sudoaptinstallros-<你的ROS版本>-perception

首先構(gòu)建包空間：然后進(jìn)入功能包的src文件夾，新建一個文件并命名為cv_tutorial.cpp在此文件中，定義了兩個類ImageConverter、ImageProcessorImageConverter：負(fù)責(zé)訂閱ROS的topic，并將圖像格式進(jìn)行轉(zhuǎn)換。ImageProcessor：處理目標(biāo)識別?NXROBO20225$cd~/spark/src$catkin_create_pkgcv_tutorialcv_bridgeimage_transportroscppsensor_msgstd_msg編寫一個目標(biāo)識別的程序ImageConverter類?NXROBO20226ImageConverter類在ROS中圖像數(shù)據(jù)是以Image消息的格式進(jìn)行傳輸?shù)?，然而OpenCV的圖像格式是cv::Mat，所以我們需要使用cv_bridge將消息轉(zhuǎn)換成Mat。這就是ImageConverter類要實現(xiàn)的功能，具體使用Subscriber獲取圖像，用cv_bridge進(jìn)行圖像格式的轉(zhuǎn)換。其具體實現(xiàn)如下：其中，_it是image_transport::ImageTransport類型，訂閱一個Topic，并注冊了一個回調(diào)函數(shù)imageCb，指定其在Topic有信息來到時如何處理消息，其中SUBSCRIBLE_TOPIC可以修改為其他用戶需要訂閱的Topic名。?NXROBO20227_image_sub=_it.subscribe(SUBSCRIBLE_TOPIC,1,&ImageConverter::imageCb,this);回調(diào)函數(shù)：?NXROBO20228在回調(diào)函數(shù)中，首先使用cv_bridge將ROS的image消息轉(zhuǎn)換到OpenCV所能處理的Mat格式sensor_msgs::image_encodings::BGR8說明當(dāng)前數(shù)據(jù)我們規(guī)定以8位BGR格式轉(zhuǎn)換。voidimageCb(constsensor_msgs::ImageConstPtr&msg){cv_bridge::CvImagePtrcv_ptr;try{

cv_ptr=cv_bridge::toCvCopy(msg,sensor_msgs::image_encodings::BGR8);}catch(cv_bridge::Exception&e){

ROS_ERROR("cv_bridgeexception:%s",e.what());

return;}cess(cv_ptr->image);}ImageProcessor類ImageProcessor主要工作：提取當(dāng)前獲取圖像的邊緣和預(yù)存的模板圖像（在這里我們提供的是一個圓）進(jìn)行模板匹配在匹配度大于閾值的時候認(rèn)為當(dāng)前圖像中存在與預(yù)存模板相同的圖像，并將其在窗口中繪出。?NXROBO20229ImageProcessor類?NXROBO202210初始化首先創(chuàng)建了一個120×120的3通道8位圖像，并使用cv::circle在其中心畫了一個圓作為范本

cv::cvtColor(templateImg,this->_template,CV_BGR2GRAY)轉(zhuǎn)換模板為灰度圖像。?NXROBO202211voidinital(){cv::MattemplateImg(120,120,CV_8UC3);cv::circle(templateImg,cv::Point(60,60),50,cv::Scalar(255,255,255));cv::cvtColor(templateImg,this->_template,CV_BGR2GRAY);}主處理函數(shù)函數(shù)將當(dāng)前獲取的圖像轉(zhuǎn)換為灰度圖，并進(jìn)行邊緣檢測，之后進(jìn)行模板匹配并輸出匹配結(jié)果。?NXROBO202212voidprocess(cv::Mat_img){cv::Matgray_img,edges,result;cv::cvtColor(_img,gray_img,CV_BGR2GRAY);cv::Canny(gray_img,edges,30,90);cv::matchTemplate(edges,this->_template,result,CV_TM_CCORR);doubleminValue,maxValue;cv::PointminLoc,maxLoc;cv::minMaxLoc(result,&minValue,&maxValue,&minLoc,&maxLoc);}主處理函數(shù)cv::cvtColor(_img,gray_img,CV_BGR2GRAY)將當(dāng)前圖像轉(zhuǎn)換為灰度圖，便以進(jìn)行邊緣檢測。cv::Canny(gray_img,edges,30,90)使用canny操作數(shù)對圖像進(jìn)行邊緣檢測。cv::matchTemplate(edges,this->_template,result,CV_TM_CCORR)進(jìn)行模板匹配，在本文中我們使用CV_TM_CCORR，即自相關(guān)匹配的方式進(jìn)行匹配，其輸出的值越大表示匹配度越高。cv::minMaxLoc(result,&minValue,&maxValue,&minLoc,&maxLoc);在圖像中尋找匹配結(jié)果最小和最大的位置。?NXROBO202213打印結(jié)果?NXROBO202214if(maxValue>THRESHOLD){std::cout<<"findacircleatx="<<maxLoc.x<<"y="<<maxLoc.y<<"Valueis:"<<maxValue<<std::endl;cv::rectangle(_img,maxLoc,cvPoint(maxLoc.x+this->_template.cols,maxLoc.y+this->_template.rows),cvScalar(0,0,255),5);}elsestd::cout<<"cannotfindacircle"<<std::endl;圖形顯示輸出當(dāng)最大匹配結(jié)果大于閾值時候，將其位置用方框表示出，并輸出其在圖像中的位置。方框的原點為范本匹配的最大值點，大小為范本的大小。?NXROBO202215cv::imshow(OPENCV_WINDOW,_img) //將當(dāng)前處理的圖像顯示。cv::imshow(TEMPLATE_WINDOW,this->_template)//將當(dāng)前模板顯示。cv::imshow(MATCH_WINDOW,_img);cv::imshow(TEMPLATE_WINDOW,this->_template);if('q'==cv::waitKey(3))exit(0);}編寫CmakeLists.txt文件?NXROBO202216cmake_minimum_required(VERSION2.8.3)project(cv_tutorial)

find_package(catkinREQUIREDCOMPONENTSOpenCVREQUIREDcv_bridgeimage_transportroscppsensor_msgs)catkin_package()include_directories(${catkin_INCLUDE_DIRS}${OpenCV_INCLUDE_DIRS})add_executable(cv_tutorialsrc/cv_tutorial.cpp)target_link_libraries(cv_tutorial${catkin_LIBRARIES}${OpenCV_LIBRARIES})${OpenCV_LIBRARIES})編譯并運行?NXROBO202217$catkin_make$roslaunchastra_launchastra.launch$rosruncv_tutorialcv_tutorial進(jìn)階應(yīng)用：不同主題的時間同步如果我們想同時使用圖像和相機信息怎么辦？如何保證時間同步？在/message_filtersmessage_filters是一個用于roscpp和rospy的實用功能庫。它包含有常用的消息“過濾”算法。消息過濾器收到一個消息，根據(jù)特定條件決定在稍后的時間里是否再將其吐出來。其中一個例子是時間同步器，它接收來自多個源的不同類型的消息，并且僅當(dāng)在每個源上接收到消息具有相同時間戳的時才輸出它們。TimeSynchronizer濾波器通過包含在其報頭中的時間戳來同步輸入通道，并將它們輸出到一個單一的回調(diào)中，回調(diào)中采用相同數(shù)量的通道。C++的實現(xiàn)最多可以9個通道的同步。?NXROBO202218示例代碼#include<sensor_msgs/Image.h>#include<sensor_msgs/CameraInfo.h>usingnamespacesensor_msgs;usingnamespacemessage_filters;voidcallback(constImageConstPtr&image,constCameraInfoConstPtr&cam_info){//Solveallofperceptionhere...}intmain(intargc,char**argv){ros::init(argc,argv,"vision_node");ros::NodeHandlenh;message_filters::Subscriber<Image>image_sub(nh,"image",1);message_filters::Subscriber<CameraInfo>info_sub(nh,"camera_info",1);TimeSynchronizer<Image,CameraInfo>sync(image_sub,info_sub,10);sync.registerCallback(boost::bind(&callback,_1,_2));ros::spin();return0;}?NXROBO202219進(jìn)階應(yīng)用：圖像平面到三維世界的坐標(biāo)轉(zhuǎn)換使用image_geometry完成這一功能/image_geometry