智能網(wǎng)聯(lián)汽車感知系統(tǒng)裝調(diào)與故障診斷-教案 項(xiàng)目七 激光雷達(dá)與視覺傳感器

.一體化教學(xué)設(shè)計(jì)授課教師：授課班級(jí)：學(xué)時(shí)數(shù)：8授課日期：一體化教學(xué)場所：教學(xué)目標(biāo)能力目標(biāo)知識(shí)目標(biāo)素質(zhì)目標(biāo)1.掌握視覺傳感器內(nèi)參標(biāo)定的步驟；2.掌握激光雷達(dá)與視覺傳感器聯(lián)合標(biāo)定外參的步驟；1.通過課程講解了解視覺傳感器標(biāo)定的相關(guān)知識(shí)；2.通過課程講解了解激光雷達(dá)與視覺傳感器聯(lián)合標(biāo)定的相關(guān)知識(shí)；1.專心聽課認(rèn)真記錄筆記；2.積極參與討論；3.個(gè)人積極回答問題；4.認(rèn)真填寫工作頁；5.養(yǎng)成良好的課后復(fù)習(xí)習(xí)慣；6.課后翻閱相關(guān)資料加深對(duì)課程的了解。教學(xué)重點(diǎn)1.視覺傳感器標(biāo)定的目的與方法；2.激光雷達(dá)的標(biāo)定目的與方法；3.激光雷達(dá)與視覺傳感器聯(lián)合標(biāo)定；4.RMONCAM魚眼單目視覺傳感器內(nèi)參；5.視覺傳感器與Robosense-16線激光雷達(dá)聯(lián)合標(biāo)定外參。教學(xué)準(zhǔn)備1.激光雷達(dá)與視覺傳感器的聯(lián)合標(biāo)定功能課件；教學(xué)活動(dòng)1.通過多媒體課件講解，讓學(xué)生們了解視覺傳感器標(biāo)定的目的與方法；2.通過多媒體課件講解，讓學(xué)生們了解激光雷達(dá)的標(biāo)定目的與方法；3.通過多媒體課件講解，讓學(xué)生們了解激光雷達(dá)與視覺傳感器聯(lián)合標(biāo)定的目的與方法；4.通過視頻教學(xué)講解、實(shí)操演示和學(xué)生動(dòng)手實(shí)操，讓學(xué)生們掌握RMONCAM魚眼單目視覺傳感器內(nèi)參開發(fā)實(shí)訓(xùn)操作。5.通過視頻教學(xué)講解、實(shí)操演示和學(xué)生動(dòng)手實(shí)操，讓學(xué)生們掌握利用視覺傳感器與Robosense-16線激光雷達(dá)聯(lián)合標(biāo)定外參開發(fā)實(shí)訓(xùn)操作。課后作業(yè)教學(xué)體會(huì)2.一體化教學(xué)實(shí)施教學(xué)流程教學(xué)內(nèi)容教學(xué)方法教學(xué)手段學(xué)生活動(dòng)時(shí)間分配（min）教學(xué)引入提問：激光雷達(dá)與視覺傳感器如何實(shí)現(xiàn)聯(lián)合標(biāo)定？課前提問多媒體課件分組討論10教學(xué)告知1.視覺傳感器標(biāo)定的目的與方法；2.激光雷達(dá)的標(biāo)定目的與方法；3.激光雷達(dá)與視覺傳感器聯(lián)合標(biāo)定；4.RMONCAM魚眼單目視覺傳感器內(nèi)參；5.視覺傳感器與Robosense-16線激光雷達(dá)聯(lián)合標(biāo)定外參。講授多媒體課件示范教學(xué)課前預(yù)習(xí)15教學(xué)準(zhǔn)備1.利用激光雷達(dá)與視覺傳感器的聯(lián)合標(biāo)定；講授多媒體課件講解課前預(yù)習(xí)10教學(xué)實(shí)施1.視覺傳感器標(biāo)定的目的與方法；2.激光雷達(dá)的標(biāo)定目的與方法；3.激光雷達(dá)與視覺傳感器聯(lián)合標(biāo)定；4.RMONCAM魚眼單目視覺傳感器內(nèi)參；5.視覺傳感器與Robosense-16線激光雷達(dá)聯(lián)合標(biāo)定外參。講授演示練習(xí)多媒體課件講解實(shí)操演示課前預(yù)習(xí)分組討論動(dòng)手實(shí)操25教學(xué)總結(jié)1.激光雷達(dá)與視覺傳感器的聯(lián)合標(biāo)定；2.RMONCAM魚眼單目視覺傳感器內(nèi)參標(biāo)定；3.視覺傳感器與Robosense-16線激光雷達(dá)聯(lián)合標(biāo)定外參;4.數(shù)據(jù)融合檢驗(yàn)標(biāo)定效果。提問啟發(fā)引導(dǎo)多媒體課件講解1.回答問題2.完成學(xué)生工作頁303.任務(wù)考核及答案3.1基礎(chǔ)知識(shí)認(rèn)識(shí)工單（1）相機(jī)標(biāo)定的目的就是確定空間物體表面某點(diǎn)的三維幾何位置與其在圖像中對(duì)應(yīng)點(diǎn)之間的相互關(guān)系，建立攝像機(jī)成像的幾何模型。（2）攝像機(jī)參數(shù)包括內(nèi)參、外參、畸變系數(shù)，畸變系數(shù)包括徑向畸變和切向畸變。（3）視覺傳感器標(biāo)定方法有傳統(tǒng)視覺傳感器標(biāo)定法、主動(dòng)視覺傳感器標(biāo)定方法和自標(biāo)定法。（4）激光雷達(dá)與視覺傳感器聯(lián)合標(biāo)定的作用是建立點(diǎn)云的point和圖像pixel之間的對(duì)應(yīng)關(guān)系。3.2RMONCAM魚眼單目視覺傳感器內(nèi)參開發(fā)活動(dòng)實(shí)施工單步驟操作根據(jù)實(shí)際情況在“”上填上正確答案1內(nèi)參標(biāo)定準(zhǔn)備（1）內(nèi)參標(biāo)定需要準(zhǔn)備標(biāo)定板，用的是12x9，棋盤格單格邊長為3.6cm的專業(yè)標(biāo)定板。2錄制一個(gè)視覺傳感器話題的Bag（1）打開虛擬機(jī)，在窗口選擇并連接視覺傳感器；（2）在窗口區(qū)域內(nèi)單擊鼠標(biāo)右鍵，然后選擇“打開終端”；（3）在終端窗口區(qū)域內(nèi)輸入命令“roscore”，然后按回車鍵運(yùn)行ROS轉(zhuǎn)接點(diǎn)；（4）在窗口區(qū)域內(nèi)單擊鼠標(biāo)右鍵，然后選擇“打開終端”新建一個(gè)“終端”輸入命令“roslaunchusb_camusb_cam-test.launch”來啟動(dòng)視覺傳感器launch文件打開視覺傳感器。3打開標(biāo)定工具（1）單擊“文件夾”→“HOME”→“ros+cam+lidar”→“autoware”→“ros”（路徑）（2）在“ros”文件夾內(nèi)右鍵打開終端，輸入命令“sourcedevel/setup.bash”按回車；（3）輸入指令“rosrunautoware_camera_lidar_calibratorcameracalibrator.py--size11x8--square0.036image:=/usb_cam/image_raw”，啟動(dòng)標(biāo)定工具。4視覺傳感器標(biāo)定及保存（1）標(biāo)定界面是黑白的，當(dāng)拿出標(biāo)定板對(duì)著視覺傳感器時(shí)，它會(huì)自動(dòng)識(shí)別標(biāo)定板里面內(nèi)角的參數(shù)并用其它顏色線條標(biāo)注；（2）標(biāo)定參數(shù)分別為舉起標(biāo)定板移動(dòng)，當(dāng)右上角的X：移動(dòng)到視覺傳感器視野范圍的最左邊，最右邊）、Y：（移動(dòng)到視覺傳感器視野范圍的最上方，最底部）、Size：（移動(dòng)標(biāo)定板充滿整個(gè)視覺傳感器視野范圍）、Skew：（改變標(biāo)定板的角度，斜著拿標(biāo)定板）變?yōu)榫G色時(shí)（X，Y和Size一起標(biāo)定：保持標(biāo)定板傾斜啟動(dòng)到視野的最左，最右，最上，最下），標(biāo)定按鈕”CALIBRATE”可用，單擊即可計(jì)算內(nèi)參矩陣。（3）等待計(jì)算機(jī)后臺(tái)計(jì)算后，窗口會(huì)出現(xiàn)視覺傳感器矩陣數(shù)據(jù)。（4）單擊“SAVE-保存”按鈕，單擊后，出現(xiàn)一個(gè)保存的路徑，會(huì)顯示出保存的時(shí)間等（以時(shí)間命名），如果想找回保存的文件，可以按照保存時(shí)間去找出來。保存完畢后，單擊“COMMIT”按鈕退出標(biāo)定工具，保存完后，使用快捷鍵“CTRL+C”關(guān)閉視覺傳感器實(shí)時(shí)同步窗口（不能關(guān)閉終端窗口），注意這里會(huì)多保存一個(gè)Autoware類型的YAML文件格式，也就是后面外參標(biāo)定要導(dǎo)入的文件，3.3視覺傳感器與Robosense-16線激光雷達(dá)聯(lián)合標(biāo)定外參開發(fā)活動(dòng)實(shí)施工單步驟操作根據(jù)實(shí)際情況在“”上填上正確答案1聯(lián)合標(biāo)定準(zhǔn)備（1）準(zhǔn)備標(biāo)定板和錄制Bag包，在電腦上回放用于標(biāo)定工具的話題輸入。2啟動(dòng)視覺傳感器launch文件（1）打開虛擬機(jī)，在窗口選擇并連接視覺傳感器；（2）在窗口區(qū)域內(nèi)單擊鼠標(biāo)右鍵，然后選擇“打開終端”；（3）在終端窗口區(qū)域內(nèi)輸入命令“roscore”，然后按回車鍵運(yùn)行ROS轉(zhuǎn)接點(diǎn)（注意這個(gè)窗口不用關(guān)閉）；（4）再次窗口區(qū)域內(nèi)單擊鼠標(biāo)右鍵，然后選擇“打開終端”新建一個(gè)“終端”輸入命令“roslaunchusb_camusb_cam-test.launch”來啟動(dòng)視覺傳感器launch文件打開視覺傳感器。3驅(qū)動(dòng)激光雷達(dá)（1）打開激光雷達(dá)；（2）單擊“文件夾”→“HOME”→“ros+cam+lidar”→“l(fā)idar_catkinws”后，在文件夾內(nèi)右鍵打開終端，輸入命令“sourcedevel/setup.bash”按回車，再輸入指令“roslaunchrslidar_sdkstart.launch”，最后按下回車鍵，激光雷達(dá)點(diǎn)云數(shù)據(jù)界面會(huì)在顯示器上打開；（4）切換到視覺傳感器的終端，輸入指令“roslaunchusb_camusb_cam-test.launch”按下回車鍵，彈出視覺傳感器窗口后，切回到激光雷達(dá)點(diǎn)云的窗口界面后，單擊界面里面的“Add”→“Bytopic”→“usb_cam”→“image_raw”→“image”，再單擊下面的“OK”鍵；（5）使用鼠標(biāo)調(diào)整視覺傳感器窗口大小，將其與激光雷達(dá)的朝向位置一致，可以通過舉起標(biāo)定板來確定位置；（6）打開一個(gè)終端，添加指令“rosbagrecord-Ocamera_rslidar_calibration0916.bag；/usb_cam/image_raw/rslidar_points”錄制激光雷達(dá)與視覺傳感器標(biāo)定包，然后按下回車鍵錄制；（7）錄制的時(shí)候，因?yàn)槭?6線激光雷達(dá)，所以拿標(biāo)定板的時(shí)候離激光雷達(dá)不能太遠(yuǎn)，不然就不能清楚地看到標(biāo)定板了，錄制時(shí)建議的站位分別是：近處左邊，近處中間，近處右邊；中間左邊，中間中間，中間右邊；遠(yuǎn)處左邊，遠(yuǎn)處中間，遠(yuǎn)處右邊；（8）錄制的時(shí)候建議每個(gè)位置移動(dòng)改變標(biāo)定板的姿態(tài)，每個(gè)姿勢(shì)停留1-2秒左右，為防止模糊需要上仰，下俯，左偏，中間不動(dòng)，右偏移動(dòng)標(biāo)定板。錄制標(biāo)定包的關(guān)鍵就是錄制多個(gè)位置、改變拿標(biāo)定板的姿勢(shì)和必須保證能清楚的看到標(biāo)定板，錄制完成后，在終端指令欄目上按一下回車鍵結(jié)束錄制，然后找出錄制的文件；（9）回放數(shù)據(jù)包前，需要將視覺傳感器實(shí)時(shí)窗口和激光雷達(dá)關(guān)閉，然后運(yùn)行激光雷達(dá)驅(qū)動(dòng)；（10）回放Bag使用如下命令，加上--pause意思是啟動(dòng)即暫停，防止跑掉數(shù)據(jù)，按空格繼續(xù)回放，輸入指令“rosbagplay--pausecamera_rslidar_calibration0916.bag，然后按下回車播放，此時(shí)狀態(tài)是“PAUSED”暫定狀態(tài)，需要按空格鍵才能播放。（11）單擊“文件夾”→“HOME”→“ros+cam+lidar”→“autoware-1.10.0”→“ros”后，在文件夾內(nèi)右鍵打開終端，輸入指令“sourcedevel/setup.bash”按回車，再輸入指令“roslaunchautoware_camera_lidar_calibratorcamera_lidar_calibration.launchintrinsics_file:=/home/alvis/20210916_1119_autoware_camera_calibration.yamlimage_src:=/usb_cam/image_raw”，最后按下回車鍵，然后彈出image-view2窗口；（12）當(dāng)上面的image-view2出現(xiàn)視覺傳感器畫面時(shí)，然后按空格回放然后再暫?；胤?，然后將兩個(gè)畫面大小調(diào)到基本一致這樣子標(biāo)定效果會(huì)更好；（13）單擊Add添加要訂閱的Image和PontCloud話題，分別設(shè)置每個(gè)訂閱話題的topic、FixedFrame設(shè)置為rslidar不然會(huì)沒有點(diǎn)云顯示、切換點(diǎn)云查看視角，用鼠標(biāo)滑輪調(diào)整點(diǎn)云距離，確保能看到標(biāo)定板；（14）做標(biāo)定的時(shí)候，建議選擇九個(gè)點(diǎn)來做標(biāo)定，左右兩個(gè)畫面選擇的點(diǎn)位置保證基本一致。同時(shí)切換出image-view2的界面，單擊工具欄放大圖像，然后手動(dòng)選擇一個(gè)像素點(diǎn)和點(diǎn)云進(jìn)行單次標(biāo)定，觀察圖像和點(diǎn)云，并在image-view2中用鼠標(biāo)選擇一個(gè)像素點(diǎn)，單擊rviz工具欄的PublishPoint，然后在rviz中選擇一個(gè)對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)點(diǎn)，當(dāng)你的鼠標(biāo)右下角出現(xiàn)一個(gè)淺紅色的路標(biāo)記號(hào)時(shí)即可單擊該數(shù)據(jù)點(diǎn)，觀察image-view2的窗口是否出現(xiàn)points的提示信息；（15）重復(fù)以上步驟，選擇9個(gè)不同的像素點(diǎn)云對(duì)，因?yàn)樾枰銐虻臄?shù)據(jù)才能計(jì)算外參矩陣，當(dāng)?shù)?個(gè)點(diǎn)選擇完后，該工具會(huì)自動(dòng)計(jì)算外參標(biāo)定矩陣，可以觀察到終端畫面顯示9:9標(biāo)定完畢后，它會(huì)自動(dòng)保存文件，最終的標(biāo)定文件保存在home目錄下，外參標(biāo)定結(jié)束。3.3數(shù)據(jù)融合檢驗(yàn)標(biāo)定效果步驟操作根據(jù)實(shí)際情況在“”上填上正確答案1打開數(shù)據(jù)包（1）標(biāo)定矩陣有了之后，利用autoware提供的融合工具來查看標(biāo)定的效果，先來回放數(shù)據(jù)，在終端輸入指令“rosbagplay--pausecamera_rslidar_calibration0819.bag/rslidar_points:=/points_raw”后按下回車鍵，它是一個(gè)暫停的狀態(tài)；（2）回到Autoware主界面，在終端輸入指令“./run”后按下回車鍵運(yùn)行，提示輸入密碼（密碼是“root”）；（3）輸入密碼后會(huì)彈出一個(gè)RuntimeManager窗口，然后單擊“Sensing”→“CalibrationPublisher”→選擇參數(shù)“/usb_cam”→單擊“Ref”，在文件文件夾里面選擇“20210916_115455autowarelidarcamera_calibration.yaml”外參標(biāo)定文件，然后單擊“OK”；（4）單擊“PointsImage”選擇CameralD“/usb_cam”后單擊“OK”；（5）單擊“RViz”窗口選擇“ImageTopic”和“PointTopic”參數(shù)；（6）單擊AuToWare終端按下空格鍵，然后就能看到融合標(biāo)定效果了，這個(gè)效果有點(diǎn)偏差，在錄制的時(shí)后標(biāo)定板位置有點(diǎn)偏差；1.一體化教學(xué)設(shè)計(jì)授課教師：授課班級(jí)：學(xué)時(shí)數(shù)：8授課日期：一體化教學(xué)場所：教學(xué)目標(biāo)能力目標(biāo)知識(shí)目標(biāo)素質(zhì)目標(biāo)1.能獨(dú)立完成毫米波雷達(dá)與視覺傳感器的聯(lián)合標(biāo)定。1.通過課程講解掌握標(biāo)定的定義和分類；2.通過課程講解掌握毫米波雷達(dá)與視覺傳感器標(biāo)定融合的意義；3.通過課程講解掌握毫米波雷達(dá)與視覺傳感器標(biāo)定融合的方式；4.通過課程講解掌握毫米波雷達(dá)與視覺傳感器的安裝與調(diào)試的方法及步驟；5.通過課程講解掌握毫米波雷達(dá)和視覺傳感器標(biāo)定融合的實(shí)現(xiàn)步驟。1.專心聽課認(rèn)真記錄筆記；2.積極參與討論；3.個(gè)人積極回答問題；4.認(rèn)真填寫工作頁；5.養(yǎng)成良好的課后復(fù)習(xí)習(xí)慣；6.課后翻閱相關(guān)資料加深對(duì)課程的了解。教學(xué)重點(diǎn)1.毫米波雷達(dá)與視覺傳感器標(biāo)定融合的方式；2.毫米波雷達(dá)與視覺傳感器的安裝與調(diào)試的方法及步驟；3.毫米波雷達(dá)和視覺傳感器標(biāo)定融合的實(shí)現(xiàn)步驟。教學(xué)準(zhǔn)備1.基于毫米波雷達(dá)與視覺傳感器的標(biāo)定融合課件；教學(xué)活動(dòng)1.通過多媒體課件講解，讓學(xué)生們了解毫米波雷達(dá)與視覺傳感器標(biāo)定融合的方式；2.通過多媒體課件講解，讓學(xué)生們了解毫米波雷達(dá)與視覺傳感器的安裝與調(diào)試的方法及步驟；3.通過多媒體課件講解，讓學(xué)生們了解毫米波雷達(dá)和視覺傳感器標(biāo)定融合的實(shí)現(xiàn)步驟。課后作業(yè)教學(xué)體會(huì)2.一體化教學(xué)實(shí)施教學(xué)流程教學(xué)內(nèi)容教學(xué)方法教學(xué)手段學(xué)生活動(dòng)時(shí)間分配（min）教學(xué)引入提問：在智能駕駛技術(shù)中，單一的傳感器是不能夠解決所有問題的，那會(huì)有哪些解決方法呢？課前提問多媒體課件分組討論10教學(xué)告知1.毫米波雷達(dá)與視覺傳感器標(biāo)定融合的方式；2.毫米波雷達(dá)與視覺傳感器的安裝與調(diào)試的方法及步驟；3.毫米波雷達(dá)和視覺傳感器標(biāo)定融合的實(shí)現(xiàn)步驟。講授多媒體課件示范教學(xué)課前預(yù)習(xí)15教學(xué)準(zhǔn)備1.基于毫米波雷達(dá)與視覺傳感器的標(biāo)定融合課件；講授多媒體課件講解課前預(yù)習(xí)10教學(xué)實(shí)施1.毫米波雷達(dá)與視覺傳感器標(biāo)定融合的方式；2.毫米波雷達(dá)與視覺傳感器的安裝與調(diào)試的方法及步驟；3.毫米波雷達(dá)和視覺傳感器標(biāo)定融合的實(shí)現(xiàn)步驟。講授演示練習(xí)多媒體課件講解實(shí)操演示課前預(yù)習(xí)分組討論動(dòng)手實(shí)操25教學(xué)總結(jié)毫米波雷達(dá)與視覺傳感器標(biāo)定融合的方式、毫米波雷達(dá)和視覺傳感器標(biāo)定融合的實(shí)現(xiàn)步驟。提問啟發(fā)引導(dǎo)多媒體課件講解1.回答問題2.完成學(xué)生工作頁303.任務(wù)考核及答案3.1開發(fā)基礎(chǔ)知識(shí)認(rèn)識(shí)工單相機(jī)與毫米波雷達(dá)的融合方式有：原始數(shù)據(jù)級(jí)融合、特征級(jí)融合、目標(biāo)級(jí)融合。毫米波雷達(dá)與視覺傳感器的標(biāo)定問題，就是要將毫米波檢測(cè)的目標(biāo)轉(zhuǎn)換到圖像上。具體分為三個(gè)步驟：1、將毫米波雷達(dá)坐標(biāo)系的坐標(biāo)轉(zhuǎn)換到世界坐標(biāo)系2、將世界坐標(biāo)系的坐標(biāo)轉(zhuǎn)換到相機(jī)坐標(biāo)系3、相機(jī)坐標(biāo)系->圖像坐標(biāo)系->像素坐標(biāo)系3.2基于激光雷達(dá)實(shí)現(xiàn)SLAM功能開發(fā)活動(dòng)實(shí)施工單3.2.1準(zhǔn)備工作步驟準(zhǔn)備工作（根據(jù)實(shí)際使用的工具作答）根據(jù)實(shí)際情況在“”上填上正確答案1安裝設(shè)備在進(jìn)行毫米波雷達(dá)與視覺傳感器的標(biāo)定融合之前，需要將視覺傳感器和毫米波雷達(dá)安裝到應(yīng)用實(shí)訓(xùn)臺(tái)上。注意事項(xiàng)：（1）安裝攝像頭時(shí)，1號(hào)攝像頭需要調(diào)整到與地面平行；（2）安裝毫米波雷達(dá)的時(shí)候，需要注意毫米波雷達(dá)的安裝方向。2場地準(zhǔn)備（1）把應(yīng)用實(shí)訓(xùn)臺(tái)架推到規(guī)定的位置；（2）在毫米波雷達(dá)下方的地面上貼一條黃色標(biāo)志線，標(biāo)志線需要與應(yīng)用實(shí)訓(xùn)臺(tái)架平行。（3）以毫米波雷達(dá)下方為圓心，圈出一個(gè)角度為40°的扇形報(bào)警區(qū)域3.2.2視覺傳感器標(biāo)定的實(shí)施工單步驟視覺傳感器的標(biāo)定（根據(jù)實(shí)際使用的工具作答）根據(jù)實(shí)際情況在“”上填上正確答案1打開“視覺傳感器與毫米波雷達(dá)標(biāo)定融合“軟件2選擇視覺傳感器，選擇“RMONCAMA21080P“3在左上角“攝像頭狀態(tài)”，選擇“打開“按鈕，打開視覺傳感器4打開攝像頭之后，選擇“拍攝”按鈕，借助標(biāo)定板，拍攝五個(gè)不同角度的照片5完成照片拍攝之后，選擇“標(biāo)定”按鈕，進(jìn)行標(biāo)定3.2.3調(diào)試毫米波雷達(dá)的實(shí)施工單步驟毫米波雷達(dá)的調(diào)試（根據(jù)實(shí)際使用的工具作答）根據(jù)實(shí)際情況在“□”位置上打“√”或根據(jù)實(shí)際情況在“”上填上正確答案1設(shè)置報(bào)警區(qū)域角度和報(bào)警區(qū)域距離，報(bào)警區(qū)域角度為20°，報(bào)警區(qū)域距離為5m2選擇“打開設(shè)備“按鈕，打開毫米波雷達(dá)，進(jìn)行CAN通訊3打開毫米波雷達(dá)之后，坐標(biāo)系是否有數(shù)據(jù)是R否￡結(jié)論毫米波雷達(dá)是否正常是R否￡3.2.4毫米波雷達(dá)和視覺傳感器融合的實(shí)施工單步驟毫米波雷達(dá)和視覺傳感器的融合（根據(jù)實(shí)際使用的工具作答）根據(jù)實(shí)際情況在“□”位置上打“√”選擇“融合“按鈕，進(jìn)行毫米波雷達(dá)和視覺傳感器的標(biāo)定融合。結(jié)論視覺傳感器檢測(cè)到的圖像和毫米波雷達(dá)探測(cè)到的點(diǎn)是否重合是R否￡1.一體化教學(xué)設(shè)計(jì)授課教師：授課班級(jí)：學(xué)時(shí)數(shù)：8授課日期：一體化教學(xué)場所：教學(xué)目標(biāo)能力目標(biāo)知識(shí)目標(biāo)素質(zhì)目標(biāo)1.能獨(dú)立完成基于激光雷達(dá)實(shí)現(xiàn)SLAM的開發(fā)；2.能獨(dú)立完成基于激光雷達(dá)和IMU實(shí)現(xiàn)SLAM的開發(fā)。1.通過課程講解了解SLAM建圖和Hector_SLAM；2.通過課程講解了解IMU內(nèi)參標(biāo)定的方法及激光雷達(dá)與IMU外參標(biāo)定的方法；3.通過課程講解了解多傳感器融合算法LIO-SAM介紹；4.通過課程講解了解基于激光雷達(dá)實(shí)現(xiàn)SLAM的開發(fā)過程；5.通過課程講解了解基于激光雷達(dá)和IMU實(shí)現(xiàn)SLAM的開發(fā)過程。1.專心聽課認(rèn)真記錄筆記；2.積極參與討論；3.個(gè)人積極回答問題；4.認(rèn)真填寫工作頁；5.養(yǎng)成良好的課后復(fù)習(xí)習(xí)慣；6.課后翻閱相關(guān)資料加深對(duì)課程的了解。教學(xué)重點(diǎn)1.IMU內(nèi)參標(biāo)定的方法；2.激光雷達(dá)與IMU外參標(biāo)定的方法；3.多傳感器融合算法LIO-SAM；4.基于激光雷達(dá)和IMU實(shí)現(xiàn)SLAM的開發(fā)過程。教學(xué)準(zhǔn)備1.基于激光雷達(dá)與IMU實(shí)現(xiàn)SLAM功能課件；教學(xué)活動(dòng)1.通過多媒體課件講解，讓學(xué)生們了解IMU內(nèi)參標(biāo)定的方法；2.通過多媒體課件講解，讓學(xué)生們了解激光雷達(dá)與IMU外參標(biāo)定的方法；3.通過多媒體課件講解，讓學(xué)生們了解多傳感器融合算法LIO-SAM；4.通過視頻教學(xué)講解、實(shí)操演示和學(xué)生動(dòng)手實(shí)操，讓學(xué)生們掌握基于激光雷達(dá)和IMU實(shí)現(xiàn)SLAM的開發(fā)過程。課后作業(yè)教學(xué)體會(huì)2.一體化教學(xué)實(shí)施教學(xué)流程教學(xué)內(nèi)容教學(xué)方法教學(xué)手段學(xué)生活動(dòng)時(shí)間分配（min）教學(xué)引入提問：激光雷達(dá)結(jié)合IMU是如何實(shí)現(xiàn)SLAM建圖的？課前提問多媒體課件分組討論10教學(xué)告知1.IMU內(nèi)參標(biāo)定的方法；2.激光雷達(dá)與IMU外參標(biāo)定的方法；3.多傳感器融合算法LIO-SAM；4.基于激光雷達(dá)和IMU實(shí)現(xiàn)SLAM的開發(fā)過程。講授多媒體課件示范教學(xué)課前預(yù)習(xí)15教學(xué)準(zhǔn)備1.基于激光雷達(dá)與IMU實(shí)現(xiàn)SLAM功能課件；講授多媒體課件講解課前預(yù)習(xí)10教學(xué)實(shí)施1.IMU內(nèi)參標(biāo)定的方法；2.激光雷達(dá)與IMU外參標(biāo)定的方法；3.多傳感器融合算法LIO-SAM；4.基于激光雷達(dá)和IMU實(shí)現(xiàn)SLAM的開發(fā)過程。講授演示練習(xí)多媒體課件講解實(shí)操演示課前預(yù)習(xí)分組討論動(dòng)手實(shí)操295教學(xué)總結(jié)基于激光雷達(dá)實(shí)現(xiàn)SLAM的開發(fā)過程、基于激光雷達(dá)和IMU實(shí)現(xiàn)SLAM的開發(fā)過程。提問啟發(fā)引導(dǎo)多媒體課件講解1.回答問題2.完成學(xué)生工作頁303.任務(wù)考核及答案3.1開發(fā)基礎(chǔ)知識(shí)認(rèn)識(shí)工單SLAM，也稱為CML，即同時(shí)定位與地圖構(gòu)建，或并發(fā)建圖與定位。目前用在SLAM上的傳感器主要分為激光SLAM和視覺SLAM。本課程的基于激光雷達(dá)實(shí)現(xiàn)SLAM功能的開發(fā)是基于圖優(yōu)化的Hector_SLAM方案，該方案僅有前端掃描匹配的模塊，無后端優(yōu)化的過程。IMU內(nèi)參標(biāo)定使用的是Allan方差法。激光雷達(dá)與IMU外參標(biāo)定方法為lidar_align，是瑞士蘇黎世理工大學(xué)-自動(dòng)駕駛實(shí)驗(yàn)室開源的一種校準(zhǔn)3D激光雷達(dá)和6自由度位姿傳感器外參的方法。LIO-SAM是在局部范圍內(nèi)進(jìn)行掃描匹配以顯著提高系統(tǒng)的實(shí)時(shí)性能。3.2基于激光雷達(dá)實(shí)現(xiàn)SLAM功能開發(fā)活動(dòng)實(shí)施工單3.2.1準(zhǔn)備工作步驟準(zhǔn)備工作（根據(jù)實(shí)際使用的工具作答）根據(jù)實(shí)際情況在“”上填上正確答案1運(yùn)行節(jié)點(diǎn)掃描的效果：2（1）安裝ros-melodic-tf2-sensor-msgs。（2）安裝pointcloud_to_laserscan包。（3）創(chuàng)建launch文件。并將固定文本（具體內(nèi)容請(qǐng)查看學(xué)生手冊(cè)）輸入文件中。目的：實(shí)現(xiàn)三維點(diǎn)云數(shù)據(jù)轉(zhuǎn)二維點(diǎn)云數(shù)據(jù)3（1）打開一個(gè)新的終端，啟動(dòng)3d雷達(dá)驅(qū)動(dòng)。（2）再打開一個(gè)新的終端，啟pointcloud_to_laserscan節(jié)點(diǎn)。如果想要顯示二維點(diǎn)云，還需要在Rivz中添加LaserScan。然后將Topic話題改為/scan，Style話題改為Points。4（1）安裝qt4-default（2）安裝hector_slam（3）修改tutorial.launch文件兩個(gè)修改點(diǎn)：1、將<paramname="/use_sim_time"value="false"/>中的true改為false。2、添加兩個(gè)tf變換坐標(biāo)。5修改mapping_default.launch文件6修改rslidar中的frame_id，并重新編譯rslidar_ros將private_nh.param("frame_id",config_.frame_id,std::string("rslidar"));中的rslidar改為laser。7創(chuàng)建slam.launch文件，在創(chuàng)建的空文本中輸入如下：這里需要注意的是，第一個(gè)和第三個(gè)都啟動(dòng)了rviz，需要將第一個(gè)launch文件中的rviz注釋掉。①的目的：啟動(dòng)激光雷達(dá)②的目的：將三維point轉(zhuǎn)換為二維scan③的目的：執(zhí)行hector_slam功能3.2.2基于激光雷達(dá)的SLAM建圖的實(shí)施工單步驟基于激光雷達(dá)的SLAM建圖（根據(jù)實(shí)際使用的工具作答）根據(jù)實(shí)際情況在“”上填上正確答案1（1）啟動(dòng)slam.launch文件（2）移動(dòng)應(yīng)用實(shí)訓(xùn)臺(tái)，會(huì)對(duì)周圍的環(huán)境進(jìn)行建圖（3）查看建圖效果：灰色表示：激光雷達(dá)沒有探測(cè)到的未知區(qū)域黑色的點(diǎn)表示：激光雷達(dá)探測(cè)到障礙點(diǎn)白色表示：激光雷達(dá)已探測(cè)的不存在障礙物的區(qū)域3.3基于激光雷達(dá)和IMU實(shí)現(xiàn)SLAM開發(fā)活動(dòng)實(shí)施工單3.3.1IMU的內(nèi)參標(biāo)定IMU的內(nèi)參標(biāo)定根據(jù)實(shí)際情況在“”上填上正確答案1、IMU為什么要進(jìn)行內(nèi)參標(biāo)定？答：受各種因素影響，微機(jī)械IMU放置一段時(shí)間后，其誤差參數(shù)和慣性元件參數(shù)會(huì)發(fā)生變化，不能滿足導(dǎo)航、制導(dǎo)的精度要求，因此必須定期對(duì)其相應(yīng)參數(shù)重新標(biāo)定。2、IMU在采集數(shù)據(jù)時(shí)，會(huì)產(chǎn)生哪兩種誤差？答：確定性誤差和隨機(jī)性誤差1連接串口2編譯安裝Eigen線性代數(shù)庫3編譯安裝CeresSolver非線性最小二乘求解工具包，在編譯過程可能會(huì)出現(xiàn)無法定位libcxsoarse3.1.2的問題。解決辦法：（1）打開sources.list；（2）將下面的源粘貼到最上方sources.list；（3）更新源；（4）重新輸入依賴項(xiàng)安裝命令安裝依賴項(xiàng)。4編譯code_utils安裝依賴項(xiàng)把code_utils工具包放入ROS工作空間src文件夾下，進(jìn)入ROS工作空間，執(zhí)行catkin_make命令進(jìn)行編譯如果出現(xiàn)編譯出錯(cuò)狀況，解決方法如下：①把src/code_utils/src/sumpixel_test.cpp中的#include”backward.hpp”改為#include”code_utils/backward.hpp”；②在src/code_utils-master/include/code_utils/dlt/dlt.h中添加頭文件include“vector”。編譯imu_utils把code_utils工具包放入ROS工作空間src