第3章 即時(shí)定位與地圖構(gòu)建技術(shù)課件講解

第1

頁第3章即時(shí)定位與地圖構(gòu)建技術(shù)3.1SLAM技術(shù)簡介3.2視覺SLAM技術(shù)3.3激光SLAM技術(shù)3.4無人車激光SLAM開發(fā)實(shí)例

第2

頁第3章即時(shí)定位與地圖構(gòu)建技術(shù)

第3

頁第3章即時(shí)定位與地圖構(gòu)建技術(shù)

第4

頁

第5

頁

第6

頁

第7

頁

第8

頁

第9

頁

第10

頁

第11

頁視覺SLAM概述Question機(jī)器人自主運(yùn)動兩大基本問題我在什么地方？——定位周圍長什么樣子？——建圖機(jī)器人的“內(nèi)外兼修”：定位側(cè)重對自身的了解，建圖側(cè)重對外在的了解準(zhǔn)確的定位需要精確的地圖精確的地圖來自準(zhǔn)確的定位/video/BV1CZ4y1F7kN/video/BV1YE411r7ao視覺SLAM概述HowtodoSLAM？——Sensors兩類傳感器安裝于環(huán)境中的：二維碼MarkerGPS導(dǎo)軌、磁條攜帶于機(jī)器人本體上的IMU激光相機(jī)視覺SLAM概述相機(jī)以一定速率采集圖像，形成視頻分類單目Monocular雙目Stereo深度RGBD其他魚眼全景EventCamera,etc.視覺SLAM概述相機(jī)的本質(zhì)以二維投影形式記錄了三維世界的信息此過程丟掉了一個(gè)維度：距離各類相機(jī)主要區(qū)別：有沒有深度信息單目：沒有深度，必須通過移動相機(jī)產(chǎn)生深度MovingViewStereo雙目：通過視差計(jì)算深度StereoRGBD：通過物理方法測量深度視覺SLAM概述僅有一個(gè)圖像時(shí)：可能是很近但很小的物體可能是很遠(yuǎn)但很大的物體它們成像相同必須在移動相機(jī)后才能得知相機(jī)的運(yùn)動和場景的結(jié)構(gòu)視覺SLAM概述當(dāng)相機(jī)運(yùn)動起來時(shí)場景和成像有幾何關(guān)系近處物體的像運(yùn)動快遠(yuǎn)處物體的像運(yùn)動慢可以推斷距離視覺SLAM概述雙目相機(jī)：左右眼的微小差異判斷遠(yuǎn)近同樣，遠(yuǎn)處物體變化小，近處物體變化大——推算距離計(jì)算量非常大視覺SLAM概述深度相機(jī)物理手段測量深度結(jié)構(gòu)光ToF主動測量，功耗大深度值較準(zhǔn)確量程較小，易受干擾視覺SLAM概述視覺SLAM框架前端：VO后端：Optimization回環(huán)檢測LoopClosing建圖Mapping視覺SLAM概述視覺里程計(jì)VisualOdometry相鄰圖像估計(jì)相機(jī)運(yùn)動基本形式：通過兩張圖像計(jì)算運(yùn)動和結(jié)構(gòu)不可避免地有漂移方法特征點(diǎn)法直接法視覺SLAM概述后端優(yōu)化從帶有噪聲的數(shù)據(jù)中優(yōu)化軌跡和地圖狀態(tài)估計(jì)問題最大后驗(yàn)概率估計(jì)MAP前期以EKF為代表，現(xiàn)在以圖優(yōu)化為代表視覺SLAM概述回環(huán)檢測檢測機(jī)器人是否回到早先位置識別到達(dá)過的場景計(jì)算圖像間的相似性方法：詞袋模型視覺SLAM概述回環(huán)檢測在視覺SLAM問題中，位姿的估計(jì)往往是一個(gè)遞推的過程，即由上一幀位姿解算當(dāng)前幀位姿，因此其中的誤差便這樣一幀一幀的傳遞下去，也就是累積誤差。如下圖所示，位姿約束都是參照上一幀建立的，第五幀的位姿誤差中便已經(jīng)積累了前面四個(gè)約束中的誤差。視覺SLAM概述回環(huán)檢測如果，第五幀位姿不僅可以由第四幀推出來，還可以由第二幀推算出來，那顯然由第二幀推出誤差更小，因?yàn)橹挥袃蓚€(gè)約束的誤差了。像這樣與之前的某一幀建立位姿約束關(guān)系就叫做回環(huán)。回環(huán)通過減少了約束數(shù)，起到了減小累積誤差的作用。視覺SLAM概述回環(huán)檢測那現(xiàn)在又有新的問題了，我們怎么知道可以由第二幀推算第五幀位姿呢？就像下圖，可能第一幀、第三幀也可以呀。確實(shí)，我們之所以用前一幀遞推下一幀位姿，因?yàn)檫@兩幀足夠近，肯定可以建立兩幀的約束，但是距離較遠(yuǎn)的兩幀就不一定可以建立這樣的約束關(guān)系了。找出可以建立這種位姿約束的歷史幀，就是回環(huán)檢測。視覺SLAM概述回環(huán)檢測那我們現(xiàn)在的重點(diǎn)就是回環(huán)檢測了。其實(shí)我們完全可以把以前的所有幀都拿過來和當(dāng)前幀做匹配，匹配足夠好的就是回環(huán)嘛，但問題是計(jì)算量太大了，兩幀匹配本來就慢，這樣做的話還沒有比較好的初值，需要匹配的數(shù)目又如此巨大，CPU和我們都會瘋的。視覺SLAM概述回環(huán)檢測但其實(shí)，任意兩幀是否構(gòu)成回環(huán)可以由更簡單的方法做一個(gè)初步的篩選，就像一幀中有一個(gè)房子，另一幀中是一棵樹，那這兩幀明顯關(guān)系不大嘛。通過這種方式，我們便可以對回環(huán)做出初步篩選。而這里說的房子、樹就是詞袋模型中的單詞。也就是描述子的進(jìn)一步抽象集合。視覺SLAM概述回環(huán)檢測方法：詞袋模型單詞：差距較小的描述子的集合字典：所有的單詞因此每一幀都可以用單詞來描述，也就是這一幀中有哪些單詞，這里只關(guān)心了有沒有，而不必關(guān)心具體在哪里。只有兩幀中單詞種類相近才可能構(gòu)成回環(huán)。視覺SLAM概述回環(huán)檢測方法：詞袋模型因此，現(xiàn)在利用詞袋模型我們將回環(huán)檢測大致分為了以下三個(gè)步驟：構(gòu)建字典（所有單詞的集合）確定一幀中具有哪些單詞，用向量表示(1表示具有該單詞，0表示沒有)比較兩幀描述向量的差異視覺SLAM概述建圖用于導(dǎo)航、規(guī)劃、通訊、可視化、交互等度量地圖vs拓?fù)涞貓D稀疏地圖vs稠密地圖

第32

頁

第33

頁

第34

頁

第35

頁

第36

頁

第37

頁

第38

頁

第39

頁

第40

頁

第41

頁

第42

頁

第43

頁

第44

頁

第45

頁

第46

頁

第47

頁

第48

頁

第49

頁

第50

頁

第51

頁

第52

頁

第53

頁

第54

頁

第55

頁

第56

頁

第57

頁

第58

頁

第59

頁

第60

頁

第61

頁

第62

頁

第63

頁

第64

頁

第65

頁

第66

頁

第67

頁

第68

頁

第69

頁

第70

頁

第71

頁

第72

頁

第73

頁

第74

頁

第75

頁

第76

頁

第77

頁

第78

頁

第79

頁

第80

頁

第81

頁

第82

頁

第83

頁

第84

頁

第85

頁

第86

頁

第87

頁

第88

頁

第89