智能網(wǎng)聯(lián)汽車感知技術(shù) 課件 項(xiàng)目3、4 視覺傳感器的裝配與調(diào)試、激光雷達(dá)的裝配與調(diào)試

視覺傳感器的裝配與調(diào)試3.1相機(jī)的定義

視覺傳感器，是指利用光學(xué)元件和成像裝置獲取外部環(huán)境圖像信息的儀器。車載視覺傳感器（攝像頭）用來模擬人眼，通過對采集的圖片或視頻進(jìn)行處理獲得相應(yīng)場景的三維信息，以此來解決物體的識別、形狀與方位確認(rèn)、運(yùn)動(dòng)軌跡判斷等問題，進(jìn)一步了解外界的環(huán)境和控制車輛自身的運(yùn)動(dòng)。視覺傳感器在汽車智能駕駛領(lǐng)域必不可少，是實(shí)現(xiàn)高級輔助駕駛系統(tǒng)預(yù)警、識別類功能的基礎(chǔ)。通常用圖像分辨率來描述視覺傳感器的性能。視覺傳感器的精度不僅與分辨率有關(guān)，而且同被測物體的檢測距離相關(guān)。被測物體距離越遠(yuǎn)，其絕對的位置精度越差。視覺傳感器技術(shù)的實(shí)質(zhì)就是圖像處理技術(shù)。車載攝像頭對可靠性的要求非常高，與普通攝像頭監(jiān)控系統(tǒng)不同，車載攝像頭的工作時(shí)間長，且運(yùn)行環(huán)境經(jīng)常處于高頻振動(dòng)狀態(tài)，因此車載攝像頭的性能測試也非常嚴(yán)格。除此之外，車載攝像他大多還具備夜視功能，以保證夜間可以正常使用。定義3.1相機(jī)的組成視覺傳感器主要由光源、鏡頭、圖像傳感器、模/數(shù)（A/D）轉(zhuǎn)換器、圖像處理器、圖像存儲(chǔ)器等組成，其主要功能是獲取足夠的機(jī)器視覺系統(tǒng)要處理的原始圖像，如圖所示。車載視覺傳感器常用的分類方式有按照芯片類型和按照鏡頭數(shù)目進(jìn)行劃分。車載視覺傳感器按照芯片類型主要分為電荷耦合器件（ChargeCoupledDevice，CCD）和互補(bǔ)金屬氧化物半導(dǎo)體（ComplementaryMetalOxideSemiconductor，CMOS）兩大類。電荷耦合器件（CCD）：是一種用電荷量表示信號大小，用耦合方式傳輸信號的探測元件。具有自掃描、感受波譜范圍寬、畸變小、體積小、重量輕、系統(tǒng)噪聲低、功耗小、壽命長、可靠性高等一系列優(yōu)點(diǎn)，并可做成集成度非常高的組合件。CCD在攝像機(jī)里類似于人的眼睛，起到將光線轉(zhuǎn)換成電信號的作用，其性能的好壞直接影響到攝像機(jī)的成像質(zhì)量?；パa(bǔ)金屬氧化物半導(dǎo)體（CMOS）：是一種大規(guī)模應(yīng)用于集成電路芯片制造的原料。采用CMOS技術(shù)可以將成對的金屬氧化物半導(dǎo)體場效應(yīng)晶體管（MOSFET）集成在一塊硅片上。圖1CCD芯片圖2

CMOS芯片3.1相機(jī)的組成車載視覺傳感器按照鏡頭數(shù)目主要分為單目攝像頭、雙目攝像頭，三目攝像頭和環(huán)視攝像頭。3.視覺傳感器分類圖1單目攝像頭圖2雙目攝像頭圖3三目攝像頭3.2相機(jī)的參數(shù)相機(jī)的參數(shù)還有哪些呢？相機(jī)的內(nèi)參和外參。3.2相機(jī)的內(nèi)參

德國大陸公司推出的多功能單目攝像頭MFC520，傳感器像素為1820×940，水平視場角為110°，垂直視場角為45°，外形尺寸為87.3×70.4×38.4mm，并且搭載了具備自主學(xué)習(xí)能力的深度神經(jīng)網(wǎng)絡(luò)，不僅能夠?qū)崿F(xiàn)車輛、行人、交通標(biāo)志和交通信號等視覺傳感器的常規(guī)檢測功能，而且還支持可行駛區(qū)域檢測、地圖場景構(gòu)建和自車定位。什么是像素？像素是圖像元素的縮寫，它是構(gòu)成所有數(shù)字圖像的最小單位。像素指的是構(gòu)成圖片的小方格，每個(gè)方格都有一個(gè)清晰的位置和指定的顏色，這個(gè)小方格就是像素如圖所示。分辨率：就是圖片或者屏幕的水平方向和垂直方向的像素是多少。比如常見的顯示分辨率是1920×1080，指的就是這個(gè)屏幕的水平方向像素是1920個(gè)，垂直方向的像素是1080個(gè)。以圖片分辨率為72，即每英寸像素為72，1英寸等于2.54厘米，那么通過換算可以得出每厘米等于28像素；又如15x15厘米長度的圖片，等于420*420像素的長度。3.2相機(jī)的內(nèi)參3.2相機(jī)的內(nèi)參什么是水平視角場和垂直視角場？水平視場角、垂直視場角和對角視場角。凡通過鏡頭主軸的平面，從與視場邊緣相交的兩點(diǎn)引直線至物方主點(diǎn)，同樣形成三種視場角，即水平視場角、垂直視場角和對角線視場角。視場角，即Fieldofview（FOV），視場角在又稱視場，它的大小決定了光學(xué)儀器的視野范圍。3.3相機(jī)的內(nèi)參還有光學(xué)中心、焦距、圖像尺寸和畸變系數(shù)等相機(jī)的內(nèi)參還有哪些？3.3相機(jī)的內(nèi)參什么是相機(jī)的內(nèi)參-光學(xué)中心？光學(xué)中心感光元件相機(jī)的鏡頭是由多個(gè)鏡片構(gòu)成的復(fù)雜光學(xué)系統(tǒng)，光學(xué)系統(tǒng)的功能等價(jià)于一個(gè)薄透鏡，實(shí)際上薄透鏡是不存在的。光學(xué)中心是這一等價(jià)透鏡的中心，如圖所示。不同結(jié)構(gòu)的鏡頭其光學(xué)中心位置也不一樣，大部分在鏡頭內(nèi)的某一位置，但也有在鏡頭前方或鏡頭后方的。3.3相機(jī)的內(nèi)參什么是相機(jī)的內(nèi)參-焦距？光學(xué)中心焦距感光元件焦距焦點(diǎn)1、焦距：光學(xué)中心到感光元件的距離。2、焦距有可變焦距和不可變焦距，一般用mm表示。3、在進(jìn)行攝像頭仿真時(shí)，焦距的單位一般要用像素。3.3相機(jī)的內(nèi)參什么是相機(jī)的內(nèi)參-焦距？光學(xué)中心焦距感光元件1、焦距：光學(xué)中心到感光元件的距離。2、焦距有可變焦距和不可變焦距，一般用mm表示。3、在進(jìn)行攝像頭仿真時(shí)，焦距就需要用像素來表示，又稱為像素焦距。

fu和fv分別為攝像頭x(u)和y(v)方向的毫米焦距，單位mm；ku和kv分別攝像頭x(u)和y(v)方向的像素焦距（pixel）。dx、dy分別為成像平面水平和垂直方向像素的有效尺寸（mm/pixel）。dx=(1/CCDSize*25.4*image_x/image_y)/image_x;dy=(1/CCDSize*25.4*image_x/image_y)/image_y;CCDSize是攝像頭給的感光元件尺寸（1英寸=25.4mm）image_x/image_y分別是圖像x和y方向的像素?cái)?shù)。3.3相機(jī)的內(nèi)參什么是相機(jī)的內(nèi)參-畸變系數(shù)？畸變系數(shù)分為徑向畸變系數(shù)和切向畸變系數(shù)。徑向畸變發(fā)生在相機(jī)坐標(biāo)系轉(zhuǎn)像物理坐標(biāo)系的過程中；徑向畸變主要包括枕形畸變和桶形畸變兩種.徑向畸變系數(shù)K1K2K3。3.3相機(jī)的內(nèi)參什么是相機(jī)的內(nèi)參-畸變系數(shù)？切向畸變產(chǎn)生的原因是透鏡不完全平行于圖像。3.3相機(jī)的內(nèi)參標(biāo)定相機(jī)的內(nèi)參是在相機(jī)生產(chǎn)過程中標(biāo)定的，后期使用過程中不需要標(biāo)定，但是仿真過程中需要獲得相機(jī)的內(nèi)參，當(dāng)在仿真時(shí)，若不知道相機(jī)內(nèi)參是多少的情況下，可以通過內(nèi)參標(biāo)定獲得。相機(jī)的內(nèi)參標(biāo)定方法很多，常用的可以是張正友標(biāo)定法。張正友相機(jī)標(biāo)定法是張正友教授1998年提出的單平面棋盤格的相機(jī)標(biāo)定方法。傳統(tǒng)標(biāo)定法的標(biāo)定板是需要三維的，需要非常精確，這很難制作而張正友教授提出的方法介于傳統(tǒng)標(biāo)定法和自標(biāo)定法之間，但克服了傳統(tǒng)標(biāo)定法需要的高精度標(biāo)定物的缺點(diǎn)，而僅需使用一個(gè)打印出來的棋盤格就可以。同時(shí)也相對于自標(biāo)定而言，提高了精度，便于操作。因此張氏標(biāo)定法被廣泛應(yīng)用于計(jì)算機(jī)視覺方面。3.3相機(jī)的內(nèi)參標(biāo)定

采用matlab對攝像頭進(jìn)行內(nèi)參標(biāo)定。Matlab中集成了相機(jī)標(biāo)定工具箱用于相機(jī)的內(nèi)參的標(biāo)定。分別是用于單目相機(jī)標(biāo)定的CameraCalibrator和用于雙目相機(jī)標(biāo)定的StereoCameraCalibrator。3.3相機(jī)的內(nèi)參怎么用數(shù)學(xué)公式的表達(dá)相機(jī)的內(nèi)參？一般通過內(nèi)參矩陣來描述相機(jī)內(nèi)參。其中：f：焦距，單位毫米；dx：像素x方向?qū)挾?，單位mm/pixel；1/dx：x方向1毫米內(nèi)有多少個(gè)像素；dy：像素y方向?qū)挾?，單位mm/pixel；1/dy：y方向1毫米內(nèi)有多少個(gè)像素；fx（即f/dx）：使用像素來描述x軸方向焦距的長度；fy（即f/dy）:使用像素來描述y方向焦距的長度；cx、cy（即u0、v0）：相機(jī)主點(diǎn)，其中u0=x0/dx，v0=y0/dy表示成像坐標(biāo)系原點(diǎn)在像素坐標(biāo)系中的位置描述。/cjh666/article/details/106326257/3.3相機(jī)的外參

相機(jī)的外參有哪些呢？相機(jī)的外部參數(shù)是指相機(jī)的安裝位置，即相機(jī)離地高度以及相機(jī)相對于車輛坐標(biāo)系的旋轉(zhuǎn)角度。相機(jī)離地高度：離地高度是指從地面到相機(jī)焦點(diǎn)的垂直高度，如圖所示。3.3相機(jī)的外參

相機(jī)的外參有哪些呢？旋轉(zhuǎn)角度：相機(jī)相對于車輛坐標(biāo)系的旋轉(zhuǎn)角度有俯仰角、偏航角和橫滾角，如圖所示。3.3相機(jī)的坐標(biāo)變換

為什么要進(jìn)行坐標(biāo)變換？車輛系和相機(jī)系都是右手坐標(biāo)系，一般情況下：車輛系的X軸指向車輛前方，Y軸指向車輛左方，Z軸指向天空；相機(jī)為前視相機(jī)，其坐標(biāo)系為X軸指向車輛右方，Y軸指向地面，Z軸指向車輛前方。3.3相機(jī)的坐標(biāo)變換

為什么要進(jìn)行坐標(biāo)變換？/p/5970892633.3相機(jī)的坐標(biāo)變換世界坐標(biāo)系到相機(jī)坐標(biāo)系相機(jī)坐標(biāo)系到圖像坐標(biāo)系圖像坐標(biāo)系到像素坐標(biāo)系/Hurt_Town/article/details/1250712793.3相機(jī)的坐標(biāo)變換以相機(jī)坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換進(jìn)行講解。在自動(dòng)駕駛車輛運(yùn)動(dòng)過程中，獲得前方物體的位姿信息，位姿即位置和姿態(tài)。位置指物體在世界坐標(biāo)系中的具體位置，姿態(tài)是基于該點(diǎn)坐標(biāo)相對于世界坐標(biāo)系的旋轉(zhuǎn)。因此，坐標(biāo)變換的本質(zhì)就是坐標(biāo)系的平移和旋轉(zhuǎn)，圖中為世界坐標(biāo)系Wo-Wx-Wy-Wz和相機(jī)坐標(biāo)系Co-Cx-Cy-Cz。3.3相機(jī)的坐標(biāo)變換圖中為世界坐標(biāo)系Wo-Wx-Wy-Wz和相機(jī)坐標(biāo)系Co-Cx-Cy-Cz；其中P點(diǎn)為相機(jī)坐標(biāo)系和世界坐標(biāo)系的一個(gè)點(diǎn)。其在世界坐標(biāo)系的坐標(biāo)值設(shè)定為[WxaWyaWza]，在相機(jī)坐標(biāo)系的坐標(biāo)值為[CxaCyaCza]。相機(jī)坐標(biāo)系中各值在世界坐標(biāo)系的坐標(biāo)表示圖中公示所示。

相機(jī)坐標(biāo)系到世界坐標(biāo)系的3*3旋轉(zhuǎn)矩陣3.3相機(jī)的坐標(biāo)變換

相機(jī)坐標(biāo)系到世界坐標(biāo)系的3*3旋轉(zhuǎn)矩陣相機(jī)坐標(biāo)系與世界坐標(biāo)系旋轉(zhuǎn)后，平移只需要做向量加法就可以。因此坐標(biāo)變換最終公示如公示所示。

/weixin_38213410/article/details/898839053.4相機(jī)的標(biāo)定在Apollo自動(dòng)駕駛系統(tǒng)中，相機(jī)外參標(biāo)定實(shí)際上是指的相機(jī)坐標(biāo)系與激光雷達(dá)坐標(biāo)系之間的變換關(guān)系。Apollo系統(tǒng)中有一個(gè)Transform模塊，它描述了自動(dòng)駕駛系統(tǒng)中各坐標(biāo)系之間的關(guān)系，如圖3-18所示，有了這個(gè)模塊，Apollo自動(dòng)駕駛中的任何兩個(gè)坐標(biāo)系之間都可以進(jìn)行相互轉(zhuǎn)換。Transform模塊是自動(dòng)駕駛感知融合實(shí)現(xiàn)的基礎(chǔ)。3.4相機(jī)的標(biāo)定相機(jī)坐標(biāo)系相對于激光雷達(dá)坐標(biāo)系的位姿描述為，激光雷達(dá)坐標(biāo)系繞其z軸順時(shí)針旋轉(zhuǎn)90度，再繞其自身x軸前滾90°得到相機(jī)坐標(biāo)系，或者激光雷達(dá)坐標(biāo)系先繞其y軸前滾90°，在繞自身z軸右偏航90°得到相機(jī)坐標(biāo)系。以上兩種歐拉角描述都對，也就是說歐拉角描述物體姿態(tài)信息存在多種可能。3.4相機(jī)的標(biāo)定相機(jī)坐標(biāo)系相對于激光雷達(dá)坐標(biāo)系的位姿描述為，或者相機(jī)坐標(biāo)系先繞其x軸后翻90°，在繞自身z軸左偏航90°得到相機(jī)坐標(biāo)系。相機(jī)坐標(biāo)系繞其z軸順時(shí)針旋轉(zhuǎn)90度，再繞其自身y軸后翻90°得到激光雷達(dá)坐標(biāo)系。以上兩種歐拉角描述都對，也就是說歐拉角描述物體姿態(tài)信息存在多種可能。3.4相機(jī)的標(biāo)定

Apollo自動(dòng)駕駛中描述物體姿態(tài)信息常用四元數(shù)，一是因?yàn)樗脑獢?shù)描述三維空間中的旋轉(zhuǎn)(位姿)是沒有奇異的，而是四元數(shù)在求解過程中總是有解的，規(guī)避了歐拉角維度消失現(xiàn)象，如圖（https://quaternions.online/）。3.5相機(jī)的障礙物識別相機(jī)的檢測方法（1）基于二維圖像的障礙物檢測：YOLO系列障礙物檢測SSD礙物檢測FasterRCNN障礙物檢測（2）基于三維圖像的障礙物檢測。3.5相機(jī)的障礙物識別圖像預(yù)處理紅綠燈檢測車道線檢測攝像頭障礙物檢測多個(gè)目標(biāo)投票（Voting）車道線后處理攝像頭障礙物追蹤其它傳感器障礙物信息多傳感器融合2D到3D轉(zhuǎn)換相機(jī)HorizonLightVerticalLightQuadrateLight紅綠燈識別提取檢測ROI校準(zhǔn)紅綠燈信息障礙物信息預(yù)處理神經(jīng)網(wǎng)絡(luò)模型后處理障礙物信息Apollo系統(tǒng)中相機(jī)障礙物檢修原理3.5相機(jī)的障礙物識別BackboneMultidetectorhead檢測模塊輸出分類結(jié)果（x1,x2…xc）2D邊框[x,y,w,h]2D3D形狀[w’,h’,l’]3D3D中心[xc,yc]p,z’3D3D角度θ’3D3D角點(diǎn)x’(m)y’(m)z’(m)3D障礙物檢測模塊的模型結(jié)構(gòu)圖3.5相機(jī)的障礙物識別車道線檢測謝謝項(xiàng)目四激光雷達(dá)的裝配與調(diào)試情景導(dǎo)入激光雷達(dá)是智能網(wǎng)聯(lián)汽車必備的傳感器。激光雷達(dá)通過的電磁波獲取目標(biāo)的位置和速度及周圍環(huán)境的三維特征，通過向目標(biāo)發(fā)射探測激光信號，分析目標(biāo)的反射信號獲取信息，根據(jù)目標(biāo)密度信息，就可輕易識別汽車、行人、障礙等常見的物體，因此，激光雷達(dá)的使用環(huán)境非常廣泛。圖為激光雷達(dá)點(diǎn)云圖。圖

激光雷達(dá)點(diǎn)云圖情景導(dǎo)入激光雷達(dá)在智能汽車上起到哪些作用？激光雷達(dá)有哪些技術(shù)參數(shù)？激光雷達(dá)如何安裝效果更好？激光雷達(dá)如何進(jìn)行標(biāo)定及障礙物的檢測？任務(wù)一激光雷達(dá)的認(rèn)識與裝配【任務(wù)描述】一輛智能網(wǎng)聯(lián)汽車經(jīng)車廠技術(shù)人員檢修發(fā)現(xiàn)，該車的激光雷達(dá)損壞，需要更換。作為一名工程師，您對激光雷達(dá)了解多少呢？激光雷達(dá)有哪些技術(shù)參數(shù)呢？如何進(jìn)行激光雷達(dá)的選型及裝配呢？帶著這些問題，進(jìn)入我們本任務(wù)的學(xué)習(xí)。任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-1激光雷達(dá)定義激光雷達(dá)Lidar（LightLaserDetectionandRanging）是激光探測及測距系統(tǒng)的簡稱，利用激光束作為發(fā)射光源，采用光電探測技術(shù)，獲得數(shù)據(jù)并生成精準(zhǔn)的數(shù)字工程模型。激光雷達(dá)具有分辨率和靈敏度高、抗觀測背景的干擾性強(qiáng)的特點(diǎn)，能夠?qū)崿F(xiàn)全天時(shí)工作。任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】激光雷達(dá)核心功能三維環(huán)境感知激光雷達(dá)通過激光掃描可得汽車周圍環(huán)境的三維模型，運(yùn)用相關(guān)算法可較為容易探測出周圍的車輛和行人，并進(jìn)行障礙物的檢測、分類和跟蹤。SLAM加強(qiáng)定位激光雷達(dá)可以通過掃描得到的點(diǎn)云數(shù)據(jù)實(shí)現(xiàn)同步創(chuàng)建地圖。任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-2激光雷達(dá)組成目前，常見的激光雷達(dá)主要由激光發(fā)射器、激光接收器、信號處理單元和控制系統(tǒng)四大核心組件構(gòu)成，如圖4-3-2所示。激光發(fā)射器是激光雷達(dá)中的激光發(fā)射機(jī)構(gòu)；激光接收器由望遠(yuǎn)鏡和各種形式的光電探測器；信號處理單元負(fù)責(zé)控制激光器的發(fā)射、信號處理，計(jì)算目標(biāo)物體的距離等信息?？刂葡到y(tǒng)/旋轉(zhuǎn)機(jī)構(gòu)將核心部件以穩(wěn)定的轉(zhuǎn)速旋轉(zhuǎn)起來，實(shí)現(xiàn)對所在平面掃描，并產(chǎn)生實(shí)時(shí)平面圖信息。圖4-3-2激光雷達(dá)組成任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-3激光雷達(dá)特點(diǎn)

優(yōu)點(diǎn)探測范圍廣分辨率高抗干擾能力強(qiáng)信息量豐富缺點(diǎn)雨雪、霧霾天氣精度下降。與毫米波雷達(dá)相比，產(chǎn)品體積大，成本高。激光雷達(dá)難以識別交通標(biāo)志的含義和交通信號燈的顏色。任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-4激光雷達(dá)的測距原理激光雷達(dá)的測距原理是通過測算激光發(fā)射信號與激光回波信號的往返時(shí)間，從而計(jì)算目標(biāo)的距離。（1）TOF（脈沖）測距法TOF（脈沖）測距是目前應(yīng)用較多的方法之一，其基本原理是在測距點(diǎn)向被測目標(biāo)發(fā)射一束短而強(qiáng)的激光脈沖，激光脈沖到達(dá)目標(biāo)后會(huì)反射回一部分被光功能接收器接收。假設(shè)目標(biāo)距離為S，激光脈沖往返的時(shí)間間隔是T，光速為c，c=3×108m/s，測距公式為S=（T×c）/2，如圖所示。精度高、容易受環(huán)境影響任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-4激光雷達(dá)的測距原理（2）相位測距法相位測距的原理是利用發(fā)射波和返回波之間形成的相位差來測量距離的。對發(fā)射的激光強(qiáng)度進(jìn)行連續(xù)的調(diào)制，測定調(diào)制光往返過程中所經(jīng)過的相位變化，從而間接測量出傳播時(shí)間，進(jìn)而計(jì)算出距離。式中，為發(fā)射波和返回波之間的相位差，ω為正弦波角頻率，f為正弦波頻率。精度高、體積小、結(jié)構(gòu)簡單任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-5激光雷達(dá)的分類有無機(jī)械旋轉(zhuǎn)部件分類機(jī)械激光雷達(dá)固態(tài)激光雷達(dá)混合固態(tài)激光雷達(dá)通過電機(jī)帶動(dòng)光機(jī)結(jié)構(gòu)整體旋轉(zhuǎn)的機(jī)械式方案，激光脈沖發(fā)射器、接收器等元器件都會(huì)隨著掃描模塊進(jìn)行360°旋轉(zhuǎn)，從而生成一個(gè)立體點(diǎn)云，實(shí)現(xiàn)對環(huán)境的感知掃描依靠電子部件來控制激光發(fā)射角度，不需要機(jī)械旋轉(zhuǎn)部件，故尺寸較小，可安裝于車體內(nèi)。用半導(dǎo)體微動(dòng)器件來代替宏觀機(jī)械式掃描器，在微觀尺度上實(shí)現(xiàn)雷達(dá)發(fā)射端的激光掃描方式任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-5激光雷達(dá)的分類機(jī)械式激光雷達(dá)通過物理旋轉(zhuǎn)進(jìn)行3D掃描，對周圍環(huán)境進(jìn)行全面的覆蓋形成點(diǎn)云，優(yōu)點(diǎn)是精度高、工作穩(wěn)定，缺點(diǎn)是高頻轉(zhuǎn)動(dòng)和復(fù)雜機(jī)械結(jié)構(gòu)致使其壽命相對較短。任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-5激光雷達(dá)的分類當(dāng)前的固態(tài)激光雷達(dá)方案主要分為兩種：Flash、OPA。Flash激光雷達(dá)的原理類似于拍照，但最終生成的數(shù)據(jù)包含了深度等3D數(shù)據(jù)。OPA則是采用了高度集成化的光學(xué)相控技術(shù)，將激光器的功率分配到不同的相位調(diào)制器，通過光學(xué)天線發(fā)射，在空間遠(yuǎn)場形成較強(qiáng)的能量光束。圖Flash激光雷達(dá)工作原理圖

OPA激光雷達(dá)工作原理任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-5激光雷達(dá)的分類MEMS微機(jī)電系統(tǒng)是將機(jī)械結(jié)構(gòu)進(jìn)行微型化、電子化設(shè)計(jì)，將原本體積較大的機(jī)械結(jié)構(gòu)通過微電子工藝集成在硅基芯片上，進(jìn)行大規(guī)模生產(chǎn)。主要是通過MEMS微鏡來實(shí)現(xiàn)垂直方面的一維掃描，整機(jī)360度水平旋轉(zhuǎn)來完成水平掃描，MEMS方案中并沒有完全消除機(jī)械，而是將機(jī)械微型化，掃描單元變成MEMS微鏡。任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-5激光雷達(dá)的分類雷達(dá)系統(tǒng)測量范圍可靠性成本尺寸機(jī)械式遠(yuǎn)好中-高大MEMS中-遠(yuǎn)好低小Flash近很好低小OPA優(yōu)點(diǎn)：沒有運(yùn)動(dòng)部件

缺點(diǎn)：測量范圍受限任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-5激光雷達(dá)的分類按線束多少分類單線束激光雷達(dá)多線束激光雷達(dá)指激光源發(fā)出的線束是單線的雷達(dá)，其所獲得的數(shù)據(jù)為2D數(shù)據(jù)，因此無法區(qū)別有關(guān)目標(biāo)物體的3D信息同時(shí)發(fā)射及接收多束激光的激光旋轉(zhuǎn)測距雷達(dá)。任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-5激光雷達(dá)的分類少線束激光雷達(dá)主要用于智能網(wǎng)聯(lián)汽車的先進(jìn)駕駛輔助系統(tǒng)。多線束激光雷達(dá)主要用于制作無人駕駛汽車的3D地圖進(jìn)行精準(zhǔn)定位，并進(jìn)行道路和車輛的識別等。圖64線束激光雷達(dá)掃描圖128線束激光雷達(dá)掃描任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-6激光雷達(dá)性能指標(biāo)線數(shù)：線束越多、越密，對環(huán)境描述就更加充分。波長：目前市場上三維成像激光雷達(dá)最常用的波長是905nm和1550nm。安全等級：車載激光雷達(dá)一般要求人眼安全級別為Class1，即在任何條件下，眼睛都不會(huì)受到有危害的光學(xué)輻射探測距離：激光雷達(dá)的測距與目標(biāo)的反射率相關(guān)。視場角：指的是激光雷達(dá)在水平和垂直方向的檢測角度。掃描幀頻：激光雷達(dá)點(diǎn)云數(shù)據(jù)更新的頻率。分辨率：分水平角分辨率和垂直角分辨率。點(diǎn)頻：指的是激光雷達(dá)每秒完成探測并獲取的探測點(diǎn)的總數(shù)目。任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-7激光雷達(dá)關(guān)鍵部件選型激光雷達(dá)的關(guān)鍵部件包含光源、掃描部件和探測器三部分。每個(gè)部件選型時(shí)的指導(dǎo)原則。光源選擇掃描部件選擇探測器選擇對人眼睛安全瞬時(shí)脈沖（2ns-5ns）單脈沖下高能量峰值窄帶寬（單色性好）運(yùn)動(dòng)器件少成本低可靠性高，過車規(guī)掃描視場角大高靈敏度高增益低抖動(dòng)低電子噪聲任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-7激光雷達(dá)關(guān)鍵部件選型速騰聚創(chuàng)旗下16線產(chǎn)品RS-Helios-16P擁有30.垂直視角，16線均勻分布，具體參數(shù)如表所示。圖

RS-Helios-16P主要參數(shù)線束16以太網(wǎng)輸出100MbaseT1激光波長905nm輸出數(shù)據(jù)協(xié)議UDPpacketsoverEthernet激光安全等級Class1人眼安全UDP數(shù)據(jù)包內(nèi)容三維空間坐標(biāo)、反射強(qiáng)度、時(shí)間戳等測距能力150m工作電壓9-32V盲區(qū)≤0.2m產(chǎn)品功率11W精度±3cm（0.1mto1m）±2cm（1mto100m）±3cm（100mto150m）重量約1.0kg水平視場角3600尺寸φ100mm*H100mm垂直視場角300（-150--+150）工作溫度-400C--+600C水平角分辨率0.10/0.20/0.40存儲(chǔ)溫度-400C--+850C垂直角分辨率20時(shí)間同步$GPRMCwith1PPS，PTP&gPTP幀率5Hz/10Hz/20Hz防護(hù)等級IP67轉(zhuǎn)速300/600/1200rpm(5/10/20Hz)出點(diǎn)數(shù)-288,000pts/s（單回波）-576,000pts/s（雙回波）任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-8激光雷達(dá)的安裝要求及注意事項(xiàng)根據(jù)檢測目標(biāo)的不同，激光雷達(dá)安裝位置也不同。目前常見的安裝位置有車頂、前保險(xiǎn)杠等。激光雷達(dá)安裝在車頂，如圖（a）。由于存在站得高、望得遠(yuǎn)、看得廣，安全度高的特點(diǎn)，深受車企熱愛，如威馬、哪吒、上汽飛凡等車企都相信將激光雷達(dá)安裝在車頂是現(xiàn)階段最優(yōu)的解決方案。將激光雷達(dá)安裝在前保險(xiǎn)杠上，可將激光雷達(dá)起到隱藏作用，并且，這種安裝方式垂直方向上的視野盲區(qū)小，對近場低障礙物的識別效果更好，如圖（b）。另外，有些車企還將激光雷達(dá)安裝在車前燈下方的位置，主要是起到補(bǔ)充或輔助性避障的作用，如極弧阿爾法SHI版、小鵬P5/G9等。圖（a）圖（b）任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-8激光雷達(dá)的安裝要求及注意事項(xiàng)注意事項(xiàng)用于固定激光雷達(dá)的安裝底座建議盡可能的平整，不要出現(xiàn)凹凸不平的現(xiàn)象。安裝底座上的定位柱應(yīng)嚴(yán)格遵循激光雷達(dá)底部定位柱的深度，定位柱的高度不能高于4mm。安裝底座的材質(zhì)建議使用鋁合金材質(zhì)，有助于激光雷達(dá)的散熱。激光雷達(dá)固定安裝的時(shí)候，傾斜角度不建議超過90度，傾斜角度過大會(huì)對激光雷達(dá)的壽命造成影響。激光雷達(dá)安裝走線的時(shí)候，不要將雷達(dá)上面的線拉的太緊繃，需要保持線纜具有一定的松弛。注意人身和設(shè)備安全；場地面積足夠，無障礙物；功能檢測時(shí)，學(xué)員應(yīng)在指定工作區(qū)域，以免隨意走動(dòng)造成干擾。任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-8激光雷達(dá)的安裝要求及注意事項(xiàng)激光雷達(dá)轉(zhuǎn)接線與一拖三線纜連接激光雷達(dá)支架中心位置有安裝孔位將激光雷達(dá)支架順時(shí)針轉(zhuǎn)動(dòng)安裝到激光雷達(dá)固定支架上并鎖止將激光雷達(dá)電源接口(端口4、端口5)接入車上的12V接線盒。將端口3(網(wǎng)線接口)通過網(wǎng)線與工控機(jī)相連。將端口2(授時(shí))與組合導(dǎo)航的授時(shí)端口相連安裝流程任務(wù)一激光雷達(dá)的認(rèn)識與裝配【問題探究】知識4-1-8激光雷達(dá)的安裝要求及注意事項(xiàng)激光雷達(dá)線束朝向車輛正后方，水平安裝，精度在2°以內(nèi)。激光雷達(dá)掃描范圍為激光雷達(dá)中心點(diǎn)所在的水平面上下15°，安裝高度要求，確保激光雷達(dá)安裝后掃描不到感知實(shí)訓(xùn)臺臺體。航向角誤差±2°。安裝后要進(jìn)行激光雷達(dá)配置。速騰robosense激光雷達(dá)ping00Velodyne的16線激光雷達(dá)ping01任務(wù)一激光雷達(dá)的認(rèn)識與裝配【拓展知識】拓展知識一：激光雷達(dá)在智能網(wǎng)聯(lián)汽車的應(yīng)用激光雷達(dá)是智能網(wǎng)聯(lián)汽車的重要部件，主要應(yīng)用在目標(biāo)檢測、SLAM定位與構(gòu)圖等方面。圖

目標(biāo)檢測圖

SLAM定位與構(gòu)圖任務(wù)一激光雷達(dá)的認(rèn)識與裝配【拓展知識】拓展知識二：激光雷達(dá)的檢測標(biāo)準(zhǔn)目前，車載激光雷達(dá)檢測通用性較強(qiáng)的標(biāo)準(zhǔn)有：1、國家市場監(jiān)督管理總局發(fā)布的國家標(biāo)準(zhǔn)：《光電測量智能駕駛汽車用激光雷達(dá)主要參數(shù)測試方法》；2、中國汽車工業(yè)協(xié)會(huì)發(fā)布的團(tuán)體標(biāo)準(zhǔn)：《車載激光雷達(dá)檢測方法》。激光雷達(dá)檢測的方法有實(shí)驗(yàn)室法和外場法。任務(wù)一激光雷達(dá)的認(rèn)識與裝配【拓展知識】拓展知識三：激光雷達(dá)主流廠家Velodyne是全球領(lǐng)先的激光雷達(dá)巨頭，早在2005年，創(chuàng)始人DavidHall發(fā)明了360度旋轉(zhuǎn)式64線激光雷達(dá)，一舉成為全球領(lǐng)先的激光雷達(dá)供應(yīng)商。IBEO是全球第一個(gè)擁有車規(guī)級激光雷達(dá)的企業(yè)，其于2017年推出了全固態(tài)激光雷達(dá)A-Sample樣機(jī)。Quanergy于2012年在美國硅谷成立，2014年推出第一款產(chǎn)品M8-1，并在奔馳、現(xiàn)代等公司的實(shí)驗(yàn)車型上得到應(yīng)用任務(wù)一激光雷達(dá)的認(rèn)識與裝配【拓展知識】拓展知識三：激光雷達(dá)主流廠家禾賽科技是全球領(lǐng)先的3D傳感器（激光雷達(dá)）制造商。2014年成立于上海，致力于開發(fā)基于激光的機(jī)器人傳感技術(shù)。RoboSense（速騰聚創(chuàng)）是全球領(lǐng)先的智能激光雷達(dá)系統(tǒng)科技企業(yè)，總部位于深圳。鐳神智能成立于2015年，不僅是全球唯一一家同時(shí)掌握了TOF時(shí)間飛行法、相位法、三角法和調(diào)頻連續(xù)波等四種測量原理的激光雷達(dá)公司，也是國內(nèi)唯一一家自主研發(fā)出激光雷達(dá)專用16通道TIA芯片、激光雷達(dá)自動(dòng)化及半自動(dòng)化生產(chǎn)線、1550nm光纖激光器的激光雷達(dá)公司。華為在2018年正式宣布進(jìn)軍汽車領(lǐng)域，目前在武漢有一個(gè)光電技術(shù)研究中心，主要負(fù)責(zé)研發(fā)激光雷達(dá)技術(shù)。任務(wù)二

激光雷達(dá)的標(biāo)定【任務(wù)描述】激光雷達(dá)安裝后，需對其進(jìn)行標(biāo)定，使自動(dòng)駕駛車輛能夠精確測量目標(biāo)位置、運(yùn)動(dòng)狀態(tài)和形狀，探測、識別、分辨和跟蹤目標(biāo)。根據(jù)任務(wù)安排，需要完成對激光雷達(dá)零件的外參標(biāo)定，在實(shí)施標(biāo)定之前，你需要學(xué)習(xí)激光雷達(dá)標(biāo)定外參標(biāo)定的流程和相關(guān)術(shù)語的含義，掌握關(guān)于激光雷達(dá)外參標(biāo)定的基本原理和工作方法，確保在任務(wù)規(guī)定的時(shí)間內(nèi)完成對激光雷達(dá)外參標(biāo)定。在工作過程中注意總結(jié)知識要點(diǎn)，觀察標(biāo)定時(shí)系統(tǒng)的界面，思考所學(xué)知識點(diǎn)與實(shí)物完成標(biāo)定工作時(shí)的應(yīng)用關(guān)系。任務(wù)二

激光雷達(dá)的標(biāo)定【問題探究】知識4-2-1激光雷達(dá)標(biāo)定簡介激光雷達(dá)與車體為剛性連接，兩者間的相對姿態(tài)和位移固定不變，為了建立各個(gè)激光雷達(dá)之間的相對坐標(biāo)關(guān)系，需要對激光雷達(dá)的安裝進(jìn)行標(biāo)定，并使激光雷達(dá)數(shù)據(jù)從激光雷達(dá)坐標(biāo)統(tǒng)一轉(zhuǎn)換至車體坐標(biāo)上。激光雷達(dá)的標(biāo)定包含內(nèi)參和外參的標(biāo)定。內(nèi)參標(biāo)定指的是內(nèi)部激光雷達(dá)發(fā)射器坐標(biāo)系與激光雷達(dá)自身坐標(biāo)系的轉(zhuǎn)換關(guān)系，在出廠前已經(jīng)標(biāo)定完成，可以直接使用。外參標(biāo)定是求解激光雷達(dá)自身坐標(biāo)系相對于車身坐標(biāo)系的相對變換關(guān)系，是需要進(jìn)行標(biāo)定的。任務(wù)二

激光雷達(dá)的標(biāo)定【問題探究】知識4-2-2坐標(biāo)系定義為了將激光雷達(dá)采集到的數(shù)據(jù)轉(zhuǎn)換到車身坐標(biāo)系上應(yīng)用或顯示，需要對激光雷達(dá)的安裝位置進(jìn)行標(biāo)定，并使激光雷達(dá)的數(shù)據(jù)從激光雷達(dá)坐標(biāo)系轉(zhuǎn)換到車身坐標(biāo)系上。以百度D-kit車輛上安裝的Velodyne16線激光雷達(dá)為例，其坐標(biāo)系的原點(diǎn)位置位于傳感器底座上方37.5mm處的中心軸上。x軸正方向指向車頭方向，y軸的正方向指向車輛的左側(cè)。圖

激光雷達(dá)坐標(biāo)系任務(wù)二

激光雷達(dá)的標(biāo)定【問題探究】車身坐標(biāo)系與慣性導(dǎo)航單元（IMU）坐標(biāo)系重合，如圖所示為車身坐標(biāo)系的定義，其x軸正方向?yàn)檐嚿碜髠?cè)，y軸正方向?yàn)檐囶^方向，z軸正方向?yàn)榇怪毕蛏稀＼嚿碜鴺?biāo)系原點(diǎn)與IMU原點(diǎn)重合，在IMU上其坐標(biāo)系原點(diǎn)位于設(shè)備的幾何中心，如圖所示為IMU實(shí)物圖片，IMU坐標(biāo)系的x軸y軸過坐標(biāo)系原點(diǎn)分別平行于殼體標(biāo)有的x軸y軸；IMU坐標(biāo)系z軸為垂直于x,y所在平面向上方向。其坐標(biāo)系原點(diǎn)x軸和y軸交點(diǎn)處下移設(shè)備厚度的1/2，即22mm。IMU安裝于車輛后軸中間處，平行于地面，y軸指向車輛前方。圖

車身坐標(biāo)系定義圖

IMU坐標(biāo)系定義任務(wù)二

激光雷達(dá)的標(biāo)定【問題探究】知識4-2-3激光雷達(dá)標(biāo)定原理激光雷達(dá)的外標(biāo)定任務(wù)就是尋找激光雷達(dá)坐標(biāo)系與車輛坐標(biāo)系的剛度變換，激光雷達(dá)坐標(biāo)系與車輛坐標(biāo)系。激光雷達(dá)坐標(biāo)系OLXLYLZL與激光雷達(dá)固定連接，原點(diǎn)為OL，XL軸正方向指向激光雷達(dá)右側(cè)，YL軸正方向指向激光雷達(dá)前方，XLYL平面與底座平面平行，按照右手準(zhǔn)則，ZL軸正方向垂直XLYL平面指向上方。車輛坐標(biāo)系OVXVYVZV隨車輛一起運(yùn)動(dòng)，原點(diǎn)OV在車輛正前方地面上，XV軸正方向指向車輛右側(cè)，YV軸正方向指向車輛前方，Zv軸正方向垂直XVYV平面指向上方。圖

車輛坐標(biāo)系與激光雷達(dá)坐標(biāo)系任務(wù)二

激光雷達(dá)的標(biāo)定【問題探究】建立坐標(biāo)系后，可以用一個(gè)3×1的位置矢量對坐標(biāo)系中的任何一點(diǎn)進(jìn)行定位描述。式中，P0為P0點(diǎn)在激光雷達(dá)坐標(biāo)系下的位置描述，、、為P0點(diǎn)在激光雷達(dá)坐標(biāo)系下的，X軸、Y軸、Z軸方向上的偏移量。為準(zhǔn)確描述P0點(diǎn)從激光雷達(dá)坐標(biāo)系到車身坐標(biāo)系間的轉(zhuǎn)換，位置用平移矩陣T，朝向用旋轉(zhuǎn)矩陣R來描述。外參標(biāo)定的本質(zhì)就是一個(gè)坐標(biāo)相對另一個(gè)坐標(biāo)的平移和旋轉(zhuǎn)。任務(wù)二

激光雷達(dá)的標(biāo)定【任務(wù)實(shí)施】對于D-KIT車來說，車身坐標(biāo)系與IMU坐標(biāo)系重合，后續(xù)車身坐標(biāo)系用IMU表示。對于D-KIT無人車，激光雷達(dá)與IMU坐標(biāo)系的定義如下圖。小提示：由于D-KIT無人車激光雷達(dá)安裝在固定位置，其姿態(tài)描述是可以確定的，用戶無需測量該值，可直接使用如下的默認(rèn)值即可。

Rotation:w:0.7071x:0.0y:0.0z:0.7071Transtation矩陣可以手動(dòng)測量得出，x：0；y：0.414；z：0.897；任務(wù)二

激光雷達(dá)的標(biāo)定【任務(wù)實(shí)施】在終端中輸入并執(zhí)行以下命令，啟動(dòng)外參標(biāo)定軟件：sudo./qt_tool/SensorCalibrationTool./qt_tool/conf/conf.txt在啟動(dòng)的外參標(biāo)定軟件中點(diǎn)擊激光雷達(dá)外參標(biāo)定按鈕，切換到激光雷達(dá)外參標(biāo)定欄中。任務(wù)二

激光雷達(dá)的標(biāo)定【知識拓展】拓展知識：基于Matlab的激光雷達(dá)-攝像頭聯(lián)合標(biāo)定圖為激光雷達(dá)和攝像機(jī)標(biāo)定的工作流程，實(shí)驗(yàn)中采用棋盤作為校準(zhǔn)對象，從激光雷達(dá)和相機(jī)數(shù)據(jù)中提取棋盤角和面，建立它們坐標(biāo)系之間的幾何關(guān)系進(jìn)行標(biāo)定。圖激光雷達(dá)和攝像機(jī)標(biāo)定的工作流程任務(wù)二

激光雷達(dá)的標(biāo)定【知識拓展】圖

棋盤可視化圖

激光雷達(dá)中的棋盤檢測圖

棋盤校準(zhǔn)結(jié)果任務(wù)三基于激光雷達(dá)的障礙物檢測及識別【任務(wù)描述】障礙物的檢測是指從點(diǎn)云數(shù)據(jù)中提取潛在的障礙物物體，得到它們的方位、尺寸、形狀、朝向等信息。根據(jù)任務(wù)安排，需要您基于激光雷達(dá)完成障礙物的檢測及識別，請查閱資料分析激光雷達(dá)障礙物檢測及識別的流程及方法，在規(guī)定時(shí)間內(nèi)，基于Apollo、Matlab軟件完成激光雷達(dá)的障礙物檢測及識別任務(wù)，在工作過程中注意總結(jié)不同軟件操作時(shí)的區(qū)別，并做好記錄。任務(wù)三基于激光雷達(dá)的障礙物檢測及識別【問題探究】知識4-3-1激光雷達(dá)環(huán)境感知的特點(diǎn)分辨率高，精度高抗有源干擾能力強(qiáng)難以分辨顏色受天氣影響自動(dòng)駕駛中，采用激光雷達(dá)感知可分為兩個(gè)層次，低層次感知也叫障礙物檢測，只需要探測到前方有障礙物即可；高層次感知可以看作目標(biāo)識別，需要對障礙物信息進(jìn)一步分類。成本較高任務(wù)三基于激光雷達(dá)的障礙物檢測及識別【問題探究】知識4-3-2激光雷達(dá)障礙物檢測方法1.基于幾何特征和網(wǎng)格基于幾何特征的方法首先對激光雷達(dá)的數(shù)據(jù)進(jìn)行處理，采用聚類算法將數(shù)據(jù)聚類并與障礙物的幾何特征進(jìn)行對比，對障礙物進(jìn)行檢測和分類。為了提高對不同點(diǎn)云數(shù)據(jù)檢測的可靠性，基于幾何特征的方法與光譜特征結(jié)合，將幾何和影響特征綜合考慮，從多個(gè)維度對障礙物進(jìn)行識別，同時(shí)引入權(quán)重系數(shù)來反映不同的特征對識別的影響。任務(wù)三基于激光雷達(dá)的障礙物檢測及識別【問題探究】知識4-3-2激光雷達(dá)障礙物檢測方法2.基于VoxelNET障礙物檢測VoxelNet是一個(gè)端到端利用點(diǎn)云進(jìn)行3D目標(biāo)檢測的網(wǎng)絡(luò)，其把激光點(diǎn)云在空間中均勻劃分為不同的voxel，再把不同voxel中的點(diǎn)云通過提出的VFE（VoxelFeatureEncoding）層轉(zhuǎn)換為一個(gè)統(tǒng)一的特征表達(dá)，最后使用RPN（RegionProposalNetwork）對物體進(jìn)行分類和位置回歸。任務(wù)三基于激光雷達(dá)的障礙物檢測及識別【問題探究】知識4-3-2激光雷達(dá)障礙物檢測方法2.基于VoxelNET障礙物檢測VoxelNet主要由三個(gè)模塊組成：特征學(xué)習(xí)網(wǎng)絡(luò)、中間卷積層和區(qū)域建議網(wǎng)絡(luò)。特征學(xué)習(xí)網(wǎng)絡(luò)將點(diǎn)云劃分為體素Voxel形式，通過VFE層提取特征，得到體素級的特征向量。主要分為體素劃分、分組、隨機(jī)抽樣、對體素編碼、稀疏張量表示五個(gè)步驟。（1）體素劃分：給定輸入的點(diǎn)云，先將空間劃分為Voxel形式。（2）分組：將點(diǎn)云根據(jù)空間位置劃分到相對應(yīng)的體素中。圖

體素劃分和分組（紅色點(diǎn)云代表T=2時(shí)采樣點(diǎn)云）任務(wù)三基于激光雷達(dá)的障礙物檢測及識別【問題探究】知識4-3-2激光雷達(dá)障礙物檢測方法2.基于VoxelNET障礙物檢測（3）隨機(jī)抽樣：VoxelNet采用隨機(jī)抽樣的策略,具體方法：隨機(jī)從擁有多于T個(gè)點(diǎn)的體素中隨機(jī)采樣T個(gè)點(diǎn)云，隨機(jī)抽樣策略從一定程度上減少了體素之間點(diǎn)云分布不平衡，減少了采樣的偏移，更有利于訓(xùn)練，節(jié)省計(jì)算量。圖

體素劃分和分組（紅色點(diǎn)云代表T=2時(shí)采樣點(diǎn)云）（4）堆疊體素特征編碼：通過級聯(lián)VFE層實(shí)現(xiàn)基于點(diǎn)的點(diǎn)特征和局部特征的。（5）稀疏張量表示：在體素劃分時(shí)，許多體素是空的，只需要對非空體素進(jìn)行VFE處理，將其表示為稀疏張量，可以有效節(jié)省資源。任務(wù)三基于激光雷達(dá)的障礙物檢測及識別【問題探究】知識4-3-2激光雷達(dá)障礙物檢測方法2.基于VoxelNET障礙物檢測中間卷積層負(fù)責(zé)將特征向量進(jìn)行三維卷積，提取特征，獲取全局特征。區(qū)域建議網(wǎng)絡(luò)(RPN)將特征進(jìn)行整合，輸出預(yù)測概率，給出預(yù)測結(jié)果。任務(wù)三基于激光雷達(dá)的障礙物檢測及識別【問題探究】知識4-3-3激光雷達(dá)障礙物檢測及識別流程激光雷達(dá)障礙物的檢測及識別流程通常分為四個(gè)步驟由于激光雷達(dá)每次采集障礙點(diǎn)時(shí)視角不同，采集的部分障礙點(diǎn)坐標(biāo)變化較大，而且很多障礙點(diǎn)與障礙物的跟蹤不相關(guān)，比如路邊建筑物和樹木等。每幀點(diǎn)云數(shù)據(jù)中包含大量的地面點(diǎn)，地面點(diǎn)會(huì)對位于地面上物體點(diǎn)集造成干擾，為獲取準(zhǔn)確的道路障礙物信息，需要進(jìn)一步分割出地面點(diǎn)云。任務(wù)三基于激光雷達(dá)的障礙物檢測及識別【問題探究】知識4-3-3激光雷達(dá)障礙物檢測及識別流程地面上的障礙物點(diǎn)通常采用無監(jiān)督的聚類算法形成多個(gè)團(tuán)簇，每個(gè)團(tuán)簇則表示一個(gè)障礙物。對團(tuán)簇的物體進(jìn)行識別。對每一塊團(tuán)簇做包圍框擬合，計(jì)算障礙物屬性，比如中心點(diǎn)、質(zhì)心點(diǎn)和長寬高等。對障礙物跟蹤，估計(jì)運(yùn)動(dòng)物體的運(yùn)動(dòng)狀態(tài)，包括運(yùn)動(dòng)方向、速度大小、加速度、角速度、運(yùn)動(dòng)軌跡等信息。任務(wù)三基于激光雷達(dá)的障礙物檢測及識別【任務(wù)實(shí)施】1.啟動(dòng)ApolloDocker環(huán)境（1）切換Apollo目錄cdapollo（2）啟動(dòng)并進(jìn)入docker環(huán)境./apollo.sh（3）啟動(dòng)DreamViewbashscripts/bootstrap.sh任務(wù)三基于激光雷達(dá)的障礙物檢測及識別【任務(wù)實(shí)施】2.啟動(dòng)DreamView并選擇模式、車輛和地圖在--setupmode--內(nèi)，選擇模式為DevKitDebug。在--vehicle--內(nèi)，選擇車輛銘牌信息和對應(yīng)的車型。銘牌信息車型選擇ApolloD-KITLitedev_kitApolloD-KITStandarddev_kit_standardApolloD-KITAdvanced(NE-S)dev_kit_advanced_ne-sApolloD-KITAdvanced(SNE-R)dev_kit_advanced_sne-r任務(wù)三基于激光雷達(dá)的障礙物檢測及識別【任務(wù)實(shí)施】3.啟動(dòng)并驗(yàn)證定位相關(guān)模塊在Modules中單擊GPS、Localization和Transform按鈕，啟動(dòng)GPS模塊、Localization模塊和Transform模塊。查看/apollo/localization/posechannel變綠且?guī)试?00左右，表示定位啟動(dòng)成功（查看sol_type項(xiàng)是否是NARROW_INT，若為NARROW_INT，則表示GPS信號良好，符合定位要求；若不為NARROW_INT，則遙控移動(dòng)下車輛，直到出現(xiàn)NARROW_INT為止。）；查看/tf、/tf_staticchannel變綠且?guī)试?00左右表示Transform模塊啟動(dòng)成功。任務(wù)三基于激光雷達(dá)的障礙物檢測及識別【任務(wù)實(shí)施】4.啟動(dòng)并驗(yàn)證激光雷達(dá)模塊定位啟動(dòng)完成后，在DreamView的ModuleController頁面中，單擊Lidar按鈕，啟動(dòng)激光雷達(dá)。5.啟動(dòng)并驗(yàn)證激光雷達(dá)感知在DreamView的ModuleController中，單擊LidarPerception按鈕，啟動(dòng)激光雷達(dá)感知。任務(wù)三基于激光雷達(dá)的障礙物檢測及識別【知識拓展】Apollo卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork,CNN）分割檢測算法包括通道特征提取、基于CNN的障礙物檢測、障礙物聚類和后處理四個(gè)部分。通道特征提取基于CNN的障礙物檢測障礙物聚類后期處理圖

障礙物聚類圖

基于CNN的障礙物檢測任務(wù)三基于激光雷達(dá)的障礙物檢測及識別【任務(wù)實(shí)施】1.啟動(dòng)ApolloDocker環(huán)境（1）切換Apollo目錄cdapollo（2）啟動(dòng)并進(jìn)入docker環(huán)境./apollo.sh（3）啟動(dòng)DreamViewbashscripts/bootstrap.sh激光雷達(dá)點(diǎn)云啟動(dòng)任務(wù)三基于激光雷達(dá)的障礙物檢測及識別【任務(wù)實(shí)施】2.播放離線數(shù)據(jù)包輸入指令cyber_recorderplay–fdatabag/sensor_rgb.record3.添加pointcloud_topic數(shù)據(jù)任務(wù)三基于