《智能網(wǎng)聯(lián)汽車傳感器技術(shù)與應(yīng)用》課件 能力模塊八 掌握智能駕駛多傳感器融合技術(shù)及應(yīng)用

認(rèn)知多傳感器融合《智能網(wǎng)聯(lián)汽車傳感器技術(shù)與應(yīng)用》能力模塊八掌握智能駕駛多傳感器融合技術(shù)及應(yīng)用目前，智能網(wǎng)聯(lián)汽車技術(shù)越來越快的發(fā)展，汽車感知周圍不確定環(huán)境，并作出相應(yīng)的正確的反應(yīng)，單一的傳感器無論是從精度上還是從速度和可靠性等一些指標(biāo)都難以滿足要求，這就涉及到了如何利用數(shù)據(jù)融合的方法，你作為智能網(wǎng)聯(lián)汽車傳感器工程師，你了解傳感器是如何進(jìn)行融合的嗎？任務(wù)導(dǎo)入任務(wù)目標(biāo)了解多源傳感器融合的定義掌握多源傳感器融合的方法了解多源傳感器融合技術(shù)的應(yīng)用能夠識別多源傳感器的類型獲得多途徑檢索知識、分析解決問題以及多元化思考解決問題的方法，形成創(chuàng)新意識。具有良好的團(tuán)隊協(xié)作精神和較強(qiáng)的組織溝通能力。具備良好的職業(yè)道德，尊重他人勞動，不竊取他人成果。Contents目錄傳感器融合的定義1慣性導(dǎo)航系統(tǒng)的組成2慣性導(dǎo)航傳感器的優(yōu)缺點4慣性導(dǎo)航傳感器分類301傳感器融合的定義傳感器融合的定義定義多傳感器信息融合（Multi-sensorInformationFusion，MSIF），就是利用計算機(jī)技術(shù)將來自多傳感器或多源的信息和數(shù)據(jù)，在一定的準(zhǔn)則下加以自動分析和綜合，以完成所需要的決策和估計而進(jìn)行的信息處理過程。傳感器融合的定義多傳感融合優(yōu)勢02多源傳感器融合的基本原理多源傳感器融合的基本原理多傳感器融合的基本原理類似于人類大腦對環(huán)境信息的綜合處理過程。03多源傳感器融合體系多源傳感器融合體系分布式先對各個獨立傳感器所獲得的原始數(shù)據(jù)進(jìn)行局部處理，然后再將結(jié)果送人信息融合中心進(jìn)行智能優(yōu)化組合來獲得最終的結(jié)果。多源傳感器融合體系集中式集中式多傳感器將各傳感器獲得的原始數(shù)據(jù)直接送至信息融合中心進(jìn)行融合處理，可以實現(xiàn)實時融合。多源傳感器融合體系混合式混合式多傳感器信息融合框架中，部分傳感器采用集中式融合方式，剩余的傳感器采用分布式融合方式。04多源傳感器融合的特點多源傳感器融合的特點01信息的冗余性對于環(huán)境的某個特征，可以通過多個傳感器（或者單個傳感器的多個不同時刻）得到它的多份信息，這些信息是冗余的，并且具有不同的可靠性，通過融合處理，可以從中提取出更加準(zhǔn)確和可靠的信息。03信息處理的及時性各傳感器的處理過程相互獨立，整個處理過程可以采用并行導(dǎo)熱處理機(jī)制，從而使系統(tǒng)具有更快的處理速度，提供更加及時的處理結(jié)果。04信息處理的低成本性多個傳感器可以花費更少的代價來得到相當(dāng)于單傳感器所能得到的信息量。02信息的互補(bǔ)性不同種類的傳感器可以為系統(tǒng)提供不同性質(zhì)的信息，這些信息所描述的對象是不同的環(huán)境特征，它們彼此之間具有互補(bǔ)性。05多源傳感器融合的方法多源傳感器融合的方法像素級融合像素級融合又稱為數(shù)據(jù)級融合，它將同類別的傳感器采集的原始數(shù)據(jù)進(jìn)行融合，最大可能地保留了各預(yù)處理階段的細(xì)微信息。多源傳感器融合的方法特征級融合特征級融合是通過各傳感器的原始數(shù)據(jù)結(jié)合決策推理算法，對信息進(jìn)行分類、匯集和綜合，提取出具有充分表示量和統(tǒng)計量的屬性特征。多源傳感器融合的方法決策級融合決策級融合的特點是高層次，需要處理不同類型的傳感器對同一觀測目標(biāo)的原始數(shù)據(jù)，并完成特征提取、分類判別，生成初步結(jié)論，然后根據(jù)決策對象的具體需求，進(jìn)行相關(guān)處理和高級決策判決，獲得簡明的綜合推斷結(jié)果。感

謝

觀

看《智能網(wǎng)聯(lián)汽車傳感器技術(shù)與應(yīng)用》實現(xiàn)視覺與激光雷達(dá)融合的應(yīng)用《智能網(wǎng)聯(lián)汽車傳感器技術(shù)與應(yīng)用》能力模塊八掌握智能駕駛多傳感器融合技術(shù)及應(yīng)用自動駕駛感知技術(shù)所采用的傳感器主要包括攝像頭，激光雷達(dá)和毫米波雷達(dá)等。這些傳感器各有優(yōu)缺點，也互為補(bǔ)充，因此如何高效的融合多傳感器數(shù)據(jù)，也就自然的成為了感知算法研究的熱點之一，一起來學(xué)習(xí)傳感器的融合原理及應(yīng)用。任務(wù)導(dǎo)入任務(wù)目標(biāo)解視覺激光雷達(dá)融合掌握相機(jī)內(nèi)參標(biāo)定和激光雷達(dá)標(biāo)定掌握視覺激光雷達(dá)聯(lián)合標(biāo)定了解視覺激光雷達(dá)融合實例獲得多途徑檢索知識、分析解決問題以及多元化思考解決問題的方法，形成創(chuàng)新意識。具有良好的團(tuán)隊協(xié)作精神和較強(qiáng)的組織溝通能力。具備良好的職業(yè)道德，尊重他人勞動，不竊取他人成果。Contents目錄視覺激光雷達(dá)融合1相機(jī)內(nèi)參標(biāo)定和激光雷達(dá)標(biāo)定2視覺激光雷達(dá)聯(lián)合標(biāo)定34視覺激光雷達(dá)融合實例01視覺激光雷達(dá)融合視覺激光雷達(dá)融合物體檢測的策略分為：決策層融合，決策+特征層融合，以及特征層融合。在決策層融合中，圖像和點云分別得到物體檢測結(jié)果（BoundingBox），轉(zhuǎn)換到統(tǒng)一坐標(biāo)系后再進(jìn)行合并。視覺激光雷達(dá)融合決策+特征層融合策略的主要思路是將先通過一種數(shù)據(jù)生成物體的候選框（Proposal）。然后將候選框與另外一種數(shù)據(jù)相結(jié)合來生成最終的物體檢測結(jié)果（也可以再重復(fù)利用生成候選框的數(shù)據(jù)）?？梢允?D點云坐標(biāo)（比如F-PointNet），也可以是2D圖像坐標(biāo)（比如IPOD）。視覺激光雷達(dá)融合F-PointNet由圖像數(shù)據(jù)生成2D物體候選框，然后將這些候選框投影到3D空間。每個2D候選框在3D空間對應(yīng)一個視椎體（Frustum），并將落到視椎體中所有點合并起來作為該候選框的特征。視覺激光雷達(dá)融合IPOD提出采用2D語義分割來替換2D物體檢測。首先，圖像上的語義分割結(jié)果被用來去除點云中的背景點，這是通過將點云投影到2D圖像空間來完成的。接下來，在每個前景點處生成候選物體框，并采用NMS去除重疊的候選框，最后每幀點云大約保留500個候選框。同時，PointNet++網(wǎng)格被用來進(jìn)行點特征提取。有了候選框和點特征，最后一步采用一個小規(guī)模的PointNet++來預(yù)測類別和準(zhǔn)確的物體框。視覺激光雷達(dá)融合另外一種思路是特征層融合，也就是直接融合多種特征。比如說將點云映射到圖像空間，作為帶有深度信息的額外通道與圖像的RGB通道進(jìn)行合并。PointPainting把點云投影到圖像語義分割的結(jié)果中，這與IPOD中的做法類似。但是，PointPainting沒有利用語義分割的結(jié)果來分離前景點，而是直接將語義分割的信息附加到點云上。02相機(jī)內(nèi)參標(biāo)定和激光雷達(dá)標(biāo)定相機(jī)內(nèi)參標(biāo)定和激光雷達(dá)標(biāo)定相機(jī)矩陣和畸變系數(shù)統(tǒng)稱為相機(jī)內(nèi)參，在不考慮畸變的時候，相機(jī)矩陣也會被稱為相機(jī)內(nèi)參。相機(jī)的內(nèi)參標(biāo)定即采用期盼圖或者點陣圖，用相機(jī)拍攝多組不同角度的棋盤圖，然后利用harris算法進(jìn)行標(biāo)定板角點檢測，得到角點坐標(biāo)之后進(jìn)行運算。相機(jī)內(nèi)參標(biāo)定和激光雷達(dá)標(biāo)定內(nèi)參標(biāo)定輸入為：像素坐標(biāo)u、v和世界坐標(biāo)x、y、z，u、v為圖像中棋盤格的角點坐標(biāo)，與其對應(yīng)的x、y表示該角點在整個棋盤圖下的坐標(biāo)，該坐標(biāo)系定在棋盤圖上，因此我們拍攝5次圖像，這些圖像相應(yīng)的坐標(biāo)應(yīng)該相同。相機(jī)內(nèi)參標(biāo)定和激光雷達(dá)標(biāo)定由于激光雷達(dá)與車體為剛性連接，他們之間相對姿態(tài)和位移固定不變；所以為建立激光雷達(dá)之間及激光雷達(dá)與車輛之間的相對坐標(biāo)關(guān)系，需要對激光雷達(dá)的安裝進(jìn)行標(biāo)定。以VelodyneVLP-16激光雷達(dá)為例：該激光雷達(dá)以正上方為z軸，電纜線接口方向為y軸的負(fù)方向，通過右手法則確定x軸方向。03視覺激光雷達(dá)聯(lián)合標(biāo)定視覺激光雷達(dá)聯(lián)合標(biāo)定視覺激光雷達(dá)的聯(lián)合標(biāo)定的作用就是建立圖像數(shù)據(jù)和云點數(shù)據(jù)之間的對應(yīng)關(guān)系，需要獲取相機(jī)和激光雷達(dá)的外參，將點云三維坐標(biāo)系下的點投影到相機(jī)三維坐標(biāo)系下，還需要通過相機(jī)標(biāo)定獲得相機(jī)內(nèi)參，把相機(jī)三維坐標(biāo)系下的點投影到成像平面。4視覺激光雷達(dá)融合實例視覺激光雷達(dá)融合實例圖像和云點的多維度環(huán)境數(shù)據(jù)檢測極大地提高了車輛在行駛過程中對周邊環(huán)境的感知，便于汽車穩(wěn)定的駕駛，在汽車的輔助駕駛系統(tǒng)中，視覺激光雷達(dá)融合發(fā)揮了超越“眼睛”的作用，為未來智能網(wǎng)聯(lián)汽車的發(fā)展創(chuàng)造了更多可能性。感

謝

觀

看《智能網(wǎng)聯(lián)汽車傳感器技術(shù)與應(yīng)用》實現(xiàn)激光雷達(dá)與IMU融合的應(yīng)用《智能網(wǎng)聯(lián)汽車傳感器技術(shù)與應(yīng)用》能力模塊八掌握智能駕駛多傳感器融合技術(shù)及應(yīng)用高精度定位

是當(dāng)前無人駕駛的重要一環(huán)，隨著無人駕駛的日益發(fā)展，依靠單一傳感器進(jìn)行定位常常會受到各種限制，而多傳感器的融合能夠彌補(bǔ)傳感器的局限，使得定位更加準(zhǔn)確，而如何高效的融合多傳感器數(shù)據(jù)，也就自然的成為了感知算法研究的熱點之一。下面來了解激光雷達(dá)與IMU融合的原理及應(yīng)用。任務(wù)導(dǎo)入任務(wù)目標(biāo)了解激光雷達(dá)與IMU融合掌握IMU標(biāo)定和激光雷達(dá)標(biāo)定掌握激光雷達(dá)與IMU融合標(biāo)定了解激光雷達(dá)與IMU融合實例獲得多途徑檢索知識、分析解決問題以及多元化思考解決問題的方法，形成創(chuàng)新意識。具有良好的團(tuán)隊協(xié)作精神和較強(qiáng)的組織溝通能力。具備良好的職業(yè)道德，尊重他人勞動，不竊取他人成果。Contents目錄激光雷達(dá)與IMU融合1IMU標(biāo)定與激光雷達(dá)標(biāo)定2激光雷達(dá)與IMU融合標(biāo)定34激光雷達(dá)與IMU融合實例01激光雷達(dá)與IMU融合激光雷達(dá)與IMU融合在實際的的應(yīng)用中，為了矯正激光雷達(dá)所得到的位姿信息，一般使用的是IMU即慣性測量單元，IMU是自身運動估計的傳感器，采集自身運動的姿態(tài)信息可以很好的矯正激光雷達(dá)的姿態(tài)信息。激光雷達(dá)與IMU融合在智能網(wǎng)聯(lián)汽車的定位系統(tǒng)架構(gòu)中，激光雷達(dá)與IMU的融合應(yīng)用下可提升智能網(wǎng)聯(lián)汽車定位系統(tǒng)的性能，通過傳感器特征的融合，能夠更準(zhǔn)確的感知車輛行駛中所處的外部環(huán)境數(shù)據(jù)，使得定位更加精準(zhǔn)，還能構(gòu)建出高精度的地圖進(jìn)而推動智能網(wǎng)聯(lián)汽車智能化，自動化的發(fā)展。02IMU標(biāo)定和激光雷達(dá)標(biāo)定IMU標(biāo)定和激光雷達(dá)標(biāo)定慣性器件的誤差一般分成兩類：系統(tǒng)性誤差和隨機(jī)誤差。標(biāo)定目的是為了補(bǔ)償誤差，系統(tǒng)性誤差本質(zhì)就是能找到規(guī)律的誤差，所以可以實時補(bǔ)償?shù)?。但是隨機(jī)誤差一般指噪聲，無法找到合適的關(guān)系函數(shù)去描述噪聲，所以很難處理。IMU標(biāo)定和激光雷達(dá)標(biāo)定IMU的誤差來主要來自于三部分，包括噪聲(BiasandNoise)、尺度因子(Scaleerrors)和軸偏差(Axismisalignments)。加速度計和陀螺儀的測量模型可以用下面來表達(dá)。其中上標(biāo)a表示加速度計，g表示陀螺儀，B表示正交的參考坐標(biāo)系，s表示非正交的選準(zhǔn)坐標(biāo)系。T表示軸偏差的變換矩陣，K表示尺度因子，b，v分別表示Bias（隨機(jī)游走）和白噪聲。IMU標(biāo)定和激光雷達(dá)標(biāo)定由于激光雷達(dá)與車體為剛性連接，他們之間相對姿態(tài)和位移固定不變；所以為建立激光雷達(dá)之間及激光雷達(dá)與車輛之間的相對坐標(biāo)關(guān)系，需要對激光雷達(dá)的安裝進(jìn)行標(biāo)定；以VelodyneVLP-16激光雷達(dá)為例：該激光雷達(dá)以正上方為z軸，電纜線接口方向為y軸的負(fù)方向，通過右手法則確定x軸方向。03激光雷達(dá)與IMU融合標(biāo)定激光雷達(dá)與IMU融合標(biāo)定激光雷達(dá)與IMU融合標(biāo)定需要標(biāo)定激光雷達(dá)的外參、IMU內(nèi)參、激光雷達(dá)與IMU之間的變換。首先找到一個標(biāo)志物，通過無人機(jī)搭載激光雷達(dá)和組合慣導(dǎo)來采集該標(biāo)志物，通過點云可以看到該標(biāo)志物，時間戳對齊后，可以提取出該幀對應(yīng)的四元數(shù)（qw，qx，qy，qz）及gps經(jīng)度，緯度，海拔。激光雷達(dá)與IMU融合標(biāo)定設(shè)雷達(dá)坐標(biāo)系到慣導(dǎo)坐標(biāo)系的平移旋轉(zhuǎn)矩陣為M0，那么標(biāo)志物對應(yīng)角點在地圖坐標(biāo)系中的位置就可以通過四元數(shù)和gps計算出來。（a，b，c）和M0