鳥瞰視圖~BEV感知全方位詳解

#01

初始BEV車輛感知作為高等級輔助駕駛產品中的重要一環(huán)，是以多種傳感器的數(shù)據與高精度地圖的信息為輸入，經過一系列的計算和處理，對周圍環(huán)境精確感知的系統(tǒng)，作用相當于人眼。其感知識別任務本質上是對物理世界進行3D幾何重構，使計算機能夠“認識”到物理世界中的實體和元素。自動駕駛算法的傳統(tǒng)感知方法是在前視圖或透視圖中執(zhí)行檢測、分割、跟蹤等。之前所流行的2D感知的核心在于從單幅圖像或連續(xù)圖像序列中識別并區(qū)分目標物體。盡管這一傳統(tǒng)視覺感知技術在過去的十年間得益于深度學習和大規(guī)模數(shù)據集，實現(xiàn)了顯著的進步，這也是自動駕駛領域飛速進步的關鍵因素之一。但針對自動駕駛的具體需求，僅依賴2D感知并不足夠。實際上，為了支持車輛在定位、軌跡預測和運動規(guī)劃等下游任務，必須將2D感知所獲得的信息轉化到三維空間框架下。同時，隨著車輛上搭載的傳感器越來越多、越來越復雜，且安裝位置、視角和數(shù)據格式不盡相同，因此，以統(tǒng)一的視角將來自不同傳感器的多源信息進行數(shù)據整合，在統(tǒng)一的視圖中表示特征變得至關重要。因此，盡管2D視覺感知本身已日趨成熟，如何有效解決從2D向3D空間的轉換難題，仍然是其在自動駕駛應用場景中的一大挑戰(zhàn)。BEV的英文全稱為Bird's-Eye-View，即鳥瞰視圖，這是一個形象生動的表達，用來描述從高空俯瞰地面時所獲得的視角，就像一只鳥兒飛翔在空中向下看時所能見到的景象。在地圖制作中，鳥瞰視圖是一種特殊的地圖表示形式，它模擬了從正上方垂直向下觀看地球表面的效果，能夠清晰地顯示地形、建筑物、道路網絡等地理要素之間的空間關系和布局。這種視圖對于自動駕駛車輛而言至關重要，因為它簡化了對周圍環(huán)境的感知和理解。與在2D視覺領域得到廣泛研究的前視圖或透視視圖相比，BEV具有以下幾個優(yōu)點：（1）沒有2D感知中常見的遮擋或縮放問題。識別有遮擋或交叉的車輛可以得到更好的解決。（2）以這種形式表示對象或道路元素有利于后續(xù)模塊(如規(guī)劃、控制)的開發(fā)和部署。（3）全局視野與統(tǒng)一坐標框架。BEV能提供車輛周圍較大范圍的全景視野，不受單一傳感器視線局限，對于復雜路口、交叉口以及交通擁堵等場景尤其重要。將來自不同傳感器（如攝像頭、雷達、LiDAR）的數(shù)據轉換到同一BEV坐標系下，使得所有感知信息在一個標準化的空間內融合和處理，增強了信息的一致性和可靠性。（4）多任務處理與并行化。在BEV視圖下，可以更高效地并行執(zhí)行多種感知任務，比如障礙物檢測、車道線檢測、可行駛區(qū)域估計等，減少了不同任務間的相互依賴。（5）降低硬件成本與依賴。盡管BEV感知通常涉及多傳感器融合，但也促進了基于純視覺方案的BEV感知研究，通過視覺傳感器實現(xiàn)低成本的3D感知，減輕對LiDAR設備的依賴。#02

BEV的工作原理以下是BEV感知的大致工作原理：（1）傳感器數(shù)據獲取。首先，自動駕駛車輛搭載的各類傳感器收集實時數(shù)據，包括但不限于來自相機的RGB圖像、深度圖像，或激光雷達的點云數(shù)據等。（2）傳感器數(shù)據預處理。對每種傳感器的數(shù)據進行必要的預處理，例如校正畸變、濾波、去除噪聲等。（3）BEV視角轉換。視角轉換是將來自不同傳感器（尤其是攝像頭拍攝的透視視圖圖像）的數(shù)據轉換為從上方看的鳥瞰視圖的關鍵步驟。這個過程涉及到從二維圖像或其他三維數(shù)據形式（如激光點云）中提取深度信息并重建出一個車輛周圍的三維空間布局。目前的研究工作可以根據視角變換分為兩大類：基于幾何變換和基于網絡變換。前者利用相機的物理幾何原理，以可解釋性的方式轉換視圖。后者使用神經網絡將透視圖（PV）投影到BEV上?；趲缀巫儞Q的方法：單目視覺：由于單目攝像頭無法直接提供深度信息，通常需要借助深度學習模型來估計每個像素點的深度。一旦獲得了圖像中每個點的深度值，就可以結合攝像機內參（焦距、主點坐標等）和外參（攝像機相對于車輛的位置和姿態(tài)），通過三維空間幾何變換（如透視投影變換）將圖像像素映射到BEV空間。雙目立體視覺：利用兩個攝像頭間的基線關系計算視差，從而得到深度信息，同樣經過幾何變換映射至BEV。多目視覺：多個攝像頭的數(shù)據可以組合起來提高深度估計精度，進一步增強BEV空間的重構效果?；谏疃葘W習的投影變換：直接學習投影變換：利用神經網絡直接學習透視圖像到BEV空間的非線性映射函數(shù)，這種映射通常是端到端訓練的，可以從輸入圖像直接輸出BEV空間下的特征圖。卷積神經網絡與反投影：通過CNN對圖像進行特征提取，并結合深度估計網絡提供的深度信息，采用反投影操作將帶有深度信息的特征點投射到BEV空間中。點云數(shù)據處理：LiDAR點云：激光雷達采集的點云數(shù)據已經是三維形式，可以直接通過坐標變換（旋轉和平移）將點云數(shù)據轉換到車輛坐標系下的BEV視圖。這通常較為簡單且精確，但涉及到大量的數(shù)據稀疏性和不規(guī)則性處理。

（5）多模態(tài)數(shù)據融合。各傳感器獲得的BEV視角數(shù)據進行融合，整合形成一個全面且精確的周圍環(huán)境表示。通過結合不同傳感器的優(yōu)勢互補缺失，例如雷達對于非可視條件下的探測能力，攝像頭對于顏色和紋理的識別能力，激光雷達對于精準距離測量的能力。各種傳感器首先分別進行初步處理，提取各自的特征信息（如攝像頭圖像的視覺特征、點云的幾何特征），然后將這些特征進行深度融合。在BEV感知中，可能包括將從圖像中檢測到的物體邊界框與點云中的三維幾何信息相結合，以生成更精準的BEV場景表示。（6）特征提取與建模。在BEV視角下，利用深度學習模型（如Transformer或者CNN等）提取和構建環(huán)境特征圖，用于識別和追蹤路面、車輛、行人、交通標志等關鍵元素。（7）感知任務執(zhí)行。在構建好的BEV特征圖上，可以執(zhí)行一系列感知任務，如目標檢測、分類、軌跡預測等，從而讓自動駕駛系統(tǒng)了解周圍環(huán)境的狀態(tài)，并據此做出決策。（8）端到端優(yōu)化。最新的BEV感知技術如LSS（Lift,Splat,Shoot）或BEVFormer等，實現(xiàn)了端到端的訓練，可以直接從原始傳感器輸入到BEV特征的生成，同時進行感知任務的學習和優(yōu)化，提高了整個系統(tǒng)的效率和性能。#03

BEV的解決方案BEV（Bird's-Eye-View）感知的解決方案按照輸入數(shù)據類型和處理方法的不同，分為以下幾類：（1）視覺BEV（VisualBEV）視覺BEV主要是基于攝像頭圖像數(shù)據進行BEV空間的重建。這類方法主要利用單目或多目攝像頭捕獲的2D透視圖像，通過深度學習技術進行深度估計，然后再結合攝像機參數(shù)將圖像信息投影到BEV空間中。代表性工作如BEVDepth、Mono3D等，其中一些最新的技術如BEVFormer等更是直接從原始圖像輸入出發(fā)，通過神經網絡學習映射到BEV空間的特征表示，實現(xiàn)目標檢測和場景理解。（2）激光點云BEV（LiDARBEV）激光點云BEV則是基于LiDAR（激光雷達）采集的3D點云數(shù)據。由于LiDAR本身就提供了直接的三維空間信息，將點云數(shù)據轉換為BEV視角相對較直接。通過將點云進行降采樣、聚類、分割等預處理后，可以很容易地將點云數(shù)據投影到BEV空間，從而進行3D目標檢測和場景解析。這類方法的特點是能夠在BEV空間內充分利用點云數(shù)據的精確幾何特性。（3）融合BEV（FusionBEV）融合BEV則綜合了視覺和LiDAR等多種傳感器的數(shù)據，在BEV空間中進行跨模態(tài)融合。這種方案的優(yōu)勢在于可以結合攝像頭圖像豐富的紋理和色彩信息以及LiDAR數(shù)據的精準深度信息，實現(xiàn)更高精度和更魯棒的環(huán)境感知。融合的方式包括早期融合（數(shù)據級融合）、中期融合（特征級融合）和后期融合（決策級融合）等多種策略。例如，有的方法會先分別將攝像頭和LiDAR數(shù)據轉換到BEV空間，然后將兩者在BEV空間內進行特征融合，生成融合后的BEV特征圖，用于后續(xù)的感知任務。此外，還有研究探索如何將雷達數(shù)據、IMU數(shù)據等其他傳感器信息融入BEV感知框架中，以增強自動駕駛系統(tǒng)在復雜環(huán)境和惡劣天氣條件下的性能?？偟膩碚f，選擇哪種BEV感知方案取決于實際應用場景的需求、可用傳感器資源以及對精度、實時性等方面的權衡。#04

BEV的局限性與挑戰(zhàn)實現(xiàn)BEV并將其應用于自動駕駛感知系統(tǒng)也面臨著一些局限性和挑戰(zhàn)：（1）深度感知精度的不確定性在依賴攝像頭的系統(tǒng)中，深度估計是關鍵，但往往具有不確定性，特別是在無直接深度傳感器（如激光雷達）輔助的情況下，單目視覺系統(tǒng)的深度估計誤差較大，可能影響B(tài)EV轉換的準確性。成本高昂的激光雷達常用于提高深度感知精度，但即便如此，仍存在深度估計的不確定性，成本與精度之間需要權衡。（2）傳感器融合及校準難題精準校準各類傳感器以生成一致且準確的BEV圖像，這對技術和工程實施提出了高要求。將不同類型的傳感器（如攝像頭、雷達、激光雷達等）的數(shù)據融合成統(tǒng)一的BEV表示是一項復雜任務。傳感器之間的校準精度、異質性數(shù)據融合、噪聲消除等問題需要有效解決。（3）環(huán)境感知局限對遮擋物體的識別和遠距離、邊緣區(qū)域的感知受限，導致BEV映射可能出現(xiàn)信息缺失，增加