數(shù)據(jù)標注工程-概念、方法、工具與案例 課件 第7章 3D點云標注

人工智能技術應用核心課程系列教材數(shù)據(jù)標注工程——概念、方法、工具與案例第7章3D點云標注7.23D點云標注工具人工智能技術應用核心課程系列教材7.13D點云標注簡介7.33D點云標注項目7.4本章小結7.5作業(yè)與練習點云，即“點”構成的“云”。一般來自激光雷達，也可以來自毫米波雷達，是利用激光雷達和雷達傳感器生成的三維點的集合，可分為黑白和彩色兩大類，如下圖所示。點云數(shù)據(jù)（pointclouddata）一般由激光雷達等3D掃描設備獲取空間若干點的信息，一般包括XYZ位置信息、RGB顏色信息和強度信息等，是一種多維度的復雜數(shù)據(jù)集合。7.13D點云標注簡介第7章

3D點云標注黑白點云彩色點云雷達點云（1）雙目視覺傳感器：類似人的雙眼，它是基于視差原理并由多幅圖像獲取物體三維幾何信息的方法。雙目立體視覺系統(tǒng)一般由雙攝像機從不同角度同時獲得被測物的兩幅數(shù)字圖像，或由單攝像機在不同時刻從不同角度獲得被測物的兩幅數(shù)字圖像，并基于視差原理恢復出物體的三維幾何信息，下圖為雙目視覺傳感器實物圖。上圖中，左右兩側的攝像頭共同構成了雙目視覺傳感器。7.1.1點云的獲取方法7.13D點云標注簡介第7章

3D點云標注（2）激光雷達：激光雷達（LightDetectionAndRanging，LIDAR），是以發(fā)射激光束探測目標的位置、速度等特征量的雷達系統(tǒng)。其工作原理是向目標發(fā)射探測信號（激光束），然后將接收到的從目標反射回來的信號（目標回波）與發(fā)射信號進行比較，作適當處理后，就可獲得目標的有關信息，如目標距離、方位、高度、速度、姿態(tài)、甚至形狀等參數(shù)。激光雷達實物圖如下圖所示。7.1.1點云的獲取方法7.13D點云標注簡介第7章

3D點云標注（3）深度體感設備Kinect：深度體感設備Kinect是一款類似三維攝像機儀器，具有實時動作追蹤、圖像識別、聲音錄入及辨別等功能。左右兩邊鏡頭分別是紅外線發(fā)射器和CMOS紅外線攝影機，識別的是一個深度場。其中每個像素顏色深淺表示該點距離攝像頭的遠近，距離攝像頭較近的顏色較亮和深，距離攝像頭較遠的顏色較暗。Kinect實物圖如下圖所示。7.1.1點云的獲取方法7.13D點云標注簡介第7章

3D點云標注（1）多視圖三維重建：多視圖重建是利用多張一個場景的不同視角圖像來恢復出場景三維模型的方法，自然場景的多視圖三維重建一直是計算機視覺領域的基本問題，有著廣泛的應用。下圖為多視圖三維重建示意圖。7.1.2

3D點云應用7.13D點云標注簡介第7章

3D點云標注（2）三維同步定位與地圖構建（SimultaneousLocalizationAndMapping，SLAM）：主要用于解決移動機器人在未知環(huán)境中運行時定位導航與地圖構建的問題，三維同步定位與地圖構建示意圖如下圖所示。7.1.2

3D點云應用7.13D點云標注簡介第7章

3D點云標注（3）三維目標檢測：與二維圖像相比，3D點云數(shù)據(jù)的優(yōu)勢在于能夠很好地表征物體的表面信息和一些深度信息。另外，由于3D點云數(shù)據(jù)的獲取來源較多，因此對3D點云數(shù)據(jù)的研究得以迅速增長，進一步促進了使用深度學習實現(xiàn)3D點云目標檢測，下圖為三維目標檢測示意圖。。7.1.2

3D點云應用7.13D點云標注簡介第7章

3D點云標注（4）三維語義分割：三維（3D）語義分割在醫(yī)學、自動駕駛、機器人和增強現(xiàn)實（AR）等許多領域的廣泛應用，下圖為三維語義分割示意圖。7.1.2

3D點云應用7.13D點云標注簡介第7章

3D點云標注3D點云多以pcd、ply、stl等格式文件儲存，編碼方式為ASCII碼、二進制。格式由設備而異，但都可以通過后期處理成標準的pcl文件格式*.pcd。目前可以識別ASCII，二進制，二進制壓縮3種pcd格式。下表為3D點云存儲格式及數(shù)據(jù)類型清單。7.1.3

3D點云的存儲方式及數(shù)據(jù)類型7.13D點云標注簡介第7章

3D點云標注（1）悉尼城市目標數(shù)據(jù)集：這個數(shù)據(jù)集包含用VelodyneHDL-64ELIDAR掃描的各種常見城市道路對象，收集于澳大利亞悉尼的中央商務區(qū)（CBD）。含有631個單獨的掃描物體，包括車輛、行人、廣告標志和樹木等，下圖為數(shù)據(jù)集樣例。7.1.4

3D點云典型數(shù)據(jù)集7.13D點云標注簡介第7章

3D點云標注（2）大規(guī)模點云分類基準數(shù)據(jù)集：該數(shù)據(jù)集提供了一個大的自然場景標記的3D點云數(shù)據(jù)集，總計超過40億點。涵蓋了各種各樣的城市場景：教堂、街道、鐵路軌道、廣場、村莊、足球場、城堡等等。下圖為數(shù)據(jù)集樣例。7.1.4

3D點云典型數(shù)據(jù)集7.13D點云標注簡介第7章

3D點云標注（3）RGB-D對象數(shù)據(jù)集：該數(shù)據(jù)集是300個常見的家庭對象的大數(shù)據(jù)集。該數(shù)據(jù)集是使用Kinect風格的3D相機記錄的，該相機以30Hz記錄同步和對齊的640x480RGB和深度圖像。下圖為數(shù)據(jù)集樣例。7.1.4

3D點云典型數(shù)據(jù)集7.13D點云標注簡介第7章

3D點云標注（4）紐約大學深度數(shù)據(jù)集：該數(shù)據(jù)集包括NYU-DepthV1數(shù)據(jù)集和NYU-DepthV2數(shù)據(jù)集，數(shù)據(jù)由來自各種室內(nèi)場景的視頻序列組成，這些視頻序列由來自微軟Kinect的RGB和深度攝像機。下圖為數(shù)據(jù)集樣例。7.1.4

3D點云典型數(shù)據(jù)集7.13D點云標注簡介第7章

3D點云標注彩色圖深度圖（5）KITTI標準數(shù)據(jù)集：該數(shù)據(jù)集利用KIT的無人車平臺采集的大量城市環(huán)境的點云數(shù)據(jù)集（KITTI），這個數(shù)據(jù)集不僅有雷達、圖像、GPS、INS的數(shù)據(jù)，而且有經(jīng)過人工標記的分割跟蹤結果，可以用來客觀的評價大范圍三維建模和精細分類的效果和性能，下圖為數(shù)據(jù)集樣例。7.1.4

3D點云典型數(shù)據(jù)集7.13D點云標注簡介第7章

3D點云標注第7章3D點云標注7.13D點云標注簡介人工智能技術應用核心課程系列教材7.23D點云標注工具7.33D點云標注項目7.4本章小結7.5作業(yè)與練習3D點云標注能夠實現(xiàn)3D單幀標注、2D-3D單幀映射、3D追蹤標注等功能：（1）3D單幀標注：可以提供點云或者點云與時間對齊的圖片，但只標注點云。（2）2D-3D單幀映射：2D和3D同一物體ID相同。（3）3D追蹤標注：追蹤同一物體ID一致。注：2D-3D映射需要提供校準信息，每個攝像頭均要提供（攝像頭的內(nèi)參和到激光雷達坐標映射的外參）。7.2.1

3D點云標注工具的主要功能7.23D點云標注工具第7章

3D點云標注3D點云標注工具界面由工具欄、主視圖、三視圖、幀控制區(qū)域、狀態(tài)欄、屬性區(qū)、對象列表區(qū)等七部分構成，工具界面如下圖所示。下面進行具體介紹。7.2.2界面布局和操作7.23D點云標注工具第7章

3D點云標注（1）工具欄：工具欄用于整體任務或者顯示的控制。主要包括如下內(nèi)容：①獲取任務：獲取一條數(shù)據(jù)用于標注；②保存：用于手工將標注數(shù)據(jù)臨時保存在磁盤上，防止丟失；③提交：用于標注等工作完成后提交結果；④撤銷：撤銷上一個標注操作，最多可以10步。⑤恢復：恢復上一個撤銷的操作。⑥刪除圖形：刪除選中的對象。⑦隱藏標簽：不顯示所有對象的標簽。⑧隱藏圖形：主視圖和街景中不顯示所有對象。⑨合并ID：用于找回對象，把兩個不同的ID合并為一個，復制之前的屬性。其他功能包括工作量統(tǒng)計、類別統(tǒng)計、計時和到期時間等。7.2.2界面布局和操作7.23D點云標注工具第7章

3D點云標注（2）主視圖：有兩種模式，3D模式和俯視模式。主視圖是3D點云的主要操作區(qū)域，可以查看、選中、新建、刪除、修改對象。標注對象和街景中的選中對象是聯(lián)動標注的。①3D模式下的操作：包括拖動整個3D空間、旋轉視角、選中和刪除功能；②俯視模式下的操作：拖動俯視視角3D空間、旋轉、選中、新建對象、移動對象和刪除。（3）三視圖：用俯視圖、正視圖和側視圖去觀察選中的對象。在三視圖中可以移動和調(diào)整標注框，以便更加貼合。（4）屬性區(qū)域：用于修改選中對象的屬性。標注時需要選擇屬性的類別，如車輛類型，不同的類別可能擁有不同的屬性，如車輛顏色、種類，以及人的著裝等。7.2.2界面布局和操作7.23D點云標注工具第7章

3D點云標注（5）對象列表區(qū)：用來顯示本條數(shù)據(jù)中已經(jīng)標注的對象，前面是對象ID，后面是對象類別，這個同時也作為標簽顯示在主視圖中。（6）幀控制區(qū)域：該區(qū)域可以把整條數(shù)據(jù)置為無效，或者把當前幀設置為無效：可以手動輸入幀序號進行跳轉，或者下一幀、上一幀、下十幀、上十幀、第一幀和最后一幀的跳轉，也可以點擊下方幀號進行跳轉。（7）狀態(tài)欄：狀態(tài)欄對操作成功與否進行提示7.2.2界面布局和操作7.23D點云標注工具第7章

3D點云標注（8）快捷鍵：3D點云標注工具已定義快捷鍵，如下圖所示。其中，1鍵代表3D視圖，2鍵代表俯視圖，3鍵和4鍵不調(diào)整目標框的位置，只選擇新的朝向。W、S、A、D、R、F鍵分別代表微調(diào)所選擇的目標對象框的前后左右上下4個面，向擴大的方向調(diào)整，每次調(diào)整4厘米。Q和E代表微調(diào)所選擇框的旋轉角度，每次調(diào)整2度。7.2.2界面布局和操作7.23D點云標注工具第7章

3D點云標注本標注工具輸出格式為JSON，JSON格式類型可配置，不同類型可以有不同屬性，屬性可以分全局和當前幀屬性，下圖為JSON輸出效果圖。7.2.3標注輸出格式7.23D點云標注工具第7章

3D點云標注第7章3D點云標注7.23D點云標注工具人工智能技術應用核心課程系列教材7.33D點云標注項目7.4本章小結7.5作業(yè)與練習7.13D點云標注簡介項目背景：3D點云圖像數(shù)據(jù)標注是在激光雷達采集的3D圖像中，通過3D標注框將目標物體標注出來。目標物體包括車輛、行人、廣告標志和樹木等。自動駕駛標注規(guī)范：包含標注框規(guī)范、類別規(guī)范、屬性規(guī)范。（1）標注框規(guī)范：需要6個面都貼合雷達點，不能出現(xiàn)漏點。（2）類別規(guī)范：包括車輛、公交、卡車、摩托車、行人、汽車人等。（3）屬性規(guī)范：包括標注框的方向、大小、遮擋、截斷、離開屬性，以及目標對象的運動狀態(tài)、TOS屬性等。7.33D點云標注項目第7章

3D點云標注3D點云標注流程：（1）數(shù)據(jù)標注：以下步驟為數(shù)據(jù)標注的流程，下圖為3D點云標注界面樣例：①啟動客戶端；②點擊“獲取數(shù)據(jù)”來載入任務；③主視圖切換到俯視模式，新建對象，在三視圖中調(diào)整以貼合；④切換到其他幀調(diào)整位置，直到所有的3D和2D都完成追蹤和映射后點擊提交。

7.33D點云標注項目第7章

3D點云標注3D點云標注流程：（2）質檢：質檢包括兩種方式：單標注框質檢，單幀質檢。①單標注框質檢：單標注框質檢過程中標注框默認為白色，表示當前目標標注框未被質檢。質檢合格時，標注框為綠色，質檢不合格時，標注框為紅色，質檢不合格時需填寫不合格原因。②單幀質檢：單幀質檢指對視頻的某一幀進行質檢。單幀質檢合格則在幀號上顯示綠色，不合格則在幀號上顯示紅色，返修后提交的幀幀號顯示為黃色，幀不合格不影響幀內(nèi)的框的顏色和質檢結果。7.33D點云標注項目第7章

3D點云標注3D點云標注流程：（3）返修：對質檢結果的查看，以及對不合格標注數(shù)據(jù)的修改。單標注框返修時需根據(jù)不合格原因修改標注對象，修改后標注框會變?yōu)槌壬?，表示已修正。完成所有修復后點擊“提交”保存修復結果。“提交”時會檢查是否修正全部不合格目標框以及幀，如果未全部修正則會有信息提示并且不允許提交。返修完成后可以將返修結果放入任務配置參數(shù)中，并且任務模式修改為質檢，對返修結果再次進行質檢。如質檢不合格繼續(xù)返修，如此往復直到質檢合格為止。下圖