《點云庫PCL學習教程》概述PPT課件

第1章概述 1 簡介 本書的取材 編寫體現(xiàn)了PCL強大的功能模塊 統(tǒng)一易學的C 調(diào)用接口兩個特點 全書共分為16章 第1 3章介紹了PCL的概述 入門與基礎(chǔ) 第4 7章詳細介紹PCL基礎(chǔ)功能模塊輸入 輸出I O kd tree 八叉樹 可視化 第4章為后續(xù)章節(jié)模塊的基礎(chǔ) 第8 15章詳細介紹PCL高級處理功能模塊點云濾波 深度圖像 關(guān)鍵點 采樣一致性 點云特征描述與提取 點云配準 點云分割 點云曲面重建 第16章介紹了一些典型綜合應(yīng)用 讓讀者感受PCL的強大與易用 2 概述 點云處理技術(shù)廣泛應(yīng)用在逆向工程 CAD CAM 機器人學 激光遙感測量 機器視覺 虛擬現(xiàn)實 人機交互 立體3D影像等諸多領(lǐng)域 由于其涉及計算機學 圖形學 人工智能 模式識別 幾何計算 傳感器等諸多學科 但一直以來由于點云獲取手段的昂貴 嚴重阻礙其在各個行業(yè)上的廣泛應(yīng)用 也造成國內(nèi)點云處理的理論性和工具性書籍匱乏 在2010年 隨著消費級RGBD設(shè)備 低成本點云獲取 的大量上市 以微軟的Kinect為前導(dǎo) 目前已有華碩 三星等多家公司開始量產(chǎn)此 3 類產(chǎn)品 正在形成基于RGBD的新一代機器視覺生態(tài)鏈 PCL PointCloudLibrary 應(yīng)運而生 PCL是在吸收了前人點云相關(guān)研究基礎(chǔ)上建立起來的跨平臺開源庫 可在Windows Linux Android MacOSX 部分嵌入式實時系統(tǒng)上運行 它實現(xiàn)了大量通用算法和數(shù)據(jù)結(jié)構(gòu) 涉及點云獲取 濾波 分割 配準 檢索 特征提取 識別 追蹤 曲面重建 可視化等基礎(chǔ)模塊以及人體骨骼識別提取 動作跟蹤識別等應(yīng)用 并且新的其他應(yīng)用正在大量增加 如果說OpenCV是2D信息獲取與處理的結(jié)晶 那么PCL就在3D信息獲取與處理上具有同等地位 筆者深信隨著各大廠商對RGBD設(shè)備的大力推出 基于此設(shè)備的各種應(yīng)用將會大量涌現(xiàn) 而PCL不僅是這類應(yīng)用的核心關(guān)鍵技術(shù) 而且基于它進行擴展 將會極大地提高應(yīng)用系統(tǒng)開發(fā)效率和穩(wěn)定 4 性 三維信息的獲取與處理是筆者所在研究團隊的重要方向之一 在農(nóng)業(yè)對象的三維信息獲取與重建 虛擬農(nóng)業(yè)等領(lǐng)域不斷探索新的獲取技術(shù)和處理方法 在2011年7月發(fā)現(xiàn)了OpenCV的姐妹PCL及其網(wǎng)站的RSS更新 時刻關(guān)注PCL在3D信息獲取和處理方面的新動向 并與PCL結(jié)緣 在跟蹤過程中發(fā)現(xiàn) PCL對RGBD數(shù)據(jù)的獲取和處理提供了強大支持 并有大量的機器人 虛擬現(xiàn)實 人機交互 機器視覺等領(lǐng)域的應(yīng)用案例 目前幾乎每半個月就有新的開發(fā)計劃 或者有新的資助者或開發(fā)者加入 加入PCL開發(fā)的團隊來自包括全球的AIST UCBerkeley UniversityofBonn UniversityofBritishColumbia ETHZurich等等 同時我們團隊已經(jīng)把PCL作為開發(fā)出實際應(yīng)用的基礎(chǔ)平臺 用于跨平臺支持嵌 5 入式設(shè)備的3D農(nóng)業(yè)信息獲取與處理的基礎(chǔ)庫 目前PCL正在快速成長階段 國內(nèi)外尚無相關(guān)的中英文系統(tǒng)學習書籍 鑒于此 經(jīng)過團隊討論 把我們學習和開發(fā)應(yīng)用期間整理的資料與國內(nèi)讀者一起分享 加快PCL在其他各行業(yè)中的應(yīng)用 推動3D信息快速獲取與處理的發(fā)展 PCL的潛在讀者群 機器人研究或應(yīng)用開發(fā)者機器視覺的研究或應(yīng)用開發(fā)者 人機交互研究或應(yīng)用開發(fā)者 交互式體感游戲開發(fā)者 虛擬現(xiàn)實研究或應(yīng)用開發(fā)者 CAD CAM和逆向工程工作者 工業(yè)自動化測量 檢測領(lǐng)域的研究或應(yīng)用開發(fā)者 激光雷達遙感的研究或應(yīng)用開發(fā)者 6 本書概況 本書分為三大部分 其中第三部分以接近實戰(zhàn)的實例來講解工程應(yīng)用 相比于前兩部分更獨立 如果讀者是一名經(jīng)驗豐富的資深用戶 已經(jīng)知道PCL的相關(guān)基礎(chǔ)知識和使用方法 那么讀者可以直接閱讀測試這部分內(nèi)容 但如果讀者是一名初學者 請一定從第1章的基礎(chǔ)理論知識開始學習 第一部分為基礎(chǔ)篇從第1章到第3章 簡單介紹PCL的相關(guān)背景資料和基本使用方式 幫助讀者了解一些基礎(chǔ)背景知識 感受自己的研究應(yīng)用領(lǐng)域在PCL基礎(chǔ)上有哪些應(yīng)用前景 并熟悉PCL的使用方法以 7 及編程規(guī)范 為讀者使用PCL做好前期準備工作 第二部分為模塊篇從第4章到第15章 著重講解PCL各個模塊中涉及的3D點云處理的概念 模塊API 實例應(yīng)用 每章結(jié)構(gòu)都是先簡單介紹本章涉及的相關(guān)概念 再重點介紹一些模塊相關(guān)的類和函數(shù) 最后分析幾個典型的模塊應(yīng)用實例 讓讀者不需要太多點云處理基礎(chǔ) 也能輕松掌握PCL各個功能模塊 第二部分涵蓋點云獲取 濾波 分割 配置 檢索 特征提取 識別 追蹤 曲面重建 可視化等全部已基本定型的模塊 骨骼識別與跟蹤模塊還正在開發(fā) 本書未包含 第三部分是綜合應(yīng)用篇第16章 通過基于PCL的典型應(yīng)用案例進行介紹 讓讀者進一步能夠體驗PCL的強大 同時了解一些虛擬現(xiàn)實和人機交互領(lǐng)域的新事物 光盤收集PCL1 51的開發(fā)資源及本書中涉及的實例程序和數(shù)據(jù) 8 PCL版本PCL的發(fā)布更新以1 5X的小版本號來表示 本書針對的是1 51版本 PCL正在不斷開發(fā)和完善中 但基本架構(gòu)和設(shè)計思路基本確定 相信讀者對本書介紹了解之后 對其他版本就輕車熟路了 請參照網(wǎng)站地址 http docs pointclouds org trunk modules html 雖然本書中參考所用的API文檔 仍然在不斷更新新的類 函數(shù) 但模塊基本確定 不會對PCL的理解產(chǎn)生困難 9 源代碼本書的所有源代碼和工程文件大多數(shù)整理來自于PCL官方網(wǎng)站 都以BSD BerkeleySoftwareDistribution 許可協(xié)議或者 CCA CreativeCommonsAttribution3 0的形式發(fā)布 讀者可以自由使用和分享 如果需要應(yīng)用于商業(yè)領(lǐng)域 請注明版權(quán)所有者 10 目錄 第1章概述第2章PCL入門第3章PCL基礎(chǔ)第4章輸入 輸出 I O 第5章kd tree第6章八叉樹第7章可視化第8章濾波第9章深度圖像第10章關(guān)鍵點第11章采樣一致性算法第12章點云特征描述與提取第13章點云配準第14章點云分割第15章點云曲面重建第16章綜合應(yīng)用 11 本章各小節(jié)目錄 1 1什么是PCL1 2PCL的發(fā)展與創(chuàng)景1 3PCL的潛在應(yīng)用領(lǐng)域1 4PCL在中國1 5PCL的結(jié)構(gòu)和內(nèi)容 12 1 1什么是PCL PCL是PointCloudLibrary的簡稱 是一個開源的用C 語言開發(fā)的點云庫 它實現(xiàn)了大量點云相關(guān)的通用算法和高效數(shù)據(jù)結(jié)構(gòu) 涉及到點云獲取 濾波 分割 配準 檢索 特征提取 識別 追蹤 曲面重建 可視化等 而且支持多種操作平臺 可在Windows Linux Android MacOSX 部分嵌入式實時系統(tǒng)上運行 如果說OpenCV是2D信息獲取與處理的結(jié)晶 那么PCL就是在3D信息獲取與處理上的結(jié)晶 具有同等地位 PCL也是BSD授權(quán)方式 可以免費進行商業(yè)和學術(shù)應(yīng)用 13 1 2PCL的發(fā)展與創(chuàng)景 隨著加入組織的增多 PCL官方目前的計劃是繼續(xù)加入很多新的功能模塊和算法的實現(xiàn) 包括當前最新的3D相關(guān)的處理算法和相關(guān)設(shè)備的支持 如基于PrimeSensor3D設(shè)備 微軟Kinect或者華碩的XTionPRO智能交互應(yīng)用等 詳細讀者可以參考官方網(wǎng)站每期的新聞 而且也計劃進一步支持使用CUDA和OpenCL等基于GPU的高性能計算的技術(shù) 筆者相信在近幾年內(nèi)會有更多的人和組織加入到這個項目中來 共享開源PCL帶來的各自領(lǐng)域的成果 14 1 3PCL的潛在應(yīng)用領(lǐng)域 15 1 3 1機器人領(lǐng)域移動機器人對其工作環(huán)境的有效感知 辨識與認知 是其進行自主行為優(yōu)化并可靠完成所承擔任務(wù)的前提和基礎(chǔ) 如何實現(xiàn)場景中物體的有效分類與識別是移動機器人場景認知的核心問題 目前基于視覺圖像處理技術(shù)來進行場景的認知是該領(lǐng)域的重要方法 但移動機器人在線獲取的視覺圖像質(zhì)量受光線變化影響較大 特別是在光線較暗的場景更難以應(yīng)用 隨著RGBD獲取設(shè)備的大量推廣 在機器人領(lǐng)域勢必掀起一股深度信息結(jié)合2D信息的應(yīng)用研究熱潮 深度信息的引入能夠使機器人更好地對環(huán)境進行認知 辨識 與圖像信息在機器人領(lǐng)域的應(yīng)用一樣 需要強大智能軟件算法支撐 PCL就為此而生 最重要的是PCL本身就是為機器 16 人而發(fā)起的開源項目 PCL中不僅提供了對現(xiàn)有的RGBD信息的獲取設(shè)備的支持 還提供了高效的分割 特征提取 識別 追蹤等最新的算法 最重要的是它可以移植到ROS Android Ubuntu等主流Linux平臺上 PCL無疑將會成為機器人應(yīng)用領(lǐng)域一把 瑞士軍刀 17 1 3 2CAD CAM 逆向工程大部分工業(yè)產(chǎn)品是根據(jù)二維或三維CAD模型制造而成 但有時因為數(shù)據(jù)丟失 設(shè)計多次更改 實物引進等原因 產(chǎn)品的幾何模型無法獲得 因而常常需要根據(jù)現(xiàn)有產(chǎn)品實物生成物體幾何模型 逆向工程技術(shù)能夠?qū)Ξa(chǎn)品實物進行測繪 重構(gòu)產(chǎn)品表面三維幾何模型 生成產(chǎn)品制造所需的數(shù)字化文檔 在一些工業(yè)領(lǐng)域 如汽車制造業(yè) 許多零件的幾何模型都通過逆向工程由油泥模型或?qū)嵨锪慵@得 目前在CAD CAM領(lǐng)域利用激光點云進行高精度測量與重建成為趨勢 同時引來了新的問題 通過獲取的海量點云數(shù)據(jù) 來提取重建模型的幾何參數(shù)或者形狀模型 對模型進行智能檢索 從點云數(shù)據(jù)獲取模型的曲面模型等 諸如此類的問題 18 解決方案在PCL中都有涉及 例如kd tree和oc tree對海量點運進行高效壓縮存儲與管理 其中濾波 配準 特征描述與提前基礎(chǔ)處理 可以應(yīng)用于模型的智能檢索以及后期的曲面重建和可視化都在PCL中有相應(yīng)的模塊 總之 三維點云數(shù)據(jù)的處理是逆向工程中比較重要的一環(huán) PCL中間所有的模塊正是為此而生的 19 1 3 3激光遙感測量能夠直接獲取高精度三維地面點數(shù)據(jù) 是對傳統(tǒng)測量技術(shù)在高程數(shù)據(jù)獲取及自動化快速方面的重要技術(shù)補充 激光遙感測量系統(tǒng)在地形測繪 環(huán)境檢測 三維城市建模 地球科學 行星科學等諸多領(lǐng)域具有廣泛的發(fā)展前景 是目前最先進的能實時獲取地形表面三維空間信息和影像的遙感系統(tǒng) 目前 在各種提取地面點的算法中 算法結(jié)果與實際結(jié)果之間差別較大 違背了實際情況 PCL中強大的模塊可以助力解決此問題 20 1 3 4虛擬現(xiàn)實 人機交互虛擬現(xiàn)實技術(shù) VR 又稱靈境技術(shù) 是以沉浸性 交互性和構(gòu)想性為基本特征的計算機高級人機界面 它綜合利用了計算機圖形學 仿真技術(shù) 多媒體技術(shù) 人工智能技術(shù) 計算機網(wǎng)絡(luò)技術(shù) 并行處理技術(shù)和多傳感器技術(shù) 模擬人的視覺 聽覺 觸覺等感覺器官功能 使人能夠沉浸在計算機生成的虛擬境界中 并能夠通過語言 手勢等自然的方式與之進行實時交互 創(chuàng)建了一種適人化的多維信息空間 具有廣闊的應(yīng)用前景 目前各種交互式體感應(yīng)用的推出 讓虛擬現(xiàn)實與人機交互發(fā)展非常迅速 以微軟 華碩 三星等為例 目前諸多公司推出的RGBD解決方案 勢必會讓虛擬現(xiàn)實走出實驗室 因為現(xiàn)在的RGBD設(shè)備已經(jīng)開始大 21 量推向市場 只是缺少其他應(yīng)用的跟進 這正是在為虛擬現(xiàn)實和人機交互應(yīng)用鑄造生態(tài)鏈的底部 筆者認為這也正是PCL為何在此時才把自己與世人分享的重要原因所在 它將是基于RGBD設(shè)備的虛擬現(xiàn)實和人機交互應(yīng)用生態(tài)鏈中最重要的一個環(huán)節(jié) 讓我們抓住這一個節(jié)點 立足于交互式應(yīng)用的一片小天地 但愿本書來的不是太遲 22 1 4PCL在中國 PCL雖然在國際上有如此多的組織和公司參與 由于發(fā)展如此迅速 目前 2012年4月 在Google中檢索出中文相關(guān)的PCL探討 有且只有一條 當然這也是筆者出書原因之一了 事實上 如圖1 2所示 在全球范圍內(nèi) 唯獨沒有中國參與組織 這里希望廣大讀者可以為中國板塊上添加一個小旗幟 當然 肯定有科研工作者在應(yīng)用或者學習PCL了 筆者依托于中國農(nóng)業(yè)大學農(nóng)業(yè)部信息獲取技術(shù)重點實驗室 在與創(chuàng)始人Radu博士交流后 深感PCL在復(fù)雜的農(nóng)業(yè)對象中有不可估量的作用 例如對動植物的重建測度 果蔬等分級檢測等應(yīng)用領(lǐng)域 23 決定把PCL作為基礎(chǔ)研究平臺來開展實際應(yīng)用 同時用學習筆記撰寫了本書把PCL與國人分享 相信在不久的將來 與2D信息處理庫OpenCV一樣 中國將是PCL最大的用戶和貢獻者基地 24 1 5PCL的結(jié)構(gòu)和內(nèi)容 PCL架構(gòu)圖如圖1 3所示 對于3D點云處理來說 PCL完全是一個模塊化的現(xiàn)代C 模板庫 其基于以下第三方庫 Boost Eigen FLANN VTK CUDA OpenNI Qhull 實現(xiàn)點云相關(guān)的獲取 濾波 分割 配準 檢索 特征提取 識別 追蹤 曲面重建 可視化等 PCL利用OpenMP GPU CUDA等先進高性能計算技術(shù) 通過并行化提高程序?qū)崟r性 K近鄰搜索操作的構(gòu)架是基于FLANN FastLibraryforApproximateNearestNeighbors 所實現(xiàn)的 速度也是目前技術(shù) 25 中最快的 PCL中的所有模塊和算法都是通過Boost共享指針來傳送數(shù)據(jù) 因而避免了多次復(fù)制系統(tǒng)中已存在 圖1 3PCL架構(gòu)圖 26 的數(shù)據(jù)的需要 從0 6版本開始 PCL就已經(jīng)被移入到Windows MacOS和Linux系統(tǒng) 并且在Android系統(tǒng)也已經(jīng)開始投入使用 這使得PCL的應(yīng)用容易移植與多方發(fā)布 從算法的角度 PCL是指納入了多種操作點云數(shù)據(jù)的三維處理算法 其中包括過濾 特征估計 表面重建 模型擬合和分割 定位搜索等 每一套算法都是通過基類進行劃分的 試圖把貫穿整個流水線處理技術(shù)的所有常見功能整合在一起 從而保持了整個算法實現(xiàn)過程中的緊湊和結(jié)構(gòu)清晰 提高代碼的重用性 簡潔可讀 在PCL中一個處理管道的基本接口程序如下 1 創(chuàng)建處理對象 例如過濾 特征估計 分割等 2 使用setInputCloud通過輸入點云數(shù)據(jù) 處理模塊 27 3 設(shè)置算法相關(guān)參數(shù) 4 調(diào)用計算得到輸出 為了進一步簡化和開發(fā) PCL被分成一系列較小的代碼庫 使其模塊化 以便能夠單獨編譯使用提高可配置性 特別適用于嵌入式處理中 1 libpclfilters 如采樣 去除離群點 特征提取 擬合估計等數(shù)據(jù)實現(xiàn)過濾器 2 libpclfeatures 實現(xiàn)多種三維特征 如曲面法線 曲率 邊界點估計 矩不變量 主曲率 PFH和FPFH特征 旋轉(zhuǎn)圖像