《智能識別系統(tǒng)實現(xiàn)與實訓》單元2 - 學習情境3

單元2使用數(shù)字成像設備獲取圖像數(shù)據(jù)0102情境1用高清攝像機采集需要的圖片情境2用高清攝像機采集需要的視頻03情境3三維圖像數(shù)據(jù)采集學習情境3三維圖像數(shù)據(jù)采集01030204情景概述知識準備案例講解總結PART01情境概述情境3三維圖像數(shù)據(jù)采集情境概述學習情境描述

使用三維照相機采集三維人臉數(shù)據(jù),并輸出、顯示。情境3：三維圖像數(shù)據(jù)采集

情境概述學習目標能夠正確闡述三維圖像傳感設備的成像原理。能夠說出常見的三維圖像表現(xiàn)方式。正確掌握判定三維圖像數(shù)據(jù)質(zhì)量的方法。能夠正確操作三維圖像傳感設備。能夠通過Python編程實現(xiàn)三維圖像數(shù)據(jù)的讀取、顯示。情境2：用高清攝像機采集需要的視頻情境概述本學習情境的任務書根據(jù)一個用于疫情防控的園區(qū)人臉識別系統(tǒng)建設要求，結合三維動態(tài)人臉識別技術運用需要，為了確保使用三維人臉照相機采集的人臉點云數(shù)據(jù)符合人臉注冊要求，公司主管要求你通過Python編程，開發(fā)一個三維人臉采集數(shù)據(jù)查看軟件，該軟件能夠讀取采集到的快遞人員三維人臉點云數(shù)據(jù)，并顯示三維人臉模型，以便判斷其是否符合采集質(zhì)量要求。你接受到任務后，首先需要認真了解三維人臉照相機工作原理，掌握三維人臉照相機工作操作使用方法，知道如何判斷三維人臉采集數(shù)據(jù)是否存在質(zhì)量缺陷；其次，要根據(jù)園區(qū)人臉識別系統(tǒng)架構和運行過程，確定獲取三維人臉采集數(shù)據(jù)的具體方法；在此基礎上，你利用Open3D或Matplotlib提供的三維點云數(shù)據(jù)讀取、顯示、保存等功能函數(shù)，完成快遞人員三維人臉采集數(shù)據(jù)查看軟件開發(fā)。情境2：用高清攝像機采集需要的視頻情境概述園區(qū)人臉識別系統(tǒng)簡介為了做好疫情防控，某工業(yè)園區(qū)需要對快遞人員進入園區(qū)進行授權管理和軌跡跟蹤，為此他們計劃構建一個園區(qū)人臉識別系統(tǒng)。該系統(tǒng)由前端設備和管理后臺兩大部分構成。其中，前端設備主要負責人員圖像采集和出入控制，由部署在園區(qū)大門口的帶人臉識別功能的人員通行閘機、部署在園區(qū)內(nèi)道路沿線及各類建筑物出入口的高清監(jiān)控攝像機、部署在園區(qū)管理部的三維人臉照相機組成；管理后臺負責接收前端設備采集的圖像數(shù)據(jù)，并對它們進行及時處理、分析和管理，同時為應用軟件提供運行環(huán)境，由部署在園區(qū)機房的各類服務器及一套“園區(qū)快遞人員管理系統(tǒng)”應用軟件組成。情境2：用高清攝像機采集需要的視頻教學概述園區(qū)人臉識別系統(tǒng)架構

為了提升識別效率，園區(qū)人臉識別系統(tǒng)采用了三維動態(tài)人臉識別技術，這是一種基于三維人臉注冊數(shù)據(jù)庫對視頻中出現(xiàn)的各種姿態(tài)人臉進行快速比對準確識別的技術，園區(qū)管理部工作人員使用三維人臉照相機對需要入園服務的快遞人員進行三維人臉數(shù)據(jù)采集，采集到的三維人臉數(shù)據(jù)實時上傳到三維人臉注冊數(shù)據(jù)庫中保存管理。情境2：用高清攝像機采集需要的視頻PART02知識準備情境3三維圖像數(shù)據(jù)采集知識準備引導問題三維圖像的展現(xiàn)方式有哪幾種？其中最常用的是哪一種？常用的點云數(shù)據(jù)文件格式有哪些？用什么方法可以打開一個三維圖像數(shù)據(jù)文件并顯示其中的三維圖像？請簡述利用Open3DPython編程開發(fā)一個三維人臉采集數(shù)據(jù)查看軟件需要開展哪些工作？情境3：三維圖像數(shù)據(jù)采集

知識準備知識點介紹

情境3：三維圖像數(shù)據(jù)采集

1、三維圖像基本概念知識準備根據(jù)數(shù)字圖像所能展現(xiàn)的視覺效果，可以將其分為兩大類：二維平面圖像（又稱二維圖像）和三維立體圖像（又稱三維圖像）。我們?nèi)粘Ｋf的圖片（或照片）、視頻（或錄像）都屬于二維圖像，它只能夠提供并展示所包含景物的高度和寬度信息；而三維圖像除了展示景物的高度和寬度外，還能夠展示其縱深（深度）信息。。三維圖像不僅可以讓我們獲得比瀏覽二維圖像更加逼真的現(xiàn)實世界立體視覺效果，而且還讓我們能夠從不同角度去觀察所含景物的細節(jié)，從而獲得更加完美的視覺體驗。隨著社會的進步發(fā)展，僅靠二維視覺信息已經(jīng)很難滿足人們不斷變化的需求，目前各種三維技術已經(jīng)越來越多地被應用到人們的日常工作和生活中。情境3：三維圖像數(shù)據(jù)采集知識準備三維圖像的表現(xiàn)方式情境3：三維圖像數(shù)據(jù)采集深度圖以灰度表達物體與相機的距離，一般可由深度相機直接獲得。

幾何模型由CAD軟件建立。點云模型使用逆向工程設備獲取。知識準備三維圖像的表現(xiàn)方式情境3：三維圖像數(shù)據(jù)采集逆向工程設備指在逆向工程中可用于完成產(chǎn)品三維數(shù)據(jù)采集并輸出其點云模型的設備。根據(jù)工作方式不同可分為：接觸式三維測量設備和非接觸式三維測量設備。

逆向工程也叫反求工程（reverseengineering），是指從實物上采集大量的三維坐標點，并由此建立該物體的幾何模型，進而開發(fā)出同類產(chǎn)品的先進技術。逆向工程與一般的設計制造過程相反，是先有實物后有模型。仿形加工就是一種典型的逆向工程應用。逆向工程源于商業(yè)及軍事領域中的硬件分析，其主要目的是在不能輕易獲得必要的生產(chǎn)信息的情況下，直接從成品分析、推導出產(chǎn)品的設計原理。點云模型使用逆向工程設備獲取。逆向工程的主要作用縮短產(chǎn)品的設計、開發(fā)周期，加快產(chǎn)品的更新?lián)Q代速度；降低企業(yè)開發(fā)新產(chǎn)品的成本與風險；加快產(chǎn)品的造型和系列化的設計；適合單件、小批量的零件制造，特別是模具的制造。知識準備情境3：三維圖像數(shù)據(jù)采集點云模型被測量物體的點云模型可通過使用三維測量設備對其進行測量而直接得到；在逆向工程中，通過測量儀器得到的產(chǎn)品外觀表面測量點的數(shù)據(jù)集合，稱為點云（PointCloud）；因此，可將“點云”簡單的理解為“同一空間中海量的點的集合”；點云模型中的每個點對應一個測量點，未經(jīng)過其他處理手段，包含了最大的信息量（如：測量點的三維空間坐標XYZ、測量點的顏色RGB信息等），提取點云中信息的過程稱為“三維圖像處理”。知識準備情境3：三維圖像數(shù)據(jù)采集點云數(shù)據(jù)文件格式點云數(shù)據(jù)獲取便捷，具有離散和稀疏特性，易于存儲并擴展為高維的特征信息，已經(jīng)成為當前三維圖像處理研究的主要內(nèi)容。目前常用的點云數(shù)據(jù)存儲格式有：*.ply、*.wrl、*.psd、

*.las等。*.ply是Stanford大學開發(fā)的一套三維mesh模型數(shù)據(jù)格式，主要用以儲存立體掃描結果的三維數(shù)值，通過多邊形片面的集合描述三維物體。*.wrl是VRML文件，可由VRML瀏覽器直接運行，也可裝插件用IE瀏覽器運行。*.psd是Adobe公司Photoshop軟件的專用文件格式，是目前惟一能夠支持全部圖像色彩模式的格式。*.las是一種用于存儲由光學遙感器收集的光探測和測距（LIDAR）數(shù)據(jù)的標準文件格式，它不僅方便在數(shù)據(jù)提供者與使用者之間交換LIDAR數(shù)據(jù)，同時也可有效克服現(xiàn)有激光雷達數(shù)據(jù)中的一些復雜性問題。2、常見三維成像技術及相關成像設備知識準備情境3：三維圖像數(shù)據(jù)采集

三維圖像傳感設備是融合三維測量與三維模型生成功能于一身的三維成像設備，目前三維成像技術主要依賴于飛行時間法、結構光法、立體視覺法等實現(xiàn)對目標三維信息的感知和收集。飛行時間法TOF（TimeofFight，ToF）法的基本工作原理為利用光波飛行的時間差來獲取物體的深度。該方法是一種主動式三維測量方法，利用激光或超聲波的傳播速度固定的性質(zhì)，由測量儀器向物體發(fā)射激光或超聲波，根據(jù)發(fā)射和返回的時間差就可求出物體的距離。該方法受環(huán)境光照影響小，測量精度較高。PMD公司的工業(yè)TOF相機以及基于TOF法的自動導引叉車示意圖知識準備情境3：三維圖像數(shù)據(jù)采集結構光法結構光投影三維成像的基本原理是通過光學投影系統(tǒng)將擁有特殊圖案的結構光投射至被測物體表面，并使用圖像獲取設備（如CCD或CMOS相機）采集被測物體表面的結構光圖像，通過使用圖像處理算法計算分析被測物體表面結構光圖像的變形情況，最終得到被測物體的三維輪廓信息。

基于條紋的雙目結構光三維成像知識準備情境3：三維圖像數(shù)據(jù)采集結構光三維成像系統(tǒng)

結構光投影三維成像目前是機器人3D視覺感知的主要方式，結構光三維成像系統(tǒng)一般是由若干個投影儀和相機組成，“單投影儀-雙相機”是結構光三維成像系統(tǒng)的典型結構形式。

基于紅外結構光的深度相機：AstraStereoSU3知識準備情境3：三維圖像數(shù)據(jù)采集立體視覺法立體視覺是指通過模仿人眼感知客觀世界的方式，利用從不同的視點獲取的兩幅或多幅圖像，重構目標物體的三維信息。立體視覺三維成像方法可以分為單目視覺、雙目視覺、多（目）視覺和光場3D成像等，其中最為典型的是雙目立體視覺三維成像。雙目立體視覺3D成像是利用兩個相機，從兩個不同的視點，對同一個目標物體獲得兩個視點圖像，然后計算兩個視點圖像的視差，以此獲得目標物體的3D深度信息。

雙目立體視覺三維成像原理基于雙目立體視覺的Intel3D攝像頭3、三維人臉識別技術與應用知識準備三維人臉識別

根據(jù)在構建人臉注冊數(shù)據(jù)庫階段采集入庫的是二維人臉數(shù)據(jù)還是三維人臉數(shù)據(jù)，可以將人臉識別系統(tǒng)分為“二維人臉識別系統(tǒng)”和“三維人臉識別系統(tǒng)”。情境3：三維圖像數(shù)據(jù)采集人臉識別技術運用過程

知識準備情境3：三維圖像數(shù)據(jù)采集三維動態(tài)人臉識別系統(tǒng)

目前國內(nèi)已經(jīng)有廠商推出了實用型的三維人臉數(shù)據(jù)采集設備或三維人臉識別系統(tǒng)，如，奧比中光的三維攝像頭模組，川大智勝的三維全臉照相機、動態(tài)人臉識別服務器和三維動態(tài)人臉識別應用軟件。

由川大智勝研發(fā)的三維動態(tài)人臉識別系統(tǒng)可接入監(jiān)控視頻進行人臉識別，其工作原理是：首先對在視頻畫面中出現(xiàn)的人臉進行動態(tài)檢測捕獲，其次將檢測出的人臉與注冊庫中的三維人臉數(shù)據(jù)作1：N比對，最后輸出比對結果給業(yè)務系統(tǒng)使用。

知識準備情境3：三維圖像數(shù)據(jù)采集三維人臉照相機“三維動態(tài)人臉識別系統(tǒng)”主要創(chuàng)新點在于使用三維圖像傳感設備（如三維全臉照相機）實現(xiàn)高精度（深度精度在0.2毫米以上）三維人臉數(shù)據(jù)采集建模，用三維人臉數(shù)據(jù)代替二維人臉照片作為識別底庫（即三維人臉注冊數(shù)據(jù)庫）。三維人臉識別系統(tǒng)運行的基礎是要構建一個三維人臉注冊數(shù)據(jù)庫，可使用市面上已有的三維人臉數(shù)據(jù)采集設備（如三維人臉照相機、三維人臉攝像頭）開展此項工作。由于照相機的數(shù)據(jù)采集精度通常高于小型攝像頭，故針對具有高等級防偽要求的應用場景建議使用三維人臉照相機開展三維人臉數(shù)據(jù)采集建庫工作。

三維人臉攝像頭模組

三維人臉照相機4、使用三維照相機采集三維人臉數(shù)據(jù)知識準備情境3：三維圖像數(shù)據(jù)采集三維人臉照相機基本結構

序號部件名稱序號部件名稱?左采集單元⑦右下相機?交互相機模組⑧光機?右采集單元⑨光機④左上相機⑩機架⑤左下相機?電源開關⑥右上相機?主機機箱知識準備三維人臉照相機主要技術參數(shù)情境3：三維圖像數(shù)據(jù)采集能夠達到的深度測量精度、生成的點云模型中所有測量點間的平均點距，體現(xiàn)了設備的三維數(shù)據(jù)采集能力；①采集速度、三維重建時間，則是對設備工作效率的反映；②技術方案、最佳拍攝距離、環(huán)境光照要求、點云輸出格式、設備功耗則體現(xiàn)的是設備性價比。③產(chǎn)品型號川大智勝HFTD01深度測量精度≤0.1mm采集速度0.22s三維人臉重建時間＜8s平均點距0.5mm技術方案可見結構光投影最佳拍攝距離中間單元73cm環(huán)境光照要求≤220LX（目標表面照度）點云輸出格式ply、wrl功耗280W外觀尺寸1500mm×350mm×650mm毛重視各款式定（約25-30KG）知識準備三維人臉照相機的工作原理與操作使用情境3：三維圖像數(shù)據(jù)采集采集開始時，先由光機向目標物投射出結構光，同時左右兩個采集單元拍攝獲取目標物表面帶有結構光圖案的圖像，并將圖像數(shù)據(jù)傳遞給三維建模單元進行處理；三維建模單元利用建模算法完成三維模型重建，并將結果傳遞三維數(shù)據(jù)管理單元；三維數(shù)據(jù)管理單元接收到三維模型數(shù)據(jù)后，首先進行本地保存，同時或輸出給外接顯示設備或上傳至后臺數(shù)據(jù)庫。。三維人臉照相機采用基于結構光的雙目三維成像工作原理，如下圖所示：知識準備使用三維人臉照相機采集三維人臉數(shù)據(jù)的工作流程

情境3：三維圖像數(shù)據(jù)采集知識準備三維人臉采集數(shù)據(jù)情境3：三維圖像數(shù)據(jù)采集將左圖*.data文件其更名為*.zip文件并解壓后，就可以看到其中包含的一個三維點云文件（.wrl）及若干個二維圖片文件（.jpg），如下圖所示。。三維人臉采集設備生成的三維人臉原始數(shù)據(jù)通常由人員ID信息、三維人臉圖像數(shù)據(jù)、二維人臉圖像數(shù)據(jù)三個部分組成。一般情況，在完成采集操作后三維人臉采集設備會將于上述內(nèi)容打包成一個后綴名為.data的壓縮文件保存在本地，如下圖所示。在實際工作中，如果要查看采集到三維人臉圖像，我們就必須讀取與指定人員ID相關聯(lián)的三維點云文件（.wrl），并將其顯示出來。5、如何衡量三維圖像數(shù)據(jù)質(zhì)量知識準備三維人臉模型由三維點云數(shù)據(jù)和紋理數(shù)據(jù)組成，二者皆符合要求，則判定三維人臉模型質(zhì)量合格。情境3：三維圖像數(shù)據(jù)采集點云質(zhì)量合格判定準則①臉部齊全，無明顯缺失。②臉部無孔洞、毛刺。紋理質(zhì)量合格判定準則①無陰陽臉現(xiàn)象

②無大面積過曝現(xiàn)象

③五官無錯位現(xiàn)象

6、用Python編程實現(xiàn)三維圖像數(shù)據(jù)的接收、顯示和保存

知識準備情境3：三維圖像數(shù)據(jù)采集由于數(shù)據(jù)內(nèi)容構成的特殊性和文件格式的多樣化，需要使用專業(yè)軟件才能對三維圖像數(shù)據(jù)進行顯示和編輯處理。目前，可通過下列方法實現(xiàn)三維圖像數(shù)據(jù)的讀、寫與顯示。

使用3D仿真設計商用軟件SolidworksGeomagicStudioLiDAR360

安裝第三方插件BSContactVRML瀏覽器CosmoWorld瀏覽器

借助支持3D數(shù)據(jù)處理軟件快速開發(fā)的開源庫開發(fā)相關應用OpenGLOpen3DMatplotlibMeshLab

知識準備基于Open3D通過Python編程來實現(xiàn)三維圖像數(shù)據(jù)的接收、顯示和保存。情境3：三維圖像數(shù)據(jù)采集Open3D簡介：作為支持

3D數(shù)據(jù)處理軟件快速開發(fā)的開源庫，Open3D前端使用C++和Python公開了一組精心選擇的數(shù)據(jù)結構和算法，后端經(jīng)過高度優(yōu)化并設置為并行化。Open3D具有兩個接口：C++和Python。Open3D由intel公司發(fā)布，其核心功能包括：3D數(shù)據(jù)結構3D數(shù)據(jù)處理算法場景重建表面配準3D可視化基于物理的渲染（PBR）支持PyTorch和TensorFlow的3D機器學習GPU加速的核心3D操作支持C++和Python。知識準備基于Open3D通過Python編程來實現(xiàn)三維圖像數(shù)據(jù)的接收、顯示和保存。情境3：三維圖像數(shù)據(jù)采集Open3Dpython版本的安裝與使用：在使用Open3D開發(fā)三維圖像處理應用軟件前，需要將Open3D安裝到我們的工作電腦上。Open3D預構建的pip和conda包支持操作系統(tǒng)為Ubuntu18.04+，macOS10.14+和Windows10(64-bit)，python版本為3.5，3.6，3.7和3.8。conda是一個開源的包、環(huán)境管理器，可以用于在同一個機器上安裝不同版本的軟件包及其依賴，并能夠在不同的環(huán)境之間切換。通過pip安裝Open3D

pipinstallopen3d通過Conda安裝Open3D

condaisntall-copen3d-adminopen3d當安裝完成后測試安裝是否成功

python-c"importopen3daso3d"

如果沒有報錯，則安裝成功。知識準備基于Open3D通過Python編程來實現(xiàn)三維圖像數(shù)據(jù)的接收、顯示和保存。情境3：三維圖像數(shù)據(jù)采集用Python編程實現(xiàn)三維圖像數(shù)據(jù)的接收、顯示和保存功能：基于open3d來開發(fā)Python程序，實現(xiàn)三維圖像數(shù)據(jù)的接收、顯示和保存需要用到下列函數(shù)。read_point_cloud

從文件中讀取點云。它會根據(jù)擴展名對文件進行解碼。write_point_cloud將點云數(shù)據(jù)寫入指定的文件中，并說明文件類型。draw_geometries可視化點云?？捎脕盹@示三維點云（PointCloud），三維面片（Mesh）和二維圖像（Image）。在可視化界面打開時，可通過鼠標對圖像進行縮放，旋轉(zhuǎn)和平移等操作，以便從不同的視角查看圖像；還可以改變圖像的渲染風格和進行屏幕截圖操作。print()能用來顯示點云的摘要。PART03案例講解情境2用高清攝像機采集需要的視頻案例講解使用PythonMatplotlib編程實現(xiàn)三維人臉圖像（*.wrl）繪制并展示Matplotlib是Python的一個繪圖庫，它包含了能夠進行2D及3D圖形圖像繪制與展示的各種工具。繪制與展示三維圖像主要是通過Matplotlibmplot3d模塊實現(xiàn)。mplot3d模塊下主要包含4個大類，分別是：mpl_toolkits.mplot3d.axes3d()：主要包含了各種實現(xiàn)繪圖的類和方法。mpl_toolkits.mplot3d.axis3d()：主要是包含了和坐標軸相關的類和方法。mpl_toolkits.mplot3d.art3d()：包含了一些可將2D圖像轉(zhuǎn)換并用于3D繪制的類和方法。mpl_j3d()：中包含一些零碎的類和方法，例如計算三維向量長度等。mplot3d模塊會隨著Matplotlib自動安裝，使用Matplotlib繪制三維圖像實際上是在二維畫布上展示，所以一般繪制三維圖像時，同樣需要載入pyplot模塊。情境3：三維圖像數(shù)據(jù)采集案例講解在使用三維人臉采集數(shù)據(jù)進行三維人臉圖像繪制與展示時，會經(jīng)常用到mplot3d模塊中的下列幾種三維圖像繪制方法：Plot3D，繪制3維空間的折線圖或點圖Scatter3D，繪制3維散點圖；contour3D，通過繪制3維等高線來形成三維模型的輪廓圖plot_surface，繪制三維表面圖；plot_plot_trisurf，對離散數(shù)據(jù)進行三角化，并繪制包含三角形邊的三維表面圖。情境3：三維圖像數(shù)據(jù)采集案例講解用PythonMatplotlib編程實現(xiàn)三維圖像繪制并展示，一般包括下列5個步驟：情景3：三維圖像數(shù)據(jù)采集第一步：載入3D繪圖模塊frommpl_toolkits.mplot3dimportAxes3Dimportmatplotlib.pyplotaspltimportnumpyasnp#當需要使用numpy來生成三維圖像數(shù)據(jù)時，則需要導入第二步：創(chuàng)建3D圖形對象（包括：畫板對象figure，坐標軸對象axes）fig=plt.figure()ax=Axes3D(fig)第三步：生成（或?qū)耄┤S圖像數(shù)據(jù)例如：theta=2*np.pi*np.random.random(1000)r=6*np.random.random(1000)x=np.ravel(r*np.sin(theta))y=np.ravel(r*np.cos(theta))z=f(x,y)案例講解用PythonMatplotlib編程實現(xiàn)三維圖像繪制并展示，一般包括下列5個步驟：情景3：