機器視覺技術(shù)與應(yīng)用課件：3D視覺技術(shù)與應(yīng)用

機器視覺技術(shù)應(yīng)用CHAPTER

08061007

機器視覺測量應(yīng)用

機器視覺軟件二次開發(fā)應(yīng)用

深度學(xué)習(xí)技術(shù)與應(yīng)用

機器視覺引導(dǎo)應(yīng)用093D視覺技術(shù)與應(yīng)用Section節(jié)9.13D視覺技術(shù)9.23D視覺技術(shù)應(yīng)用1、3D視覺技術(shù)TASK任務(wù)任務(wù)一、3D視覺及其相機二、3D視覺成像原理三、3D數(shù)據(jù)表示四、3D幾何測量五、3D視覺應(yīng)用案例一、3D視覺及其相機3D視覺技術(shù)分類一、3D視覺及其相機需要一個特殊的光學(xué)投射器來產(chǎn)生一定的光模式基于一幅或多幅圖像中來獲取物體三維形狀信息,對光源沒有嚴格的要求工業(yè)3D傳感器類型一、3D視覺及其相機常見的工業(yè)領(lǐng)域3D傳感器類型二、3D視覺成像原理3D視覺成像方法有很多種，其原理和實現(xiàn)過程也不盡相同，這里以TOF技術(shù)、單目視覺、雙目立體視覺和結(jié)構(gòu)光為例詳細說明各自的成像原理二、3D視覺成像原理iTOF成像原理示意式中c=2.9979×108m/s，為光速，fm為光波頻率。iTOF雖然工作原理復(fù)雜，但實現(xiàn)過程簡單且依賴的額外硬件單一、成本較低。飛行時間(TOF)技術(shù)可分為直接TOF（簡稱dTOF）和間接TOF（簡稱iTOF）。TOF相機的每個像素利用光飛行的時間差來獲取物體的深度。iTOF相機工作時，從發(fā)射極向目標發(fā)射近紅外（~850nm或940nm）的脈沖波，遇到目標后反射，由于光在空氣中的傳播速度是不變的，通過發(fā)射和接收的光波的相位偏移Δφ確定目標的距離，進而確定產(chǎn)生的深度信息3D視覺成像方法有很多種，其原理和實現(xiàn)過程也不盡相同，這里以TOF技術(shù)、單目視覺、雙目立體視覺和結(jié)構(gòu)光為例詳細說明各自的成像原理二、3D視覺成像原理對dTOF相機成像而言，探測器系統(tǒng)在發(fā)射光脈沖的同時啟動探測接收單元進行計時，當探測器接收到目標反射的光回波時，探測器直接存儲往返時間Δt，則目標距離可表示為dTOF測距方式為直接，原理簡單易懂，抗干擾性好，在復(fù)雜環(huán)境、遠距離場景下表現(xiàn)較好，但相機的分辨率較低，隨機誤差較高，通常會有厘米級的抖動單目視覺系統(tǒng)是指使用一臺攝像機進行三維重建。其常見的實現(xiàn)方法為X恢復(fù)形狀法(shapefromX)，這里的X包含圖像的一些二維特征如明暗度、紋理、焦點、輪廓或者相機的運動。下面以運動法和調(diào)焦法為例介紹單目視覺成像原理二、3D視覺成像原理運動法可從靜態(tài)目標場景的有序或無序圖像集合估計相機運動軌跡并恢復(fù)三維場景結(jié)構(gòu)，如圖9.4所示。求解運動恢復(fù)結(jié)構(gòu)問題主要包含三個階段：圖像特征提取與匹配、根據(jù)特征匹配關(guān)系估計相機運動、結(jié)合相機運動與特征匹配重建三維結(jié)構(gòu)調(diào)焦法簡稱SFF(Shapefromfocus)，這種方法通過分析相機的光圈、焦距和拍攝圖像的清晰度之間的關(guān)系獲取物體表面的深度信息，從而重建出物體的三維模型。雙目視覺重建過程雙目立體視覺系統(tǒng)基于視差原理，由三角法原理進行三維信息的獲取，即由兩個相機的圖像平面和被測物體之間構(gòu)成一個三角形。已知兩個相機的位置關(guān)系，便可以獲取兩個相機公共視場內(nèi)物體的特征點三維坐標二、3D視覺成像原理根據(jù)兩個相機安裝位置的不同可分為兩種雙目視覺系統(tǒng)，一種稱為平行式光軸雙目視覺系統(tǒng)，另一種被稱為匯聚式光軸雙目視覺系統(tǒng)。為獲取更大的視場，通常將左右相機分別繞光心順時針和逆時針旋轉(zhuǎn)一定角度形成匯聚式雙目視覺系統(tǒng)雙目視覺成像原理雙目視覺重建過程雙目視覺重建過程結(jié)構(gòu)光的成像技術(shù)包括點結(jié)構(gòu)光、線結(jié)構(gòu)光和面結(jié)構(gòu)光二、3D視覺成像原理結(jié)構(gòu)光法根據(jù)投射光束的形態(tài)不同分為點結(jié)構(gòu)光法、線結(jié)構(gòu)光法和面結(jié)構(gòu)光法，其實現(xiàn)過程主要通過觀察物體表面結(jié)構(gòu)光圖案的形變程度來計算對應(yīng)的三維形狀和深度信息點結(jié)構(gòu)光線結(jié)構(gòu)光面結(jié)構(gòu)光三、3D數(shù)據(jù)表示雙目視覺重建過程深度圖三、3D數(shù)據(jù)表示深度圖深度圖：深度圖是表征場景中物體與3D相機之間的空間距離的圖像。因為深度圖包含三維場景下的深度信息，可以利用深度圖的這一特點，結(jié)合相機內(nèi)參數(shù)，完全解出圖像中每一像素點在相機坐標系下的三維坐標，從而得到物體或者場景的三維點云模型。深度圖比普通的RGB圖像多出的一維空間信息更有助于構(gòu)建物體的空間幾何結(jié)構(gòu)，因此深度圖在機器視覺研究領(lǐng)域中具有重要地位雙目視覺重建過程點云圖三、3D數(shù)據(jù)表示點云：用來描述物體特征的3D空間中點的集合，每個點具有特定的位置信息(x,y,z)并且還會包含一些被測物體屬性信息，如激光反射強度可以反映物體表面反射率，有利于區(qū)別被測物體表面材質(zhì)；RGB顏色信息可以反映物體表面紋理，還有回波信息可以反映物體表面穿透能力。點云按照特征點的密度可分為稀疏點云和稠密點云兩種。稀疏點云中特征點數(shù)量較少，可用于表示物體的幾何結(jié)構(gòu)如平面、路徑等。稀疏點云的數(shù)據(jù)量小、可快速生成和處理，常被用于快速加載空間的結(jié)構(gòu)信息，例如自動駕駛、掃地機器人等領(lǐng)域。稠密點云中特征點的數(shù)量較多，能夠精細的表示物體的形狀和外觀，可實現(xiàn)三維場景或物體的全貌構(gòu)建，這類基于點云的三維重建技術(shù)，被廣泛應(yīng)用于數(shù)字化城市建設(shè)、虛擬增強現(xiàn)實、古文物復(fù)原、醫(yī)學(xué)研究等領(lǐng)域點云圖雙目視覺重建過程體素三、3D數(shù)據(jù)表示體素：體素是體積像素的簡稱，是3D空間中量化的、大小固定的點，相當于三維空間中的最小單位體素化的主要思想都是將物體切割劃分，并與空白數(shù)據(jù)加以區(qū)分，只要分辨率足夠大（即把目標物體分割的足夠細密），物體的細節(jié)和體積都會完整的呈現(xiàn)在體素數(shù)據(jù)中體素雙目視覺重建過程網(wǎng)格三、3D數(shù)據(jù)表示網(wǎng)格：網(wǎng)格是點云的細化分割的一種呈現(xiàn)形式，可實現(xiàn)將多面體表示為頂點與面片的集合，包含了物體表面的拓撲信息，在機器視覺中為了快速處理數(shù)據(jù)用三角形居多。三角形網(wǎng)格在計算機中存儲表示為一個頂點數(shù)據(jù)和一個三角形數(shù)組，其中頂點數(shù)組包含頂點的坐標、法向量、顏色和紋理坐標等信息，三角形數(shù)組則存儲著三角形頂點數(shù)組中的索引點云數(shù)據(jù)的稠密化過程需要在網(wǎng)格化的基礎(chǔ)上完成，由于Delaunay三角剖分法進行細分時對網(wǎng)格曲面的細節(jié)進行了較好的控制同時遵循了嚴格的數(shù)學(xué)基礎(chǔ)，因此該方法形成的網(wǎng)格為最佳網(wǎng)格網(wǎng)格四、3D幾何測量雙目視覺重建過程激光掃描系統(tǒng)的構(gòu)成四、3D幾何測量3D幾何測量的點云可以通過激光掃描系統(tǒng)進行采集，激光掃描系統(tǒng)一般由激光發(fā)射器、成像系統(tǒng)、運動機構(gòu)組成，線激光發(fā)射器與移動平臺垂直，相機和激光器呈一定夾角，掃描時物體沿著Y軸方向移動在3D空間中，X方向分辨率是沿著激光線方向各測量點之間的水平距離，這個值和相機分辨率和視野大小有關(guān)，越靠近傳感器，X方向分辨率越高；Z方向分辨率指示各點處可檢測的最小高度差，即被測物高度的測量精度。被測物位于固定位置時，任意給定時刻各點上的高度值的變化限制了Z方向分辨率。這種變化由相機和傳感器電子元件造成。雙目視覺重建過程激光三角測量法原理四、3D幾何測量激光三角法的原理是根據(jù)被測物體表面高度不同，激光光斑在圖像上的位置也不同，根據(jù)激光發(fā)射器、相機和被測點之間的三角關(guān)系來計算出被測點距離和圖像位置的關(guān)系五、3D視覺應(yīng)用案例3D視覺應(yīng)用案例五、3D視覺應(yīng)用案例曲面屏測量食品缺陷檢測連接器測量汽車裝配檢測3D視覺應(yīng)用案例五、3D視覺應(yīng)用案例AGV小車祝融號火星車刷臉支付刷掌支付3D視覺技術(shù)的發(fā)展趨勢五、3D視覺應(yīng)用案例3D視覺系統(tǒng)底層元器件、核心算法等技術(shù)的快速發(fā)展使得成像分辨率不斷提高、圖像采集速度和傳輸可靠性明顯增強，豐富了工業(yè)視覺系統(tǒng)的應(yīng)用場景。高性能和多場景智能化和實時性集成化和融合化隨著人工智能、大數(shù)據(jù)和云計算等新技術(shù)的引入，工業(yè)3D視覺系統(tǒng)將變得更智能化、實時化。工業(yè)3D視覺系統(tǒng)也將朝著集成化、小型化的方向發(fā)展，各種模組（如光學(xué)模組、通信模組和計算模組等）會逐漸集成在一個設(shè)備中2、3D視覺技術(shù)應(yīng)用TASK任務(wù)任務(wù)一、3D取像工具二、3D視覺測量及應(yīng)用一、3D取像工具V+平臺軟件可方便使用者快速進行3D視覺方案的制作和實施，其取像工具的說明如下一、3D取像工具V+平臺軟件可方便使用者快速進行3D視覺方案的制作和實施，其取像工具的說明如下一、3D取像工具（1）3D取像工具：該工具實現(xiàn)從3D傳感器或本地3D數(shù)據(jù)獲取圖像的功能（2）Z轉(zhuǎn)CogImage16Range工具：從3D取像工具獲取的圖像需要經(jīng)過該工具格式轉(zhuǎn)換為高度圖，方可在工具塊中進行圖像處理V+平臺軟件可方便使用者快速進行3D視覺方案的制作和實施，其取像工具的說明如下一、3D取像工具源：可選擇相機或者本地圖像設(shè)備：選擇已連接的3D傳感器圖像模式：可選擇灰度或者彩色保存：勾選保存即在取像完成后并保存路徑：設(shè)置圖像的存儲路徑，可選擇指定文件夾或鏈接前置工具拼接的路徑文件名：自定義所取像的名稱行數(shù)：需要和“批處理點數(shù)”保持一致超時（s）：取像工具最長運行時間3D取像工具V+平臺軟件可方便使用者快速進行3D視覺方案的制作和實施，其取像工具的說明如下一、3D取像工具inputImage：默認鏈接前置工具的輸出圖像，可選擇本地文件夾圖像imagewidth：默認鏈接前置工具的輸出寬度，可輸入?yún)?shù)imageHeight：默認鏈接前置工具的輸出高度，可輸入?yún)?shù)xScale：X軸方向的分辨率，由傳感器型號決定yScale：Y軸方向的分辨率與xScale保持一致zScale：Z軸方向的分辨率，該分辨率為16位圖像中的參數(shù)，故等于傳感器的Z軸高度值/65536Z轉(zhuǎn)CogImage16Range工具二、3D視覺測量及應(yīng)用3D測量技術(shù)指利用各種方法對被測物體進行全方位測量，在V+平臺軟件中能實現(xiàn)的3D測量功能如下二、3D視覺測量及應(yīng)用常見的3D測量工具平面夾角測量工具測高工具平面提取工具體積測量工具在測量高度時，其測量流程為：首先，要使用平面提取工具確定測高的基準平面，其次，使用測高工具確定被測平面并完成高度測量二、

3D視覺測量及應(yīng)用平面提取工具在使用過程中需要如下配置：（1）平面擬合算法選擇（2）擬合算法所需參數(shù)設(shè)置在測量高度時，其測量流程為：首先，要使用平面提取工具確定測高的基準平面，其次，使用測高工具確定被測平面并完成高度測量二、

3D視覺測量及應(yīng)用測高工具在使用過程中需要如下配置：（1）設(shè)定高度的正方向（2）選擇需要測高的平面采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量二、3D視覺測量及應(yīng)用待測樣品及其高度SSZN8060傳感器采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量二、

3D視覺測量及應(yīng)用1.新建項目9解決方案，并保存為“項目9-任務(wù)2-3D視覺技術(shù)應(yīng)用-XXX”2.單擊“菜單”→“設(shè)備”→“3D相機”，雙擊“深視”3.參照左圖設(shè)置“深視”傳感器參數(shù)采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量二、3D視覺測量及應(yīng)用1.添加“001_內(nèi)部觸發(fā)”工具2.雙擊或拖出“圖像”工具包中的“3D取像”工具，并鏈接至“001_內(nèi)部觸發(fā)”工具采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量二、3D視覺測量及應(yīng)用1.雙擊或拖出“Cognex”工具包中的“Z轉(zhuǎn)CogImage16Range”工具2.同理，添加“004_ToolBlock”并鏈接至“Z轉(zhuǎn)CogImage16Range”工具采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量二、

3D視覺測量及應(yīng)用1.“002_取像”工具屬性配置：源：相機設(shè)備：深視1圖像模式：彩色保存：勾選路徑：根路徑下的“Images”文件名：3D_Data文件類型：ZMAP行數(shù)：8700超時（s）：202.單擊①處運行取像采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量二、

3D視覺測量及應(yīng)用“003_Z轉(zhuǎn)CogImage16Range”工具屬性配置：inputImage：鏈接“002_3D取像”工具的輸出“Data”imageWidth：鏈接“002_3D取像”工具的輸出“Width”imageHeight：鏈接“002_3D取像”工具的輸出“Height”xScale：0.012yScale：0.012zScale：0.000275采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量二、

3D視覺測量及應(yīng)用“ToolBlock”工具配置：1.添加輸入項為“003_Z轉(zhuǎn)CogImage16Range”工具2.添加平面提取和測高工具3.將“Input1”依次鏈接至兩個3D工具的輸入圖像即⑤和⑥處采用深視智能(SSZN)8060型號的激光線掃相機，其X方向分辨率為0.012mm，Z軸高度為18mm，對樣品進行高度測量二、

3D視覺測量及應(yīng)用“Cog3DRangeImagePlaneEstimat