工業(yè)視覺(jué)系統(tǒng)編程及基礎(chǔ)應(yīng)用 課件 項(xiàng)目13 前沿技術(shù)基礎(chǔ)應(yīng)用

工業(yè)視覺(jué)系統(tǒng)編程及基礎(chǔ)應(yīng)用PROJECT項(xiàng)目090810111213項(xiàng)目8外圍設(shè)備通訊與交互項(xiàng)目9鋰電池檢測(cè)項(xiàng)目10鋰電池測(cè)量項(xiàng)目11鋰電池識(shí)別項(xiàng)目12鋰電池引導(dǎo)抓取項(xiàng)目13前沿技術(shù)基礎(chǔ)應(yīng)用1、3D視覺(jué)技術(shù)基礎(chǔ)應(yīng)用TASK任務(wù)任務(wù)一、3D視覺(jué)技術(shù)二、3D工具三、3D視覺(jué)技術(shù)基礎(chǔ)應(yīng)用鋰電池移動(dòng)抓取課前回顧鋰電池移動(dòng)抓取的實(shí)現(xiàn)原理在V+平臺(tái)軟件中使用引導(dǎo)模塊相關(guān)工具來(lái)實(shí)現(xiàn)鋰電池的移動(dòng)抓取一、3D視覺(jué)技術(shù)3D視覺(jué)技術(shù)分類(lèi)一、3D視覺(jué)技術(shù)需要一個(gè)特殊的光學(xué)投射器來(lái)產(chǎn)生一定的光模式基于一幅或多幅圖像中來(lái)獲取物體三維形狀信息,對(duì)光源沒(méi)有嚴(yán)格的要求工業(yè)3D傳感器類(lèi)型一、3D視覺(jué)技術(shù)常見(jiàn)的工業(yè)領(lǐng)域3D傳感器類(lèi)型3D數(shù)據(jù)表示方法一、3D視覺(jué)技術(shù)1深度圖（RangeImage)1.存儲(chǔ)所有像素點(diǎn)的深度值的二維圖像2.深度值是相機(jī)坐標(biāo)系下的Z坐標(biāo)值，單位mm2點(diǎn)云（PointCloud）3D掃描設(shè)備獲取的產(chǎn)品特征以點(diǎn)的形式存儲(chǔ)，其中會(huì)包含對(duì)應(yīng)點(diǎn)的坐標(biāo)信息、色彩信息和反射面強(qiáng)度信息.3體素3D空間中量化的、大小固定的點(diǎn)，相當(dāng)于3D空間中的最小單位像素4網(wǎng)格（Mesh)網(wǎng)格是點(diǎn)云的細(xì)化分割的一種呈現(xiàn)形式，在視覺(jué)中為了快速處理數(shù)據(jù)還是用三角形居多.深度圖點(diǎn)云圖體素網(wǎng)格3D視覺(jué)應(yīng)用案例一、3D視覺(jué)技術(shù)曲面屏測(cè)量食品缺陷檢測(cè)連接器測(cè)量汽車(chē)裝配檢測(cè)3D視覺(jué)技術(shù)的發(fā)展趨勢(shì)一、3D視覺(jué)技術(shù)3D視覺(jué)系統(tǒng)底層元器件、核心算法等技術(shù)的快速發(fā)展使得成像分辨率不斷提高、圖像采集速度和傳輸可靠性明顯增強(qiáng)，豐富了工業(yè)視覺(jué)系統(tǒng)的應(yīng)用場(chǎng)景。高性能和多場(chǎng)景智能化和實(shí)時(shí)性集成化和融合化隨著人工智能、大數(shù)據(jù)和云計(jì)算等新技術(shù)的引入，工業(yè)3D視覺(jué)系統(tǒng)將變得更智能化、實(shí)時(shí)化。工業(yè)3D視覺(jué)系統(tǒng)也將朝著集成化、小型化的方向發(fā)展，各種模組（如光學(xué)模組、通信模組和計(jì)算模組等）會(huì)逐漸集成在一個(gè)設(shè)備中二、3D工具V+平臺(tái)軟件可實(shí)現(xiàn)3D圖像的采集和處理，與其相關(guān)的工具可分為3D取像工具和3D測(cè)量工具二、3D工具V+平臺(tái)軟件可實(shí)現(xiàn)3D圖像的采集和處理，與其相關(guān)的工具可分為3D取像工具和3D測(cè)量工具二、3D工具（1）3D取像工具：該工具實(shí)現(xiàn)從3D傳感器或本地3D數(shù)據(jù)獲取圖像的功能（2）Z轉(zhuǎn)CogImage16Range工具：從3D取像工具獲取的圖像需要經(jīng)過(guò)該工具格式轉(zhuǎn)換為高度圖，方可在工具塊中進(jìn)行圖像處理V+平臺(tái)軟件可實(shí)現(xiàn)3D圖像的采集和處理，與其相關(guān)的工具可分為3D取像工具和3D測(cè)量工具二、3D工具源：可選擇相機(jī)或者本地圖像設(shè)備：選擇已連接的3D傳感器圖像模式：可選擇灰度或者彩色保存：勾選保存即在取像完成后并保存路徑：設(shè)置圖像的存儲(chǔ)路徑，可選擇指定文件夾或鏈接前置工具拼接的路徑文件名：自定義所取像的名稱(chēng)行數(shù)：需要和“批處理點(diǎn)數(shù)”保持一致超時(shí)（s）：取像工具最長(zhǎng)運(yùn)行時(shí)間3D取像工具V+平臺(tái)軟件可實(shí)現(xiàn)3D圖像的采集和處理，與其相關(guān)的工具可分為3D取像工具和3D測(cè)量工具二、3D工具inputImage：默認(rèn)鏈接前置工具的輸出圖像，可選擇本地文件夾圖像imagewidth：默認(rèn)鏈接前置工具的輸出寬度，可輸入?yún)?shù)imageHeight：默認(rèn)鏈接前置工具的輸出高度，可輸入?yún)?shù)xScale：X軸方向的分辨率，由傳感器型號(hào)決定yScale：Y軸方向的分辨率與xScale保持一致zScale：Z軸方向的分辨率，該分辨率為16位圖像中的參數(shù)，故等于傳感器的Z軸高度值/65536Z轉(zhuǎn)CogImage16Range工具V+平臺(tái)軟件可實(shí)現(xiàn)3D圖像的采集和處理，與其相關(guān)的工具可分為3D取像工具和3D測(cè)量工具二、3D工具常見(jiàn)的3D測(cè)量工具平面夾角測(cè)量工具測(cè)高工具平面提取工具體積測(cè)量工具在測(cè)量高度時(shí)，其測(cè)量流程為：首先，要使用平面提取工具確定測(cè)高的基準(zhǔn)平面，其次，使用測(cè)高工具確定被測(cè)平面并完成高度測(cè)量二、3D工具平面提取工具在使用過(guò)程中需要如下配置：（1）平面擬合算法選擇（2）擬合算法所需參數(shù)設(shè)置在測(cè)量高度時(shí)，其測(cè)量流程為：首先，要使用平面提取工具確定測(cè)高的基準(zhǔn)平面，其次，使用測(cè)高工具確定被測(cè)平面并完成高度測(cè)量二、3D工具測(cè)高工具在使用過(guò)程中需要如下配置：（1）設(shè)定高度的正方向（2）選擇需要測(cè)高的平面三、3D視覺(jué)技術(shù)基礎(chǔ)應(yīng)用采用深視智能(SSZN)8060型號(hào)的激光線(xiàn)掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量三、3D視覺(jué)技術(shù)基礎(chǔ)應(yīng)用結(jié)果展示采用深視智能(SSZN)8060型號(hào)的激光線(xiàn)掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量三、3D視覺(jué)技術(shù)基礎(chǔ)應(yīng)用待測(cè)樣品及其高度SSZN8060傳感器采用深視智能(SSZN)8060型號(hào)的激光線(xiàn)掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量三、3D視覺(jué)技術(shù)基礎(chǔ)應(yīng)用1.新建項(xiàng)目14解決方案，并保存為“項(xiàng)目14-任務(wù)1-3D視覺(jué)技術(shù)基礎(chǔ)應(yīng)用-XXX”2.單擊“菜單”→“設(shè)備”→“3D相機(jī)”，雙擊“深視”3.參照左圖設(shè)置“深視”傳感器參數(shù)采用深視智能(SSZN)8060型號(hào)的激光線(xiàn)掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量三、3D視覺(jué)技術(shù)基礎(chǔ)應(yīng)用1.添加“001_內(nèi)部觸發(fā)”工具2.雙擊或拖出“圖像”工具包中的“3D取像”工具，并鏈接至“001_內(nèi)部觸發(fā)”工具采用深視智能(SSZN)8060型號(hào)的激光線(xiàn)掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量三、3D視覺(jué)技術(shù)基礎(chǔ)應(yīng)用1.雙擊或拖出“Cognex”工具包中的“Z轉(zhuǎn)CogImage16Range”工具2.同理，添加“004_ToolBlock”并鏈接至“Z轉(zhuǎn)CogImage16Range”工具采用深視智能(SSZN)8060型號(hào)的激光線(xiàn)掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量三、3D視覺(jué)技術(shù)基礎(chǔ)應(yīng)用1.“002_取像”工具屬性配置：源：相機(jī)設(shè)備：深視1圖像模式：彩色保存：勾選路徑：根路徑下的“Images”文件名：3D_Data文件類(lèi)型：ZMAP行數(shù)：8700超時(shí)（s）：202.單擊①處運(yùn)行取像采用深視智能(SSZN)8060型號(hào)的激光線(xiàn)掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量三、3D視覺(jué)技術(shù)基礎(chǔ)應(yīng)用“003_Z轉(zhuǎn)CogImage16Range”工具屬性配置：inputImage：鏈接“002_3D取像”工具的輸出“Data”imageWidth：鏈接“002_3D取像”工具的輸出“Width”imageHeight：鏈接“002_3D取像”工具的輸出“Height”xScale：0.012yScale：0.012zScale：0.000275采用深視智能(SSZN)8060型號(hào)的激光線(xiàn)掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量三、3D視覺(jué)技術(shù)基礎(chǔ)應(yīng)用“ToolBlock”工具配置：1.添加輸入項(xiàng)為“003_Z轉(zhuǎn)CogImage16Range”工具2.添加平面提取和測(cè)高工具3.將“Input1”依次鏈接至兩個(gè)3D工具的輸入圖像即⑤和⑥處采用深視智能(SSZN)8060型號(hào)的激光線(xiàn)掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量三、3D視覺(jué)技術(shù)基礎(chǔ)應(yīng)用“Cog3DRangeImagePlaneEstimatorTool1”工具配置：1.雙擊“Cog3DRangeImagePlaneEstimatorTool1”工具2.選擇擬合平面的方法為點(diǎn)擬合（Points），即勾選①處3.在②處拖動(dòng)四個(gè)點(diǎn)放在同一平面上4.將③處點(diǎn)鄰域范圍X和Y設(shè)為50采用深視智能(SSZN)8060型號(hào)的激光線(xiàn)掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量三、3D視覺(jué)技術(shù)基礎(chǔ)應(yīng)用“Cog3DRangeImageHeightCalculatorTool1”工具配置：1.雙擊“Cog3DRangeImageHeightCalculatorTool1”工具2.在①處選擇平面正方向?yàn)楦叨仍黾臃较颍↖ncreasingPlaneNormal）3.在②處選擇區(qū)域形狀為圓形（CogCircle）4.拖動(dòng)③處的綠色圓形區(qū)域?qū)⑵浞旁谛枰獪y(cè)高的平面采用深視智能(SSZN)8060型號(hào)的激光線(xiàn)掃相機(jī)，其X方向分辨率為0.012mm，Z軸高度為18mm，對(duì)樣品進(jìn)行高度測(cè)量三、3D視覺(jué)技術(shù)基礎(chǔ)應(yīng)用1.將“Cog3DRangeImagePlaneEstimatorTool1”的輸出“Result.Plane”鏈接至“Cog3DRangeImageHeightCalculatorTool1”工具的輸入“BasePlane”2.運(yùn)行該工具，查看測(cè)量的高度均值為7.24523mm總結(jié)3D視覺(jué)技術(shù)熟悉3D視覺(jué)技術(shù)的分類(lèi)，3D相機(jī)獲取的數(shù)據(jù)類(lèi)型及常見(jiàn)的3D相機(jī)類(lèi)型3D工具掌握3D工具的使用方法。3D視覺(jué)技術(shù)基礎(chǔ)應(yīng)用

能夠使用3D工具完成對(duì)測(cè)量項(xiàng)目的方案制作?？偨Y(jié)工業(yè)視覺(jué)技術(shù)只有賦能實(shí)體產(chǎn)業(yè)，自身才有不斷發(fā)展的動(dòng)力之源。3D視覺(jué)和深度學(xué)習(xí)增強(qiáng)了工廠(chǎng)自動(dòng)化市場(chǎng)中機(jī)器人/機(jī)器系統(tǒng)的自主性和有效性，因?yàn)檫@對(duì)于更高精度、更快速的質(zhì)量檢測(cè)，以及逆向工程等2D視覺(jué)受限的應(yīng)用至關(guān)重要。此外，視覺(jué)系統(tǒng)引導(dǎo)機(jī)器人的使用正在增長(zhǎng)，需要3D視覺(jué)來(lái)實(shí)現(xiàn)更好的遠(yuǎn)程引導(dǎo)、障礙識(shí)別和精確移動(dòng)；產(chǎn)品型號(hào)的多樣化、生產(chǎn)環(huán)境的復(fù)雜化也驅(qū)動(dòng)了深度學(xué)習(xí)帶來(lái)更加快捷、智能化、高端化的應(yīng)用本項(xiàng)目主要基于V+平臺(tái)軟件對(duì)工業(yè)視覺(jué)領(lǐng)域的3D視覺(jué)技術(shù)和深度學(xué)習(xí)算法進(jìn)行學(xué)習(xí)和應(yīng)用。THANKS工業(yè)視覺(jué)系統(tǒng)編程及基礎(chǔ)應(yīng)用PROJECT項(xiàng)目090810111213項(xiàng)目8外圍設(shè)備通訊與交互項(xiàng)目9鋰電池檢測(cè)項(xiàng)目10鋰電池測(cè)量項(xiàng)目11鋰電池識(shí)別項(xiàng)目12鋰電池引導(dǎo)抓取項(xiàng)目13前沿技術(shù)基礎(chǔ)應(yīng)用TASK任務(wù)2、深度學(xué)習(xí)基礎(chǔ)應(yīng)用任務(wù)一、深度學(xué)習(xí)技術(shù)二、深度學(xué)習(xí)工具三、深度學(xué)習(xí)基礎(chǔ)應(yīng)用常用3D相機(jī)品牌有哪些？V+中，和3D相關(guān)的工具有哪些？課前回顧1、深度學(xué)習(xí)概念人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的關(guān)系

概括來(lái)說(shuō)，人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)覆蓋的技術(shù)范疇是逐層遞減的，三者的關(guān)系如下圖所示。一、深度學(xué)習(xí)技術(shù)人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的關(guān)系1、深度學(xué)習(xí)概念人工智能（ArtificialIntelligence，AI）

是最寬泛的概念，是研究、開(kāi)發(fā)用于模擬、延伸、擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門(mén)技術(shù)科學(xué)，通過(guò)了解智能的實(shí)質(zhì)，產(chǎn)生一種新的能以人類(lèi)智能相似的方式做出反應(yīng)的智能機(jī)器。機(jī)器學(xué)習(xí)（MachineLearning，ML）是當(dāng)前比較有效的一種實(shí)現(xiàn)人工智能的方式，是研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類(lèi)的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能。深度學(xué)習(xí)（DeepLearning）是一種新的機(jī)器學(xué)習(xí)方法，它基于神經(jīng)網(wǎng)絡(luò)（NeuralNetworks）來(lái)處理和分析大量數(shù)據(jù)，是通過(guò)建立能模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型，計(jì)算觀(guān)測(cè)數(shù)據(jù)的多層特征或表示。與傳統(tǒng)的機(jī)器學(xué)習(xí)算法相比，深度學(xué)習(xí)具有更強(qiáng)的表達(dá)能力和更高的準(zhǔn)確性，其在許多領(lǐng)域都有廣泛的應(yīng)用，如機(jī)器視覺(jué)、自然語(yǔ)言處理、語(yǔ)音識(shí)別、推薦系統(tǒng)、游戲AI等。隨著計(jì)算能力的提高和大數(shù)據(jù)的普及，深度學(xué)習(xí)將進(jìn)一步推動(dòng)人工智能技術(shù)的發(fā)展。一、深度學(xué)習(xí)技術(shù)2、深度學(xué)習(xí)模型深度學(xué)習(xí)模型有很多種，常見(jiàn)的深度學(xué)習(xí)模型有卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)、長(zhǎng)短記憶網(wǎng)絡(luò)、強(qiáng)化學(xué)習(xí)模型等。其中，卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetwork，簡(jiǎn)稱(chēng)CNN）主要用于模式分類(lèi)、物體檢測(cè)等計(jì)算機(jī)視覺(jué)任務(wù)。該網(wǎng)絡(luò)避免了對(duì)圖像的復(fù)雜前期預(yù)處理，可以直接輸入原始圖像，因而得到了更為廣泛的應(yīng)用。CNN的核心思想是利用局部連接權(quán)值共享的方式來(lái)減少網(wǎng)絡(luò)參數(shù)和計(jì)算量。與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比，CNN可以更好地處理高維數(shù)據(jù)，并且具有平移不變性和局部相關(guān)性等特點(diǎn)。在傳統(tǒng)的工業(yè)視覺(jué)任務(wù)中，算法的性能好壞很大程度上取決于是否能選擇合適的特征，而這恰恰是最耗費(fèi)時(shí)間和人力的，所以在圖像、語(yǔ)言、視頻處理中就顯得更加困難。CNN可以做到從原始數(shù)據(jù)出發(fā)，避免前期的特征提取，在數(shù)據(jù)中找出規(guī)律，進(jìn)而完成任務(wù)。一、深度學(xué)習(xí)技術(shù)2、深度學(xué)習(xí)模型卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)一般由輸入層、隱含層、全連接層以及輸出層組成，如下圖所示。卷積神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)一、深度學(xué)習(xí)技術(shù)2、深度學(xué)習(xí)模型卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)及作用

其中，輸入層用于接受對(duì)應(yīng)的輸入圖像數(shù)據(jù)；隱含層通常由若干卷積層和池化層連接而成，負(fù)責(zé)特征的提取和組合；提取的特征送入全連接層，并通過(guò)激活函數(shù)得到最終的輸出層判別結(jié)果。值得注意的是，整個(gè)網(wǎng)絡(luò)中每一層均由不同權(quán)重值的神經(jīng)元構(gòu)成，連接著前后層網(wǎng)絡(luò)，起到正向傳輸預(yù)測(cè)值和反向調(diào)整權(quán)重參數(shù)的作用。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)及作用如圖所示。卷積神經(jīng)網(wǎng)絡(luò)作用及特點(diǎn)一、深度學(xué)習(xí)技術(shù)2、深度學(xué)習(xí)模型卷積層

在卷積層中，輸入數(shù)據(jù)被滑動(dòng)到一定大小的窗口內(nèi)，然后與每個(gè)窗口內(nèi)的所有卷積核進(jìn)行卷積運(yùn)算。由于卷積核的大小和數(shù)量可以根據(jù)具體任務(wù)進(jìn)行調(diào)整，因此可以提取不同大小、不同形狀的特征。這一層的主要目的就是將數(shù)據(jù)與權(quán)重矩陣（濾波器）進(jìn)行線(xiàn)性乘積并輸出特征圖。池化層

在卷積神經(jīng)網(wǎng)絡(luò)中，池化層對(duì)輸入的特征圖進(jìn)行壓縮，一方面使特征圖變小，簡(jiǎn)化網(wǎng)絡(luò)計(jì)算復(fù)雜度。另一方面進(jìn)行特征壓縮，提取主要特征。采用池化層可以忽略目標(biāo)的傾斜、旋轉(zhuǎn)之類(lèi)的相對(duì)位置的變化，以提高精度，同時(shí)降低了特征圖的維度，并且在一定程度上可以避免過(guò)擬合。池化層通常非常簡(jiǎn)單，通常取最大值或平均值來(lái)創(chuàng)建自己的特征圖，如右圖所示。全連接層

在全連接層中，前面的卷積層和池化層提取出的特征圖被展開(kāi)成一維向量，并通過(guò)一系列全連接層進(jìn)行分類(lèi)或回歸等任務(wù)。由于全連接層的參數(shù)數(shù)量非常大，因此可以使用反向傳播算法進(jìn)行訓(xùn)練。池化層一、深度學(xué)習(xí)技術(shù)3、深度學(xué)習(xí)框架深度學(xué)習(xí)框架是指通過(guò)高級(jí)編程接口為深度神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)、訓(xùn)練、驗(yàn)證提供的組件和構(gòu)建模塊。常用的深度學(xué)習(xí)框架有TensorFlow、PyTorch、Keras、Caffe、MXNet等。一、深度學(xué)習(xí)技術(shù)4、深度學(xué)習(xí)在工業(yè)視覺(jué)領(lǐng)域的應(yīng)用案例工件顏色分類(lèi)

在實(shí)際生產(chǎn)快速上下料分類(lèi)的過(guò)程中，產(chǎn)品常常不能保持固定的位姿和角度，加之產(chǎn)品顏色的多樣化，使其在同種同角度光源下，常存在不同視覺(jué)效果。傳統(tǒng)的視覺(jué)方案常通過(guò)多種光源、多種角度進(jìn)行拍攝，獲取穩(wěn)定的圖片效果，但生產(chǎn)效率較低，且仍然存在一定幾率的產(chǎn)品超出視野范圍、圖像模糊、過(guò)曝等情況，如下圖所示。工件顏色分類(lèi)圖像一、深度學(xué)習(xí)技術(shù)4、深度學(xué)習(xí)在工業(yè)視覺(jué)領(lǐng)域的應(yīng)用案例訓(xùn)練多姿態(tài)、多顏色、多種打光效果的圖片，使用深度學(xué)習(xí)分類(lèi)工具，即可正確區(qū)分顏色，并將顏色名稱(chēng)和得分情況顯示在圖片當(dāng)中。工件顏色分類(lèi)深度學(xué)習(xí)結(jié)果一、深度學(xué)習(xí)技術(shù)4、深度學(xué)習(xí)在工業(yè)視覺(jué)領(lǐng)域的應(yīng)用案例柱狀塞芯外觀(guān)缺陷檢測(cè)

柱狀塞芯一般為柱狀體，相機(jī)架設(shè)于產(chǎn)品柱狀側(cè)面，機(jī)構(gòu)帶動(dòng)產(chǎn)品旋轉(zhuǎn)一周取圖，如下圖所示。柱狀塞芯外觀(guān)缺陷檢測(cè)圖像一、深度學(xué)習(xí)技術(shù)（a）劃傷1（b）劃傷2（c）白斑1（d）白斑2（e）黑斑1（f）黑斑24、深度學(xué)習(xí)在工業(yè)視覺(jué)領(lǐng)域的應(yīng)用案例產(chǎn)品本身體積較小，出現(xiàn)缺陷的位置、種類(lèi)、圖像效果都不一致，且有些缺陷并不明顯，用傳統(tǒng)視覺(jué)較難實(shí)現(xiàn)找出外觀(guān)缺陷，此時(shí)需要用深度學(xué)習(xí)缺陷檢測(cè)工具實(shí)現(xiàn)該項(xiàng)目功能，如下圖所示。一、深度學(xué)習(xí)技術(shù)4、深度學(xué)習(xí)在工業(yè)視覺(jué)領(lǐng)域的應(yīng)用案例模穴號(hào)字符識(shí)別

產(chǎn)品表面雕刻模穴號(hào)時(shí)，常常存在字體不同、凹凸?fàn)顟B(tài)不同、金屬材質(zhì)不同導(dǎo)致的圖像效果差異大的問(wèn)題。使用傳統(tǒng)OCR工具進(jìn)行識(shí)別時(shí)，需要人工訓(xùn)練大量的字符；而導(dǎo)入通用的OCR字符識(shí)別深度學(xué)習(xí)模型，即可快速識(shí)別不同場(chǎng)景不同字符，配置簡(jiǎn)單，準(zhǔn)確性更高，如下圖所示。（a）模穴號(hào)1（b）模穴號(hào)2（c）模穴號(hào)3（d）模穴號(hào)4一、深度學(xué)習(xí)技術(shù)TASK任務(wù)2、深度學(xué)習(xí)基礎(chǔ)應(yīng)用任務(wù)一、深度學(xué)習(xí)技術(shù)二、深度學(xué)習(xí)工具三、深度學(xué)習(xí)基礎(chǔ)應(yīng)用二、深度學(xué)習(xí)工具1、DCCKDeepLearning工具包DCCKDeepLearning工具包

DCCKDeepLearning工具包，是專(zhuān)為工廠(chǎng)自動(dòng)化設(shè)計(jì)的深度學(xué)習(xí)視覺(jué)軟件，其包含了用于對(duì)象和場(chǎng)景分類(lèi)的Classify工具；用于缺陷探測(cè)和分割的Detection工具；用于文本和字符讀取的OCR工具，如下圖所示。本章節(jié)僅介紹DCCKOCRTool及其應(yīng)用。DCCKDeepLearning工具包二、深度學(xué)習(xí)工具2、DCCKOCRTool的作用DCCKOCRTool提供了圖形用戶(hù)界面，包含預(yù)訓(xùn)練模型，無(wú)需訓(xùn)練即可快速識(shí)別字符文本并顯示在圖像中。該工具基本支持包含英文、數(shù)字和標(biāo)點(diǎn)符號(hào)的全部場(chǎng)景的字符識(shí)別，如卷曲、折頁(yè)、污損、亮度不同、凹凸不同等多種場(chǎng)景，遇到預(yù)訓(xùn)練模型識(shí)別不準(zhǔn)確時(shí)，可以通過(guò)添加至訓(xùn)練集生成新模型。DCCKOCRTool默認(rèn)輸入為灰度圖像，默認(rèn)輸出為識(shí)別的字符串文本，如下左圖所示。其中，框選字符串的矩形框的高和寬可由外部進(jìn)行輸入，添加輸入終端，如下右圖所示。DCCKOCRTool默認(rèn)輸入輸出DCCKOCRTool添加終端二、深度學(xué)習(xí)工具3、DCCKOCRTool的組成DCCKDeepLearning配置選項(xiàng)卡界面

用于加載模型及配置參數(shù)。模式：定位+識(shí)別：該模式需要先定位字符串位置，再進(jìn)行識(shí)別識(shí)別：該模式無(wú)需定位，直接進(jìn)行識(shí)別模型加載：字符標(biāo)記矩形的最小/大允許高度，以像素為單位定位模型未加載：模式為“定位+識(shí)別”時(shí)，需要加載已訓(xùn)練的定位區(qū)域模型文件所在文件夾；模式為“識(shí)別”時(shí)，該按鈕不存在識(shí)別模型未加載：加載已訓(xùn)練的識(shí)別模型文件所在文件夾；OCR訓(xùn)練模型基本為通用，可用于多種情況識(shí)別字符其他參數(shù)解釋見(jiàn)“說(shuō)明”選項(xiàng)卡界面。二、深度學(xué)習(xí)工具3、DCCKOCRTool的組成DCCKDeepLearning結(jié)果選項(xiàng)卡界面

用于顯示識(shí)別字符串及分?jǐn)?shù)。二、深度學(xué)習(xí)工具3、DCCKOCRTool的組成DCCKDeepLearning說(shuō)明選項(xiàng)卡界面

用于顯示