機器視覺技術與應用實戰(zhàn)-基于深度學習的鋼管缺陷檢測案例

基于深度學習的鋼管缺陷檢測案例15.6.4基于深度學習的鋼管缺陷檢測案例1.應用案例背景：目前，我國有鋼管企業(yè)3000多家，其中焊管2700多家、無縫鋼管300多家，總產(chǎn)能超過1.1億噸，其中無縫鋼管約4500萬噸，焊管約6500萬噸。鋼管具有空心截面，其長度遠大于直徑或周長的鋼材。按截面形狀分為圓形、方形、矩形和異形鋼管;按材質(zhì)分為碳素結(jié)構鋼鋼管、低合金結(jié)構鋼鋼管、合金鋼鋼管和復合鋼管;按用途分為輸送管道用、工程結(jié)構用、熱工設備用、石油化工工業(yè)用、機械制造用、地質(zhì)鉆探用、高壓設備用鋼管等;按生產(chǎn)工藝分為無縫鋼管和焊接鋼管，其中無縫鋼管又分熱軋和冷軋(拔)兩種，焊接鋼管又分直縫焊接鋼管和螺旋縫焊接鋼管。鋼管不僅用于輸送流體和粉狀固體、交換熱能、制造機械零件和容器，它還是一種經(jīng)濟鋼材。用鋼管制造建筑結(jié)構網(wǎng)架、支柱和機械支架，可以減輕重量，節(jié)省金屬20～40%，而且可實現(xiàn)工廠化機械化施工。用鋼管制造公路橋梁不但可節(jié)省鋼材、簡化施工，而且可大大減少涂保護層的面積，節(jié)約投資和維護費用。對如此大產(chǎn)量的鋼管，鋼管缺陷外觀檢測和內(nèi)部探傷檢測是不可或缺的，鋼管品質(zhì)需要層層把控。鋼管表面的凹、凸等變形（面積大于3mm×3mm、深度大于0.5mm，且深度變化比較緩慢的，即過渡比較平滑的這類），尺寸相對較大。缺陷類型主要如：外折【照相檢查】、拉凹、拉絲（壓條）。鋼管沿縱向出現(xiàn)連續(xù)、斷續(xù)或不規(guī)則形狀的鋼絲壓入鋼管外表面，當經(jīng)過矯直工序后，鋼絲脫落，能明顯出現(xiàn)細但深的凹陷。（1）輥痕、壓痕在鋼管的外表面出現(xiàn)有規(guī)律性或無規(guī)律的疤痕或壓印。（2）擦傷、劃傷鋼管表面的點狀（多點分布）、片狀或長條狀掉肉、凹陷、螺旋形傷痕（且螺距較?。┘捌渌幸?guī)律或無規(guī)律分布的溝痕；擦傷、劃傷從區(qū)域可分為熱態(tài)和冷態(tài)，熱態(tài)劃傷的劃痕與管體呈一個顏色，冷態(tài)劃傷的劃痕呈銀亮色。2.鋼管外觀缺陷檢測需求：15.6.4基于深度學習的鋼管缺陷檢測案例2.鋼管外觀缺陷檢測需求：（3）外徑超差、橢圓度超差外徑超差是指外徑超出標準或協(xié)議規(guī)定偏差的上界限或下界限，超過上界限的稱為外徑超正（D+）、超過下界限的稱為外徑超負（D-）。鋼管橢圓度超過標準或協(xié)議規(guī)定的要求即是橢圓度超差。（4）凹面、碰（壓）扁凹面是鋼管局部表面向內(nèi)凹陷低于周圍金屬，管壁呈現(xiàn)外凹、里凸而無損傷現(xiàn)象；一般見于薄壁管。碰扁壓扁與凹面類似，凹面中間位置明顯低于正常的表面輪廓線但無低于周圍金屬的表現(xiàn)，這通常指在冷狀態(tài)下造成的損傷。（5）重皮軋入鋼管金屬基體表面，通常僅一端與基體金屬相連的極薄金屬長條或片層，通常呈舌狀或魚鱗片翹起；或與鋼管的本體沒有連結(jié)，但粘合到表面易于脫落。15.6.4基于深度學習的鋼管缺陷檢測案例2.鋼管外觀缺陷檢測需求：（6）螺旋道（7）鋼管內(nèi)、外表面的螺旋狀凹凸，當鋼管經(jīng)過定（減）徑后呈現(xiàn)出外表面光滑內(nèi)表面凹凸。（8）彎曲鋼管鋼管端部呈鵝頭彎曲。鋼管沿軸線不直，其每米或全長彎曲度值超過標準者叫彎曲。鋼管外表面的軸向不直程度稱為彎曲度。15.6.4基于深度學習的鋼管缺陷檢測案例2.鋼管外觀缺陷檢測需求：鋼管缺陷種類較多，缺陷位置分布隨機、結(jié)構繁雜、亮度/色度非均勻、紋理分布復雜，而且有表面高光反射現(xiàn)象，非缺陷區(qū)域同樣具有分散、非規(guī)則紋理特點，經(jīng)典特征分析難以涵蓋這些缺陷的全部特征，因此鋼管缺陷機器視覺檢測是一個非常有挑戰(zhàn)性的檢測問題，特別適合基于大量訓練樣本的深度學習技術來解決。部分鋼管缺陷圖片15.6.4基于深度學習的鋼管缺陷檢測案例3.深度學習視覺實現(xiàn)過程及應用特點無需編寫任何代碼，極大降低了視覺集成商的門檻；快速的視覺方案原型驗證，極大縮短了視覺項目集成及部署的時間周期；基于深度學習的算法，具有強大的檢測能力和不同的產(chǎn)品遷移能力。15.6.4基于深度學習的鋼管缺陷檢測案例3.深度學習視覺實現(xiàn)過程及應用特點

基于深度學習模塊的龍睿機器視覺系統(tǒng)實現(xiàn)過程如下：根據(jù)檢測對象特點和檢測指標要求進行硬件選型、圖像采集裝置結(jié)構設計和光源設計，視覺龍公司提供采集圖像輸入視覺主機、圖采集系統(tǒng)與控制系統(tǒng)與視覺主機的接口電路等完備解決方案；在深度學習視覺主機上進行軟件安裝與端口配置；訓練深度學習模型：包括訓練樣本和測試樣本圖像的準備，該深度學習模塊包含目標定位功能、樣本圖像的標簽標注功能，數(shù)據(jù)增強參數(shù)設定功能、模型自動訓練功能、訓練狀態(tài)進度與性能指標實時顯示功能、產(chǎn)生缺陷記錄文件和輸出控制信號等功能；進行深度學習模型的測試，算法性能達到要求后即可投入實時檢測使用和后續(xù)處理；必要時，將實測過程中錯誤的正樣本和負樣本加入原來的訓練樣本數(shù)據(jù)集，重新重復訓練過程。15.6.4基于深度學習的鋼管缺陷檢測案例4.硬件選型視覺器件的選擇，主要看客戶的視覺檢測要求，特別是檢測精度、速度和安裝高度。（1）視覺控制器的選擇：深度學習缺陷檢測，對電腦配置要求較高，CPUINTELI7以上、內(nèi)存8G以上、英偉達GPU16606G顯卡以上基本就可以了。（2）相機的選擇：檢測精度3mm*3mm，目前視野范圍最小是180mm*135mm。那么我們可以選擇檢測的實際視野范圍為200mm*150mm，檢測精度需要大于0.32mm，缺陷的檢測精度為理論的檢測精度上的10倍，所以我們選擇30萬像素CCD彩色相機，像素分辨率為640*480，理論檢測精度=200÷640=0.3125mm/pix，滿足客戶檢測精度要求。（3）鏡頭的選擇：視場長度/圖像傳感器長度尺寸=工作距離/焦距來平衡計算，可以選擇16mm焦距的鏡頭，滿足視野范圍和客戶安裝高度的要求。（4）光源的選擇：直徑290mm的白色環(huán)形光源2個。15.6.4基于深度學習的鋼管缺陷檢測案例4.硬件選型（5）硬件選型對應配置表名稱型號數(shù)量備注龍睿智能相機深度學習視覺系統(tǒng)視覺控制器深度學習視覺主機1含工控機，加密狗30萬像素相機VDC-C30-A120-E4含電源線、網(wǎng)線16mm焦距鏡頭VDLF-C-C1602D4含轉(zhuǎn)接環(huán)模擬光源控制器VDLSC-DPS24-41

環(huán)形光源VDLS-Z-R290X45W2含延長線15.6.4基于深度學習的鋼管缺陷檢測案例4.硬件選型（6）安裝示意圖相機鏡頭光源安裝位置圖15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置（1）缺陷樣本圖像準備深度學習缺陷檢測系統(tǒng)需要收集缺陷樣本圖像不低于10000張，訓練樣本量越大對訓練模型的優(yōu)化就越好，10000張樣本中，90%是缺陷樣本（即正樣本），10%是正常樣品（即正樣本）；90%的缺陷樣本里需要包含所有產(chǎn)品缺陷的種類。當樣本收集完成后，算法內(nèi)部會根據(jù)數(shù)據(jù)增強的參數(shù)（縮放、平移、旋轉(zhuǎn)角度等）進行數(shù)據(jù)增強，以便獲得足夠多的訓練樣本，然后才開始模型訓練。15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置（2）缺陷訓練樣本圖像設置打開軟件，新建缺陷樣本工程。新建缺陷樣本工程15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置（2）缺陷訓練樣本圖像設置導入樣本圖像導入樣本圖像15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置（2）缺陷訓練樣本圖像設置右鍵單擊工程添加像素分割1應用，剪切樣本圖。剪切樣本圖像15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置（2）缺陷訓練樣本圖像設置單擊選中GT,新增缺陷類型，更改缺陷名字后提交進行缺陷標記訓練。

準備標注樣本圖像15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置（2）缺陷訓練樣本圖像設置選擇圖片上的缺陷進行標記訓練，如下圖，把缺陷部分標記成紅色。

標注缺陷樣本圖像15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置（2）缺陷訓練樣本圖像設置標記完所有圖片后進行訓練學習以及特征提取，訓練的過程中需要等待PosAcc（目標的識別率。取值范圍0-1。值越大，訓練效果越好）&NegAcc（背景的識別率。值越大，訓練效果越好）數(shù)值都在90%以上，才可以停止訓練，不然特征提取的效果不明顯。Loss是指衡量識別結(jié)果與標記之間的差距。值越小，訓練效果越好。顯示訓練過程中性能評價指標與曲線15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置（2）缺陷訓練樣本圖像設置停止訓練后，檢測程序會把訓練的樣本圖片檢測一遍，如下圖。

訓練后的模型在訓練樣本上的表現(xiàn)15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置（2）缺陷訓練樣本圖像設置模型訓練完成后，會產(chǎn)生一個在線缺陷檢測的工程與配置文件，之后將該配置文件導入在線運行軟件即可進行實時檢測，設置檢測完成后運行軟件如下圖.任務1主要用來做通訊，面陣相機的外部觸發(fā)信號采集后執(zhí)行任務2、3、4、5；任務2、3、4、5主要用于圖像采集，缺陷檢測、保存缺陷圖像；任務6，匯總?cè)蝿?、3、4、5檢測的結(jié)果，如果檢測到缺陷就輸出信號，控制噴碼機噴碼進行標記。15.6.4基于深度學習的鋼管缺陷檢測案例龍睿智能相機深度學習檢測

5.模型訓練與控制軟件配置(3)任務1軟件設置面陣相機工具設置：硬件相機線材連接好之后，進行軟件連接設定，打開面陣相機工具→單擊配置參數(shù)→選擇相機類型VDC→選擇相機個數(shù)4個→自定義設置IP可以設置更改相機IP地址順序。

15.6.4基于深度學習的鋼管缺陷檢測案例面陣相機工具設置窗口5.模型訓練與控制軟件配置(3)任務1軟件設置16BitIO工具設置：硬件PCI的IO卡連接到相機主板上后，只需要把工具放置到任務1就可以激活IO通訊，如果需要輸出，可以用輸出IO工具進行調(diào)用輸出，輸入信號選擇可以是上升沿/下降沿/低電平/高電平。輸出信號選擇可以是脈沖信號/高電平信號。16BitIO工具設置窗口15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置(3)任務1軟件設置條件執(zhí)行工具設置：雙擊打開條件執(zhí)行，面陣相機取圖完成信號1為真時，執(zhí)行工具/任務2、3、4、5。條件執(zhí)行工具設置窗口15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置(4)任務2軟件設置圖像采集工具設置：模擬現(xiàn)場檢測的時候，啟用仿真圖像，調(diào)用離線圖像進行檢測；也可以啟用相機在線檢測，任務2啟用相機在線→面陣相機一→執(zhí)行→關閉即可調(diào)用相機實時采集圖像進行檢測。圖像采集工具設置窗口15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置(4)任務2軟件設置統(tǒng)計工具設置：統(tǒng)計工具主要用來計數(shù)，相機目前采集的次數(shù)做統(tǒng)計使用，用來計算一根鋼管采集了多少次圖像。單擊添加，調(diào)用圖像采集TO21的取圖成功參數(shù)來作為一次計數(shù)，不斷累加計數(shù)。

統(tǒng)計工具設置窗口15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置(4)任務2軟件設置顯示文本工具設置：選擇輸入采集圖像，添加采集內(nèi)容，雙擊進入采集內(nèi)容進行內(nèi)容設置，數(shù)據(jù)鏈接選擇統(tǒng)計工具T022的ALL數(shù)量→設置→關閉→字體大小調(diào)節(jié)到到最大→設置→關閉就設置好了。圖15.42顯示文本工具設置窗口15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置(4)任務2軟件設置深度學習工具設置：輸入圖像采集T021，加載之前訓練好的鋼管缺陷檢測的工程文件（自然傷.proj），單擊初始化等待初始化成功后→單擊執(zhí)行→關閉，就可以看到檢測效果，深度學習運行設置完畢。深度學習工具設置窗口15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置(4)任務2軟件設置圖像保存工具設置：輸入圖像T021→狀態(tài)選擇1→保存OK/NG/結(jié)果圖片，自定義設置保存路徑→設置→保存，圖像保存設置完成。

圖像保存工具設置窗口15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置（5）任務3軟件設置①任務3屬性設置：觸發(fā)執(zhí)行→確定。②圖像采集工具設置：模擬現(xiàn)場檢測的時候，啟用防真圖像，調(diào)用離線圖像進行檢測；也可以啟用相機在線檢測，任務3啟用相機在線→面陣相機二→執(zhí)行→關閉即可調(diào)用相機實時采集圖像進行檢測。③統(tǒng)計工具設置：統(tǒng)計工具主要用來計數(shù)，相機目前采集的次數(shù)做統(tǒng)計使用，用來計算一根鋼管采集了多少次圖像。單擊添加，調(diào)用圖像采集TO31的取圖成功參數(shù)來作為一次計數(shù)，不斷累加計數(shù)。④顯示文本工具設置：選擇輸入采集圖像，添加采集內(nèi)容，雙擊進入采集內(nèi)容進行內(nèi)容設置，數(shù)據(jù)鏈接選擇統(tǒng)計工具T032的ALL數(shù)量→設置→關閉→字體大小調(diào)節(jié)到到最大→設置→關閉就設置好了。⑤深度學習工具設置：輸入圖像采集T031，加載之前訓練好的鋼管缺陷檢測的工程文件（自然傷.proj），單擊初始化等待初始化成功后→單擊執(zhí)行→關閉，就可以看到檢測效果，深度學習運行設置完畢。⑥圖像保存工具設置：輸入圖像T031→狀態(tài)選擇1→保存OK/NG/結(jié)果圖片，自定義設置保存路徑→設置→保存，圖像保存設置完成。15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置（6）任務3軟件設置①任務4屬性設置：觸發(fā)執(zhí)行→確定。②圖像采集工具設置：模擬現(xiàn)場檢測的時候，啟用防真圖像，調(diào)用離線圖像進行檢測；也可以啟用相機在線檢測，任務3啟用相機在線→面陣相機三→執(zhí)行→關閉即可調(diào)用相機實時采集圖像進行檢測。③統(tǒng)計工具設置：統(tǒng)計工具主要用來計數(shù)，相機目前采集的次數(shù)做統(tǒng)計使用，用來計算一根鋼管采集了多少次圖像。單擊添加，調(diào)用圖像采集TO41的取圖成功參數(shù)來作為一次計數(shù)，不斷累加計數(shù)。④顯示文本工具設置：選擇輸入采集圖像，添加采集內(nèi)容，雙擊進入采集內(nèi)容進行內(nèi)容設置，數(shù)據(jù)鏈接選擇統(tǒng)計工具T042的ALL數(shù)量→設置→關閉→字體大小調(diào)節(jié)到到最大→設置→關閉就設置好了。⑤深度學習工具設置：輸入圖像采集T041，加載之前訓練好的鋼管缺陷檢測的工程文件（自然傷.proj），單擊初始化等待初始化成功后→單擊執(zhí)行→關閉，就可以看到檢測效果，深度學習運行設置完畢。⑥圖像保存工具設置：輸入圖像T041→狀態(tài)選擇1→保存OK/NG/結(jié)果圖片，自定義設置保存路徑→設置→保存，圖像保存設置完成。15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置（7）任務5軟件設置①任務5屬性設置：觸發(fā)執(zhí)行→確定。②圖像采集工具設置：模擬現(xiàn)場檢測的時候，啟用防真圖像，調(diào)用離線圖像進行檢測；也可以啟用相機在線檢測，任務3啟用相機在線→面陣相機四→執(zhí)行→關閉即可調(diào)用相機實時采集圖像進行檢測。③統(tǒng)計工具設置：統(tǒng)計工具主要用來計數(shù)，相機目前采集的次數(shù)做統(tǒng)計使用，用來計算一根鋼管采集了多少次圖像。單擊添加，調(diào)用圖像采集TO51的取圖成功參數(shù)來作為一次計數(shù)，不斷累加計數(shù)。④顯示文本工具設置：選擇輸入采集圖像，添加采集內(nèi)容，雙擊進入采集內(nèi)容進行內(nèi)容設置，數(shù)據(jù)鏈接選擇統(tǒng)計工具T052的ALL數(shù)量→設置→關閉→字體大小調(diào)節(jié)到到最大→設置→關閉就設置好了。⑤深度學習工具設置：輸入圖像采集T051，加載之前訓練好的鋼管缺陷檢測的工程文件（自然傷.proj），單擊初始化等待初始化成功后→單擊執(zhí)行→關閉，就可以看到檢測效果，深度學習運行設置完畢。⑥圖像保存工具設置：輸入圖像T051→狀態(tài)選擇1→保存OK/NG/結(jié)果圖片，自定義設置保存路徑→設置→保存，圖像保存設置完成。15.6.4基于深度學習的鋼管缺陷檢測案例5.模型訓練與控制軟件配置（8）任務6軟件設置①任務6屬性設置：協(xié)同執(zhí)行，協(xié)同任務為2/3/4/5→確定，任務6的執(zhí)行條件是任務2、3、4、5都執(zhí)行完成。②評估工具設置：評估數(shù)值添加深度學習T025/T035/T045/T055工具，統(tǒng)一判斷狀態(tài)，只要有一個相機檢測NG，那產(chǎn)品檢測狀態(tài)則為NG。任務6屬性設置窗口15.6.4基于深度學習的鋼管缺陷檢測案例6.數(shù)據(jù)/信號輸出輸出IO工具設置：如果評估工具T061的狀態(tài)為OK,則信號點0號端口有信號，如果T061的狀態(tài)為NG，則信號點1號端口有信號。如果噴碼