《工業(yè)視覺檢測(cè)平臺(tái)的思考與應(yīng)用》

工業(yè)視覺檢測(cè)平臺(tái)的思考與應(yīng)用目錄01智能制造中AI落地的機(jī)遇與挑戰(zhàn)02經(jīng)驗(yàn)分享03使用ViMo平臺(tái)n選擇的AI場(chǎng)景要符合“實(shí)際”業(yè)務(wù)目標(biāo)；n如何設(shè)定項(xiàng)目目標(biāo)？業(yè)務(wù)目標(biāo)直接---->AI的指標(biāo)n怎么落地、在哪落地；

n期望落差；例如：希望AI能替代“完整”的人；人看圖片都分不清的，希望AI能分清；nAI項(xiàng)目的ROI衡量；場(chǎng)景和預(yù)期 人才 運(yùn)維 產(chǎn)品兼容升級(jí)集成、上線、運(yùn)行n缺乏AI人才；n對(duì)口資源招募難；n內(nèi)部已有人才資源需“實(shí)踐性”項(xiàng)目才能掌握完整項(xiàng)目的nAI系統(tǒng)交付后，希望不需要具備“AI專家”也能維護(hù)；n系統(tǒng)的問題和診斷、反饋要簡(jiǎn)單，盡量能自己搞定；nAI系統(tǒng)或者交付的整體解決方案（軟件

、算法、模型等）要能具備應(yīng)對(duì)“新問題”的能力；nAI系統(tǒng)如何有效

、高效的集成到企業(yè)的ERP、MES等系統(tǒng)中；n如何說服管理層相信本次導(dǎo)入的這個(gè)AI系統(tǒng)是可信的、比人好、比人工目檢要可靠；n如何對(duì)AI系統(tǒng)進(jìn)行持續(xù)的監(jiān)控、使之可信；經(jīng)驗(yàn)分享某世界五百?gòu)?qiáng)車企水箱在生產(chǎn)過程中由于前工序段的生產(chǎn)工藝問題會(huì)造成水箱組成零件存在少部分缺陷。一個(gè)汽車水箱需要檢測(cè)300個(gè)左右的細(xì)小零件，只要有一個(gè)零件存在缺陷那么整個(gè)水箱就是殘次品，并且對(duì)水箱的整體散熱性能和生命周期有較大影響。目前多條產(chǎn)線的產(chǎn)量巨大，需要對(duì)所有水箱進(jìn)行人工肉眼檢測(cè)，因?yàn)槿毕萜芬坏?。n提供成像方案和缺陷檢測(cè)算法及相應(yīng)軟件并與電裝產(chǎn)線設(shè)備配合剔除殘次品。n盡管每條產(chǎn)線只生產(chǎn)固定尺寸的水箱，但為了方便部署，客戶要求模型兼容大小尺寸不同、形狀相似的水箱型號(hào)。n要求有95%的識(shí)別率，檢測(cè)數(shù)據(jù)與產(chǎn)線控制系統(tǒng)互通。多人工全檢資源浪費(fèi)、效率低3D傳感器解決方案l只能檢測(cè)高度差特別明顯的缺陷l對(duì)同一個(gè)零部件檢測(cè)一致性不好

傳統(tǒng)的2D解決方案l對(duì)于這種不規(guī)則缺陷無法用統(tǒng)一算法l對(duì)于灰塵或者其他干擾太敏感l(wèi)過殺漏殺率不能滿足工業(yè)產(chǎn)線標(biāo)準(zhǔn)

OK NGSM-InSight二分類解決方案汽車水箱散熱芯細(xì)小缺陷檢測(cè)公司名稱D公司企業(yè)地點(diǎn)廣州所屬行業(yè)汽車產(chǎn)品和服務(wù)汽車零配件檢測(cè)項(xiàng)目范圍：?實(shí)現(xiàn)汽車水箱散熱芯的直邊丟失、R角丟失等缺陷?實(shí)現(xiàn)OK/NG二分類，并且定位出缺陷位置。主要目標(biāo)：?設(shè)計(jì)成像方案等硬件，完成算法SDK及軟件UI設(shè)計(jì)?定位缺陷位置并將檢測(cè)結(jié)果，通過TCP/IP協(xié)議反饋給機(jī)械手，執(zhí)行機(jī)構(gòu)對(duì)缺陷物體進(jìn)行剔除操作。解決方案：?SM-Insight工業(yè)質(zhì)檢軟件實(shí)現(xiàn)標(biāo)注、訓(xùn)練、導(dǎo)出缺陷檢測(cè)算法模型?SM-Insight工業(yè)質(zhì)檢推演軟件、包含數(shù)據(jù)統(tǒng)計(jì)、權(quán)限管理、產(chǎn)品管理等功能項(xiàng)目難點(diǎn)：?缺陷類型繁多有R部扁管開裂、平行部單邊整體丟失、平行管雙邊整體缺失、平行部扁管缺口、平行部擠壓變形等。?傳統(tǒng)2D檢測(cè)算法檢測(cè)不穩(wěn)定，錯(cuò)判率高、3D檢測(cè)方案無法只能檢測(cè)高度差相關(guān)缺陷。?每個(gè)水箱有300個(gè)左右細(xì)小零件，對(duì)檢測(cè)算法效率有很高要求。主要收益：?解決客戶嘗試傳統(tǒng)2D和3D方案無法檢測(cè)采用人工抽檢的問題。?替換了客戶人工抽檢的方式，并且實(shí)現(xiàn)產(chǎn)品檢測(cè)全覆蓋避免了不良品組裝到整車了造成巨大的經(jīng)濟(jì)損失。?根據(jù)統(tǒng)計(jì)不良品的數(shù)量可以提升生產(chǎn)工藝及車間操作工的作業(yè)規(guī)范及效率。*本項(xiàng)目已經(jīng)在廣州電裝增城水箱生產(chǎn)車間上線測(cè)試迭代。95+%效率85%替換人工的質(zhì)檢方式視覺節(jié)拍90%30%某A客戶代工廠需要對(duì)新一代智能手表表帶金屬件雕刻字符進(jìn)行智能識(shí)別，用于材料追溯。項(xiàng)目為A客戶國(guó)內(nèi)第一條產(chǎn)線，希望實(shí)現(xiàn)智能化生產(chǎn)，該產(chǎn)品預(yù)計(jì)于2020年9月上市。該代工廠6條產(chǎn)線（1200片/小時(shí)）生產(chǎn)A客戶某產(chǎn)品，因物件過小無法人工識(shí)別，客戶希望采用自動(dòng)化設(shè)備完成，并達(dá)到快速、高效的處理流程。所以具體需求如下：n提供字符識(shí)別軟件，包括：軟件界面與智能化算法；n盡量提高字符準(zhǔn)確率，保證追溯碼正確入庫(kù)；n確保OK/NG二分類達(dá)到高檢出率，減少人工復(fù)查；n兼容不同雕刻工藝；n極限壓縮算法推理時(shí)間。AIOCR思謀工業(yè)智能檢測(cè)平臺(tái)?OK/NG判別?字符識(shí)別?識(shí)別結(jié)果可視化n對(duì)接自動(dòng)化系統(tǒng)n上報(bào)識(shí)別數(shù)據(jù)識(shí)別困難物件過小無法目檢快速10倍提高檢測(cè)速度產(chǎn)線實(shí)物機(jī)構(gòu)+成像雕刻工藝一覽銀色雕刻字符 黑色雕刻字符 平面雕刻字符n數(shù)據(jù)說明：以上為本項(xiàng)目所獲得數(shù)據(jù)的不同日期、不同批次展示，數(shù)據(jù)較模糊及不統(tǒng)一；n客戶需求：兼容不同雕刻工藝字符，并保證高識(shí)別率及高準(zhǔn)確率。公司名稱企業(yè)總部臺(tái)灣（臺(tái)北）所屬行業(yè)高科技、電子制造產(chǎn)品和服務(wù)項(xiàng)目范圍：?金屬件字符雕刻識(shí)別主要目標(biāo)：?替代人眼識(shí)別字符?達(dá)到高識(shí)別率、高準(zhǔn)確率?快速識(shí)別字符，極限壓縮處理時(shí)間解決方案：?SMore-ViMo思謀工業(yè)智能檢測(cè)平臺(tái)標(biāo)注、訓(xùn)練、運(yùn)行項(xiàng)目難點(diǎn)：?物件過小，無法人工目檢?字符多種形態(tài)，并可能出現(xiàn)雕刻、成像等問題，從而影響識(shí)別率主要收益：?極大減少人的檢測(cè)識(shí)別時(shí)間，加快生產(chǎn)流程?泛化能力強(qiáng)，兼容多種雕刻工藝及成像效果?算法穩(wěn)定，魯棒性強(qiáng)字符準(zhǔn)確率識(shí)別率綜合人員替代率快速上海某研究院

致力于“超越摩爾”技術(shù)和物聯(lián)網(wǎng)應(yīng)用的創(chuàng)新和產(chǎn)業(yè)化。8英寸“超越摩爾”研發(fā)中試線n工程服務(wù)（技術(shù)分析、測(cè)試、設(shè)備和能力、分析報(bào)告）n設(shè)計(jì)服務(wù)（半導(dǎo)體設(shè)計(jì)、制造全流程）、Turnkeyn知識(shí)產(chǎn)權(quán)（評(píng)估、分析、運(yùn)營(yíng)）幾萬~幾十萬張8192x8192照片?模擬器和數(shù)字單元?類型，數(shù)量、位置?JSON文件電子顯微鏡逐層掃描 現(xiàn)有人工標(biāo)注、自研分析軟件的測(cè)量，標(biāo)注2~N個(gè)月時(shí)間每個(gè)芯片樣本n芯片分析報(bào)告n芯片設(shè)計(jì)文件準(zhǔn)確率低現(xiàn)有作業(yè)軟件誤差高周期長(zhǎng)成本高需專業(yè)知識(shí)才能做統(tǒng)計(jì)分析技術(shù)人員+自研軟件分析裁剪后：512x512 結(jié)果：類型，坐標(biāo) 項(xiàng)目 AI的工作任務(wù) 業(yè)務(wù)指標(biāo) 備注項(xiàng)目1識(shí)別閉合圖形（線/孔/多邊形）分割檢測(cè)輸出：1）所有的線（閉合標(biāo)記出來）2）孔3）多邊形準(zhǔn)確率：99%覆蓋率：100%例如：檢測(cè)了100萬個(gè)孔，容許漏檢100個(gè)。項(xiàng)目2數(shù)字單元識(shí)別–聚類分析范圍：1）標(biāo)準(zhǔn)：500種2）定制：100種輸出：分割出每個(gè)器件，并且將相同類歸為同一類準(zhǔn)確率：99%覆蓋率：100%AI集成到客戶業(yè)務(wù)系統(tǒng)SM-InsightAI推理環(huán)境SMInsightAI訓(xùn)練環(huán)境LinuxOSDocker2XCPU，128GB內(nèi)存英偉達(dá)TitanVGPU待處理照片的分辨率n512x512n8000*8000n16000*16000n32000*32000n64000*64000輸出文件：JSON（參考當(dāng)前）n類型：Metaln坐標(biāo)：X,Y,X,Yn置信度：0~1之間n芯片分析報(bào)告n芯片設(shè)計(jì)文件備注：服務(wù)器為當(dāng)前SITRI的硬件環(huán)境，僅供參考ID 輸出 輸出狀態(tài)圖片1孔、線、位置 0.95人看圖片2孔、線、位置 0.98OK圖片3孔、線、位置 0.98OK人復(fù)檢AI處理說明：低置信度or定期5%抽檢不停補(bǔ)充負(fù)樣本，迭代提升模型準(zhǔn)確率n分析軟件直接顯示AI輸出的數(shù)據(jù)n數(shù)據(jù)合并n數(shù)據(jù)整合和處理AI的處理任務(wù)流embedding：我們會(huì)使用定制的損失函數(shù)、對(duì)不同實(shí)例自動(dòng)分配權(quán)重、數(shù)據(jù)算法流程提升樣本利用率提升樣品利用率富信息標(biāo)注，提升單樣本信息量小樣本學(xué)習(xí)技術(shù)推理時(shí)重利用訓(xùn)練樣本）重采樣、權(quán)重分配、在線數(shù)據(jù)增強(qiáng)，在線困難樣本挖掘樣本物理旋轉(zhuǎn)、添加噪樣品 模擬制造缺陷 聲進(jìn)行樣品增強(qiáng)任務(wù)：圖片分析假設(shè)：95%-Recall，以1萬張圖舉例5%95%AI的結(jié)果，沒問題n250張n工作：人工確認(rèn)置信度較低的部分，高亮色框出，YES/NO的確認(rèn)即可n250張n工作：圖片上置信度低（NG部分–高亮色框處），需要人工重新打框OKNG置信度>=0.98置信度<0.98假設(shè)：n95%-AI判斷沒問題，無需人判（節(jié)約人力成本，保證一定準(zhǔn)確率）n5%-AI判斷不確定500張圖片需要人工復(fù)檢n上線后5%的定期、隨機(jī)抽查（監(jiān)控AI），監(jiān)控AI的精度n閾值設(shè)為0.98（假設(shè)）保證閾值以上的檢測(cè)是準(zhǔn)確的隨著模型精度提升可逐漸下調(diào)，用來提升Recall（覆蓋率）是否有問題肉眼復(fù)檢無需標(biāo)注n分析軟件二次數(shù)據(jù)n數(shù)據(jù)合并n數(shù)據(jù)整合和處理可能的人力損耗通過2~3輪生產(chǎn)階段的負(fù)樣本和優(yōu)化從而迭代大幅提升覆蓋率、穩(wěn)定模型提升覆蓋率優(yōu)化和穩(wěn)定算法GPU/CPU服務(wù)器集群訓(xùn)練系統(tǒng)存儲(chǔ)（NAS）（站點(diǎn)/產(chǎn)品/訓(xùn)練集/題庫(kù)/驗(yàn)證集）AI推理模塊 AI訓(xùn)練模塊?JSON/Protobuf格式?任務(wù)ID?圖片存儲(chǔ)的路徑

ADC前臺(tái)應(yīng)用系統(tǒng)

TIBCO對(duì)接MES系統(tǒng)間中件AOI機(jī)臺(tái)?玻璃/圖片ID?檢測(cè)結(jié)果讀取NAS的圖片（本地目錄掛載）玻璃IDK8S容器環(huán)境調(diào)度管理任務(wù)管理業(yè)務(wù)規(guī)則任務(wù)模板缺陷分析 …算法微服務(wù)（apiserver）模型1