面向電子行業(yè)的工業(yè)AI視覺(jué)在線檢測(cè)系統(tǒng)技術(shù)規(guī)范

1T/CESAXXXX-202X面向電子行業(yè)的工業(yè)AI視覺(jué)在線檢測(cè)系統(tǒng)技術(shù)規(guī)范本文件規(guī)定了用于電子行業(yè)3C類(lèi)產(chǎn)品（計(jì)算機(jī)類(lèi)、通信類(lèi)和消費(fèi)類(lèi)電子產(chǎn)品）的工業(yè)視覺(jué)在線檢測(cè)系統(tǒng)的基本架構(gòu)、功能要求、性能要求及測(cè)試方法。本文件適用于電子行業(yè)3C類(lèi)產(chǎn)品在器件錯(cuò)漏反檢測(cè)、異物檢測(cè)、工業(yè)OCR及外觀缺陷檢測(cè)等場(chǎng)景應(yīng)用的工業(yè)視覺(jué)在線檢測(cè)系統(tǒng)的規(guī)劃、設(shè)計(jì)、實(shí)施和檢測(cè)。2規(guī)范性引用文件本文件無(wú)規(guī)范性引用文件。3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。3.1正檢truepositive對(duì)于有缺陷產(chǎn)品，正確給出有缺陷的檢測(cè)結(jié)果。3.2誤檢falsepositive對(duì)于無(wú)缺陷產(chǎn)品，錯(cuò)誤給出有缺陷的檢測(cè)結(jié)果。3.3漏檢falsenegative對(duì)于有缺陷產(chǎn)品，錯(cuò)誤給出無(wú)缺陷的檢測(cè)結(jié)果。3.4誤檢率/過(guò)殺率falsepositiverate將無(wú)缺陷的產(chǎn)品識(shí)別為有缺陷產(chǎn)品的數(shù)量，與全部無(wú)缺陷產(chǎn)品數(shù)量的比例。3.5漏檢率falsenegativerate將有缺陷的產(chǎn)品識(shí)別為無(wú)缺陷產(chǎn)品的數(shù)量，與全部有缺陷產(chǎn)品數(shù)量的比例。2T/CESAXXXX-202X3.6系統(tǒng)檢測(cè)速度systemdetectionspeed將單個(gè)樣品從到達(dá)系統(tǒng)指定位置開(kāi)始做圖像采集，到AI圖像處理進(jìn)行缺陷分析，并最終輸出檢測(cè)結(jié)果所消耗的時(shí)間。4縮略語(yǔ)下列縮略語(yǔ)適用于本文件。AI：人工智能（ArtificialIntelligence）OCR:光學(xué)字符識(shí)別（OpticalCharacterRecognition）5基本架構(gòu)圖圖1面向電子行業(yè)的工業(yè)AI視覺(jué)在線檢測(cè)系統(tǒng)基本架構(gòu)面向電子行業(yè)的工業(yè)AI視覺(jué)在線檢測(cè)系統(tǒng)基本架構(gòu)見(jiàn)圖1，包含工位模塊和質(zhì)檢模塊：a)工位模塊包含圖像采集、任務(wù)配置、光源控制、成像控制、工位標(biāo)注等功能模塊。一般在部署工控機(jī)或臺(tái)式機(jī)，由專(zhuān)人負(fù)責(zé)操作；b)質(zhì)檢模塊包含應(yīng)用服務(wù)、AI服務(wù)、運(yùn)維管理、數(shù)據(jù)存儲(chǔ)等功能模塊，AI服務(wù)中的訓(xùn)練既支持本機(jī)訓(xùn)練，也可調(diào)用云或行業(yè)算力中心的訓(xùn)練功能和算力；其他模塊在接收到質(zhì)檢模塊的推理結(jié)果后，進(jìn)行人機(jī)交互或觸發(fā)控制系統(tǒng)下一步動(dòng)作，如異常報(bào)警、觸發(fā)機(jī)械臂取走缺陷物品等。其他模塊不屬于本文件范圍。6功能要求6.1工位模塊6.1.1圖像采集圖像采集的要求包括：a)圖像采集單元應(yīng)滿足一組成像設(shè)備抓拍成像或多組成像設(shè)備同步抓拍成像；3T/CESAXXXX-202Xb)圖像傳輸應(yīng)支持TCP/IP、FTP、USB、CXP、GIGE、CAMLINKE等一種或多種傳輸協(xié)議；c)圖像成像像素應(yīng)支持30萬(wàn)、130萬(wàn)、200萬(wàn)、500萬(wàn)、1200萬(wàn)、2500萬(wàn)、2900萬(wàn)、3100萬(wàn)、5000萬(wàn)、6500萬(wàn)、15000萬(wàn)等一種或多種分辨率，圖像成像像素宜能設(shè)置；d)圖像成像編碼格式應(yīng)支持Bayer8、RGB、BMP、PNG、RGB-D、YUV、Mono8/10/12等一種或多種格式；e)圖像成像文件格式應(yīng)支持jpeg、tiff等一種或多種格式；f)圖像成像應(yīng)支持1位、8位、16位、24位、32位等；g)圖像幀率應(yīng)滿足業(yè)務(wù)應(yīng)用需求，支持20FPS以上；h)宜支持對(duì)圖片根據(jù)檢測(cè)要求進(jìn)行摳圖、拼接、縮放及配準(zhǔn)等編輯操作；i)宜支持圖像位置預(yù)處理：配準(zhǔn)矯正、旋轉(zhuǎn)等；j)宜支持圖像的ROI（RegionofInterest）功能；k)宜支持圖像增強(qiáng)處理：光照預(yù)處理、對(duì)比度增強(qiáng)等。6.1.2任務(wù)配置任務(wù)配置的要求包括：a)應(yīng)支持與產(chǎn)線上自動(dòng)化設(shè)備如機(jī)械臂或傳感器連接，并根據(jù)檢測(cè)流程觸發(fā)自動(dòng)化設(shè)備或傳感器的操作；b)宜支持創(chuàng)建業(yè)務(wù)流程，包含觸發(fā)相機(jī)拍照、光源發(fā)光方式、調(diào)用推理服務(wù)、對(duì)分析結(jié)果進(jìn)行處理等。6.1.3光源控制光源控制的要求包括：a)應(yīng)支持光源的開(kāi)關(guān)控制；b)應(yīng)支持RS-232、RS-485、以太網(wǎng)等一種或多種通信方式；c)宜支持光源強(qiáng)度的設(shè)定；d)宜支持光源工作模式的設(shè)定，如常亮、頻閃燈；e)宜支持光源的遠(yuǎn)程控制；f)宜支持光源的獨(dú)立控制，可應(yīng)對(duì)多種不同背景的被測(cè)對(duì)象。6.1.4成像控制成像控制的要求包括：a)應(yīng)支持控制相機(jī)拍攝圖像；b)應(yīng)支持控制相機(jī)調(diào)整參數(shù)和光源，如焦距和亮度。6.1.5工位標(biāo)注工位標(biāo)準(zhǔn)應(yīng)支持對(duì)采集的圖片進(jìn)行人工或自動(dòng)標(biāo)注。6.2質(zhì)檢模塊6.2.1應(yīng)用服務(wù)應(yīng)用服務(wù)的要求包括：a)應(yīng)支持容器化部署，能適應(yīng)不同操作系統(tǒng)運(yùn)行環(huán)境；b)應(yīng)支持對(duì)于應(yīng)用服務(wù)如工業(yè)OCR、器件錯(cuò)漏反檢測(cè)及缺陷檢測(cè)等，提供開(kāi)發(fā)接口；4T/CESAXXXX-202Xc)宜具備外部數(shù)據(jù)源接入功能，能將圖片等應(yīng)用數(shù)據(jù)引流到應(yīng)用內(nèi)部數(shù)據(jù)標(biāo)準(zhǔn)或推理。6.2.2AI服務(wù)AI服務(wù)的要求包括：a)應(yīng)支持根據(jù)質(zhì)檢場(chǎng)景建立流程任務(wù)，包括數(shù)據(jù)接入、數(shù)據(jù)處理、模型訓(xùn)練、模型驗(yàn)證、模型部署等；b)應(yīng)支持提供標(biāo)準(zhǔn)化推理交互接口，與工位模塊推理請(qǐng)求和返回結(jié)果交互；c)宜支持圖像質(zhì)量檢測(cè)與篩選功能，支持濾除無(wú)法正常識(shí)別的低質(zhì)量圖像，支持圖像增強(qiáng)和圖像修復(fù)；d)宜具備目標(biāo)定位、圖像識(shí)別、實(shí)例分割等功能；e)宜支持小樣本訓(xùn)練，模型部署后能夠?qū)ξ床杉治龅膱?chǎng)景圖像進(jìn)行再訓(xùn)練，提高模型識(shí)別精確6.2.3運(yùn)維管理運(yùn)維管理的要求包括：a)應(yīng)支持根據(jù)質(zhì)檢場(chǎng)景，進(jìn)行推理服務(wù)部署和資源配置；b)應(yīng)支持?jǐn)?shù)據(jù)輸出功能，將推理結(jié)構(gòu)化數(shù)據(jù)、壓縮圖片等處理結(jié)果輸出；c)應(yīng)支持對(duì)AI推理的服務(wù)性能進(jìn)行評(píng)測(cè)和監(jiān)控，如檢測(cè)速度、資源開(kāi)銷(xiāo)等；d)應(yīng)具備統(tǒng)管算法、建模和訓(xùn)練功能，與邊側(cè)協(xié)同完成數(shù)據(jù)標(biāo)注、邊緣推理和邊緣部署；e)應(yīng)具備多算法管理功能，能根據(jù)場(chǎng)景業(yè)務(wù)需求快速部署算法；f)應(yīng)具備模型可靠性評(píng)估和增強(qiáng)功能，通過(guò)如模型故障注入等失效模擬機(jī)制，在訓(xùn)練過(guò)程中增強(qiáng)模型的可靠性；g)應(yīng)具備對(duì)抗訓(xùn)練框架，支持對(duì)抗攻擊防御效果評(píng)估及增強(qiáng)，實(shí)現(xiàn)AI模型的魯棒性評(píng)估和增強(qiáng)；h)宜支持邊云協(xié)同，例如，在邊緣部署的推理子系統(tǒng)，與云端部署的訓(xùn)練、管理、存儲(chǔ)等子系統(tǒng)通過(guò)網(wǎng)絡(luò)進(jìn)行協(xié)同。i)宜支持對(duì)AI模型構(gòu)建過(guò)程的可追溯；j)宜支持模型的可解釋性，如特征重要度等。6.2.4數(shù)據(jù)存儲(chǔ)數(shù)據(jù)存儲(chǔ)的要求包括：a)應(yīng)支持原始圖片、標(biāo)注數(shù)據(jù)、數(shù)據(jù)集、推理結(jié)果等保存，包含結(jié)構(gòu)化數(shù)據(jù)、通過(guò)/不通過(guò)結(jié)果b)應(yīng)支持鏡像、算法、模型等文件的保存；c)應(yīng)支持軟件運(yùn)行日志、審計(jì)日志保存等。7性能要求7.1系統(tǒng)檢測(cè)速度系統(tǒng)檢測(cè)速度應(yīng)小于1秒。7.2系統(tǒng)漏檢率系統(tǒng)漏檢率應(yīng)不大于1%。5T/CESAXXXX-202X7.3系統(tǒng)誤檢率/過(guò)殺率系統(tǒng)誤檢率應(yīng)不大于5%。7.4工業(yè)OCR檢測(cè)準(zhǔn)確率工業(yè)OCR檢測(cè)準(zhǔn)確率應(yīng)大于98%。8測(cè)試方法8.1測(cè)試環(huán)境測(cè)試環(huán)境應(yīng)提供測(cè)試對(duì)象、圖像采集設(shè)備如工業(yè)相機(jī)、光源設(shè)備等。圖像采集設(shè)備采集測(cè)試對(duì)象的圖像發(fā)送給被測(cè)系統(tǒng)，被測(cè)系統(tǒng)具備對(duì)于圖像采集設(shè)備進(jìn)行設(shè)備控制和參數(shù)查詢(xún)修改。測(cè)試流程如下：a）準(zhǔn)備測(cè)試環(huán)境，包括測(cè)試對(duì)象、電源、照明等基礎(chǔ)設(shè)施滿足測(cè)試環(huán)境要求；b）將被測(cè)系統(tǒng)連接圖像采集設(shè)備及光源設(shè)備，確保被測(cè)系統(tǒng)能正常訪問(wèn)圖像采集設(shè)備及光源設(shè)備，獲取圖像及分析結(jié)果；c）根據(jù)不同的測(cè)試項(xiàng)目，進(jìn)行相應(yīng)的測(cè)試。8.2功能測(cè)試8.2.1工位模塊圖像采集將滿足6.1.1圖像文件格式、編碼格式、傳輸協(xié)議及幀數(shù)要求的圖像接入系統(tǒng)，圖像采集功能測(cè)試評(píng)價(jià)方法如下：a）檢查是否可檢測(cè)并輸出分析結(jié)果；b）檢查是否可進(jìn)行圖像編輯操作并輸出分析結(jié)果；c）檢查是否可進(jìn)行圖像位置預(yù)處理并輸出分析結(jié)果；d）檢查是否可進(jìn)行圖像增強(qiáng)處理并輸出分析結(jié)果；e）檢查是否圖像采集單元可以進(jìn)行同步抓拍成像并輸出分析結(jié)果。任務(wù)配置創(chuàng)建并配置檢測(cè)業(yè)務(wù)流程，包含與自動(dòng)設(shè)備進(jìn)行聯(lián)動(dòng)，圖像采集設(shè)備采集測(cè)試對(duì)象圖片，接入測(cè)試系統(tǒng)，檢查是否根據(jù)分析結(jié)果觸發(fā)自動(dòng)設(shè)備操作。光源控制創(chuàng)建并配置檢測(cè)業(yè)務(wù)流程，包含光源控制，圖像采集設(shè)備采集測(cè)試對(duì)象圖片，接入測(cè)試系統(tǒng)，檢查是否根據(jù)要求進(jìn)行開(kāi)關(guān)、強(qiáng)度設(shè)定、模式設(shè)定及遠(yuǎn)程控制等。成像控制創(chuàng)建并配置檢測(cè)業(yè)務(wù)流程，包含成像控制，圖像采集設(shè)備采集測(cè)試對(duì)象圖片，接入測(cè)試系統(tǒng)，檢查圖像采集設(shè)備是否根據(jù)要求圖像拍攝、調(diào)整參數(shù)如焦距等。工位標(biāo)注6T/CESAXXXX-202X圖像采集設(shè)備采集測(cè)試對(duì)象圖片，接入測(cè)試系統(tǒng)，檢查是否根據(jù)分析結(jié)果自動(dòng)對(duì)圖片進(jìn)行標(biāo)注并支持人工審核校正。8.2.2質(zhì)檢模塊應(yīng)用服務(wù)應(yīng)用服務(wù)功能測(cè)試評(píng)價(jià)方法如下：a）創(chuàng)建檢測(cè)業(yè)務(wù)流程，使用docker鏡像打包上傳并進(jìn)行容器化部署，查看任務(wù)日志，檢測(cè)是否業(yè)務(wù)創(chuàng)建成功并正常運(yùn)行；b）將外部測(cè)試數(shù)據(jù)集接入到被測(cè)系統(tǒng)，檢查是否可檢測(cè)并輸出分析結(jié)果。AI服務(wù)AI服務(wù)功能測(cè)試評(píng)價(jià)方法如下：a）創(chuàng)建并配置檢測(cè)業(yè)務(wù)流程，根據(jù)產(chǎn)線上傳工件圖片構(gòu)造模型訓(xùn)練數(shù)據(jù)集，對(duì)數(shù)據(jù)標(biāo)準(zhǔn)場(chǎng)景和類(lèi)型等信息，進(jìn)行數(shù)據(jù)集發(fā)布，檢驗(yàn)是否系統(tǒng)根據(jù)質(zhì)檢場(chǎng)景建立業(yè)務(wù)流程，完成數(shù)據(jù)接入和數(shù)據(jù)處理；b）在檢測(cè)業(yè)務(wù)流程中，創(chuàng)建訓(xùn)練任務(wù)，設(shè)置訓(xùn)練運(yùn)行參數(shù)、輸入數(shù)據(jù)集、設(shè)備類(lèi)型等，檢測(cè)系統(tǒng)是否完成訓(xùn)練任務(wù)，完成模型評(píng)估和發(fā)布；c）上傳新的樣本數(shù)據(jù)并進(jìn)行標(biāo)注，在原有訓(xùn)練任務(wù)基礎(chǔ)上重新設(shè)置訓(xùn)練運(yùn)行參數(shù)、輸入數(shù)據(jù)集、設(shè)備類(lèi)型等，檢測(cè)系統(tǒng)是否完成訓(xùn)練任務(wù)，完成模型評(píng)估和發(fā)布；d）在檢測(cè)業(yè)務(wù)流程中，創(chuàng)建模型部署任務(wù)，將模型部署到工位上，啟動(dòng)運(yùn)行，檢測(cè)系統(tǒng)是否可完成模型部署；e）工位模塊輸入圖像采集設(shè)備采集測(cè)試對(duì)象圖片到質(zhì)檢模塊，檢測(cè)質(zhì)檢模塊是否完成推理并返回結(jié)果給工位模塊，檢測(cè)是否質(zhì)檢模塊可進(jìn)行目標(biāo)定位，實(shí)例分割等功能；f）輸入不能進(jìn)行推理圖像到質(zhì)檢模塊，檢測(cè)質(zhì)檢模塊是否支持圖像質(zhì)量檢測(cè)與篩選功能并輸出檢測(cè)結(jié)果。運(yùn)維管理運(yùn)維管理功能測(cè)試評(píng)價(jià)方法如下：a）在檢測(cè)任務(wù)中，查看資源配置及推理服務(wù)性能評(píng)價(jià)，如檢測(cè)速度，資源開(kāi)銷(xiāo)等；b）創(chuàng)建并配置多個(gè)檢測(cè)任務(wù)，在云端進(jìn)行多個(gè)場(chǎng)景模型訓(xùn)練后，模型部署到質(zhì)檢模塊，工位模塊輸入多個(gè)場(chǎng)景下圖像采集設(shè)備采集測(cè)試對(duì)象圖片到質(zhì)檢模塊，驗(yàn)證是否可以完成推理；c）在檢測(cè)業(yè)務(wù)流程中，創(chuàng)建訓(xùn)練任務(wù)，設(shè)置訓(xùn)練運(yùn)行參數(shù)、輸入數(shù)據(jù)集及設(shè)備類(lèi)型等，啟動(dòng)運(yùn)行，系統(tǒng)完成模型訓(xùn)練后，實(shí)施故障模擬，檢查故障是否生效；設(shè)置可靠性增強(qiáng)訓(xùn)練參數(shù)，啟動(dòng)運(yùn)行，系統(tǒng)重新完成模型訓(xùn)練，實(shí)施故障重現(xiàn)，驗(yàn)證是否完成可靠性增強(qiáng)；d）在檢測(cè)業(yè)務(wù)流程中，創(chuàng)建訓(xùn)練任務(wù)，設(shè)置訓(xùn)練運(yùn)行參數(shù)、輸入數(shù)據(jù)集及設(shè)備類(lèi)型等，啟動(dòng)運(yùn)行，系統(tǒng)完成模型訓(xùn)練后，實(shí)施對(duì)抗攻擊，檢查對(duì)抗攻擊是否生效；設(shè)置對(duì)抗訓(xùn)練參數(shù)，啟動(dòng)運(yùn)行，系統(tǒng)重新完成模型訓(xùn)練，實(shí)施攻擊重現(xiàn)，驗(yàn)證是否完成對(duì)抗性增強(qiáng)；e）在檢測(cè)業(yè)務(wù)流程中，創(chuàng)建訓(xùn)練任務(wù)，設(shè)置訓(xùn)練運(yùn)行參數(shù)、輸入數(shù)據(jù)集及設(shè)備類(lèi)型等，啟動(dòng)運(yùn)行，系統(tǒng)完成模型訓(xùn)練后，查看相關(guān)記錄，如日志，告警等，觀察是否完成可追溯；f）在檢測(cè)業(yè)務(wù)流程中，創(chuàng)建訓(xùn)練任務(wù)，設(shè)置訓(xùn)練運(yùn)行參數(shù)、輸入數(shù)據(jù)集及設(shè)備類(lèi)型等，啟動(dòng)運(yùn)行，系統(tǒng)完成模型訓(xùn)練后，設(shè)置模型可解釋參數(shù)，啟動(dòng)運(yùn)行，檢測(cè)系統(tǒng)是否完成模型可解釋?zhuān)巛敵鎏卣鲗?duì)決策結(jié)果的重要度影響參數(shù)。7T/CESAXXXX-202X數(shù)據(jù)存儲(chǔ)查看已創(chuàng)建任務(wù)中存儲(chǔ)數(shù)據(jù)類(lèi)型，是否符合6.2.4的要求。8.3性能測(cè)試8.3.1系統(tǒng)檢測(cè)時(shí)間系統(tǒng)檢測(cè)時(shí)間測(cè)試評(píng)價(jià)方法如下：a）創(chuàng)建并配置檢測(cè)任務(wù)，選取N個(gè)測(cè)試對(duì)象，圖像采集設(shè)備進(jìn)行圖像采集，接入測(cè)試系統(tǒng)進(jìn)行推b）統(tǒng)計(jì)N個(gè)測(cè)試對(duì)象從系統(tǒng)指定位置開(kāi)始做圖像采集，AI圖像處理進(jìn)行缺陷分析，最終輸出檢測(cè)結(jié)果所消耗的時(shí)間t（i=1，2，?,N）；c）通過(guò)公式（1）計(jì)算系統(tǒng)平均檢測(cè)時(shí)間T：式中：T——系統(tǒng)檢測(cè)時(shí)間；t——第i個(gè)測(cè)試對(duì)象檢測(cè)時(shí)間；N——測(cè)試對(duì)象總數(shù)：i——第i個(gè)測(cè)試對(duì)象。8.3.2系統(tǒng)漏檢率系統(tǒng)漏檢率測(cè)試方法如下：a）創(chuàng)建并配置檢測(cè)任務(wù)，選取一定數(shù)量測(cè)試對(duì)象，圖像采集設(shè)備進(jìn)行圖像采集，接入測(cè)試系統(tǒng)進(jìn)行推理；b）測(cè)試對(duì)象從到達(dá)系統(tǒng)指定位置開(kāi)始做圖像采集，AI圖像處理進(jìn)行缺陷分析，通過(guò)公式（2）計(jì)算系統(tǒng)漏檢率，中漏檢數(shù)記為FN，正檢數(shù)記為T(mén)P，漏檢率記為FNR。式中：FNR——漏檢率；FN——漏檢數(shù)；TP——正檢數(shù)。8.3.3系統(tǒng)誤檢率/過(guò)殺率系統(tǒng)誤檢率測(cè)試方法如下：a）創(chuàng)建并配置檢測(cè)任務(wù)，選取一定數(shù)量測(cè)試對(duì)象，圖像采集設(shè)備進(jìn)行圖像采集，接入測(cè)試系統(tǒng)進(jìn)行推理；b）測(cè)試對(duì)象從到達(dá)系統(tǒng)指定位置開(kāi)始做圖像采集，AI圖像處理進(jìn)行缺陷分析，通過(guò)公式（3）計(jì)算系統(tǒng)誤檢率，其中誤檢數(shù)記為F，正檢數(shù)記為T(mén)P，誤檢率/過(guò)殺率記為FPR。8T/CESAXXXX-