2024年工業(yè)視覺檢測(cè)算法方案白皮書-阿丘科技

工業(yè)視覺檢測(cè)算法方案CONTENTS目錄01工業(yè)視覺檢測(cè)項(xiàng)目的特點(diǎn)工業(yè)視覺檢測(cè)項(xiàng)目的特點(diǎn) 020201工業(yè)視覺檢測(cè)項(xiàng)目的特點(diǎn)工業(yè)視覺檢測(cè)項(xiàng)目的特點(diǎn) 0202工業(yè)視覺檢測(cè)算法方案的基礎(chǔ)概念算法工具的概念 03算法工具的能力邊界

04工業(yè)視覺檢測(cè)算法方案的概念

0503算法方案優(yōu)劣評(píng)價(jià)的標(biāo)準(zhǔn)算法方案優(yōu)劣評(píng)價(jià)的標(biāo)準(zhǔn)03算法方案優(yōu)劣評(píng)價(jià)的標(biāo)準(zhǔn)算法方案優(yōu)劣評(píng)價(jià)的標(biāo)準(zhǔn) 0604制定工業(yè)視覺檢測(cè)算法方案04制定工業(yè)視覺檢測(cè)算法方案明確需求

07單圖方案設(shè)計(jì)

07隨著工業(yè)4.0時(shí)代的到來(lái)，智能制造已成為全球制造業(yè)發(fā)展的新趨勢(shì)。在這一進(jìn)程中，工業(yè)視覺檢測(cè)技術(shù)作為關(guān)鍵的技術(shù)支撐，它不僅可以顯著提高生產(chǎn)效率和產(chǎn)品質(zhì)量，還能有效降低人工成本，減少人為錯(cuò)誤，確保生產(chǎn)過程的安全性和可靠性。然而，工業(yè)視覺檢測(cè)技術(shù)在實(shí)際應(yīng)用中面臨著諸多挑戰(zhàn)，如背景復(fù)雜、對(duì)比度低、缺陷種類多樣等問題，極大地限制了工業(yè)視覺檢測(cè)技術(shù)的廣泛應(yīng)用。阿丘科技作為工業(yè)視覺檢測(cè)技術(shù)的先行者，基于多年的研究成果和技術(shù)積累，推出《工業(yè)視覺檢測(cè)算法方案》白皮書，全面介紹工業(yè)視覺檢測(cè)技術(shù)的現(xiàn)狀與趨勢(shì)，深入分析當(dāng)前面臨的技術(shù)難題，并提出創(chuàng)新的算法解決方案。我們希望通過分享最新的研究成果和技術(shù)實(shí)踐，為行業(yè)內(nèi)外提供一個(gè)深入了解工業(yè)視覺檢測(cè)技術(shù)的機(jī)會(huì)，促進(jìn)技術(shù)交流與合作，共同推動(dòng)工業(yè)視覺檢測(cè)技術(shù)的進(jìn)步與發(fā)展。一.工業(yè)視覺檢測(cè)項(xiàng)目的特點(diǎn)在現(xiàn)代工業(yè)生產(chǎn)中，視覺檢測(cè)技術(shù)的應(yīng)用正變得越來(lái)越廣泛，它在提高產(chǎn)品質(zhì)量、優(yōu)化生產(chǎn)流程方面發(fā)揮著至關(guān)重要的作用。然而，與人臉識(shí)別、交通監(jiān)控、安防監(jiān)控等應(yīng)用場(chǎng)景相比，工業(yè)視覺檢測(cè)項(xiàng)目的場(chǎng)景更為特殊，它很難與當(dāng)下主流的AI平臺(tái)工具配型，或者是通過單一算法模型進(jìn)行訓(xùn)練，通常情況下，工業(yè)視覺檢測(cè)項(xiàng)目面臨著一系列獨(dú)特的難點(diǎn)與挑戰(zhàn)。首先，算法實(shí)現(xiàn)難。工業(yè)環(huán)境中的背景往往非常復(fù)雜，且對(duì)比度較低，這使得缺陷檢測(cè)變得尤為困難。例如，在電子元件的檢測(cè)中，背景可能包括電路板、導(dǎo)線等多種材質(zhì)，這些材質(zhì)的顏色和紋理變化多樣，增加了缺陷檢測(cè)的難度。此外，工業(yè)產(chǎn)品中的缺陷種類繁多，簡(jiǎn)單的項(xiàng)目就可能涉及10種以內(nèi)的缺陷類型，而復(fù)雜的項(xiàng)目則可能包含上百種不同的缺陷類型。這些缺陷不僅數(shù)量眾多，而且差異較小，給算法的設(shè)計(jì)和優(yōu)化帶來(lái)了極大的挑戰(zhàn)。更重要的是，這些缺陷往往分布在多個(gè)平面上，需要在不同工位上利用相機(jī)采集多張圖像來(lái)完成檢測(cè)任務(wù)，進(jìn)一步增加了算法實(shí)現(xiàn)的復(fù)雜性。和魯棒性。須保證圖像處理的速度足夠快（通常要求在毫秒級(jí)別內(nèi)完成）之高，以確保生產(chǎn)線的高效運(yùn)轉(zhuǎn)。最后，客戶非常關(guān)心部署與維護(hù)的成本。為了確保系統(tǒng)的穩(wěn)定運(yùn)行，工業(yè)視覺檢測(cè)系統(tǒng)不僅需要具備高度的可靠性，還應(yīng)易于維護(hù)，并能夠迅速?gòu)?fù)制到其他生產(chǎn)線上，這要求系統(tǒng)設(shè)計(jì)時(shí)充分考慮硬件和軟件的兼容性、可擴(kuò)展性和易用性等。例如，一些高端的視覺檢測(cè)系統(tǒng)可能需要配備多臺(tái)高性能的GPU服務(wù)器，這不僅增加了初期投資成本，還帶來(lái)了較高的運(yùn)維費(fèi)用。所以，設(shè)計(jì)一套既高效又經(jīng)濟(jì)的解決方案顯得尤為重要。因此，工業(yè)視覺檢測(cè)由于其特有的復(fù)雜性和多樣性，往往無(wú)法靠單一模型解決問題，而是需要由多個(gè)算法連接組成一個(gè)完整的算法方案，才能實(shí)現(xiàn)需求功能并達(dá)到檢測(cè)要求。這些算法方案通常需要綜合運(yùn)用多種技術(shù)工具，如定位、分割、檢測(cè)和OCR等模塊，通過合理的組合和優(yōu)化，以滿足工業(yè)檢測(cè)中的各種挑戰(zhàn)和需求。二、工業(yè)視覺檢測(cè)算法方案的基礎(chǔ)概念1.算法工具的概念在工業(yè)視覺檢測(cè)中，算法工具是指能夠獨(dú)立解決某一特定問題的技術(shù)模塊。這些工具通常具有特定的功能，可以單獨(dú)應(yīng)用于某個(gè)具體的任務(wù)。例如，“定位”工具可以從輸入圖像中確定目標(biāo)的位置和姿態(tài)；“分割”工具則可以針對(duì)輸入圖像生成多邊形分割區(qū)域。雖然每個(gè)算法工具都能單獨(dú)執(zhí)行特定的任務(wù)，但在工業(yè)視覺檢測(cè)中，這些需求通常涉及多個(gè)檢測(cè)項(xiàng)關(guān)于上述八大技術(shù)模塊的簡(jiǎn)單介紹，可見下圖OKNG關(guān)于上述八大技術(shù)模塊的簡(jiǎn)單介紹，可見下圖OKNG 分割 對(duì)圖像進(jìn)行像素級(jí)檢測(cè)，精準(zhǔn)識(shí)別缺陷的位置、尺寸和類別 非監(jiān)督分割 只需良品圖即可對(duì)所有已知和未知缺陷進(jìn)行像素級(jí)檢測(cè)，快速上線驗(yàn)證分割非監(jiān)督分割檢測(cè)定位異物磕邊 檢測(cè) 定位 異物磕邊對(duì)圖像進(jìn)行區(qū)域級(jí)檢測(cè)，準(zhǔn)確識(shí)別目標(biāo)物或缺陷 檢測(cè)圖像中單個(gè)或多個(gè)目標(biāo)的類別、位置、大小和方向NA660-24 字符識(shí)別 裝配檢查 對(duì)圖像中的字符進(jìn)行高效識(shí)別 檢測(cè)固定區(qū)域內(nèi)目標(biāo)的有無(wú)、數(shù)量是否符合要求NGNGOK溢膠 變形NGNGOK非監(jiān)督分類 分類 非監(jiān)督分類判斷整張圖像所屬類別 只需良品圖即可對(duì)所有已知和未知缺陷進(jìn)行整圖分類，快速上線驗(yàn)證制定算法方案之前，需要對(duì)AI和傳統(tǒng)算法、各AI模塊的能力邊界有清晰的認(rèn)識(shí)，以便更好地發(fā)揮各自的優(yōu)勢(shì)，解決實(shí)際問題。首先，AI與傳統(tǒng)算法的能力邊界。盡管AI技術(shù)在近年來(lái)取得了顯著進(jìn)展，但與傳統(tǒng)計(jì)算機(jī)視覺算法相比，兩者在應(yīng)用場(chǎng)景和能力上各有側(cè)重。AI技術(shù)在處理低對(duì)比度和背景干擾較大的情況時(shí)表現(xiàn)出色，其最小檢測(cè)精度可以達(dá)到3x3像素。這使得AI在檢測(cè)例如電路板上的微小統(tǒng)算法能夠提供更高的測(cè)量精度和穩(wěn)定性，確保生產(chǎn)的高質(zhì)量和高效率。其次，AI各工具的能力邊界。AI技術(shù)內(nèi)部的不同工具也具有各自的特點(diǎn)和適用場(chǎng)景。分割工具能夠提供像素級(jí)別的檢測(cè)結(jié)果，適用于需要精細(xì)劃分目標(biāo)區(qū)域的任務(wù)，如電路板上的焊點(diǎn)檢測(cè)、醫(yī)療影像中的病灶分割等。相比之下，定位和檢測(cè)工具主要提供區(qū)域級(jí)別的信息，適用于需要快速識(shí)別目標(biāo)位置和類別的任務(wù)，如汽車零部件的定位、食品包裝上的文字識(shí)別等。了解這些工具的具體能力和應(yīng)用場(chǎng)景，有助于在實(shí)際項(xiàng)目中選擇最合適的工具組合，提高檢測(cè)的準(zhǔn)確性和效率。夠檢測(cè)最小7x7像素的缺陷，這種能力在處理稀有缺陷樣本的場(chǎng)景中尤為有用。非監(jiān)督學(xué)習(xí)的情況下快速構(gòu)建有效的檢測(cè)模型。OCR工具分割工具定位工具綜合判定工具算法方案是指將多個(gè)算法工具組合起來(lái)，以解決非單一問題的方法，在工業(yè)視覺檢測(cè)中，一個(gè)完整的算法方案通常需要綜合運(yùn)用多種工具，以滿足復(fù)雜的檢測(cè)需求。例如，在一張圖像中既需要輸出多邊形分割區(qū)域，又需要識(shí)別并讀取其中的文字信息（OCR），并且在執(zhí)行分割操作之前還需確定目標(biāo)的確切位置。在這種情況下，一個(gè)完整的算法方案將包括定位模塊、分割模塊和OCR模塊等多個(gè)部分，它們協(xié)同工作以達(dá)成最終的檢測(cè)目標(biāo)。OCR工具分割工具定位工具綜合判定工具圖像輸入圖像輸入在實(shí)際的工業(yè)視覺檢測(cè)項(xiàng)目中，一款優(yōu)質(zhì)的算法方案不僅能在技術(shù)上可行，且能在經(jīng)濟(jì)性和維護(hù)成本上滿足客戶的需求。以下是阿丘科技從三個(gè)主要維度，對(duì)算法方案優(yōu)劣評(píng)價(jià)的標(biāo)準(zhǔn)。求。此時(shí)，通常會(huì)選擇有代表性的難點(diǎn)項(xiàng)目進(jìn)行輕量級(jí)的離線POC（ProofofConcept）更高的處理速度。（例如，使用高性能GPU可以顯著提高圖像處理速度，但也增加了初始投資成本）。而且，有些項(xiàng)目的算法開發(fā)周期過長(zhǎng)，不僅會(huì)影響項(xiàng)目的按時(shí)交付，還會(huì)增加人力和資源的投入，且交付過程的復(fù)雜度也會(huì)增加項(xiàng)目的總體成本。因此，需要評(píng)估項(xiàng)目的開發(fā)周期和交付流程，確保項(xiàng)目能夠在預(yù)定的時(shí)間內(nèi)順利交付。同時(shí)，過程中還需要技術(shù)人員與業(yè)務(wù)部門密切合作，共同判斷項(xiàng)目的商業(yè)可行性。另外，AI技術(shù)在開發(fā)階段門檻低、投入少，是其相對(duì)比傳統(tǒng)算法的一大優(yōu)勢(shì)。許多客戶通過阿丘科技的工業(yè)AI視覺算法平臺(tái)軟件AIDI，使得原本需要調(diào)用幾十甚至上百個(gè)算子的傳統(tǒng)方法，變?yōu)橹恍枰粋€(gè)AI模塊就能實(shí)現(xiàn)缺陷檢測(cè)，而且初版模型的訓(xùn)練、測(cè)試，不需要圖像算法基礎(chǔ)，也無(wú)需代碼基礎(chǔ)。檢測(cè)方案改為以AI為主或AI與傳統(tǒng)算法結(jié)合后，算法維護(hù)工作逐漸轉(zhuǎn)給售后團(tuán)隊(duì)，甚至客戶產(chǎn)線上的一線員工也可以承擔(dān)起AI模型訓(xùn)練的工作。南，可幫助工程師或項(xiàng)目管理者理解并制定可落地的工業(yè)視覺檢測(cè)算法方案。明確需求在開始設(shè)計(jì)算法方案之前，首要任務(wù)是進(jìn)行詳盡的需求梳理。包括對(duì)需求項(xiàng)進(jìn)行細(xì)致的拆解，以確認(rèn)項(xiàng)目中涉及的多個(gè)工位、所需處理的圖像數(shù)量、檢測(cè)項(xiàng)的數(shù)量以及相應(yīng)的標(biāo)準(zhǔn)。這一步驟至關(guān)重要，它為整個(gè)項(xiàng)目設(shè)定了基礎(chǔ)和方向。同時(shí)，檢測(cè)要求包括對(duì)過檢和漏檢指標(biāo)的具體要求，以及CT（CycleTime，周期時(shí)間）的要求。過檢和漏檢指標(biāo)是衡量檢測(cè)系統(tǒng)性能的關(guān)鍵參數(shù)，它們直接影響到產(chǎn)品質(zhì)量和生產(chǎn)效率。CT時(shí)間要求則關(guān)系到檢測(cè)系統(tǒng)在生產(chǎn)線上的實(shí)時(shí)響應(yīng)能力，對(duì)于保證生產(chǎn)流程的連續(xù)性和穩(wěn)定性至關(guān)重要。單圖方案設(shè)計(jì)（1）算法方案設(shè)計(jì)流程對(duì)于單張圖像的算法方案設(shè)計(jì)，設(shè)計(jì)算法方案步驟如下。第一步，完成單一檢測(cè)項(xiàng)的算法方案設(shè)計(jì)。這一步涉及到選擇合適的算法工具和參數(shù)，以實(shí)現(xiàn)對(duì)特定缺陷的檢測(cè)。第二步，在單一檢測(cè)項(xiàng)算法方案的基礎(chǔ)上，進(jìn)行局部算法流程的合并。這一步的目的在于優(yōu)化算法流程，提高檢測(cè)效率，減少冗余步驟。（2）單圖算法整合在單圖算法整合階段，常見的做法是讓不同的檢測(cè)項(xiàng)共用一個(gè)ROI提取工具，如下圖所示。這種方法可以提高算法的效率，減少對(duì)計(jì)算資源的需求，同時(shí)保持檢測(cè)的準(zhǔn)確性。（3）產(chǎn)品算法方案整合在完成了各個(gè)工位的單圖方案設(shè)計(jì)后，下一步是整合這些方案，形成產(chǎn)品的完整算法方案。這一過程需要結(jié)合視覺系統(tǒng)檢測(cè)流程，繪制出算法流程與時(shí)序圖，以評(píng)估當(dāng)前方案是否能夠滿足速度要求，并對(duì)硬件配置（主要為顯卡）進(jìn)行評(píng)估。在整合算法方案時(shí)，需要注意以下幾點(diǎn)：第一，設(shè)計(jì)整體算法流程時(shí)，如果對(duì)速度的要求較高，則應(yīng)盡可能并行處理。例如，在下方展示的時(shí)序圖中，采集圖像、傳統(tǒng)前處理、AI保證檢測(cè)流程的節(jié)奏緊湊，滿足生產(chǎn)線的高速要求。產(chǎn)品1產(chǎn)品1產(chǎn)品2工位一工位二工位一工位二采集圖像傳統(tǒng)前處理260ms260ms260msAI檢測(cè)250ms250ms......結(jié)果匯總......250ms250ms250ms250ms260ms260ms260ms260ms260ms圖像 序號(hào) 檢測(cè)項(xiàng) 使用模塊 圖像大小 顯存(G) 時(shí)間第二，當(dāng)多個(gè)AI并行處理，但由于顯卡運(yùn)算機(jī)制的限制，并行處理帶來(lái)的效率提升有限。例如，統(tǒng)計(jì)AI圖像 序號(hào) 檢測(cè)項(xiàng) 使用模塊 圖像大小 顯存(G) 時(shí)間圖像11引線未裁(共用)分割1500W0.1(加載一次)102漏焊500W10圖像23焊盤小分割2500W0.1104變形檢測(cè)500W0.115匯總0.345結(jié)論:基于3060測(cè)算，顯存占用為0.5G（預(yù)留10%，則顯存最低要求0