基于機器視覺的電子元件的識別與定位

基于機器視覺的電子元件的識別與定位摘要：隨著社會不斷發(fā)展，電子產(chǎn)品越來越多的進入我們的生活，對作為電子產(chǎn)品的基礎組成單元的電子元件提出的要求也越來越高，使其越來越集成化與精細化。本文是基于機器視覺的電子元件的識別與定位，以解決愈發(fā)精細化電子元件分揀問題。首先使用工業(yè)相機進行拍攝，再對拍攝圖像進行預處理使其更能的達到預期，通過基于形狀的模板匹配識別具體的電子元件的像素坐標，最終再通過標定得到相機的內(nèi)外參數(shù)，將電子元件的像素坐標轉(zhuǎn)換為世界坐標。關(guān)鍵詞:機器視覺，電子元件，識別定位1.引言1.1機器視覺技術(shù)發(fā)展歷史在20世紀50年代初，早期的機器視覺主要對二維圖像以及各類工件表面進行檢測，直到六十年代由美國工程學院提出了二維圖像掃描建立三維模型的相關(guān)概念，但是受制于當時的技術(shù)，還無法完全實踐[1]。隨著美國MIT人工智能實驗室正式開設“機器視覺”課程，至此機器視覺由實驗室走向工業(yè)生產(chǎn)。機器視覺發(fā)展早期,主要集中在歐美和日本。隨著全球制造中心向中國轉(zhuǎn)移,中國機器視覺市場正在繼北美、歐洲和日本之后,成為國際機器視覺廠商的重要目標市場[2]。在我國，機器視覺的發(fā)展歷史可以追溯到上世紀八十年代。當時，我國的機器視覺技術(shù)還處于起步階段，研究重點主要是從圖像獲取入手，包括圖像的采集、處理和分析。所使用的設備和技術(shù)較為簡單，如用電容耦合攝像機獲取圖像，采用簡單的數(shù)字電路和微處理器進行圖像處理等。到了九十年代，我國對機器視覺的研究已經(jīng)初具規(guī)模。在此期間，技術(shù)研究重點開始向更高端發(fā)展。例如，研發(fā)出具有自適應控制技術(shù)的光學檢測儀器，利用現(xiàn)代光學成像技術(shù)實現(xiàn)了對微小物體進行高精度檢測和成像，該技術(shù)已經(jīng)應用于電子制造行業(yè)和航空制造業(yè)等領域。到了21世紀，隨著新一輪的科技革命與產(chǎn)業(yè)升級，機器視覺技術(shù)也得到了非常迅速的發(fā)展。在這個階段，我國開始重視機器視覺領域的人才培養(yǎng)和研究投入。成立了機器人學、圖像工程等相關(guān)學科，同時也逐步解決了一些問題，如設備性能不足、成像系統(tǒng)不穩(wěn)定、圖像處理復雜等方面的問題。

這一時期，我國企業(yè)紛紛投入機器視覺技術(shù)領域，包括科大訊飛、?？低暋⒋笕A等企業(yè)。它們先后推出了各種視覺識別、視頻監(jiān)控、安防攝像頭等產(chǎn)品，成為當今中國機器視覺產(chǎn)業(yè)的龍頭企業(yè)。1.2機器視覺技術(shù)簡介機器視覺技術(shù)通常是通過各種算法來實現(xiàn)的，這些算法包括圖像濾波、特征提取、目標跟蹤、三維視覺重建和深度學習等。其中，深度學習是當前機器視覺應用最為廣泛且發(fā)展最快的技術(shù)之一，它通過模擬人腦神經(jīng)元的工作模式，通過多層次的神經(jīng)網(wǎng)絡結(jié)構(gòu)來實現(xiàn)對圖像和視頻特征的自動提取和學習。機器視覺技術(shù)的發(fā)展目前正在經(jīng)歷從傳統(tǒng)特征提取和淺層算法向深度學習和增量學習的轉(zhuǎn)型過程。未來機器視覺技術(shù)的發(fā)展有望朝著高效率、高精度、高應用價值的方向不斷發(fā)展，將更加深入人們的日常生活和各個領域。2.基于機器視覺的電子元件的識別與定位的基本組成2.1硬件組成雖然基于機器視覺的測量系統(tǒng)的檢測對象不盡相同，但對于一個完整的視覺測量系統(tǒng)來說，其圖像采集模塊必須包括四個組成部分，分別為成像鏡頭、工業(yè)相機、圖像采集卡、光源照明模塊，而現(xiàn)如今除了一部分工業(yè)相機需獨立搭配圖像采集卡，大部分工業(yè)相機均集成了圖像采集功能[3]。光源照明模塊，采用的是LED燈帶組成的光源控制器。2.1.1工業(yè)相機本課題設計的視覺尺寸測量系統(tǒng)釆用?？低暪镜腗V-SUA1201C工業(yè)相機，此款相機具有較高的分辨率，能夠清晰的捕捉更多的圖像細節(jié)，能夠更為方便的提取出圖像的特征值，進行圖像的處理。相機具體參數(shù)如表1所示,相機具體樣式如圖1所示。表1相機具體參數(shù)型號MV-SUA1201C傳感器1/1.7"CMOS相機類型彩色像元尺寸1.85umx1.85um有效像素1200萬分辨率@幀率4000x3000最大@32fps靈敏度250mV1/30sGPIO1路光耦隔離輸入，1路光耦隔離輸出，1路非隔離輸入輸出圖1實驗室操作平臺2.1.2成像鏡頭工業(yè)成像鏡頭主要分為ＦＡ（FactoryAutomation）透視鏡頭和遠心鏡頭（zoom鏡頭）。此兩類鏡頭具備各自的優(yōu)缺點，分別根據(jù)不同的實際需求應用于不同場合。fa鏡頭又稱為固定焦距鏡頭，它的最大特點是具有固定的焦距，無法改變拍攝距離。這使得它適用于靜態(tài)、固定距離的拍攝場景，fa鏡頭通常有較小的體積和質(zhì)量，能夠提供高質(zhì)量、清晰的圖像，消除了焦距的調(diào)節(jié)對圖像質(zhì)量的影響，因此適用于高精度的應用。然而，它的缺點是適用范圍較窄，無法適應復雜、變化的拍攝環(huán)境。遠心鏡頭（zoom鏡頭）具有可調(diào)焦距的功能，它能夠根據(jù)需要改變拍攝距離，以適應不同的拍攝場景和需求。遠心鏡頭具有比fa鏡頭更廣泛的適應范圍，能夠勝任多樣的變化環(huán)境和應用。而其缺點是，由于其復雜的結(jié)構(gòu)和大的成本，因此遠心鏡頭的尺寸和重量可能較大，對相機的機械控制和定位要求更高。因為本課題研究的是基于機器視覺的電子元件的識別與定位，大多情況下為靜態(tài)拍攝，所以選擇的是MV-LD-6-12M-AFA鏡頭，具體參數(shù)如表2所示。表2FA鏡頭具體參數(shù)型號MV-LD-6-12M-A像素1200萬焦距6mm光圈F=1:2.4~16靶面尺寸1/1.7"畸變＜0.73%接口C口2.2.軟件組成本課題使用機器視覺軟件選用的是Halcon，其最大的特點就是包括了一套交互式的程序設計接口Hdevelop,可以用代碼直接編寫、修改、執(zhí)行程序,并將其轉(zhuǎn)換成C++,C,C#或者VisualBasic語言的程序代碼,具有良好的跨平臺移植性[4]。3.標定如果要從圖像中獲取準確的三維世界的真實信息，用于測量或者定位等，則首先必須對相機進行標定校準。相機的標定可以建立二維圖像中的點與三維空間中的點的對應關(guān)系。常見的相機標定算法有DLT[5](DirectLinearTransform)、Tasi[6]、張正友標定[7]等算法。但是使用HALCON標定板來確定CCD攝像機的參數(shù)是一種比較簡單的方法，,CCD攝像機是對物理世界進行三維重建的一種基本測量工具,這時攝像機定標被認為是實現(xiàn)三維歐氏空間立體視覺的基本而又關(guān)鍵的一步.總體來說,其計算方法與攝影測量學中所使用基本相同[8],使用Halcon自帶的算子助手，我們能較為精準的得到相機的內(nèi)部參數(shù)和外部參數(shù)。內(nèi)部參數(shù)通常包括相機本身的一些系數(shù)，如畸變系數(shù)、焦距等，這些參數(shù)均可以在相機數(shù)據(jù)中找到，但由于理論數(shù)據(jù)會偏離實際數(shù)據(jù)，因此可以使用Halcon校準助手更準確地導出實際相機的內(nèi)部參數(shù)。外部參數(shù)表示相機在世界坐標系中的三維位置，例如相機的X軸坐標、Y軸坐標段、Z軸坐標和相機的方向，以及對應方向的偏轉(zhuǎn)角。3.1標定板本課題組選用的是GB050-27×7標定板，大小為50×50mm，標定圓點直徑為2mm，兩圓點中心距為4mm，標點板尺寸為32×32mm，精度為±0.01。具體實物如圖2。圖2標定板3.2標定過程首先使用gen算子在電腦中生成對應的GB050-27×7標定板的描述文件，如圖3所示。再使用Halcon的標定助手（圖4），添加導入生成的描述文件以及MV-SUA1201C相機具體參數(shù)與MV-LD-6-12M-AFA鏡頭具體焦距，最后拍攝不同旋轉(zhuǎn)角度的，符合對比度的，標定板的圖像進行相機標定，具體參數(shù)如圖5。圖3gen_caltab算子窗口圖4使用標定助手進行標定圖5標定參數(shù)3.2標定的驗證打開Halcon自帶的測量算子（圖6），導入得出的內(nèi)外參數(shù)，使用繪制線段工具，畫出想要測量線段，與實際對比，這里我們選用的是標定板的圖片，實際兩圓間距應為2mm，測量值為2.1mm，誤差在可接受范圍之內(nèi)。圖6測量助手的測量結(jié)果4.圖像預處理獲得了相機采集的圖像之后，圖像的質(zhì)量往往會與所預想的情況有所差異，由于外部的環(huán)境的改變，使所拍攝的圖像可能會出現(xiàn)對比度過低或者圖像過曝等問題。因而對圖像進行預處理是必須的。進行圖像處理的圖像質(zhì)量關(guān)系到圖像識別的準確的和運算速度。圖像預處理一般包括圖像去噪、歸一化、直方圖均衡化、形態(tài)學分析等。圖像去噪是一種消除圖像噪聲的方法，通過對圖像進行濾波、降噪等操作，可以減少椒鹽噪聲、高斯噪聲等非結(jié)構(gòu)噪聲的影響。歸一化是將圖像像素值轉(zhuǎn)化到一定的范圍內(nèi)，使得不同圖像的亮度、對比度等特性保持一致，方便后續(xù)算法的處理。直方圖均衡化是一種增強圖像對比度的技術(shù)，通過對圖像中的像素值進行重新分布，使得圖像的對比度增強，細節(jié)更加清晰。形態(tài)學分析是利用腐蝕和膨脹來對工件進行圖像噪聲的去除,可以使大量不連通的區(qū)域變?yōu)檫B通或者使連通域變?yōu)椴贿B通域[9]。通過圖像預處理的合理選擇和操作，可以減少圖像處理或計算機視覺算法的誤差和不一致性，提高算法的準確性和效率，從而更好地服務于各類實際應用。4.1Blob分析選取ROI區(qū)域Blob分析（也稱為連通區(qū)域分析）是計算機視覺領域中的一種圖像處理技術(shù)，而ROI區(qū)域就是圖像處理需具體處理的區(qū)域，通過Blob分析選擇出ROI區(qū)域，能夠減少計算量。Blob分析一般步驟分為閾值處理，形態(tài)學處理，特征值提取。圖7為一般芯片的Blob分析。Blob分析提供了一種有效的方式來識別和提取圖像中的連續(xù)區(qū)域，并獲取關(guān)于這些區(qū)域的有用信息。這種方法可以幫助我們理解圖像的結(jié)構(gòu)、目標的特性，從而實現(xiàn)更高級的圖像處理和分析應用。圖7Blob分析具體步驟4.1.1閾值處理簡單來說，閾值就是一個指定像素灰度值的范圍。閾值處理就是將圖像中的像素灰度值與該閾值進行比較，落在該范圍的像素則稱為前景，其余像素稱為背景。前景一般設為灰色，背景設為白色。當檢查對象灰度值與背景差異較大我們一般選擇使用Halcon中threshold算子來進行全局閾值處理。4.1.2形態(tài)學處理形態(tài)學處理是一種基于圖像形狀的圖像處理技術(shù)，它主要利用了形態(tài)學學科中的“結(jié)構(gòu)元素”和“膨脹、腐蝕、開運算、閉運算”等基本操作。形態(tài)學處理可以有效地改變圖像結(jié)構(gòu)和形狀，例如，可以用形態(tài)學處理去除噪點、平滑物體邊界、分離物體、連接不連續(xù)的物體、提取物體輪廓等。形態(tài)學處理技術(shù)和其它圖像處理技術(shù)結(jié)合使用，可以實現(xiàn)更好的圖像處理和分析效果，有著廣泛的應用。4.1.3特征提取特征提取指的是將圖像中不同的區(qū)域通過不同的特征區(qū)分出來，通過人為的設定需提取區(qū)域的區(qū)分性與表征性特征，來獲得所需要的目標區(qū)域。特征提取的目的是降低圖像數(shù)據(jù)的維度并保留圖像中的重要信息，這些提取到的特征可以被用于圖像分類、目標檢測、目標跟蹤、圖像檢索等機器視覺任務。根據(jù)具體任務需求的不同，選擇適合的特征提取方法可以提高機器視覺系統(tǒng)的準確性和效率。為滿足自身的區(qū)域選擇的要求。我們一般選擇使用Halcon中select算子來進行特征提取。4.1.2使用draw交互算子選取ROI區(qū)域使用draw交互算子可以通過代碼的編寫，選擇需要的ROI區(qū)域形狀，例如draw_rectangle1()算子，我們可以圖像上畫出一個矩形的區(qū)域，結(jié)合gen_rectangle1()算子得到所需的矩形ROI區(qū)域。使用draw交互算子得出ROI區(qū)域相比于Blob分析得出ROI區(qū)域，其精度遠不如Blob分析得出的ROI區(qū)域，，但draw交互算子相比于Blob分析更加的簡單，操作難度更低。因為本課題研究的是電子元件，圖像本身存在的噪音少，使用draw交互算子的影響與Blob分析得出的結(jié)果誤差基本一致，所以最終程序使用的是draw交互算子。使用draw交互算子的截圖步驟如圖8。圖8draw交互算子使用具體步驟5.模板匹配模板匹配通常指的是，通過模板圖片識別出測試圖像中相似的部分，圖像匹配是一個多步驟過程?總的來說?大概可分為圖像輸入、圖像預處理、匹配有用信息提取、圖像匹配、輸出結(jié)果等[10]。具體如圖9。]圖9模板匹配流程本文使用的是基于形狀的模板匹配。因為不同的電子元件所具有的形狀，大小，引腳數(shù)均不相同，所以使用基于形狀的模板匹配能夠很好的滿足電子元件的識別與定位。形狀特征對于機器視覺是很重要的。如果圖像中的邊緣能夠精確的定位和測量，那么，就意味著可以精確定位和測量實際的物體[11]。5.1基于形狀的模板匹配過程如圖10是使用相機的拍攝的電子元件。圖10工業(yè)相機拍攝的圖像使用emphasize算子對圖像進行處理，如圖是使用的代碼以及得到的圖片，如圖11。圖11預處理過后的圖像用處理好的圖片進行draw_rectangle2交互算子畫出ROI區(qū)域，再使用reduce_domain算子將圖裁剪出，使用裁剪過的圖創(chuàng)建模板，使用create_shape_model算子建立模板。然后使用get_shape_model_contours算子對形成的模板進行可視化處理，由于可視化模板生成于圖像（0，0）處，通過仿射變換將其移動至于原圖像重疊。驗證模板是否滿足所需識別對象要求。導入需要識別的圖像，使用find_shape_model算子，進行識別，由于識別對象數(shù)量會變換，所以使用一個for循環(huán)來重復匹配直至沒有滿足設定分數(shù)的對象為止。完成程序后能得到符合模板對象的坐標與偏轉(zhuǎn)角。具體程序如圖12。圖12模板匹配具體程序5.1.1create算子create_shape_model(Template,NumLevels,AngleStart,AngleExtent,AngleStep,Optimization,Metric,Contrast,MinContrast,ModelID)。Template：reduce_domain后得到的圖型變量。AngleStart,AngleExtent：AngleStart是選擇起始角度，AngleExtent是旋轉(zhuǎn)角度的范圍，因為本課題是識別電子元件，電子元件的位置一般不固定，所以選用的是rad（0）與rad（360）。Optimization：設置模板優(yōu)化和模板創(chuàng)建方法，因為本課題是電子元件的識別，所以一般使用的是’auto’模式，因為所拍攝的圖像包含像元點數(shù)不會過多，基本不會拖累計算速度。Metric：匹配方法設置，分為'use_polarity'、'ignore_global_polarity'、'ignore_local_polarity'、'ignore_color_polarity'四個模式。本課題使用的是'use_polarity'由于圖片均基于同種光源下拍攝，對比度基本不會出現(xiàn)特別不均的情況，不用考慮'ignore_global_polarity'對比度相反情況，以及'ignore_local_polarity'部分對比度不均勻情況，當然'ignore_color_polarity‘顏色對比度不相同的情況也基本不會發(fā)生。Contrast，MinContrast：設置對比度，要依據(jù)具體情況來設置，太小會導致模型包含雜點過多，從而識別所花費時間過多，甚至影響最終識別的score的數(shù)值與識別個數(shù)。而對比度數(shù)值設計過高會導致模板包含特征過少，無法判斷芯片的極性，無法區(qū)分偏轉(zhuǎn)角。ModelID：輸出的模板句柄，用于find算子識別。5.1.2find算子find_shape_model(Image,ModelID,AngleStart,AngleExtent,MinScore,NumMatches,MaxOverlap,SubPixel,NumLevel,Greediness,Row,Column,Angle,Score)。Image：輸入的目標圖像，用于圖像識別。ModelID：創(chuàng)建模板導出的模板句柄。AngleStart，AngleExtent：旋轉(zhuǎn)角的旋轉(zhuǎn)，保持與create算子相同。MinScore：匹配最小分數(shù)，要求最終識別對象的Score數(shù)值要大于設定的數(shù)值，設置過高會導致識別的對象不足實際數(shù)量，設置過低會導致一些影響區(qū)間也被當做是識別對象被識別出來，本課題設計的是0.5，基本能滿足識別所有的電子元件。NumMatches：定義要輸出的匹配的最大個數(shù)，但由于代碼的普適性，一般設為0，代指顯示出所有的識別個數(shù)，并非是0個。如果設置的參數(shù)大于識別的個數(shù)，只會顯示出能夠識別的對象，如果設置的參數(shù)小于識別的個數(shù)，則會顯示出最大Score分數(shù)的對象。MaxOverlap：重疊系數(shù)，指的是圖像中存在的模板重疊現(xiàn)象，如果找尋目標存在重疊，且重疊量小于重疊系數(shù)，則可以輸出兩個目標，大于則只能輸出上面覆蓋的那個目標，參數(shù)默認值設為0.5，根據(jù)實際情況而定，因為本課題組并未設計重疊的圖像，所以設置的是0。SubPixel：確定找到的目標是否使用亞像素精度提取。一共五種模式，由于本課題是電子元件的識別，模式'least_squares'完全夠用，其余模式就不過多敘述了。NumLevels：搜索時的金字塔層數(shù)，金字塔層數(shù)越大匹配速度越快，精準度越低，通過多次實驗對比，當金字塔層數(shù)取到[2,1時,精度滿足要求，且不會過度拖累程序運行時間。Greediness：則是貪婪系數(shù)。影響搜索目標時間，貪戀系數(shù)設為1是使用的不安全的搜索模式，可能出現(xiàn)圖像目標搜索不完全的情況出現(xiàn)，但由于本課題組使用的圖片變量經(jīng)過圖像預處理，將貪婪系數(shù)設置成1也基本可以滿足識別定位需求。Row，Column，Angle，Score：為輸出的四個系數(shù)，前兩個為坐標，然后是偏轉(zhuǎn)角與識別獲得的分數(shù)。5.2電子元件的定位通過之前標定得到的相機內(nèi)外參數(shù)，使用轉(zhuǎn)換坐標算子，將像素坐標轉(zhuǎn)換成世界坐標即可完成最終的識別定位，如圖13為最終得出的世界坐標。以及最終的成品顯示如圖14。圖13最終得到的世界坐標圖14最終成品圖6.總結(jié)本文簡單介紹了基于機器視覺的電子元件的識別與定位，實驗過程中也遇到了許多的問題與挑戰(zhàn)。通過實驗臺與工業(yè)相機拍攝的芯片很多時候并不滿足模板匹配的要求，要先在拍攝的過程中移動芯片到最佳位置。盡量采集清晰的，不含雜點的圖片素材，再對其進行圖像的預處理。其次標定的時候要多拍幾組標定板的素材，不同光照，不同旋轉(zhuǎn)角的情況下，都會影響最終標定的結(jié)果，要多次進行標定已得到最佳的標定數(shù)據(jù)。而且要保證標定拍攝的放大倍數(shù)要與之后進行圖像采集的放大倍數(shù)保持一致，不然最終獲取的坐標會與實際有較大的差距。還有模板匹配過程中，要對算子參數(shù)進行多次調(diào)整，已到達最佳匹配的效果。參考文獻[1]陳之射,尹芳曄.機器視覺和人工智能的現(xiàn)代化發(fā)展分析[J].中國新通信,2023,25(02):36-38.[2]機器視覺前景看好2016年市場規(guī)模將達38億元[J].自動化與儀表,2014,29(04):35.[3]吳巧明.玻璃蓋板視覺測量系統(tǒng)關(guān)鍵技術(shù)研究[D].廈門大學2021.D01:10.27424/ki.gxmdu.[4]