TCI 360-2024 IC封裝基板圖像檢測系統(tǒng)技術規(guī)范

IC封裝基板圖像檢測系統(tǒng)技術規(guī)范中國國際科技促進會發(fā)布I 2 5 8 本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規(guī)則》的規(guī)定（ZL202320228298.6）一種表面貼裝元件本文件的發(fā)布機構對于該專利的真實性、有效性和范圍無任專利持有人姓名：合肥綜合性國家科學中心人工1IC封裝基板圖像檢測系統(tǒng)技術規(guī)范匹配特征融合的SMT貼片元件缺陷檢測框架和基于元遷移學習和多尺度融合網(wǎng)絡SMT貼裝小樣本缺陷分割框架要求，提供了緩解遺忘性的圖像增量學習分類方法和本文件適用于工業(yè)IC封裝基板及SMT貼裝圖像檢測系統(tǒng)的研究、設計、技術路線，可作為IC封裝基板和SMT貼裝自動光學檢測系統(tǒng)設計與研究的技術依據(jù)。適用于3C、芯片等泛半導體行業(yè)、LED、OLED等新型顯示面板行業(yè)以及新能源產(chǎn)業(yè)電池模組端板、電芯等行業(yè)產(chǎn)品工業(yè)視覺質(zhì)將硅片上的電路管腳用導線接引到外部接頭處，以便與其它器件連接的裝置。注：封裝基板不僅能保護電路、固定線路并導散余熱表面貼裝技術surfacemountedtechn注：這種檢測系統(tǒng)可以改良傳統(tǒng)上使用人力和光學儀器進行檢測的缺注：LED可高效地將電能轉(zhuǎn)化為光能，因此在現(xiàn)代社會具有廣化等傳統(tǒng)幾何特征描述的不足，提取圖像的局部幾2卷積神經(jīng)網(wǎng)絡convolutionalneura體積和重量只有傳統(tǒng)插裝元件的1/10左右，因此利用SMT技術生產(chǎn)的電子產(chǎn)品整體體積縮小約40%~3圖1IC封裝基板光學檢測裝置如圖1所示，固定支架1包括兩個U型架2、基座連桿3、兩個固定桿4、第一滑動移桿5和第二滑動移桿6,U型架2的開口都朝下并且均豎直設置，基座連桿3水平布置，基座連桿3與兩個U型架2的上表面均固定連接，兩個固定桿4分別固定連接在基座連桿3下表面的兩側，兩個固定桿4與基座連桿3所在的平面垂直，兩個固定桿4的相對側一面分別都設有滑槽，第一滑動移桿5在兩個固定桿4上的滑槽滑動上，并且第一滑動移桿5的兩端在滑動結束后通過螺栓固定住，第一滑動移桿5水平布置，第二滑動移桿6在兩個固定桿4上的滑槽上滑動，并且第二滑動移桿6的兩端在滑動結束后通過螺栓固定住，所述第二滑動移桿6也水平布置，第一滑動移桿5在第二滑動移桿6的上方，即第一滑動移桿5和第二滑動移桿6在松開螺栓時可以上下滑動，滑動到需要的位置時通過螺栓將其固定。如圖1及圖2所示，所述圖像采集機構7為工業(yè)相機8,該工業(yè)相機8與第一滑動移桿5固定連接，工業(yè)相機8拍攝時的拍攝鏡頭垂直向下，光源機構9包括半球環(huán)形裝置10、紅色環(huán)形LED發(fā)光二極管燈帶11、綠色環(huán)形LED發(fā)光二極管燈帶12和藍色環(huán)形LED發(fā)光二極管燈帶13,半球環(huán)形裝置10與第二滑動移桿6固定連接，半球環(huán)形裝置10橫截面小的部分朝上，紅色環(huán)形LED發(fā)光二極管燈帶11、綠色環(huán)形LED發(fā)光二極管燈帶12和藍色環(huán)形LED發(fā)光二極管燈帶13在半球環(huán)形裝置10從上而下依次緊貼，工業(yè)相機8和半球環(huán)形裝置10處在同一個軸線上。4圖2IC封裝基板光源機構IC封裝基板檢測具體實施流程如圖3所示：a)首先將該裝置安裝在PCB傳送平臺的上方，使得工業(yè)相機21的視角正對于PCB的主體部分，松開第一滑動移桿14兩端的螺栓，使第一滑動移桿14在固定桿13上上下滑動，調(diào)整工業(yè)相機21到的距離來實現(xiàn)成像視窗范圍調(diào)整；b)其次將紅色環(huán)形LED發(fā)光二極管燈帶31、綠色環(huán)形LED發(fā)光二極管燈帶32以及藍色環(huán)形LED發(fā)光二極管燈帶33通過電源線與光源控制器連接；c)光源控制器打開紅色環(huán)形LED發(fā)光二極管燈帶后，工業(yè)相機21采集PCB成像，然后光源控制器打開綠色環(huán)形LED發(fā)光二極管燈帶，工業(yè)相機21采集PCB圖像，最后光源控制器打開藍色環(huán)形LED發(fā)光二極管燈帶，將第二滑動移桿15兩端的螺栓松開，調(diào)節(jié)光源機構3的高度，使得不同高度的光源機構3對電路板進行照射，可以得到更高的成像分辨率，同時保證整塊電路板受到均勻光照，避免由于視角不同、照明差異所導致PCB成像不一致，至此完成一個視窗下的PCB成像采集，如此循環(huán)此操作直至所有視窗拍攝完畢。圖3IC封裝基板檢測流程55基于主要距離的空域融合主板拼接方法5.1圖像拼接策略圖像拼接分為硬拼接和軟拼接，硬拼接依賴既定的偏移量將兩幅圖像的像素直接疊加實現(xiàn)拼接，軟拼接則依賴于拼接算法將兩幅不同視角的圖像置于統(tǒng)一的坐標系中，再通過像素映射實現(xiàn)拼接?；谥饕嚯x的空域融合主板拼接算法流程如下圖4所示。理理BA圖4空域融合主板拼接算法流程5.2圖像預處理采用多種濾波器復合處理的解決方案，即先對原始圖像進行雙邊濾波，再經(jīng)過一次中值濾波。a)雙邊濾波是在高斯濾波的基礎上加入了像素值權重項，能夠很好地對圖像進行平滑處理以濾除高斯噪聲，并且還能夠很好地保留圖像的高頻細節(jié)，公式如下：g(x,y濾波后的輸出像素點灰度值；f(k,1)——輸入像素點灰度值：o(x,y,k,1)定義域核與值域核的乘積。g值域高斯函數(shù)的標準差；f(x,y)——核函數(shù)作用域內(nèi)的中心點。b)中值濾波是把數(shù)字圖像一點的值用該點的一個鄰域中各點值的中值代替，對處理椒鹽噪聲非常有效，公式如下：式中：g(x,y)濾波后目標像素點的灰度值；f(s.t)——鄰域S中像素點灰度值。5.3SURF特征點提取AOI系統(tǒng)中的PCB圖像在拍攝過程中是通過置物臺的平移逐步獲取的，因此相鄰圖像間具有非常良好的平移特性，同時移動過程中的輕微震動導致小角度的偏移，又使得兩幅圖像間出現(xiàn)一定的旋轉(zhuǎn)變換。PCBA主板上的存在著各種元器件、孔位、錫膏和字符等，經(jīng)過平移旋轉(zhuǎn)變換后能夠產(chǎn)生大量穩(wěn)定的點特征，利用好圖像間重疊部分的這些特征，將對拼接算法有著非常重要的意義，SURF特征提取算法在PCB圖像中表現(xiàn)最佳，兼顧了速度和穩(wěn)定性。a)在原始圖像的基礎上構建尺度空間。SURF首先將原圖轉(zhuǎn)換為積分圖像，對于圖像中某一點P(x,y),其在積分圖像上的值為：6()=∑∑ω(,)·····································ω——權重系數(shù)，范圍為[0,1]，表示由原點和該點組成的矩形區(qū)域內(nèi)所有像素的總和。），(,)= c)將盒式濾波器帶入Hessian矩陣，得 式中Dxx、Dxy和Dyy分別代表盒式濾波器的三個濾波模板。然后 為了平衡近似代替的誤差，通常要在Dxy前乘上一個加權系數(shù)0.9。如果將()作為判別項，則5.4特征點精確定位5.4.1通過盒式濾波器建立起圖像的尺度空間后，對像素點可以計算出其近似的海森矩陣行列式的正負性，從而判斷該點是否為極值點。然后再將其的極值點可能處在兩點中間，因此需要采用二次插值來確定亞像素級特征點的精5.4.2在特征點的半徑為n_6*S（S為特征點所在的尺度值）5.4.3在以特征點為中心，周圍n_2方向。再將該區(qū)域劃分為n_4*n_4個子塊，每個子塊大小為n_5*S*n_5*S直和水平方向的Harr小波響應值之和，包括四個分量∑、∑、∑和∑,得到一個n_4*n_4*n_4維的特征點描述向量。最后對其歸一化處理以消除光照影響，得到特征點描述向量。特征點的集合M和N后，下一步需要對兩個集合內(nèi)的特征點的將是查詢集中與其歐氏距離最近和次近的特征點，距離分別為d0和d1。然后對距離比r進行評估：=···························································如果r的值小于某個閾值，就保留該對匹配點，手動設定的值來確定。經(jīng)過上述論證，采用SURF提取的特征點在配對后，如果將兩幅圖像直接拼接在5.5.2將主要距離進一步細化，得到精確到像素單位的匹配點距離分布直方圖。通過在硬拼接的流程7對于列拼接，按照設定的列偏移，將左圖的重疊區(qū)域截斷，再將右圖與截斷后的左圖通過concatenate依次類推，完成整個列的拼接；對于行拼接，5.5.4為消除因光照不均造成的拼接縫兩邊明顯色差。將拼接縫兩邊一定范圍內(nèi)的像素分別用兩張圖,?····················(9)5.5.5采用SURF算法提取出待拼接圖像的特征點并配對，再計算出匹配對之間的歐6.1在元件貼裝環(huán)節(jié)，電子貼片元件通過錫膏焊接在P陷檢測主要分為人工目檢和AOI。即經(jīng)過A6.2首先將貼片元件的模板圖像與貼片元件的待測圖像組成貼片元件樣本，并根據(jù)貼片元件樣本中的待測圖像的深度特征2，并得到模板圖像和待測圖像的語義差異映射特征(1,2)。2應用一個相關操作模塊，得到模板圖像和待測圖像的語義差異映射(1,2)：,2)=1····································{Conv4,Up1,Conv5,Up2,Conv6,Up3,Conv7}；最后連接一個Soft8loss=Z=0(Y,p?,p?)1=Z=o(1-YLs(D)+Y×Lpmax{0,(M-N——貼片元件樣本的個數(shù)；設定當D(p?,P?)>M時，損失函數(shù)值為0,以簡化計算。根據(jù)損失函數(shù)loss,訓練缺陷檢測模型，6.5將訓練完成的缺陷檢測模型用于待測圖像的SMT缺陷檢測。在檢測時，選擇與待測圖像具有相同值時，判斷待測圖像對應的貼片元件為正常。基于匹配特征融合的SMT貼片元件缺陷檢測框架如圖5檢測結果1上采樣圖5基于匹配特征融合的SMT貼片元件缺陷檢測框架7基于元遷移學習和多尺度融合網(wǎng)絡SMT貼裝小樣本缺陷分割框架9圖6基于元遷移學習和多尺度融合網(wǎng)絡SMT貼裝小樣本缺陷分割框架獲取預訓練采用的數(shù)據(jù)集為公共的COCO數(shù)據(jù)集以及小樣本SMT貼裝元件采集圖像。元學習采用的數(shù)據(jù)集使用來自筆記本生產(chǎn)工廠流水線實際采集到的6類缺陷，分別是缺件、偏移、假焊、少錫、側立、立碑。預訓練采用的數(shù)據(jù)集為公共的COCO數(shù)據(jù)集，COCO數(shù)據(jù)集是一個80類別的大規(guī)模數(shù)據(jù)集。COCO-stuff用像素級的東西注釋增強了流行的COCO數(shù)據(jù)集。這些標注可用于場景理解任務，如語義分割、目標檢測和圖像描述。7.2.1預訓練大規(guī)模數(shù)據(jù)上的預訓練，即使用公共數(shù)據(jù)集進行訓練。首先初始化一個特征提取器O和一個分類器-特征提取器0:預訓練過程中用到的特征提取器，比如預訓練用到了COCO數(shù)據(jù)集，有n_class個類別，那么日就是將輸入轉(zhuǎn)換為一個n_class維度的特征向量。分類器θ是用來做維度轉(zhuǎn)換的，比如我們最后小樣本分類是一個target_class分類，那么分類器0作用就是將n_class維度的特征向量轉(zhuǎn)換為5維。|D|——數(shù)據(jù)個數(shù)。之后預訓練學習到的分類器0將被丟棄，因為隨后的幾次任務包含不同的分類目標。7.2.2元學習訓練SS操作表示為ΦS1和ΦS2,在學習過程中不改變預訓練階段訓練的凍結神經(jīng)元權值，而FT更新完整的網(wǎng)絡。將Φs1初始化為weight同維度的全1向量，Φs2初始化為bias同維度的全0向量，然后分別擴展為和weight、bias的同尺度，然后分別和weight和bias按元素相乘：其中Q是特征提取器，θ是基學習器。整個訓練過程可以分為兩個階段，首先將數(shù)據(jù)集分為支持集和查詢集，T(支持集)的損失通過梯度下降來優(yōu)化當前的基礎學習器(分類器)θ',公式如下：——學習率；2——位移參數(shù)。T(查詢集)的損失通過梯度下降來優(yōu)化當前的元學習器SS，公式如下：····································(15)——學習率；——梯度。構建元遷移學習的框架，多任務學習框架包括用VGG作為主干網(wǎng)絡，其中有5個編碼器塊得到五個初步特征圖(Fi,i∈{1,2,3,4,5})。首先，同級別的特征分別輸入到上一層網(wǎng)絡，逐步進行融合，最后得到5個增強特征圖(Leveli,i∈{1,2,3,4,5})，高層的特征圖聚合了更多的特征，底層的特征圖有更多的語義信最后，每個Leveli逐步融合并生成最終預測。任意兩層之間的融合可以表示為：················································(16)Lpre=Lce+Ldice+Lfocal·············································(17)ieo——相似系數(shù)損失函數(shù)，見公oa——Focal損失函數(shù)，見公式（18oi——邏輯損失函數(shù)，見公式（ieo=·················································(18)············································(19)7.3.3元遷移測試Pi——預測為j的真值i的個數(shù)；miou做為評估指標。8緩解遺忘性的圖像增量學習分類方法8.1緩解增量學習中遺忘性危機的深度學習圖像分類算法利用自適應聚合網(wǎng)絡來保證模型不會增長的緩解遺忘性的圖像增量學習分類算法結構如圖7所示，其中藍色的部分被稱作塑性模塊，用來存放塊分別是兩個卷積神經(jīng)網(wǎng)絡的部分層，這個卷積神經(jīng)網(wǎng)絡可以是ResNet也可以是ResNext等。將圖片分別輸入兩個卷積神經(jīng)網(wǎng)絡，將某一層后的輸出引出之后分別得到,經(jīng)過運后輸入兩個卷積神經(jīng)網(wǎng)絡之后的層，再分別將之后的層的輸出繼續(xù)進行上述運算之后再輸入到下一可以自適應學習優(yōu)化。預測預測結果○D○x3*alx3*al3圖7自適應聚合網(wǎng)絡結構φ——穩(wěn)定模塊部分神經(jīng)網(wǎng)絡的網(wǎng)絡參數(shù)；8.3在增量學習階段，穩(wěn)定模塊部分的參數(shù)將被凍結，即不再變化。并先訓練塑性模塊的網(wǎng)絡模型參,-,,-=(,;,)··································(24),-和,-各個塑性模塊和穩(wěn)定模塊的自適應聚合權重；()——交叉熵損失函數(shù)。=(;,-,,-;,)··································(25)8.4在蒸餾學習階段，將模型的全部參數(shù)凍結，并按照穩(wěn)定模塊的神經(jīng)網(wǎng)絡模型的參數(shù)復制一個相同=(,;,-,,-;,)+(,;,-,,-;,)(26)——復制的穩(wěn)定模塊網(wǎng)絡。9基于能量分布的未知異常樣本檢測方法已知缺陷類別特征空間已知缺陷類別特征空間骨干網(wǎng)絡骨干網(wǎng)絡頻率頻率能量分數(shù)迭代圖8基于能量分布的未知異常樣本檢測方法9.2基于T能量分布的未知異常樣本檢測方法基于能量的傳輸機制ET和簇間擴展策略Lrep組成，為部分未標記的符合已知缺陷類別的PCB樣本分配正確的缺陷類標簽，然后一步促進logit空間中的區(qū)分度，不確定性能夠顯著反映已知/未知缺陷類別樣本之間的差異，集群間擴展策略增強了混合已知和未知缺陷樣本的全局特征表示，然后增強的表示將被映射到更具區(qū)分度的同已知PCB缺陷類別檢測不同，期目標在未知缺陷樣本的干擾下分配標簽，提出了一種基于logit空間的基于能量的傳輸(ET)機制，以更充分地探索未標記集中的語義差異和隱藏的知識。9.3具體來說，以與分類器Hcts并行的方式引入K維度的OT聚類器記為Hot,用于將訓練樣本聚類為{2?,Z?……zn},定義第i個樣本所屬族類概率：9.4然后將最優(yōu)傳輸問題中的成本矩陣定義為P∈RK×N以及公式(27)表示x;屬于g的概率，其中c;是第j個簇。同樣，將QERKxN表示為分配矩陣，公式(28)表示x;分配給c;的后驗概率。需要注意的是，分配矩陣Q僅表示將某個簇分配給每個樣本，而不是直接為分類訓練分配標簽。當我們使用N維向量β表示N個樣本和K維向量α表示K個簇的分布時，傳輸多面體中分配矩陣Q的所有可行解可以表示為公 ∈∑=1()···········································9.5基于能量的傳輸機制（ET）將鼓勵具有較高能量分數(shù)的樣本被分配到同一個簇中，而那些具有較=?∈·································OT(α,β)=