精密電子組裝中的機(jī)器視覺和運(yùn)動(dòng)控制技術(shù)

2023年6月15日胡躍明教授TEL密電子組裝中的機(jī)器視覺和運(yùn)動(dòng)控制技術(shù)當(dāng)前第1頁\共有44頁\編于星期三\10點(diǎn)

目錄一、研究背景二、核心技術(shù)三、視覺檢測四、控制系統(tǒng)五、中心介紹當(dāng)前第2頁\共有44頁\編于星期三\10點(diǎn)

一、研究背景當(dāng)前第3頁\共有44頁\編于星期三\10點(diǎn)●應(yīng)用背景：各種片式元器件組裝到PCB或?qū)⒙闫N到封裝基板貼片機(jī)-電子信息制造業(yè)需求量最大的關(guān)鍵工作母機(jī)沒有貼片機(jī)就沒有手機(jī)等便攜式電子產(chǎn)品的今天！印刷：焊膏或貼片膠漏印到PCB的焊盤（絲印機(jī)）貼片：將表面組裝元器件準(zhǔn)確安裝到PCB的固定位置（貼片機(jī)）焊接：將焊膏融化，使表面組裝元器件與PCB板牢固粘接（回流焊爐）檢測：在貼裝和回流焊后對PCB進(jìn)行在線質(zhì)量檢測（AOI、AXI）當(dāng)前第4頁\共有44頁\編于星期三\10點(diǎn)●發(fā)展趨勢：尺寸：兩極方向發(fā)展（從200x125mm到0805、0603、0402、0201、01005）間距：引腳數(shù)不斷增加、引線間距不斷縮?。≦FP:0.25mm;BGA:0.2mm;CSP:0.05mm）

類型：多元化（各種LED器件、柔性板、屏蔽罩、太陽能電池芯片）技術(shù)：模塊化、封裝/組裝/插件一體化、節(jié)能環(huán)保(無鉛化)當(dāng)前第5頁\共有44頁\編于星期三\10點(diǎn)●裝備特點(diǎn)：高速、高精度、多元化發(fā)展的三大關(guān)鍵裝備之一當(dāng)前第6頁\共有44頁\編于星期三\10點(diǎn)●長期依賴進(jìn)口淘汰技術(shù)和設(shè)備！●國內(nèi)發(fā)展概況：當(dāng)前第7頁\共有44頁\編于星期三\10點(diǎn)●關(guān)鍵設(shè)備－全自動(dòng)貼片機(jī)，國產(chǎn)化前仆后繼！

80年代：上海21所、無專廠、泰士昆、上海交大、微電子裝備所先后搞過五次，停留在科研項(xiàng)目鑒定

90年代：支持2所、7所開展SMT研發(fā)，停留在科研項(xiàng)目鑒定

2000年～：熊貓電子、廣州羊城、上海交大，先后中斷

珠海運(yùn)泰利等正在啟動(dòng)貼片機(jī)研制項(xiàng)目

華南理工大學(xué)與風(fēng)華高科：系列機(jī)型已實(shí)現(xiàn)小批量產(chǎn)業(yè)化！●國內(nèi)發(fā)展概況：●輔助設(shè)備已實(shí)現(xiàn)量產(chǎn)：回流焊爐:廣東風(fēng)華、東莞科隆威、深圳日東等

絲印機(jī)：東莞凱格、東莞科隆威、深圳德森、廣東風(fēng)華等

光學(xué)檢測設(shè)備：東莞神州視覺、深圳振華、啟東日聯(lián)等當(dāng)前第8頁\共有44頁\編于星期三\10點(diǎn)●大環(huán)境問題：

產(chǎn)業(yè)鏈：存在許多缺口，被動(dòng)型電子制造大國。政府：整個(gè)產(chǎn)業(yè)長期得不到國家層面的支持與重視。國際競爭：國際知名電子企業(yè)參與競爭、技術(shù)進(jìn)步一日千里。

●技術(shù)瓶頸問題

技術(shù)難度高：光機(jī)電、自動(dòng)化、計(jì)算機(jī)、光學(xué)等交叉產(chǎn)業(yè)要求高：數(shù)控裝備、熟練技工、裝配、測試、市場資金投入大：研發(fā)投入大、可靠性需投入數(shù)千萬元測試

●教育問題教育：教育與生產(chǎn)脫節(jié)，整個(gè)SMT行業(yè)人才嚴(yán)重缺乏。技工：

國外產(chǎn)品一統(tǒng)天下，需要熟練的外語，SMT技工奇缺

質(zhì)量：

SMT工藝水平差導(dǎo)致終端產(chǎn)品質(zhì)量差、返修率高●癥結(jié)問題：當(dāng)前第9頁\共有44頁\編于星期三\10點(diǎn)●市場需求依然旺盛：

高速機(jī)型：隨手機(jī)、筆記本電腦、數(shù)碼相機(jī)和汽車音響等穩(wěn)定增長

中高速機(jī)：隨中小企業(yè)轉(zhuǎn)型需求急劇增長

專用機(jī)型：隨LED、太陽能電池、柔性電路板、屏蔽罩等成為新增長點(diǎn)●發(fā)展機(jī)遇：●國外產(chǎn)品也滿足不了生產(chǎn)要求需求：非標(biāo)器件：LED、太陽能電池芯片及FPC、屏蔽罩等各種非標(biāo)準(zhǔn)器件高端芯片：各種極大規(guī)模集成電路倒裝芯片、3D封裝芯片等微型元件：各種微型化元件（01005及以下尺寸）當(dāng)前第10頁\共有44頁\編于星期三\10點(diǎn)

文章標(biāo)題：

●世界工廠優(yōu)勢不再●建設(shè)SMT強(qiáng)國勢在必行●建設(shè)SMT強(qiáng)國的基礎(chǔ)●金融海嘯擋不住中國SMT強(qiáng)國的步伐●怎樣才算SMT強(qiáng)國●建設(shè)SMT強(qiáng)國的四件大事：

●政府一定要在建設(shè)SMT強(qiáng)國的進(jìn)程中有作為

●人才培養(yǎng)是重中之重

●

SMT企業(yè)要堅(jiān)持自主創(chuàng)新

●

SMT行業(yè)和諧合作“和為強(qiáng)”●貼裝設(shè)備國產(chǎn)化刻不容緩，大有可為！

●產(chǎn)業(yè)需求：汽車電子、太陽能、LED照明、醫(yī)療電子等后發(fā)展契機(jī)！

●政府引導(dǎo)：國家和地方政府尤其是廣東省政府重點(diǎn)扶持裝備制造業(yè)！

●經(jīng)驗(yàn)積累：

20余年引進(jìn)消化吸收，軟硬件和產(chǎn)業(yè)化環(huán)境進(jìn)步！業(yè)界期盼2015年成為SMT強(qiáng)國！當(dāng)前第11頁\共有44頁\編于星期三\10點(diǎn)二、核心技術(shù)當(dāng)前第12頁\共有44頁\編于星期三\10點(diǎn)轉(zhuǎn)塔式貼片機(jī)結(jié)構(gòu)

●精密機(jī)械設(shè)計(jì)動(dòng)臂式貼片機(jī)結(jié)構(gòu)多工作站貼片機(jī)結(jié)構(gòu)當(dāng)前第13頁\共有44頁\編于星期三\10點(diǎn)●轉(zhuǎn)塔式：貼裝頭數(shù)在12個(gè)以上，產(chǎn)能每小時(shí)2～5萬片；適用尺寸小、引腳簡單、精度低場合●動(dòng)臂式：貼裝頭數(shù)一般為2～8個(gè)，產(chǎn)能每小時(shí)0.5～2萬片；可貼裝各種尺寸和封裝形式的元器件；質(zhì)檢、定位通過高速視覺系統(tǒng)，且采用飛行換嘴技術(shù)●工作站：多模塊或多機(jī)型并行組裝，產(chǎn)能每小時(shí)5～10萬片●特點(diǎn)當(dāng)前第14頁\共有44頁\編于星期三\10點(diǎn)

●高速高精度視覺檢測技術(shù)

●多目標(biāo)動(dòng)態(tài)視覺信息獲取與預(yù)處理

●多目標(biāo)識別、優(yōu)化和定位算法及實(shí)現(xiàn)

●自適應(yīng)照明系統(tǒng)設(shè)計(jì)

●多軸運(yùn)動(dòng)控制技術(shù)

●基于視覺的多軸運(yùn)動(dòng)建模及簡化●多軸運(yùn)動(dòng)/力協(xié)調(diào)控制及優(yōu)化●喂料、檢測與貼裝過程的并行處理技術(shù)

●精密零部件設(shè)計(jì)與加工

●喂料器、組裝頭、吸嘴的設(shè)計(jì)與加工●精密絲杠設(shè)計(jì)及加工●安裝、測試工藝及標(biāo)準(zhǔn)●系列表面貼裝和檢測設(shè)備實(shí)現(xiàn)●系列高端貼裝設(shè)備自主研制●系列X光學(xué)檢測設(shè)備自主研制●關(guān)鍵零部件國產(chǎn)化●關(guān)鍵技術(shù)：當(dāng)前第15頁\共有44頁\編于星期三\10點(diǎn)●研究方法及技術(shù)路線：多目標(biāo)機(jī)器視覺信息獲取與預(yù)處理

高速高精度機(jī)器視覺檢測與定位多軸運(yùn)動(dòng)控制技術(shù)精密機(jī)械設(shè)計(jì)貼裝設(shè)備X光檢測設(shè)備當(dāng)前第16頁\共有44頁\編于星期三\10點(diǎn)●循序漸進(jìn)的戰(zhàn)略規(guī)劃●瞄準(zhǔn)中高端SMT裝備，逐步實(shí)現(xiàn)國產(chǎn)化！●建設(shè)SMT裝備研發(fā)、制造和應(yīng)用強(qiáng)國！當(dāng)前第17頁\共有44頁\編于星期三\10點(diǎn)●技術(shù)創(chuàng)新點(diǎn)（核心技術(shù)專利占國內(nèi)3/4）

全自主軟硬件系統(tǒng)設(shè)計(jì)自適應(yīng)光源系統(tǒng)多視覺檢測/多軸控制一體化嵌入式視覺系統(tǒng)貼插一體化技術(shù)

●研究進(jìn)展：●8/4/2頭系列機(jī)型：

各種機(jī)型生產(chǎn)銷售120余臺，創(chuàng)造直接經(jīng)濟(jì)效益6000萬

2004年國家重點(diǎn)新產(chǎn)品

2008年中國SMT創(chuàng)新成果獎(jiǎng)●技術(shù)團(tuán)隊(duì)：

精密電子制造裝備教育部工程研究中心廣東省高校產(chǎn)學(xué)研結(jié)合示范基地聯(lián)合中科院自動(dòng)化所、東南大學(xué)等優(yōu)勢力量當(dāng)前第18頁\共有44頁\編于星期三\10點(diǎn)當(dāng)前第19頁\共有44頁\編于星期三\10點(diǎn)三、視覺檢測當(dāng)前第20頁\共有44頁\編于星期三\10點(diǎn)●圖像采集與處理系統(tǒng)設(shè)計(jì)：目的：獲得PCB及元器件的基本信息，并進(jìn)行貼裝校準(zhǔn)難點(diǎn)：高速動(dòng)態(tài)采集及識別

同樣硬件下處理種類繁多的缺陷檢測和定位信息！

PCB及芯片高密度大尺寸化、片式元器件日益微型化！當(dāng)前第21頁\共有44頁\編于星期三\10點(diǎn)●移動(dòng)示教系統(tǒng)：貼裝頭、采用面陣CCD●元件拾取位置參數(shù)示教：喂料器、托盤系統(tǒng)元件拾取位置示教●PCB板定位信息校準(zhǔn)及示教：PCB參考點(diǎn)、Mark點(diǎn)、元件貼裝位置示教●貼裝質(zhì)量檢測：元件貼裝完成后貼裝效果檢查●前臺多視覺系統(tǒng)：前臺機(jī)架、線陣CCD、高速運(yùn)動(dòng)采集和校準(zhǔn)?！駲z測：從形狀、長寬尺寸判斷吸取元件類型是否正確；檢測芯片管腳數(shù)是否符合；判斷管角排列有無異常彎折、太靠近或短路等。●校準(zhǔn)：采集及計(jì)算8個(gè)吸嘴上所吸取元件的位置偏移及角度偏差?！窈笈_多視覺系統(tǒng)：后臺機(jī)架、2k像素/線以上的高分辨率CCD●功能：主要用途與前臺攝像機(jī)系統(tǒng)相同?！裉攸c(diǎn)：處理大尺寸IC、異形件等（寬度最大60mm以下的各類元器件）當(dāng)前第22頁\共有44頁\編于星期三\10點(diǎn)

●線陣CCD可直接采集大尺寸長條形的元件圖像

如采集長寬為128x35mm區(qū)域的圖像一般不超過120ms。而面陣CCD在相同物距的情況下，可視范圍只能達(dá)到30mmx30mm，必須分多次采集或采用多個(gè)面陣CCD同時(shí)采集，因此不適合處理長條形大尺寸器件?！衩骊嘋CD不能直接采集大尺寸元件圖像

面陣CCD四次采集的圖像還需拼合成為一張完整圖片才能進(jìn)一步作圖像校準(zhǔn)。但一般面陣CCD采集的圖像的邊緣部分會出現(xiàn)變形失真，導(dǎo)致拼合后的圖片出現(xiàn)拼合處圖像失真，繼而會影響計(jì)算出來的數(shù)據(jù)?！裥詢r(jià)比：

線陣CCD價(jià)格高且是運(yùn)動(dòng)采圖，如果采用恒速采圖的方案，則要求必須保證電機(jī)在采圖時(shí)的速度波動(dòng)小于1‰時(shí)，而面陣CCD靜止采圖失真較少?！駡D像采集方式：線陣與面陣CCD結(jié)合當(dāng)前第23頁\共有44頁\編于星期三\10點(diǎn)變形的圖像正常的圖像速度誤差在+1%時(shí)，角度誤差有0.2~0.3速度誤差在+0.1%時(shí)，角度誤差有0.02~0.03●恒速采圖方式：

器件運(yùn)動(dòng)速度控制精度必須小于1‰，否則會帶來圖像變形●行同步變速采圖方式：

將伺服電機(jī)編碼盤信號與線陣CCD行采集觸發(fā)信號同步，可使采圖不受器件運(yùn)動(dòng)速度波動(dòng)的影響，也可提高采集速度?！窬€陣CCD兩種采圖方式的比較：當(dāng)前第24頁\共有44頁\編于星期三\10點(diǎn)●LED光源系統(tǒng)：

●常用選型：CCS公司產(chǎn)品

●環(huán)形側(cè)光源LDR-120B

（圖中外圈的大光源）

適用于大尺寸的QFP、BGA、CSP等元件的照明

●低角度環(huán)形光源LDR-50B（圖中內(nèi)圈的小光源）

適用于小尺寸的CHIP、二極管、三極管等元件的照明●自適應(yīng)光源：自主研發(fā)

自適應(yīng)調(diào)整兩個(gè)光源照明亮度，獲得各類不同元件的最佳圖像效果當(dāng)前第25頁\共有44頁\編于星期三\10點(diǎn)

對焦不準(zhǔn).物體移動(dòng)

存在旋轉(zhuǎn)，縮放的不理想圖像原始圖像存在角度偏轉(zhuǎn)比例縮放幾種常用元器件圖像當(dāng)前第26頁\共有44頁\編于星期三\10點(diǎn)●圖像處理算法：

●目的：檢測對象類型、質(zhì)量、位置信息

●特點(diǎn)：多任務(wù)、高速、高精度、運(yùn)動(dòng)協(xié)調(diào)

●步驟：預(yù)處理、識別

●難點(diǎn)：

1、元件封裝種類繁多：常見有CHIP、SOIC、QFP、BGA、CSP以及各種異形元器件等。

2、元件尺寸變化范圍大：從最小01005(0.4mmx0.2mm)到最大128mmx60mm的器件。

3、定位精度高：要求XY軸誤差≤±0.08mm,角度誤差≤±0.08°4、抗干擾要求高：多引腳元件引腳反光效果存在差異、運(yùn)動(dòng)過程采集不同步及并行，要求算法魯棒性高因此，需要針對各種封裝的特點(diǎn)設(shè)計(jì)多種專用算法。當(dāng)前第27頁\共有44頁\編于星期三\10點(diǎn)●預(yù)處理：

●目的：將貼裝元件準(zhǔn)確地從圖像的背景中分割出來

●方法：

A)閾值法

設(shè)定灰度閾值，然后將各像素灰度值與其比較，分為兩類

B)區(qū)域法選取種子點(diǎn)，再將種子像素周圍的相似像素合并構(gòu)成區(qū)域

C)邊緣法檢測不同區(qū)域間的邊緣來解決圖像分割問題

D)分水嶺法

把灰度圖像視為地形表面，每個(gè)像素灰度值為該點(diǎn)海拔高度,每個(gè)局部極小值及影響區(qū)域稱為集水盆，其邊界形成分水嶺。當(dāng)前第28頁\共有44頁\編于星期三\10點(diǎn)MATROX公司MIL7.0圖像庫軟件模板匹配算法角度識別精度評估表樣板旋轉(zhuǎn)的角度（度）測量所得的角度（度）角度誤差（度）模板匹配幾何模板匹配模板匹配幾何模板匹配000.0280.100.168-0.10.040.500.603-0.50.075101.037-10.009555.07700.04910109.8720－0.156－0.10-0.1530.1－0.081－0.50-0.6020.5-0.13－10.185-0.9921.185－0.002－5-5-4.9810－0.009－10-10-9.96200.01當(dāng)前第29頁\共有44頁\編于星期三\10點(diǎn)●識別算法：

●目的：定位待貼元器件的幾何中心、旋轉(zhuǎn)角度、規(guī)格尺寸、引腳質(zhì)量等。

例如對于BGA類的芯片主要需要識別以下信息：

●判斷吸取類型是否正確；●計(jì)算球形引腳數(shù)、面積是否符合要求；●計(jì)算位置偏差、角度偏差。

●方法：

A)模板匹配法

設(shè)定標(biāo)準(zhǔn)模板，然后進(jìn)行匹配！計(jì)算量大、耗時(shí)！結(jié)合快速傅立葉變換等提高速度！

B)幾何矩法利用HU氏矩關(guān)于平移、縮放、旋轉(zhuǎn)等的不變性質(zhì)，提取特征進(jìn)行匹配！

C)矢量匹配法利用四元數(shù)理論，對RGB圖像進(jìn)行識別提升可靠性和速度！當(dāng)前第30頁\共有44頁\編于星期三\10點(diǎn)四、控制系統(tǒng)當(dāng)前第31頁\共有44頁\編于星期三\10點(diǎn)●工作流程：目的：高速喂料、吸取、運(yùn)動(dòng)校正、高精度貼裝難點(diǎn)：高速喂料、高速高精度貼裝、多目標(biāo)協(xié)調(diào)優(yōu)化

多軸運(yùn)動(dòng)控制當(dāng)前第32頁\共有44頁\編于星期三\10點(diǎn)

●自主研制電氣控制系統(tǒng)：上位系統(tǒng)軟件、通訊軟件、專家系統(tǒng)軟件的設(shè)計(jì)與編制；下位控制軟件的設(shè)計(jì)與編制；高速運(yùn)動(dòng)算法、模板識別與匹配、運(yùn)動(dòng)協(xié)調(diào)與優(yōu)化算法等子系統(tǒng)的研制與程序?qū)崿F(xiàn)；圖像采集與數(shù)字圖像處理；送料系統(tǒng)的運(yùn)動(dòng)控制;人機(jī)界面設(shè)計(jì);各控制機(jī)間的數(shù)據(jù)傳輸；控制機(jī)與其他設(shè)備的數(shù)據(jù)通訊；系統(tǒng)結(jié)構(gòu)設(shè)計(jì)；電氣原理設(shè)計(jì)?！耠姎庀到y(tǒng)設(shè)計(jì)：當(dāng)前第33頁\共有44頁\編于星期三\10點(diǎn)●電氣系統(tǒng)總體設(shè)計(jì)：當(dāng)前第34頁\共有44頁\編于星期三\10點(diǎn)●程序控制系統(tǒng)：

所有基于硬件的軟件實(shí)現(xiàn)●人機(jī)交互主控中心：

工控機(jī)及監(jiān)視器，人機(jī)交互界面及鍵盤輸入輸出

●PC104

AD

IO子處理系統(tǒng)：

主要進(jìn)行模數(shù)轉(zhuǎn)換、I/O處理和功能控制●高精度伺服運(yùn)動(dòng)控制系統(tǒng)：

通過兩塊四軸伺服運(yùn)動(dòng)控制卡，實(shí)現(xiàn)X、Y、Z、W、R、PU軸的運(yùn)動(dòng)控制●圖像采集與處理系統(tǒng)：

包括PCB攝像機(jī)、前臺線陣攝像頭、后臺面陣攝像頭系統(tǒng)●各模塊功能：當(dāng)前第35頁\共有44頁\編于星期三\10點(diǎn)三個(gè)PC104子處理系統(tǒng)通過串口RS485，采用半雙工通訊方式與上位機(jī)通訊，分別實(shí)現(xiàn)以下功能：●A板子處理系統(tǒng)：

主要是對前臺50個(gè)喂料器、指示燈及LED光源的控制●B板子處理系統(tǒng)：

主要是對PCB板傳送帶及后臺50個(gè)喂料器控制●

H板子處理系統(tǒng)：

對貼裝頭各嘴氣壓值檢測及吸片、貼片、換嘴控制●PC104子處理系統(tǒng)設(shè)計(jì)：當(dāng)前第36頁\共有44頁\編于星期三\10點(diǎn)●運(yùn)動(dòng)控制系統(tǒng)（主要包括位置、同步控制）設(shè)計(jì)：●一般位置控制：主要包括X、Y、R、Z、PU、W軸的半閉環(huán)位置運(yùn)動(dòng)控制●同步控制：采用了運(yùn)動(dòng)控制卡一個(gè)通道同時(shí)控制兩個(gè)電機(jī)的方式來解決左右電機(jī)的同步問題。實(shí)踐證明這種方式優(yōu)于運(yùn)動(dòng)控制卡內(nèi)部電子齒輪指令的同步控制方式。當(dāng)前第37頁\共有44頁\編于星期三\10點(diǎn)●系統(tǒng)軟件●通訊軟件●專家系統(tǒng)軟件●示教系統(tǒng)軟件和智能調(diào)整服務(wù)系統(tǒng)

包括檢測對象的樣板庫生成、數(shù)據(jù)生成、數(shù)據(jù)綜合、示教處理、規(guī)則生成專家系統(tǒng)、智能模板識別與匹配算法、糾偏處理、上料控制、高速運(yùn)動(dòng)控制、檢測與運(yùn)動(dòng)間的任務(wù)協(xié)調(diào)、開停機(jī)處理、故障判定與報(bào)警、系統(tǒng)狀態(tài)分析、打印輸出、在線指導(dǎo)等所有軟件子系統(tǒng)設(shè)計(jì)和集成?！褴浖到y(tǒng)設(shè)計(jì)：當(dāng)前第38頁\共有44頁\編于星期三\10點(diǎn)五、精密電子制造裝備教育部工程研究中心當(dāng)前第39頁\共有44頁\編于星期三\10點(diǎn)●中心介紹●2007年7月批復(fù)建設(shè)，2007年12月正式啟動(dòng)

目前國內(nèi)重點(diǎn)大學(xué)唯一面向該領(lǐng)域的部屬工程研究中心●中心定位：

面向精密電子封裝和組裝領(lǐng)域的技術(shù)創(chuàng)新、成果轉(zhuǎn)化和人才培養(yǎng)●依托學(xué)院：自動(dòng)化學(xué)院、機(jī)械與汽車工程學(xué)院、電子信息學(xué)院微電子所●中心架構(gòu)：華工主校區(qū)基地（研發(fā)實(shí)驗(yàn)室、研究生培養(yǎng)）廣州南沙中試基地－精密電子制造工程研究中心（籌建中）

長期合作企業(yè)－日聯(lián)科技（無錫、深圳）、廣東風(fēng)華