半導(dǎo)體晶片切割的機(jī)器視覺系統(tǒng)畢業(yè)設(shè)計(jì)

半導(dǎo)體晶片切割的機(jī)器視覺系統(tǒng)畢業(yè)設(shè)計(jì)半導(dǎo)體晶片切割的機(jī)器視覺系統(tǒng)摘要：機(jī)器視覺系統(tǒng)在工業(yè)中已經(jīng)廣泛使用，本課題研究了機(jī)器視覺系統(tǒng)運(yùn)用于半導(dǎo)體晶片切割的工業(yè)流程。在選取合適的攝像機(jī)和圖像采集卡前提下，成功獲取了清晰的半導(dǎo)體晶片原始圖像；然后利用halcon軟件首先運(yùn)用傅立葉變換獲取原始圖像的自相關(guān)圖像從而得到晶片的寬和高，然后通過匹配算法構(gòu)建匹配模型，最后與原始圖像進(jìn)行匹配后計(jì)算出晶片的切割線來完成晶片的切割定位。這樣即完成了一套半導(dǎo)體晶片的自動切割的流程，本課題的實(shí)現(xiàn)大大的提升了半導(dǎo)體晶片切割的速率。關(guān)鍵詞：機(jī)器視覺；傅立葉變換；模板匹配；HalconTheWaferDicingBasedonMachineVisionTechnologyAbstract:Machinevisionsystemhasbeenwidelyusedinindustry,thistopicstudiedmachinevisionsystemusedinsemiconductorwafercutindustrialprocess.Inselectingtherightcameraandimageacquisitioncard,acquireclearsuccessoriginalimage;semiconductorchipsThenhalconsoftwarefirstbyusingFouriertransformoftheoriginalimageacquisitionfromrelevantimagesandgetachipinwidthandheight,andthenthroughthematchingalgorithm,andfinallyconstructmatchingmodelwiththeoriginalimagematchingofwafercalculatedoutaftercuttinglinetocompletethechip"scuttingpositioning.Namelysocompletedasetofsemiconductorchiptheflowofautomaticcutting,sogreatlypromotedsemiconductorwafercuttingspeed.Sothistopicresearchnowiswidelyusedinindustrialproduction.Keywords:machinevision,Fouriertransform,templatematching,Halcon目錄第1章刖言41.1選題背景41.2選題目的和意義41.3國內(nèi)外現(xiàn)狀51.4機(jī)器視覺技術(shù)的發(fā)展趨勢61.5論文主要研究內(nèi)容71.6本章小結(jié)8第2章半導(dǎo)體晶片切割機(jī)器視覺系統(tǒng)的方案設(shè)計(jì)82.1機(jī)器視覺系統(tǒng)基本原理2.2系統(tǒng)方案設(shè)計(jì)基本結(jié)構(gòu)92.2.1光源92.2.2攝像機(jī)102.2.3圖像采集112.2.4圖像處理122.2.5本章小結(jié)12第3章半導(dǎo)體晶片切割算法123.1fourier變換3.2相關(guān)143.3模板匹配153.3.1邊緣匹配算法153.3.2基于邊緣像素點(diǎn)的算法173.4本章小結(jié)18第4章半導(dǎo)體晶片切割算法的實(shí)現(xiàn)194.1圖像的獲取204.2利用自相關(guān)算法獲取晶片大小204.3提取芯片位置244.4估計(jì)切割線位置274.5本章小結(jié)28結(jié)論29致謝30參考文獻(xiàn)31附錄（算法實(shí)現(xiàn)的主要源代碼）32第1章刖言1.1選題背景視覺傳感技術(shù)機(jī)器視覺在半導(dǎo)體工業(yè)上的應(yīng)用早在二十年前就已開始，半導(dǎo)體、電子設(shè)備市場是機(jī)器視覺技術(shù)發(fā)源地并一直成為機(jī)器視覺賴以生存的巨大市場之一。半導(dǎo)體、電子制造業(yè)每一次技術(shù)上的飛躍如：晶圓越做越大，而內(nèi)部線路越做越細(xì)，向超細(xì)間距式器件挺進(jìn)；連接器體積越來越小，每分鐘生產(chǎn)線上需要檢測、測量器件的數(shù)量越來越多，都將伴隨著新一輪半導(dǎo)體、電子生產(chǎn)裝備的誕生。隨之必將產(chǎn)生新的質(zhì)量保證系統(tǒng)改善其生產(chǎn)率和保證零次品率，進(jìn)而促使機(jī)器視覺市場不斷發(fā)展壯大。機(jī)器視覺技術(shù)本身也隨著半導(dǎo)體、電子、光學(xué)、自動化等技術(shù)的發(fā)展而不斷完善、發(fā)展。視覺傳感技術(shù)機(jī)器視覺在半導(dǎo)體工業(yè)上的應(yīng)用早在二十年前就已開始，半導(dǎo)體、電子設(shè)備市場是機(jī)器視覺技術(shù)發(fā)源地并一直成為機(jī)器視覺賴以生存的巨大市場之一。半導(dǎo)體、電子制造業(yè)每一次技術(shù)上的飛躍如：晶圓越做越大，而內(nèi)部線路越做越細(xì)，向超細(xì)間距式器件挺進(jìn)；連接器體積越來越小，每分鐘生產(chǎn)線上需要檢測、測量器件的數(shù)量越來越多，都將伴隨著新一輪半導(dǎo)體、電子生產(chǎn)裝備的誕生。隨之必將產(chǎn)生新的質(zhì)量保證系統(tǒng)改善其生產(chǎn)率和保證零次品率，進(jìn)而促使機(jī)器視覺市場不斷發(fā)展壯大。機(jī)器視覺技術(shù)本身也隨著半導(dǎo)體、電子、光學(xué)、自動化等技術(shù)的發(fā)展而不斷完善、發(fā)展。1.2選題目的和意義半導(dǎo)體制造過程可以劃分為前、中、后三段。在這三段中，每一段制程，機(jī)器視覺都是必不可少的。??????在前、中段過程中，機(jī)器視覺主要應(yīng)用在精密定位和檢測方面。沒有精密定位，也就不可能進(jìn)行硅片生產(chǎn)。中段制程是半導(dǎo)體制程的最重要環(huán)節(jié)，與機(jī)器視覺相關(guān)的還有最小刻度測量。目前，后段制程則是機(jī)器視覺應(yīng)用非常廣泛的環(huán)節(jié)。后段制程主要涉及晶圓的電器檢測、切割、封裝、檢測等過程。晶圓在切割前必須使用機(jī)器視覺系統(tǒng)檢測出瑕疵，并打上標(biāo)記。檢測完畢切割過程中需要利用機(jī)器視覺系統(tǒng)進(jìn)行精確快速對準(zhǔn)定位，采用基于機(jī)器視覺技術(shù)的預(yù)對準(zhǔn)技術(shù)具備很強(qiáng)的速度優(yōu)勢?；跈C(jī)器視覺的解決方案，只需要半秒鐘就能定位硅片中心并對準(zhǔn)切口。美國知名機(jī)器視覺廠商Cognex生產(chǎn)的智能相機(jī)In-Sight1820就有類似的應(yīng)用。切割過程開始后也要利用機(jī)器視覺進(jìn)行定位。如果定位出現(xiàn)問題，則可能整片晶圓會報(bào)廢。切割后的IC要保證在不互相接觸的前提下分裝到相應(yīng)的容器內(nèi)部，再繼續(xù)利用機(jī)器視覺系統(tǒng)找出非瑕疵品進(jìn)入封裝過程。封裝過程的機(jī)器視覺應(yīng)用目前在國內(nèi)外都很成熟，如大家所熟知的AOI(AutomaticOpticInspection)。?????縱觀半導(dǎo)體制造前、中、后三段的視覺應(yīng)用，PC-Base機(jī)器視覺系統(tǒng)占據(jù)著很大的比重，這是因?yàn)镻C-Base系統(tǒng)對于設(shè)備完成復(fù)雜檢測需求及進(jìn)行二次開發(fā)的實(shí)施性最強(qiáng)。在設(shè)備設(shè)計(jì)初期如果考慮PC-Base視覺系統(tǒng)，其整合性也最強(qiáng)。另外，由于智能相機(jī)等嵌入式視覺系統(tǒng)本身發(fā)展的限制，其精度和速度還無法與PC-Base系統(tǒng)相比。就以相機(jī)為例，目前已經(jīng)進(jìn)入市場的工業(yè)相機(jī)最高分辨率已達(dá)到1600萬像素，智能相機(jī)最高也就200多萬像素。而半導(dǎo)體制造前段和中段對于圖像精度要求達(dá)200萬像素的相機(jī)很難實(shí)現(xiàn)，因此我們可以看到嵌入式視覺系統(tǒng)在半導(dǎo)體行業(yè)應(yīng)用中仍大多集中在后段部分。1.3國內(nèi)外現(xiàn)狀在國外，機(jī)器視覺的應(yīng)用普及主要體現(xiàn)在半導(dǎo)體及電子行業(yè)，其中大概40%-50%都集中在半導(dǎo)體行業(yè)。具體如PCB印刷電路：各類生產(chǎn)印刷電路板組裝技術(shù)、設(shè)備；單、雙面、多層線路板，覆銅板及所需的材料及輔料；輔助設(shè)施以及耗材、油墨、藥水藥劑、配件；電子封裝技術(shù)與設(shè)備；絲網(wǎng)印刷設(shè)備及絲網(wǎng)周邊材料等。SMT表面貼裝：SMT工藝與設(shè)備、焊接設(shè)備、測試儀器、返修設(shè)備及各種輔助工具及配件、SMT材料、貼片劑、膠粘劑、焊劑、焊料及防氧化油、焊膏、清洗劑等；再流焊機(jī)、波峰焊機(jī)及自動化生產(chǎn)線設(shè)備。電子生產(chǎn)加工設(shè)備：電子元件制造設(shè)備、半導(dǎo)體及集成電路制造設(shè)備、元器件成型設(shè)備、電子工模具。機(jī)器視覺系統(tǒng)還在質(zhì)量檢測的各個(gè)方面已經(jīng)得到了廣泛的應(yīng)用，并且其產(chǎn)品在應(yīng)用中占據(jù)著舉足輕重的地位。除此之外，機(jī)器視覺還用于其他各個(gè)領(lǐng)域。而在中國，以上行業(yè)本身就屬于新興的領(lǐng)域，再加之機(jī)器視覺產(chǎn)品技術(shù)的普及不夠，曾導(dǎo)致以上很多行業(yè)的應(yīng)用幾乎空白。目前在我國隨著配套基礎(chǔ)建設(shè)的完善，技術(shù)、資金的積累，各行各業(yè)對采用圖像和機(jī)器視覺技術(shù)的工業(yè)自動化、智能化需求開始廣泛出現(xiàn)，國內(nèi)近幾年在圖像和機(jī)器視覺技術(shù)領(lǐng)域進(jìn)行了積極思索和大膽的嘗試，并在工業(yè)現(xiàn)場有所應(yīng)用。其主要應(yīng)用于制藥、印刷、礦泉水瓶蓋檢測等領(lǐng)域。這些應(yīng)用大多集中在如藥品檢測分裝、印刷色彩檢測等。1.4機(jī)器視覺技術(shù)的發(fā)展趨勢在機(jī)器視覺賴以普及發(fā)展的諸多因素中，有技術(shù)層面的，也有商業(yè)層面的，但制造業(yè)的需求是決定性的。制造業(yè)的發(fā)展，帶來了對機(jī)器視覺需求的提升；也決定了機(jī)器視覺將由過去單純的采集、分析、傳遞數(shù)據(jù)，判斷動作，逐漸朝著開放性的方向發(fā)展，這一趨勢也預(yù)示著機(jī)器視覺將與自動化更進(jìn)一步的融合。未來，中國機(jī)器視覺發(fā)展主要表現(xiàn)為以下一些特性：1、隨著產(chǎn)業(yè)化的發(fā)展對機(jī)器視覺的需求將呈上升趨勢機(jī)器視覺發(fā)展空間較大的部分在半導(dǎo)體和電子行業(yè)，而據(jù)我國相關(guān)數(shù)據(jù)顯示，全球集成電路產(chǎn)業(yè)復(fù)蘇跡象明顯；與此同時(shí)，全球經(jīng)濟(jì)衰退使我國集成電路產(chǎn)業(yè)獲取了市場優(yōu)勢、成本優(yōu)勢、人才回流等優(yōu)勢；國家加大對集成電路產(chǎn)業(yè)這一戰(zhàn)略領(lǐng)域的規(guī)劃力度，“信息化帶動工業(yè)化”，走“新興工業(yè)化道路”為集成電路產(chǎn)業(yè)帶來了巨大的發(fā)展機(jī)遇，特別是高端產(chǎn)品和創(chuàng)新產(chǎn)品市場空間巨大，設(shè)計(jì)環(huán)節(jié)、國家戰(zhàn)略領(lǐng)域、3C應(yīng)用領(lǐng)域、傳統(tǒng)產(chǎn)業(yè)類應(yīng)用領(lǐng)域成為集成電路產(chǎn)業(yè)未來幾年的重點(diǎn)投資領(lǐng)域。2、 統(tǒng)一開放的標(biāo)準(zhǔn)是機(jī)器視覺發(fā)展的原動力目前國內(nèi)有近數(shù)家機(jī)器視覺產(chǎn)品廠商，與國外機(jī)器視覺產(chǎn)品相比，國內(nèi)產(chǎn)品最大的差距并不單純是在技術(shù)上，而且還包括品牌和知識產(chǎn)權(quán)上。另一現(xiàn)狀是目前國內(nèi)的機(jī)器視覺產(chǎn)品主要以代理國外品牌為主，以此來逐漸朝著自主研發(fā)產(chǎn)品的路線靠近，起步較晚。未來，機(jī)器視覺產(chǎn)品的好壞不能夠通過單一因素來衡量，應(yīng)該逐漸按照國際化的統(tǒng)一標(biāo)準(zhǔn)判定，隨著中國自動化的逐漸開放，將帶領(lǐng)與其相關(guān)的產(chǎn)品技術(shù)也逐漸開放。因此，依靠封閉的技術(shù)難以促進(jìn)整個(gè)行業(yè)的發(fā)展，只有形成統(tǒng)一而開放的標(biāo)準(zhǔn)才能讓更多的廠商在相同的平臺上開發(fā)產(chǎn)品，這也是促進(jìn)中國機(jī)器視覺朝國際化水平發(fā)展的原動力。3、 基于嵌入式的產(chǎn)品將取代板卡式產(chǎn)品從產(chǎn)品本身看，機(jī)器視覺會越來越趨于依靠PC技術(shù)，并且與數(shù)據(jù)采集等其他控制和測量的集成會更緊密。且基于嵌入式的產(chǎn)品將逐漸取代板卡式產(chǎn)品，這是一個(gè)不斷增長的趨勢。主要原因是隨著計(jì)算機(jī)技術(shù)和微電子技術(shù)的迅速發(fā)展，嵌入式系統(tǒng)應(yīng)用領(lǐng)域越來越廣泛，尤其是其具備低功耗技術(shù)的特點(diǎn)得到人們的重視。另外，嵌入式操作系統(tǒng)絕大部分是以C語言為基礎(chǔ)的，因此使用C高級語言進(jìn)行嵌入式系統(tǒng)開發(fā)是一項(xiàng)帶有基礎(chǔ)性的工作，使用高級語言的優(yōu)點(diǎn)是可以提高工作效率，縮短開發(fā)周期，更主要的是開發(fā)出的產(chǎn)品可靠性高、可維護(hù)性好、便于不斷完善和升級換代等。因此，嵌入式產(chǎn)品將會取代板卡式產(chǎn)品。4、 標(biāo)準(zhǔn)化、一體化解決方案也將是機(jī)器視覺的必經(jīng)之路另外，由于機(jī)器視覺是自動化的一部分，沒有自動化就不會有機(jī)器視覺，機(jī)器視覺軟硬件產(chǎn)品正逐漸成為協(xié)作生產(chǎn)制造過程中不同階段的核心系統(tǒng)，無論是用戶還是硬件供應(yīng)商都將機(jī)器視覺產(chǎn)品作為生產(chǎn)線上信息收集的工具，這就要求機(jī)器視覺產(chǎn)品大量采用“標(biāo)準(zhǔn)化技術(shù)”，直觀的說就是要隨著自動化的開放而逐漸開放，可以根據(jù)用戶的需求進(jìn)行二次開發(fā)。當(dāng)今，自動化企業(yè)正在倡導(dǎo)軟硬一體化解決方案，機(jī)器視覺的廠商在未來5-6年內(nèi)也應(yīng)該不單純是只提供產(chǎn)品的供應(yīng)商，而是逐漸向一體化解決方案的系統(tǒng)集成商邁進(jìn)。在未來的幾年內(nèi)，隨著中國加工制造業(yè)的發(fā)展，對于機(jī)器視覺的需求也逐漸增多；隨著機(jī)器視覺產(chǎn)品的增多，技術(shù)的提高，國內(nèi)機(jī)器視覺的應(yīng)用狀況將由初期的低端轉(zhuǎn)向高端。由于機(jī)器視覺的介入，自動化將朝著更智能、更快速的方向發(fā)展。另外，由于用戶的需求是多樣化的，且要求程度也不相同。那么，個(gè)性化方案和服務(wù)在競爭中將日益重要，即用特殊定制的產(chǎn)品來代替標(biāo)準(zhǔn)化的產(chǎn)品也是機(jī)器視覺未來發(fā)展的一個(gè)取向。機(jī)器視覺的應(yīng)用也將進(jìn)一步促進(jìn)自動化技術(shù)向智能化發(fā)展。1.5論文主要研究內(nèi)容本論文主要是通過對機(jī)器視覺技術(shù)極其相關(guān)設(shè)備的學(xué)習(xí)了解，在HALCON軟件的基礎(chǔ)上設(shè)計(jì)一套應(yīng)用半導(dǎo)體晶片切割定位的機(jī)器視覺檢測系統(tǒng)。第一章前言，主要講了機(jī)器視覺系統(tǒng)的背景及發(fā)展前景。第二章總體分析了機(jī)器視覺系統(tǒng)重要組成的各個(gè)元器件，通過自己需要選擇適合本課題的元器件。第三章詳細(xì)了解了運(yùn)用于處理半導(dǎo)體晶片原始圖像的三個(gè)算法：fourier變換、相關(guān)及魯棒的模板匹配第四章則是對半導(dǎo)體晶片切割的整個(gè)過程進(jìn)行分化講解及各種算法的運(yùn)用。1.6本章小結(jié)本章主要對機(jī)器視覺系統(tǒng)做出了簡要介紹，使我們對機(jī)器視覺系統(tǒng)的由來和發(fā)展前景有了新的認(rèn)識。也意識到了機(jī)器視覺系統(tǒng)在未來的數(shù)年內(nèi)必將發(fā)展成為工業(yè)產(chǎn)業(yè)上不可小視的一塊。第2章半導(dǎo)體晶片切割機(jī)器視覺系統(tǒng)的方案設(shè)計(jì)2.1機(jī)器視覺系統(tǒng)基本原理機(jī)器視覺系統(tǒng)的目的就是給機(jī)器或自動生產(chǎn)線添加一套視覺系統(tǒng)，其原理是由計(jì)算機(jī)或圖像處理器以及相關(guān)設(shè)備來模擬人的視覺行為，完成得到人的視覺系統(tǒng)所得到的信息。人的視覺系統(tǒng)是由眼球、神經(jīng)系統(tǒng)及大腦的視覺中樞構(gòu)成，計(jì)算機(jī)視覺系統(tǒng)則是由圖像采集系統(tǒng)、圖像處理系統(tǒng)及信息綜合分析處理系統(tǒng)構(gòu)成。機(jī)器視覺系統(tǒng)簡圖可表現(xiàn)為下圖：圖2-1機(jī)器視覺系統(tǒng)構(gòu)成圖2.2系統(tǒng)方案設(shè)計(jì)基本結(jié)構(gòu)2.2.1光源光源是組成機(jī)器視覺系統(tǒng)的一個(gè)重要組成，光源選擇的好壞對視圖效果有很大影響。光源的主要參數(shù)有以下幾個(gè)部分：1、 壽命。光源的半衰期要長，且在半衰期內(nèi)，光譜穩(wěn)定，亮度衰減小2、 發(fā)熱特性。光源的工作溫度要低，避免高溫?fù)p壞被檢測物。3、 信噪比高，抗干擾能力強(qiáng)。4、 閃爍頻率，交流、直流。5、 外形尺寸，便于安裝。根據(jù)不同的形態(tài)與作用，光源還有以下四大類：見下表2-2熱輻射光源白熾燈、鹵鎢燈氣體放電光源熒光燈、鈉燈、氫燈、氙燈、金屬鹵化物燈、空心陰極燈、汞燈、高壓汞燈、超高壓汞燈固體放電光源發(fā)光二極管、空心陰極燈激光器氣體激光器、固體激光器、半導(dǎo)體激光器、染料激光器不同的光源對不同的被測物有不同的效果，因此選擇好光源是對后期圖像處理得一個(gè)必要條件。2.2.2攝像機(jī)攝像機(jī)的作用是將通過鏡頭聚焦于像平面的光線生成圖像。攝像機(jī)中重要的組成部分是數(shù)字傳感器。這里著重介紹以下兩種攝像機(jī)：CCD(charge-coupleddevice)和CMOS(complementarymetal-oxidesemiconductor）。CCD攝像機(jī)，CCD稱為電荷耦合器件，CCD實(shí)際上只是一個(gè)把從圖像半導(dǎo)體中出來的電子有組織地儲存起來的方法。CMOS攝像機(jī)，CMOS稱為“互補(bǔ)金屬氧化物半導(dǎo)體”，CMOS實(shí)際上只是將晶體管放在硅塊上的技術(shù)，沒有更多的含義。CMOS可以將光敏元件、放大器、A/D轉(zhuǎn)換器、存儲器、數(shù)字信號處理器和計(jì)算機(jī)接口控制電路集成在一塊硅片上，具有結(jié)構(gòu)簡單、處理功能多、速度快、耗電低、成本低等特點(diǎn)。但是不論CCD或者CMOS對于圖像感應(yīng)都沒有用，真正感應(yīng)的傳感器稱做“圖像半導(dǎo)體”，CCD和CMOS傳感器實(shí)際使用的都是同一種傳感器“圖像半導(dǎo)體”，圖像半導(dǎo)體是一個(gè)PN結(jié)合半導(dǎo)體，能夠轉(zhuǎn)換光線的光子爆炸結(jié)合處成為成比例數(shù)量的電子。電子的數(shù)量被計(jì)算信號的電壓，光線進(jìn)入圖像半導(dǎo)體得越多，電子產(chǎn)生的也越多，從傳感器輸出的電壓也越高。2.2.3圖像采集圖像采集卡(ImageCaptureCard)，又稱圖像捕捉卡，是一種可以獲取數(shù)字化視頻圖像信息，并將其存儲和播放出來的硬件設(shè)備。很多圖像采集卡能在捕捉視頻信息的同時(shí)獲得伴音，使音頻部分和視頻部分在數(shù)字化時(shí)同步保存、同步播放。圖像采集卡，其功能是將圖像信號采集到電腦中，以數(shù)據(jù)文件的形式保存在硬盤上。它是我們進(jìn)行圖像處理必不可少的硬件設(shè)備，通過它，我們就可以把攝像機(jī)拍攝的視頻信號從攝像帶上轉(zhuǎn)存到計(jì)算機(jī)中，利用相關(guān)的視頻編輯軟件，對數(shù)字化的視頻信號進(jìn)行后期編輯處理、比如剪切畫面、添加濾鏡、字幕和音效、設(shè)置轉(zhuǎn)場效果以及加入各種視頻特效等等，最后將編輯完成的視頻信號轉(zhuǎn)換成標(biāo)準(zhǔn)的VCD、DVD以及網(wǎng)上流行媒體等格式，方便傳播采集卡又有以下分類：1、模擬量圖像采集卡：標(biāo)準(zhǔn)視頻信號采集：PAL、NTSC非標(biāo)準(zhǔn)視頻信號采集2、數(shù)字量圖像采集卡：IEEE1394卡RS-644LVDSChannelLinkLVDSCameraLinkLVDS2.2.4圖像處理在機(jī)器視覺里，圖像是基本的數(shù)據(jù)結(jié)構(gòu)，它所包含的數(shù)據(jù)通常是由圖像采集設(shè)備傳送到計(jì)算機(jī)的內(nèi)存中的。在采集到理想的圖像以后我們經(jīng)過一系列處理得到我們想要的結(jié)果，并從中分析出我們需要得到的東西。例如，在半導(dǎo)體晶片切割中我們就需要先快速利用傅里葉變換講圖像轉(zhuǎn)換到頻域。然后，通過傅里葉變換后圖像與其復(fù)共軛相乘計(jì)算出相關(guān)，最后再經(jīng)過傅里葉變換變換回時(shí)域。最后才通過匹配得到圖像模型。在以上多個(gè)操作中都同時(shí)運(yùn)用到了對圖像的處理和算法的運(yùn)算，因此圖像處理和算法是緊密結(jié)合在一起的。2.2.5本章小結(jié)在本章中著重認(rèn)識了組成機(jī)器視覺系統(tǒng)的幾個(gè)重要組成部分，在處理不同圖像是會用到不同型號的元件。只有熟悉了各個(gè)部件中的不同型號才有可能使我們在后面的半導(dǎo)體晶片切割中得到最好的效果。第3章半導(dǎo)體晶片切割算法3.1fourier變換在晶片圖像處理過程中我們會用到從空間域到頻率域的轉(zhuǎn)換，這就運(yùn)用到了傅立葉變換，這里我們先給出一維函數(shù)的傅立葉變換：Hf=-88hxe2nifxdx(31)將位置x的函數(shù)h(x)轉(zhuǎn)換到頻率f的函數(shù)H(f)。這里的函數(shù)H(f)通常是復(fù)數(shù)。由4-1式和恒等式eix=cosx+isinx，可以認(rèn)為H(x)是由不同頻率和不同振幅的正弦和余弦波組成。它將函數(shù)h(x)從空間域轉(zhuǎn)換到頻率域，然而傅立葉變換不光是從空間域轉(zhuǎn)換到頻率域，也可以從頻率域轉(zhuǎn)換到空間域：H(f)=-88Hfe-2nifxdf(3-2)3-1和3-2展現(xiàn)出了傅立葉變換空間域和頻率域之間的相互轉(zhuǎn)換。然而傅立葉變換不光局限于一維變換，一維變換只是傅立葉變換的最基本變換，從一維上延伸出了二維變換。二維的傅立葉變換也是空間域和頻率域之間的相互轉(zhuǎn)換：H(u,v)=-88-88h(r,c)e2ni(ur+vc)drdch(r,c)=-88-88H(u,v)e-2ni(ur+vc)dudv(3-3)在圖像處理中，h(r,c)是一幅圖像，圖像位置(r,c)是以像素形式給出的。頻率(u,v)表示的圖像中每個(gè)像表的周期數(shù)。在傅立葉變換中最有趣的一個(gè)性質(zhì)應(yīng)該是在空間域的卷積變換為在頻率域的一個(gè)簡單相乘：(g*h)(r,c)?G(u,v)H(u,v)(3-4)而卷積同過由下面公式得出：f*h=(f*h)(r,c)=-88-88fu,vh(r-u,c-v)dudv(35)通過上式的轉(zhuǎn)換使我們能得到一個(gè)不太精確的計(jì)算值，為使得我們的計(jì)算值變得更加精確，我們能夠計(jì)算均值濾波器等式的傅立葉變換。以下為變換結(jié)果：Hu,v=12n+12m+1sin2n+1usin2m+1v(3-6)其中sincx=(sinnx/(nx))。同理，高斯濾波器等式：ga(r,c)=12no2e-(r2+c2)/(2a2)=12nae-r2/(2a2)12nae-c2/(2a2)(37因此，高斯濾波器的傅立葉變換還是一個(gè)高斯函數(shù)，只是O變成了其自身的倒數(shù)。注意應(yīng)用以上兩種濾波器時(shí)如果濾波器自身的尺寸增加，那么濾波器的頻率響應(yīng)將變窄。一般來講，這種對應(yīng)關(guān)系總是適用的：h(x/a)?|a|H(af)(3-8)3.2相關(guān)相關(guān)性是傅立葉變換的一個(gè)重要體現(xiàn)：g*h=(g*h)(r,c)=-88-88gr+u,c+vhu,vdudv(3-9)相關(guān)在頻率域內(nèi)由下式給出(g*h)(r,c)?G(u,v)H(-u,-v)。如果h(r,c)包含實(shí)數(shù)，這是圖像處理常見的情況，那么H(-u,-v)=H(u,v)，橫線表示共軛復(fù)數(shù)。因此，(g*h)(r,c)?G(u,v)H(u,v)之前假設(shè)圖像數(shù)據(jù)是連續(xù)的，但真正的圖像數(shù)據(jù)是離散的，這個(gè)發(fā)現(xiàn)會與傅立葉變換的結(jié)果存在著較大的牽連。如前所述，頻率變量u和v是每一個(gè)像素的周期數(shù)。如果一幅離散圖像h(r,c)經(jīng)歷了變換，那么對任意的正弦或余弦波，可能出現(xiàn)的最高頻率都是1/2,每兩個(gè)像素一個(gè)周期。頻率1/2被稱為尼奎斯特臨界頻率。高于此頻率的正弦或余弦波看起來與相應(yīng)更低頻率的正弦或余弦波一樣。這就是混淆現(xiàn)象［4］。為削除頻率混淆，在對圖像進(jìn)行采樣前必須將高于尼奎斯特臨界頻率的高頻部分削除。在圖像獲取過程中，這可以通過攝像機(jī)的光學(xué)低通濾鏡來實(shí)現(xiàn)。但是，當(dāng)一幅圖像按比例縮小時(shí)也可能發(fā)生混淆現(xiàn)象。這樣對圖像進(jìn)行低分辨率采樣前，先使用平滑濾波器以保證削除了所有高于尼奎斯特臨界頻率的高頻部分。實(shí)際圖像不但是離散的，而且是在矩形區(qū)域w*h內(nèi)被定義，w是圖像的寬，h是圖像的高。這意味著傅立葉變換不再是連續(xù)的，但能夠在離散頻率上被采樣uk=k/h和vl=l/w。如上面討論的，對傅立葉變換進(jìn)行采樣僅在奎斯特間隔-1/2Wuk，vl<1/2時(shí)是有用的。據(jù)此，離散傅立葉變換(DFT)由下式給出：Hk,l=H(uk,vl)=r=0h-1c=0w-1hr,ce2ni(ukr+vlc)同理，離散傅立葉逆變換如下：Hr,c=1whk=0h-1l=0w-1Hk,le-2ni(kr/h+lc/w)如前所述，頻率uk和vl應(yīng)該在(-1/2,1/2］范圍內(nèi)被采樣，k=-h/2+1,…,h/2和l=-w/2+1,???w/2。在這里須用Hk,l來表示一幅圖像，考慮周期性，分別以h和w為周期，把負(fù)頻率映射為對應(yīng)的正頻率，將k=-h/2+1,-1映射到k=h/2，???h-1,同理適用于1。傅立葉變換能被擁來在頻率域內(nèi)計(jì)算與任意線性濾波器的卷積。這點(diǎn)可被用來配合標(biāo)準(zhǔn)濾波器掩碼實(shí)現(xiàn)濾波操作，比如與均值濾波器與高斯濾波器配合，但通常僅在與相對大尺寸濾波器配合使用時(shí)才有速度優(yōu)勢。使用傅立葉變換進(jìn)行濾波處理得真正好處是：可以通過使用定制的濾波器來消除圖像中某些特定的頻率。3.3模板匹配對于模板匹配在不同的光照條件得出的圖像或者是圖像邊緣影響情況運(yùn)用不同的匹配方法。3.3.1邊緣匹配算法邊緣匹配由于不會受到光照影響的特性，所以經(jīng)常被用于可靠的模板匹配算法中。邊緣匹配算法主要是基于模板邊緣與圖像邊緣之間的距離。這種算法一般使用原始邊緣點(diǎn)進(jìn)行匹配。這種想法最普通的相似度量是使模板邊緣點(diǎn)與她最近的圖像邊緣點(diǎn)之間的均方距離最小。為使我們得到邊緣點(diǎn)與離它最近的圖像邊緣點(diǎn)之間的均方距離最小，我們不得不花費(fèi)大量的時(shí)間與力氣去尋找它。不過我們只是為了得到最近圖像邊緣點(diǎn)之間的距離，而非得到這個(gè)點(diǎn)。這就使我們大大節(jié)約了時(shí)間?；谶@種想法我們就找到了一種效率很高的方式，即計(jì)算分割后搜索圖像背景的距離變換。通過這種方法如果模板邊緣點(diǎn)與圖像邊緣點(diǎn)之間的平均距離小于一個(gè)閥值，我們就認(rèn)為找到了一個(gè)模板的實(shí)例。當(dāng)然為了確定唯一位置我們必須計(jì)算相似度量的局部最小值。這個(gè)相似度量我們希望用等式表現(xiàn)出來，用T表示模板中的邊緣點(diǎn)，d(r,c)則表示分割后搜索圖像背景的距離變換。因此平移情況的均方邊緣距離(SED)可表示為：Sed(r,c)=1n(u,v)ETd(r+u,c+v)2(3T1)如果我們令SSD相似度量的等式中的t(u,v)=0,并使用距離變換圖像替代f(u,v)，這樣就與SED等式相同了。SSD相似度量等式：ssdr,c=1nu,vETtu,v-fr+u,c+v2這樣我們就實(shí)現(xiàn)了SSD匹配算法，那么SED匹配算法可以非常容易實(shí)現(xiàn)。同樣的如果我們是使用的平均距離而不是均方距離的話，我們就可以使用已有的SAD匹配算法的等式。上述算法是基于邊緣進(jìn)行的匹配，因此完全光照的影響。另外搜索圖像中其他的邊緣只能減少圖像中最近邊緣直接的距離，所以算法不會受到影響。但是如果部分邊緣在搜索圖像中并沒有出現(xiàn)，沒有出現(xiàn)的部分模板邊緣與最近圖像邊緣之間的距離可能會非常大。這樣就可能會出現(xiàn)找不到模板位置的情況。此時(shí)的圖像要找到正確的匹配位置就非常困難。對于這種情況我們就提出了另一種可以運(yùn)用在邊緣匹配算法中的距離。它們就是基于兩個(gè)點(diǎn)集之間的Hausdorff距離。模板中邊緣點(diǎn)表示為T，圖像中邊緣點(diǎn)表示為E。這兩個(gè)點(diǎn)集之間的Hausdorff距離可以表示為：HT,E=maxhT,E,hE,T(4-13)hT,E=maxtETmineEE〃t-e〃(4-14)h(T,E)與h(E,T)的定義相互對稱，因此由上式就可得Hausdorff距離由決定的兩個(gè)最大值組成：一是模板邊緣與最近圖像邊緣之間的最大距離，二是圖像邊緣與最近模板邊緣之間的最大距離。不難看出，為了得到一個(gè)低的總距離，必須保證每個(gè)模板邊緣點(diǎn)必須與一個(gè)圖像邊緣點(diǎn)非常接近，同時(shí)也要保證每個(gè)圖像邊緣點(diǎn)都與一個(gè)模板邊緣點(diǎn)非常接近。所以，使用Hausdorff距離的話，圖像中的遮擋和混亂都會影響匹配。那么我們?nèi)绾蝸韺?shí)現(xiàn)可操作性呢？對此我們有這樣的考慮：在圖像存在遮擋和混亂情況下算法效果比較差主要是由于等式(4-14)中是計(jì)算模板邊緣到圖像邊緣的最大距離。如果希望在遮擋的情況下實(shí)現(xiàn)足夠可靠的算法，可以求另一級的距離而不求最大距離，例如可以求第f大的距離，在f=0時(shí)表示最大距離。此時(shí)，Hausdorff距離將對100f/n%的遮擋情況是可靠的，其中n表示模板中邊緣點(diǎn)的數(shù)量。為了使Hausdorff距離在存在混亂的情況下也是可靠的，可以類似地使用第r大距離來修改h(E,T)。然而，通常模板只能覆蓋搜索圖像的一小部分，從而圖像中邊緣點(diǎn)的數(shù)量比模板中邊緣點(diǎn)數(shù)量要大得多，因此為了使Hausdorff距離達(dá)到期望的不受混亂影響的效果，選擇的r值必須非常大。所以，必須改進(jìn)h(E,T)為只在模板周圍的一個(gè)小的ROI內(nèi)計(jì)算。此時(shí)Hausdorff距離將對100r/m%的混亂情況是可靠的，其中m是指模板周圍的ROI中圖像邊緣點(diǎn)數(shù)量。與SED方法相似，也可以基于距離變換來計(jì)算Hausdorff距離：一是為圖像中邊緣區(qū)域計(jì)算距離變換，二是為模板邊緣區(qū)域的每個(gè)位姿(不包括平移)計(jì)算距離變換。因此，可以在離線情況下計(jì)算一個(gè)非常大數(shù)量的距離變換，這就需要巨大的存儲空間。否則就只能在搜索的過程中計(jì)算模板的距離變換，這需要非常大的計(jì)算量。由上分析，可以看出使用Hausdorff距離的一個(gè)缺點(diǎn)是匹配過程巨大的運(yùn)算負(fù)載。為此我們想出了幾種減少運(yùn)算負(fù)載的可能性，其中包括減少搜索空間中不包含模板在內(nèi)的區(qū)域。另外，提出了一種搜索空間分級細(xì)分的方法。這種方法與使用圖像金字塔實(shí)現(xiàn)的效果相似。然而，Hausdorff距離的主要缺點(diǎn)是就算圖像中待搜索的模板實(shí)例只存在稍許的遮擋，也會導(dǎo)致在圖像中找到很多錯(cuò)誤的實(shí)例。為了減少誤判率，提出了對Hausdorff距離的一種改進(jìn)方法，這種方法將邊緣像素的方向考慮在內(nèi)。從原理上講，邊緣點(diǎn)增加了表示方向的第三個(gè)坐標(biāo)。于是，改進(jìn)后Hausdorff距離就是計(jì)算這些擴(kuò)展的三維點(diǎn)之間的距離。但這就需要計(jì)算三維距離變換，這對機(jī)器視覺應(yīng)用來講過于耗時(shí)。基于Hausdorff距離的所有方法的另外一個(gè)缺點(diǎn)就是非常難以基于相似度量的內(nèi)插算法得到亞像素精度的位姿。3.3.2基于邊緣像素點(diǎn)的算法基于邊緣像素點(diǎn)本身搜索目標(biāo)物體的算法是由Ballard提出的廣義霍夫變換。霍夫變換最開始定義為在分割后的邊緣中尋找直線的一種方法。后來經(jīng)過拓展也可以用來檢測其他可解析描述的形狀。這里我們以圓為例：如果我們知道這個(gè)圓的半徑，讓我們在邊緣圖像中迅速的找到這個(gè)圓的位置。我們應(yīng)該怎么利用這種算法來快速找到這個(gè)圓呢？首先我們想到圓的是旋轉(zhuǎn)對稱的，在這種情況下我們只用考慮平移。我們要快速在邊緣圖像中找到這個(gè)圓的話我們可以注意比背景更亮的圓，他的邊緣的梯度向量垂直于圓的邊界，并且梯度向量的方向指向圓的中心。相對的如果圓的亮度比背景更暗則梯度方向背離圓的中心向外。有了這樣的發(fā)現(xiàn)就只需要我們發(fā)現(xiàn)圓上的點(diǎn)我們就可以順利的找出這個(gè)圓了。但是我們怎么確定哪些點(diǎn)是圓上的點(diǎn)呢？我們注意到圓上的所有像素點(diǎn)擁有同樣的性質(zhì)，這個(gè)性質(zhì)就是基于梯度向量可以構(gòu)造圓的中心，這樣我們就能找到圓的位置。從上面這個(gè)例子可以看出，我們可以非常高效的找到圓的位置。如果事先知道圓的極性，也就是知道它比背景亮還是暗，我們只需要在圖像中每個(gè)邊緣點(diǎn)處對累計(jì)數(shù)組執(zhí)行一個(gè)簡單的加法即可。如果不知道邊緣的極性，我們只需要在邊緣處執(zhí)行兩個(gè)加法即可。因此，算法的運(yùn)算時(shí)間與圖像中邊緣點(diǎn)數(shù)量成正比，而與模板大小沒有關(guān)系，也與圓的大小沒有關(guān)系。上述的廣義霍夫變換效率已經(jīng)非常高了。它的運(yùn)行時(shí)間只取決于圖像中邊緣點(diǎn)的數(shù)量。然而，這種算法對于機(jī)器視覺系統(tǒng)來說還是不夠快，因?yàn)橛脕硭阉鲗ο蟮睦塾?jì)空間會在短時(shí)間內(nèi)變的非常大，尤其在允許目標(biāo)物體旋轉(zhuǎn)或縮放的應(yīng)用中。另外，這個(gè)累計(jì)器還需要一個(gè)巨大的儲存空間。以上兩種就決定了廣義霍夫變換還不能這樣運(yùn)用到機(jī)器視覺中來，那我們怎么才能引用入機(jī)器視覺中呢？針對這種情況，提出了一種分級的廣義霍夫變換。它使用圖像金字塔加速搜索，通過利用金字塔加速搜索，通過利用金字塔低層的搜索空間來減少累計(jì)數(shù)組的尺寸。使用這種分級廣義霍夫變換，可以在圖像中實(shí)時(shí)找到目標(biāo)物體，并且圖像中存在遮擋、混亂和幾乎任意光照變化的情況下算法都非常穩(wěn)定。3.4本章小結(jié)本章清楚的了解到了我們將用于半導(dǎo)體晶片切割的機(jī)器視覺系統(tǒng)中的三中算法。這三中算法在能精確的切割半導(dǎo)體晶片中起著至關(guān)重要的作用。對不同的切割類型我們將作出不同的變化，以使得我們能在半導(dǎo)體晶片切割中能有最好的效果。第4章半導(dǎo)體晶片切割算法的實(shí)現(xiàn)在半導(dǎo)體晶片切割定位算法及實(shí)驗(yàn)前，首先要進(jìn)行的是圖像采集，對于工業(yè)現(xiàn)場來說。圖像采集后再對圖像進(jìn)行校準(zhǔn)，由于在工業(yè)實(shí)際生產(chǎn)中，晶片是水平放置的，所以通過調(diào)攝像頭的位置，可以做到鏡頭完全與晶片垂直，這就可以省略掉圖像校準(zhǔn)的步驟。但是在思路框架圖上，我們?nèi)匀灰褕D像校準(zhǔn)這一步給繪制上去，然后再進(jìn)行圖像處理。圖4-1給出了本實(shí)驗(yàn)的框架圖。采集圖像利用傅立變換葉獲取晶片寬和高確定晶片大小根據(jù)模板匹配算法獲取晶片匹配圖確定切割線位置圖4-1晶片切割流程圖通過上圖我們就確定了對半導(dǎo)體晶片切割的操作流程，再每個(gè)操作過程中我們都會運(yùn)用到不同的算法，下面我們根據(jù)設(shè)計(jì)流程圖實(shí)現(xiàn)了整個(gè)流程。4.1圖像的獲取由于條件的限制我們很遺憾的沒能親自去采集到半導(dǎo)體晶片圖像，因此我們只能使用標(biāo)準(zhǔn)數(shù)據(jù)庫中的圖像，下圖4-2就是半導(dǎo)體晶片的原始圖像。圖4-2半導(dǎo)體晶片原始圖像上圖為在理想的光照和調(diào)節(jié)好鏡頭的情況下得到的半導(dǎo)體晶片原始圖像，也是我們下面進(jìn)行處理的最初的圖像。我們下面要做的就是在這個(gè)原始圖像中找出我們需要的切割線。那要找到這個(gè)切割線我們要怎么做呢？怎么才能找到這條切割線使晶片能夠完好的切割出來呢？那下面就是我們利用halcon軟件處理圖像的過程。4.2利用自相關(guān)算法獲取晶片大小我們處理圖像的第一步就是要確定芯片的寬度和高度。那我們怎么才能確定呢？這里就運(yùn)用到了在第三章中介紹的自相關(guān)算法了。第一步我們首先要運(yùn)用傅立葉變換將原始圖像轉(zhuǎn)換到頻域。由于圖像數(shù)據(jù)是實(shí)數(shù)，所以不需要完全傅立葉變換，僅擁實(shí)數(shù)傅立葉變換做一半即可。下圖就原始圖像經(jīng)過傅立葉變換轉(zhuǎn)化到頻域圖4-3圖4-3原始圖像轉(zhuǎn)換頻域圖我們將原始圖像轉(zhuǎn)換成頻域圖只是一個(gè)過渡而已，而不是我們需要得到的最終結(jié)果，因此我們還需要將頻域圖繼續(xù)處理。在得到原始圖像的頻域圖以后我們還將通過傅立葉變換后圖像與其復(fù)共軛相乘計(jì)算相關(guān)，從第三章中的相關(guān)部分介紹我們得知，一幅圖像的自相關(guān)g是圖像相關(guān)性（g*g），因此可以用于在圖像中找到相同的樣品。這里我們就是利用相關(guān)性找出相同的矩形芯片結(jié)構(gòu)。下圖為從頻域圖通過相關(guān)算法后得到的圖像圖4-4。圖4-4相關(guān)圖在頻域圖得基礎(chǔ)上我們通過與其精心復(fù)共軛相乘計(jì)算得到相關(guān)圖。當(dāng)然這依然不是我們想要的最后結(jié)果。我們需要的是要得到晶片圖像的自相關(guān)圖像，在得到圖像的自相關(guān)圖像過后我們就能分析出我們需要找到的晶片的寬和高。那么怎么得到晶片原始圖像的自相關(guān)圖像就成了我們現(xiàn)在需要做的事情。通過上面的努力我們已經(jīng)得到了原始圖像的相關(guān)圖，所以我們只用再在相關(guān)圖得基礎(chǔ)上得到晶片圖像的自相關(guān)圖就行了。在第三章相關(guān)算法介紹中我們介紹了在頻域中得到的相關(guān)結(jié)果利用反傅立葉變換變換回時(shí)域。因此這里我們就利用到了這個(gè)算法使得我們從相關(guān)圖轉(zhuǎn)換到自相關(guān)圖像，為我們得到晶片的寬和高做出了重要的鋪墊。也是在得到自相關(guān)圖像過后我們在后面的模板匹配才能順利的進(jìn)行下去。下圖即為相關(guān)圖像利用反傅立葉變換變換回時(shí)域的圖像，圖4-5。圖4-5自相關(guān)圖像在得到圖像的自相關(guān)圖像后我們就能進(jìn)行后面的操作了。圖4-6晶片圖像自相關(guān)4.3提取芯片位置排除圖像邊緣的局部最大值，因?yàn)樽韵嚓P(guān)是一個(gè)偶函數(shù)，所以提取左上四分之一的最大值就可以了，上圖即為提取晶片圖像自相關(guān)圖的左上角四分之一來處理的晶片自相關(guān)圖。圖4-6顯示了自相關(guān)結(jié)果。自相關(guān)圖像上（r,c）點(diǎn)的灰度值是將圖像水平移動r,垂直移動c后與原始圖像做相關(guān)運(yùn)算得到的相關(guān)值。因此，圖像左上角（原點(diǎn)）的灰度值很高，因?yàn)檫@點(diǎn)代表沒有移動的圖像與其自身的相關(guān)性。如果圖像上有周期性寬度w和高度h的矩形結(jié)構(gòu)，在自相關(guān)圖像的（w,h）位置上也會得到高的相關(guān)值。通過在相關(guān)圖像上找到與左上角最近的局部極大值，直接得到周期結(jié)構(gòu)的尺寸。較亮的灰度值代表較高的相關(guān)值，用于提取極大值的感興趣區(qū)域?yàn)榘咨匦?。局部極大值以綠色叉表示。綠圈表示代表芯片大小的局部極大值。我們在得到圖4-6的前兩個(gè)操作就使我們感興趣的區(qū)域限定在了邊緣為一個(gè)像素寬的相關(guān)圖像內(nèi)部。這就避免了在圖像邊緣提取到圖像的局部最大值。一方面，因?yàn)閳D像邊緣局部最大值提取只能做到限于亞像素精度，而不是每個(gè)灰度值都可以用于亞像素插值的。另一方面，在圖像邊緣我們必須要得到圖像的兩個(gè)局部極大值。因?yàn)檫@樣我們才能確定芯片相應(yīng)的高度和寬度，而在其他部位我們只需要得到一個(gè)極大值就能確定了。此外，我們可以將我們的感興趣區(qū)域限定在自相關(guān)圖像的左上四分之一部分。因?yàn)榧僭O(shè)晶片在圖像是水平的，自相關(guān)是關(guān)于兩個(gè)坐標(biāo)的偶函數(shù)。圖4-6左上方白色區(qū)域就是我們需要的感興趣區(qū)域。圖4-7確定的晶片大小得到的極大值我們在圖4-6中以綠色叉標(biāo)示出來。從4-6圖中找到的極大值，通過計(jì)算所有極大值與原點(diǎn)的距離可以很容易的找出與原點(diǎn)的極大值。在例中芯片大小為（w,h）=（159.55,83.86）像素。為看起來方便我們對應(yīng)尺寸在圖4-7中以藍(lán)色矩形標(biāo)示出來。在得到芯片的寬和高后我們就需要運(yùn)用halcon軟件基于形狀的匹配算法可以得到芯片的位置。在3.3節(jié)中我們介紹了匹配算法的運(yùn)用，因此我們形狀就可以人為的制造一個(gè)含有4個(gè)相鄰芯片的模板圖像。那我們要人為的制作芯片模板圖像我們需要怎么做呢？為了得到正確的芯片尺寸大小，我們還需要知道每個(gè)芯片間縫隙線的寬度LineWidth。由于攝像機(jī)與晶片間的距離不變的，這里假設(shè)線寬為常數(shù)。不然就需要引入比例因子來通過已經(jīng)得到的芯片尺寸計(jì)算出線寬。那么我們首先在圖像上畫出4個(gè)初始化值為128灰度值、尺寸大致為芯片大小的黑色矩形。為了方便我們操作和分析4個(gè)矩形的中心人為設(shè)定在圖像的中心。在這里我們在加上兩個(gè)黑色矩形，每個(gè)矩形覆蓋60%的線寬，用于表示線的灰度值的不一致性。Paint-xld無鋸齒地將輪廓畫于背景上，因此一個(gè)像素的灰度值取決于這個(gè)像素被這個(gè)矩形覆蓋的比例。在這里舉例說明，如果像素的一半被覆蓋，那么灰度值將為背景和矩形值的平均值。最后的矩形感興趣區(qū)域代表為匹配算法產(chǎn)生形狀模型的感興趣區(qū)域。得到的模型圖像和感興趣區(qū)域見下圖4-8：圖4-8匹配模板圖4.4估計(jì)切割線位置上圖4-8用于在圖4-2原始圖像中找到4個(gè)相鄰芯片最匹配位置。通過此匹配圖我們找到最感興趣的匹配。下圖4-9顯示了匹配結(jié)果：圖4-9匹配結(jié)果圖上圖4-9顯示了匹配結(jié)果。圖中有多個(gè)模型，但是僅對最匹配的感興趣，因此NumMatches位置為1。坐標(biāo)MatchRow和MatchColumn為亞像素精度。在得到匹配圖以后我們的實(shí)驗(yàn)流程就進(jìn)行到了最后一步了。最后一步我們需要計(jì)算出切割線。那我們怎么計(jì)算出呢？我們根據(jù)匹配的位置計(jì)算出切割線。首先根據(jù)圖像的芯片大小估算出水平和垂直方向最多可能存在的切割線數(shù)量，然后從匹配得出的坐標(biāo)MatchRow和MatchCol點(diǎn)開始計(jì)算出相距DieHeight相互水平的水平線，和相距DieWidth相互平行的垂直線。計(jì)算結(jié)果見圖4-10.圖4-10晶片切割線這里我們就通過halcon軟件得出了半導(dǎo)體晶片的切割線，就成功完成了對半導(dǎo)體晶片的切割。4.5本章小結(jié)在第四章中我們系統(tǒng)的完成了半導(dǎo)體晶片在halcon軟件下的切割全過程，從最開始的原始圖在我們的一系列處理下最后確定出晶片切割線。在這一章中我們每一個(gè)操作都對應(yīng)了在第三章中了解到的算法，因此在第四章中的流程實(shí)現(xiàn)可以說是將第三章融合在一起的一個(gè)整體流程。也是我們的半導(dǎo)體晶片切割的機(jī)器視覺軟件系統(tǒng)的精華所在。結(jié)論通過這篇論文我們系統(tǒng)而清晰的介紹了機(jī)器視覺系統(tǒng)運(yùn)用在半導(dǎo)體晶片切割上的一個(gè)實(shí)例。讓我們對機(jī)器視覺系統(tǒng)有了更清晰的理解，讓我們對半導(dǎo)體晶片切割的流程也熟悉了。這篇論文中我們主要完成了以下幾點(diǎn)：一、首先基于我們要到達(dá)的預(yù)想要求和需要處理的產(chǎn)品選擇各個(gè)元件，以達(dá)到最理想的處理結(jié)果。雖然這次非常遺憾的沒能親自采集到半導(dǎo)體晶片原始圖像而只能運(yùn)用數(shù)據(jù)庫中采集好的理想原始圖像，但是這并不影響我們的后續(xù)處理。二、在取得原始圖像以后我們就利用halcon軟件和需要對原始圖像進(jìn)行處理的相關(guān)算法（傅立葉變換、相關(guān)、匹配）進(jìn)行對圖像處理以找到對原始圖像進(jìn)行切割的切割線。本課題假設(shè)了晶片在圖像中水平放置。然而，對于有些應(yīng)用中這種假設(shè)不成立。所以如果想沿著這個(gè)課題繼續(xù)往下做，可以考慮解決一下解決晶片旋轉(zhuǎn)的問題。機(jī)器視覺系統(tǒng)在國外已經(jīng)運(yùn)用到各個(gè)行業(yè)中了，而且取得了相當(dāng)驕人的成績，對產(chǎn)業(yè)效率的提高起到了至關(guān)重要的作用。當(dāng)前，機(jī)器視覺系統(tǒng)的應(yīng)用已經(jīng)超越了傳統(tǒng)的檢驗(yàn)領(lǐng)域，想著更深層、更為多樣化的領(lǐng)域擴(kuò)展。與此同時(shí)，及其實(shí)際產(chǎn)品的采購量也是在節(jié)節(jié)攀升。近年來機(jī)器視覺系統(tǒng)更是在運(yùn)動控制，連續(xù)處理，驗(yàn)證等行業(yè)中都運(yùn)用。機(jī)器視覺系統(tǒng)暫時(shí)主要運(yùn)用在需要精度要求高或者肉眼無法做到的行業(yè)，但是機(jī)器視覺系統(tǒng)的智能與精準(zhǔn)注定了它遲早將在各個(gè)行業(yè)中得到廣泛運(yùn)用。致謝經(jīng)過快半年的對這個(gè)課題的不斷熟悉和實(shí)驗(yàn)，這篇文章終于算是完成了，期間有成功帶來的喜悅也有失敗導(dǎo)致的氣餒。但是這個(gè)特殊的過程整體是帶給了我無限的快樂和非常多值得回憶的地方。當(dāng)然這當(dāng)中也就有許多需要感謝的人。這篇論文是我這么多年以來寫過的最為正式的也是最有意義的一篇論文，所以經(jīng)歷了從前面的不知所措和茫然。但是這一切的負(fù)面因素都在的是導(dǎo)師XX老師的悉心指導(dǎo)下消失了。因?yàn)槭鞘状谓佑|這個(gè)課題，因此經(jīng)歷了從開始的什么都不知道到對整個(gè)流程都能熟練操作。可見XX老師對我們的幫助是多么的大，因此這里最先感謝的也是最想感謝的就是XX老師。這里真心的說上一句謝謝您。借此機(jī)會我好像感謝那些曾經(jīng)教導(dǎo)過我的老師們，是你們讓我在大學(xué)中學(xué)到了許多寶貴只是讓我沒虛度我的大學(xué)生活。這里對所有照顧過我的人說上一句謝謝你們。參考文獻(xiàn)[1]徐志軍，徐光輝.CPLD/FPGA的開發(fā)與應(yīng)用.北京：電子工業(yè)出版社,2002[2]P.Kopardekar,A.Mital,S.Anand,Manual,hybridandautomatedinspectionliteratureandcurrentresearch,IntegratedManufacturingSystems4(1993)18C29.[3]朱錚濤，黎紹發(fā).視覺測量技術(shù)及其在現(xiàn)代制造工業(yè)中的應(yīng)用[J].現(xiàn)代制造工程，2020(4)5961.劉繼勝，鐘良.機(jī)器視覺技術(shù)在質(zhì)量檢測中的應(yīng)用[J].現(xiàn)代制造工程，2020(2)99_101.[5]TI公司.TMS320C64xDSPVideoPort/VCXOInterpolatedControl(VIC)PortReferenceGuide.[6]范祥，盧道華,王佳.機(jī)器視覺在工業(yè)領(lǐng)域中的研究應(yīng)用[J].現(xiàn)代制造工程，2020,(06)[7]潘繼軍，C6000DSK的視頻處理系統(tǒng)設(shè)計(jì)，微計(jì)算機(jī)信息,2020年，第4-2期,P135-136[8]Steger,C,Ulrich,M,Wiedemann,C.機(jī)器視覺算法與應(yīng)用[M].清華大學(xué)出版社，2020(11)425426[9]O.-K,Kwon,D,-G.Sim,R,-H.Park.RobustHausdorffdistancematchingalgorithmsusingpyramidalstructures]」].PatternRecognition,34:2G2G-2G2G,2G01.[10]C.F.Olson,D.P.Huttenlocher.Automatictargetrecognitionbymatchingorienteredgepixels[J].IEEETransactionsonImageProcessing,6(1):111-122,1981.[11]RameshJain,RangacharKasturi,BrianG.ShchunckMachineVision[M]北京:機(jī)械工業(yè)出版2020.[12]N.Ayache,O.D.Faugeras.Hyper:Anewapproachfortherecognitionandpositioningoftwo-dimensionalobjects[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,8(1):44-54,January1986.[13]半導(dǎo)體晶片加工技術(shù)http:///threadT2753TT.html[14]M.W.Koch.L.Kashyap.Usingpolygonstorecognizeandlocatepartiallyoccludedobjects[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,9(4):483-494,July1987.[15]EliasN.Malamasa,EuripidesG.M.Petrakisa,MichalisZervakisa,LaurentPetitb,Jean-DidierLegatbImageandVisionComputing[J]In:ElsevierScience2001.附錄(算法實(shí)現(xiàn)的主要源代碼)第一，此程序主要調(diào)用的Halcon機(jī)器視覺軟件包算子以及各自作用如下：Dev_update_all(::DisplayMode:)檢查軟件是否更新init_font*(::WindowHandle,Font,Size:)系統(tǒng)格式設(shè)置reopen_window_fit(Image::Maxextent,Row,Col:WindowHandle)獲取圖像長寬write_message(::WindowHandle,Row,Column,String,WindowCoordinates:)依據(jù)字體大小估算文本的拓展，在指定位置繪制矩形并顯示信息dev_display_shape_matching_results(::ModelID,Color,Row,Column,Angle,ScaleC,Model:)顯示基于形狀匹配的結(jié)果dev_open_window_fit_image(Image::Row,Cloumn,WidthLimit,HeightLimitWindowHandle)打開一個(gè)新的圖形窗口并調(diào)整大小，它能在保持正確的圖像長寬比前提下而適用于如WidthLimit和HeightLimit的規(guī)定限制dev_display_shape_matching_results(::ModeID,Color,Row,Column,Angle,ScaleC,Model：)顯示匹配的結(jié)果disp_3d_coord_system(::WindowHandle,CamParam,Pose,CoordAxesLength:)顯示3D坐標(biāo)系統(tǒng)disp_continue_message(::WindowHandle,Color,Box:)在圖形窗口上顯示“Click"Run"tocontinue”disp_message(::WindowHandle,String,CoordSystem,Row,Column,Color,Box:)在圖像窗口上按代碼要求顯示不同的文本gen_arrow_contour_xld(:Arrow:Row,Column1,Row2,Column2,HeadLength,HeadWidth:)生成箭頭形的XLD輪廓list_image_files(::ImageDirectory,Extensions,Options:ImageFiles)返回?cái)U(kuò)展中一個(gè)特定后綴的特定目錄中所有的文件parse_filename(::FileName:BaseName,Extension,Directory)獲得文件名(全路徑)，輸入并按三種不同的字符串返回目錄路徑、基本文件名和擴(kuò)展scale_image_range(Image:ImageScaled:Min,Max:)改變圖像的灰度值set_display_font(::WindowHandle,Size,Font,Bold,Slant:)按照指定屬性設(shè)置當(dāng)前窗口的文本字體sort_pairs(::T1,T2,SortMode:Sorted1,Sorted2)輸入?yún)?shù)對原組排序tuple_gen_sequence(::Start,End,Step:Sequence)產(chǎn)生一個(gè)等間距值序列的數(shù)組第二，基于半導(dǎo)體晶片的切割定位主函數(shù)代碼及功能如下：main(:::)*初始化read_image(WaferDies,〃wafer_dies〃)reopen_window_fit(WaferDies,700,0,0,WindowHandle)init_font(WindowHandle,-1,2)get_window_extents(WindowHandle,_,_,WindowWidth,WindowHeight)dev_update_all("off")dev_set_draw("margin")get_image_pointer1(WaferDies,_,_,Width,Height)dev_display(WaferDies)write_message(WindowHandle,-1,-1,"Imageofawafer",true)write_message(WindowHandle,WindowHeight30,-1,"Press\〃Run\〃tocontinue",true)stop()*1.利用自相關(guān)算法獲取晶片大小rft_generic(WaferDies,ImageFFT,〃to_freq〃，"none”,"complex",Width)correlation_fft(ImageFFT,ImageFFT,CorrelationFFT)rft_generic(CorrelationFFT,Correlation,〃from_freq〃，〃n〃，"real",Width)*排除圖像邊緣的局部最大值，因?yàn)樽韵嚓P(guān)是一個(gè)偶函數(shù)，所以提取左上四分之一的最大值就可以了gen_rectangle1(Rectangle,1,1,Height/2,Width/2)reduce_domain(Correlation,Rectangle,CorrelationReduced)*提取自相關(guān)函數(shù)的局部最大值local_max_sub_pix(CorrelationReduced,"gauss",2,5000000,Row,Col)*提取晶片尺寸*找到接近原點(diǎn)的最大值.這個(gè)最大值相當(dāng)于晶片中相應(yīng)矩形的中心distance_pp(gen_tuple_const(|Row|,0),gen_tuple_const(|Col|,0),Row,Col,Distance)SortedIndexsort_index(Distance)RowlRow[SortedIndex[0]]CollCol[SortedIndex[0]]DiagonalLengthsqrt(Row1*Row1+Col1*Col1)Phiatan2(Row1,Col1)DieWidthDiagonalLength*cos(Phi)DieHeightDiagonalLengthsin(Phi)*中心、第一個(gè)極大值和第二個(gè)極大值合在一起就可以定義晶片的方位和大小dev_set_color("blue")gen_cross_contour_xld(Crosses,Row,Col,8,0.785398)gen_ellipse_contour_xld(Circle,Row1,Col1,0,8,8,0,6.28318,"positive",1.5)dev_display(Correlation)dev_display(Crosses)dev_display(Circle)dev_set_color("green")dev_display(Rectangle)write_message(WindowHandle,-1,-1,"Autocorrelation,regionofinterest,andlocal?〃maxima,true)write_message(WindowHandle,WindowHeight30,-1,"Press\〃Run\〃tocontinue",true)stop()*構(gòu)想提取出的晶片尺寸gen_rectangle2_contour_xld(Die,Height/2,Width/2,0,DieWidth/2,DieHeight/2)reopen_window_fit(WaferDies,700,0,0,WindowHandle)init_font(WindowHandle,-1,2)dev_display(WaferDies)dev_set_color("blue")dev_display(Die)write_message(WindowHandle,-1,-1,"Extracteddie?〃

size,true)write_message(WindowHa