基于機(jī)器人視覺的快遞分揀系統(tǒng)設(shè)計與試驗(yàn)

本科畢業(yè)論文（設(shè)計）論文題目 ：本科畢業(yè)論文（設(shè)計）專用本科畢業(yè)論文（設(shè)計）專用摘 要性。本文主要研究內(nèi)容主要集中于以下幾個方面：研究采用寬度、高度和體積等信息，并通過九點(diǎn)標(biāo)定算法和仿射變換得出快遞箱的坐標(biāo)信息，通過socket通信將坐標(biāo)信息傳輸給ABB機(jī)器人，實(shí)現(xiàn)機(jī)器人的精確抓取和分類。(2)實(shí)現(xiàn)對快遞盒的自動分類，編寫一套控制機(jī)器人動作的程序，開發(fā)相應(yīng)的軟件程序來實(shí)現(xiàn)這一目標(biāo)，程序?qū)⒅敢龣C(jī)器人對快遞盒進(jìn)行自動分類。這些程序需要與攝像頭、傳感器和其他設(shè)備協(xié)調(diào)，以確保分揀操作順利進(jìn)行。使用C#語言開發(fā)C#語言創(chuàng)建WinForm接口，用于控制整個快速分類過程。讓快遞自動分類更簡單流程化。使用ABBIRB1410將視覺智能系統(tǒng)和機(jī)器人技術(shù)集成，以應(yīng)對快遞遞送量不斷增加的挑戰(zhàn)。本文的研究成果可以代替人工進(jìn)行快遞分揀搬運(yùn)，提高快遞盒的自動分揀和分類效率和準(zhǔn)確性，具有廣闊的應(yīng)用前景和市場價值。關(guān)鍵詞：機(jī)器視覺；快遞分揀；工業(yè)機(jī)器人；C#；工作站集成設(shè)計。AbstractAsthee-commerceindustrygrows,packagedeliveryvolumesareincreasing,puttingtraditionalsortationautomationrobotsunderpressureandlimitingtheirabilitytokeepupwithdemand.Inresponse,integratingvisualintelligencesystemswiththeserobotscouldimproveefficiencyandreducecosts.Inthisregard,thispaperproposesanautomaticsortingsystemforexpressboxesbasedonmachinevisionandrobottechnologytorealizeautomaticsortingandclassificationofexpressboxes,whichcansortexpressboxesofdifferentsizesandimprovesortingefficiencyandaccuracy.Themainresearchcontentofthispapermainlyfocusesonthefollowingaspects:ThestudyusestheHALCONvisionsoftwaretoobtainthedepthinformationoftheexpressbox,andthenextractsthelength,width,heightandvolumeoftheexpressbox,andobtainsthecoordinateinformationoftheexpressboxthroughthenine-pointcalibrationalgorithmandaffinetransformation.ThesocketcommunicationtransmitsthecoordinateinformationtotheABBrobottorealizetheprecisegraspingandclassificationoftherobot.Realizetheautomaticclassificationofexpressboxes,writeasetofprogramstocontrolthemovementoftherobot,anddevelopcorrespondingsoftwareprogramstoachievethisgoal.Theprogramwillguidetherobottoautomaticallyclassifytheexpressboxes.Theseproceduresneedtobecoordinatedwithcameras,sensorsandotherequipmenttoensurethatsortingoperationsrunsmoothly.UseC#languagetodeveloptheWinForminterfacetorealizethecontroloftheentireexpressclassificationprocess.CreateaWinForminterfaceusingC#languagetocontroltheentirequickclassificationprocess.Maketheautomaticclassificationofexpressdeliveryeasierandmorestreamlined.ArobotsortingsystemiscomposedofABBIRB1410industrialrobot,industrialcamera,lightsource,lightsourcecontroller,maincontrolcomputerandotherhardware,andaexpressboxautomaticsortingsystembasedonmachinevisionandrobottechnologyisproposed.Integratewithroboticstomeetthechallengeofincreasingexpressdeliveryvolume.Theresearchresultsofthispapercanreplacemanualexpresssortingandhandling,improvetheefficiencyandaccuracyofautomaticsortingandclassificationofexpressboxes,andhavebroadapplicationprospectsandmarketvalue.Keywords:machinevision;Expresssorting;industrialrobots;C#；Workstation-integrateddesign.本科畢業(yè)論文（設(shè)計）專用本科畢業(yè)論文（設(shè)計）專用目 錄1引 論 11.1研究目的及意義 11.2國內(nèi)外研究現(xiàn)狀 21.3設(shè)計的主要內(nèi)容 31.4章節(jié)安排 42機(jī)器人視覺的快遞分揀系統(tǒng)設(shè)計 62.1視覺分揀系統(tǒng)方案設(shè)計 62.2系統(tǒng)軟硬件集成設(shè)備選型 62.3光學(xué)方案設(shè)計 123Halcon視覺圖像處理 153.1Halcon視覺軟件工作總體流程 153.2相機(jī)的標(biāo)定 203.3系統(tǒng)的通信方式 233.4快遞的定位轉(zhuǎn)換 254VS2019的WinForm窗體設(shè)計 304.1上位機(jī)開發(fā)功能要求 304.2以C#格式導(dǎo)出Halcon程序 304.3配置環(huán)境 304.4Winform界面設(shè)計 344.5窗體界面的顯示邏輯 355ABB機(jī)器人路徑算法設(shè)計 375.1ABB機(jī)器人工作總體流程 375.2ABB機(jī)器人Halcon通訊設(shè)置 375.3ABB機(jī)器人離線程序設(shè)定 396工作站聯(lián)合調(diào)試試驗(yàn) 416.1程序調(diào)試 416.2軟件打包發(fā)布 417結(jié) 語 46參考文獻(xiàn) 47致 謝 48附 錄 49附錄一：Halcon機(jī)器視覺算法設(shè)計及說明 49附錄二：ABB機(jī)器人詳細(xì)離線程 54附件三：VS2019的WinForm算法設(shè)計及說明 59附 圖 79附圖一：UI界面圖 79本科畢業(yè)論文（設(shè)計）專用本科畢業(yè)論文（設(shè)計）專用PAGEPAGE11 引 論1.1 研究目的及意義近年來快遞量的持續(xù)增長，物流服務(wù)的質(zhì)量和水平仍有待提高。要提高我國郵政業(yè)的發(fā)展水平和國際競爭力，必須在郵政業(yè)實(shí)行全面、精細(xì)化的管理。智能分揀系統(tǒng)由物流自動化設(shè)備、信息傳輸、倉儲控制、管理系統(tǒng)組成，是快遞物流系統(tǒng)的重要組成部分，也是保障整個物流系統(tǒng)高效運(yùn)行的重要基礎(chǔ)設(shè)施。其主要功能包括自動揀選、自動包裝、自動分揀，可由計算機(jī)遠(yuǎn)程監(jiān)控或管理。研究快遞物流分揀環(huán)節(jié)自動化技術(shù)，可以為郵政行業(yè)的自動化生產(chǎn)提供新技術(shù)、新產(chǎn)品，提高企業(yè)的經(jīng)濟(jì)效益。視覺識別技術(shù)是機(jī)器人分揀系統(tǒng)的核心組成部分，涉及計算機(jī)采集圖像信息、分析圖像信息、提取有價值的信息等關(guān)鍵技術(shù)。通過分析與研究圖像特征與分類之間的關(guān)系，進(jìn)而獲取目標(biāo)區(qū)域特征信息進(jìn)行識別和分類，下面是分揀機(jī)器人正在在進(jìn)行分揀作業(yè)。（圖1.1）圖1.1產(chǎn)線上的視覺分揀機(jī)器人機(jī)器人視覺作為一種新興技術(shù)，可以應(yīng)用于自動化生產(chǎn)領(lǐng)域，用于物體識別、跟蹤、分類和計數(shù)。機(jī)器人視覺的關(guān)鍵在于實(shí)現(xiàn)物體識別和定位、跟蹤，并確定目標(biāo)物體的位置和運(yùn)紋理等各種信息;（2）對加工目標(biāo)進(jìn)行分類;（3）對檢測到的目標(biāo)對象進(jìn)行計數(shù)和識別等基本操作。在分揀過程中，機(jī)器人視覺不僅可以對貨物進(jìn)行分揀，還可以對自動分揀系統(tǒng)中各種傳感器檢測到的各種產(chǎn)品的規(guī)格和尺寸進(jìn)行準(zhǔn)確判斷和分類。實(shí)現(xiàn)不同產(chǎn)品之間或單個項(xiàng)目之間的信息相互傳遞，部門之間的指令和信息傳遞，也需要不同的技術(shù)手段。機(jī)器人視覺可以檢測并自動分類不同的產(chǎn)品或相同的產(chǎn)品。它在分揀過程中起著至關(guān)重要的作用，不僅實(shí)現(xiàn)了自動化物流系統(tǒng)中貨物的分揀功能，而且按照一定的程序和規(guī)則將貨物分揀或運(yùn)輸?shù)街付ㄎ恢谩１疚脑O(shè)計一種可以應(yīng)用于自動識別分揀小物件快遞盒和快速分揀系統(tǒng)。在進(jìn)行貨物分類處理時，快遞公司的工作人員將先前已經(jīng)分好相同地區(qū)的商品再進(jìn)行分配，快遞公司的工作人員將產(chǎn)品放到傳送帶上，經(jīng)過機(jī)器視覺識別器掃描后，將商品放到自動運(yùn)輸機(jī)器上，到了出貨站臺后自動運(yùn)輸機(jī)器會把托盤升起使機(jī)器上的商品落到出貨口，集中配送。[7]本科畢業(yè)論文（設(shè)計）專用本科畢業(yè)論文（設(shè)計）專用通過對快遞包裝進(jìn)行圖像采集，采用了圖像處理中常用的閾值分割方法、邊緣檢測、形態(tài)學(xué)操作、閾值分割、形態(tài)學(xué)操作以及特征提取方法來對包裹和包裝箱進(jìn)行分類識別。根據(jù)用戶對快遞單信息錄入要求，設(shè)計了一種用于處理快遞數(shù)據(jù)信息并且能對快遞圖像數(shù)據(jù)信息進(jìn)行處理的系統(tǒng)模塊；該智能分揀系統(tǒng)可以自動識別單快遞盒和包裝箱等不同類別和不同大小的物品進(jìn)行分揀；1.2 國內(nèi)外研究現(xiàn)狀自20世紀(jì)以來，快遞行業(yè)飛速發(fā)展，智能物流發(fā)展迅速，國家政策也在不斷出臺鼓勵創(chuàng)新。國內(nèi)也在不斷學(xué)習(xí)技術(shù)并進(jìn)行開發(fā)，以保證物流行業(yè)的高速發(fā)展。隨著人工智能技術(shù)在各企業(yè)間的推廣應(yīng)用，機(jī)器人視覺技術(shù)的發(fā)展也逐步成熟。我國研究的自主式智能快遞機(jī)器人系統(tǒng)由三部分組成：控制中心、末端執(zhí)行器、服務(wù)機(jī)器人。機(jī)器人視覺技術(shù)在各行各業(yè)得到廣泛應(yīng)用，主要是為了提高生產(chǎn)效率和自動化程度，并且能有效避免人為失誤；其次是降低人工成本、減輕勞動強(qiáng)度、實(shí)現(xiàn)機(jī)器換人等特點(diǎn)。隨著人工智能和信息科技的不斷發(fā)展，機(jī)器人系統(tǒng)被廣泛運(yùn)用于物流、倉儲等領(lǐng)域中，目前已有很多優(yōu)秀品牌采用了自主研發(fā)機(jī)器人來代替人工對貨物進(jìn)行分揀作業(yè)。國內(nèi)快遞行業(yè)正處于快速發(fā)展時期且各大快遞公司均在不斷投入大量資金完善設(shè)施設(shè)備。[2]目前國內(nèi)已經(jīng)有了許多分揀中心與自動化設(shè)備供各大快遞公司使用，并且已經(jīng)取得了良好成效。隨著人工智能技術(shù)和信息科學(xué)技術(shù)的迅速發(fā)展，機(jī)器人系統(tǒng)可以有效代替人工工作并降低人力成本；同時也是對傳統(tǒng)的機(jī)械化流水線進(jìn)行升級改造的過程。近年來隨著物流行業(yè)快速發(fā)展使得快遞行業(yè)業(yè)務(wù)量激增而機(jī)器人系統(tǒng)無法滿足日益增長的快件數(shù)量所造成的設(shè)備及人工成本增加是導(dǎo)致我國快遞分揀中心智能化水平不斷提高的重要原因之一；同時我國物流業(yè)快速發(fā)展、物流業(yè)相關(guān)服務(wù)體系不斷完善也是對物流行業(yè)轉(zhuǎn)型升級、提高物流行業(yè)自動化程度起到促進(jìn)作用。目前我國已經(jīng)有了許多專業(yè)從事物流設(shè)備研發(fā)與生產(chǎn)、運(yùn)營管理等方面工作人員。其中就包括從事機(jī)器人系統(tǒng)研究、開發(fā)、制造及技術(shù)服務(wù)等工作人員；同時從事機(jī)械自動化工程設(shè)計人員；從事相關(guān)設(shè)備研究及應(yīng)用開發(fā)人員以及從事物流企業(yè)相關(guān)從業(yè)技術(shù)與管理人員等；這些人通常擁有高學(xué)歷和扎實(shí)的專業(yè)技能與技術(shù)經(jīng)驗(yàn)。與國外的機(jī)器視覺和人工智能領(lǐng)域進(jìn)行比較，我們可以對國外幾種典型視覺識別系統(tǒng)進(jìn)行分析和應(yīng)用研究：美國：Eclipse公司的自動分揀系統(tǒng)（AutomaticSegmentationSystem,像的信息識別技術(shù)，實(shí)現(xiàn)自動分揀和貨物定位。日本：豐田物流公司的倉儲設(shè)備中，利用機(jī)器視覺識別系統(tǒng)技術(shù)來對分揀出來的貨物進(jìn)行分類。德國：Deeplearningen公司通過計算機(jī)視覺識別系統(tǒng)來實(shí)現(xiàn)對貨物的分揀。法國：Eclipse公司使用工業(yè)相機(jī)和機(jī)器視覺技術(shù)來實(shí)現(xiàn)貨物的識別。澳大利亞：Australian公司開發(fā)出一種可以將計算機(jī)視覺技術(shù)與RFID相結(jié)合使用并集成到機(jī)器人揀選中的機(jī)器人系統(tǒng)?？萍级挤奖懔巳藗?nèi)粘Ｉ詈涂爝f行業(yè)的發(fā)展。成本高、效率低，同時易出現(xiàn)人為失誤，影響服務(wù)質(zhì)量。所以提高快遞分揀中心的速度，降低成本，提高服務(wù)質(zhì)量，是快遞行業(yè)需要解決的問題。這些公司不斷引入新技術(shù)，提高其設(shè)備和機(jī)器人的智能化程度，提高快遞分揀中心的自動化水平。在這些企業(yè)的帶動下，中國快遞業(yè)的自動化水平也在不斷提高?？偟膩碚f，隨著人工智能技術(shù)和信息科技的不斷發(fā)展，機(jī)器人系統(tǒng)將在物流、倉儲等領(lǐng)域中被廣泛運(yùn)用，快遞行業(yè)也將會實(shí)現(xiàn)從人工分揀到機(jī)器人分揀的轉(zhuǎn)變。我國快遞行業(yè)還需要不斷加強(qiáng)技術(shù)研發(fā)和人才培養(yǎng)，提高自主創(chuàng)新能力，以適應(yīng)快速發(fā)展的市場需求，推動快遞行業(yè)的轉(zhuǎn)型升級和可持續(xù)發(fā)展。1.3 設(shè)計的主要內(nèi)容包裹分揀系統(tǒng)的需求，為研究所需的實(shí)驗(yàn)工作場景選擇合適的軟硬件設(shè)備，建立工作操作平臺，連接系統(tǒng)與集成系統(tǒng)形成整體。設(shè)計系統(tǒng)的關(guān)鍵部件，包括攝像頭和視覺分揀一體化的空間布局，開發(fā)可靠高效的系統(tǒng)，可以準(zhǔn)確分揀快遞包裹。（2）快遞分揀系統(tǒng)光學(xué)平臺的設(shè)計與構(gòu)建，確定需要分揀的快遞員的尺寸范圍，選擇合適的硬件和軟件來設(shè)計和構(gòu)建光學(xué)平臺，選擇光學(xué)載物臺的三個主要組成部分：光源、相機(jī)以便在后續(xù)章節(jié)中進(jìn)一步處理。HALCON機(jī)器視覺的快速定位與抓取算法，描述Halcon軟件的整體工作流程，利用處理圖像的算法提取快遞的深度信息，得到快遞的長度、寬度和高度，以及快遞的體積，使用九點(diǎn)標(biāo)定算法獲取快遞的坐標(biāo)點(diǎn)，就可以通過socket通信發(fā)送到機(jī)器人的交互端，實(shí)現(xiàn)快遞盒分揀和快遞盒的定位。（4）使用C#作為編程語言工具，編寫基于Halocn程序的VS2019WinForm界面設(shè)計配置打包Halocn程序并配置語言環(huán)境，根據(jù)實(shí)驗(yàn)要求設(shè)計Winform界面，控制快遞分揀全過程。（5）快速定位和抓取的機(jī)器人工作流程，詳細(xì)介紹ABB機(jī)器人的工作流程，包括機(jī)器人坐標(biāo)系的建立、機(jī)器人的軌跡規(guī)劃、機(jī)器人的抓取和放置，針對快遞箱的不同尺寸和重量與攝像頭、傳感器等設(shè)備協(xié)調(diào)，確保機(jī)器人的分揀作業(yè)能夠順利完成。1.4

圖1.2技術(shù)路線流程圖第一章，首先介紹研究的目的和意義，解釋了該主題的研究方向，通過研究目的介紹了機(jī)器人視覺快遞分類的研究進(jìn)展，并總結(jié)了國內(nèi)外快遞分類技術(shù)的發(fā)展和實(shí)現(xiàn)方向。第二章本章主要探討機(jī)器人視覺快遞分揀系統(tǒng)的設(shè)計和測試方案。研究的目標(biāo)是開發(fā)一個高效準(zhǔn)確的系統(tǒng),能夠快速分揀各種大小和形狀的快遞包裹和遞分揀系統(tǒng)光學(xué)平臺的設(shè)計和構(gòu)建。為了實(shí)現(xiàn)這個目標(biāo),我們針對研究所需的實(shí)驗(yàn)工作場景,具體選取了合適的軟硬件設(shè)備。光學(xué)平臺是系統(tǒng)的關(guān)鍵組件,因?yàn)樗东@快遞的圖像以進(jìn)行進(jìn)一步處理。為了確保準(zhǔn)確高效的計和構(gòu)建光學(xué)平臺。光學(xué)平臺由三個主要部件組成：光源、相機(jī)和鏡頭。光源為快遞提供照明,其選擇對于最大限度地減少快遞表面的陰影和反射至關(guān)重要。根據(jù)快遞的尺寸、分辨率和相應(yīng)的視覺算法選擇相機(jī)。選擇鏡頭以優(yōu)化圖像質(zhì)量,并確保在相機(jī)的視野中準(zhǔn)確捕獲快遞。選擇硬件后,我們校準(zhǔn)相機(jī)以獲得快遞尺寸和位置的準(zhǔn)確測量值。校準(zhǔn)過程包括測量相機(jī)的固有和外在參數(shù)并獲得失真系數(shù)。校準(zhǔn)結(jié)果用于校正相機(jī)捕獲的圖像,使其更準(zhǔn)確并適合進(jìn)一步處理。根據(jù)快遞的高度、分辨率和相應(yīng)的視覺算法進(jìn)行特殊設(shè)計。這確保攝像頭能夠捕捉清以確保系統(tǒng)的效率和準(zhǔn)確性得到優(yōu)化。這包括攝像頭、照明和其他組件的擺放,以確保整個快遞分揀過程順暢無縫。機(jī)器人視覺快遞分揀系統(tǒng)的設(shè)計和測試方案考慮了實(shí)驗(yàn)的具體需求和以清晰地成像和提取快遞,以便在后續(xù)章節(jié)中進(jìn)一步處理。HALCON機(jī)器視覺的快遞定位抓取，本研究的主要目的是通過應(yīng)用圖像處理算法從快遞包裹中提取深度信息。具體來說，這些算法旨在確定快遞的長度、寬度和高度，以及其整體體積。有了這些深度信息，系統(tǒng)就可以利用九點(diǎn)校準(zhǔn)算法和仿射變換來獲得快車的精確坐標(biāo)。這項(xiàng)工作是自動分類和分揀系統(tǒng)的關(guān)鍵組成部分，對系統(tǒng)的整體成功至關(guān)重要。第四章，基于Halocn程序進(jìn)行VS2019的WinForm窗體設(shè)計。該設(shè)計主要以C#作為編程語言工具。概述了自動分類和排序系統(tǒng)中窗體設(shè)計開發(fā)的功能要求。它涵蓋了窗體設(shè)計必須具備的關(guān)鍵特性和功能，以有效控制和監(jiān)視系統(tǒng)的運(yùn)行。介紹了以C#格式導(dǎo)出HALCON程序的過程。這是開發(fā)WinForm接口的關(guān)鍵步驟，因?yàn)樗С謱ALCON程序與接口的C#代碼集成。還有開發(fā)WinForm接口所需的環(huán)境配置。它涵蓋了軟件和硬件要求，以及必要的HalocnWimform界面，釋界面的顯示邏輯，該邏輯決定了各種組件在屏幕上的顯示方式。本節(jié)涵蓋了管理不同元素的顯示并確保界面響應(yīng)迅速且用戶友好的代碼。做好控制快遞分揀整個流程。第五章，在本章中，將全面介紹ABB機(jī)器人的工作流程，包括坐標(biāo)系建立、軌跡規(guī)劃、以實(shí)現(xiàn)最佳分類效果。為實(shí)現(xiàn)機(jī)器人的自動分類功能，還將編寫相應(yīng)的程序，控制機(jī)器人的運(yùn)動。在程序設(shè)計中，我們將充分考慮機(jī)器人的安全性、精確性和效率等因素。同時，我們還需要與相機(jī)和傳感器等設(shè)備進(jìn)行協(xié)調(diào)，以確保機(jī)器人的分類操作能夠順利完成。研究重點(diǎn)在于如何實(shí)現(xiàn)機(jī)器人的精準(zhǔn)定位和分類功能，解決機(jī)器人在處理快遞時可能遇到的尺寸差異和重量不同等問題，提高機(jī)器人的分類效率和準(zhǔn)確性。第六章，本章分為兩部分，重點(diǎn)介紹此過程涉及的關(guān)鍵步驟。重點(diǎn)是識別和修復(fù)系統(tǒng)軟件組件中的錯誤所需的步驟。介紹如何使用調(diào)試工具和技術(shù)（如斷點(diǎn)、變量檢查和錯誤日志記錄）來識別和解決軟件中的問題。還有自動分類和排序系統(tǒng)的軟件打包和發(fā)布過程。它涵蓋了將軟件組件打包為可分發(fā)格式（如安裝程序或zip程，包括版本控制、文檔和測試。強(qiáng)調(diào)了徹底測試和文檔編制的必要性，以確保系統(tǒng)部署和運(yùn)行成功。主要目的是描述系統(tǒng)的聯(lián)調(diào)過程。第七章，論文的結(jié)語提供了研究工作的總結(jié)，從獲得的結(jié)果中得出結(jié)論，提出了未來研究的可能方向，并強(qiáng)調(diào)了研究結(jié)果的實(shí)際意義。最后的發(fā)言表達(dá)了對那些為這項(xiàng)研究做出貢獻(xiàn)的人的感謝，并以對該領(lǐng)域未來研究的希望聲明結(jié)束。2 機(jī)器人視覺的快遞分揀系統(tǒng)設(shè)計2.1 視覺分揀系統(tǒng)方案設(shè)計視覺分揀機(jī)器人設(shè)計由多個系統(tǒng)組成，包括快遞傳輸、視覺采集、圖像和信息處理、機(jī)攝像設(shè)備捕Halcon并將坐標(biāo)信息傳輸給工業(yè)機(jī)器人。然后，機(jī)器人對工件進(jìn)行相應(yīng)的分類。控制器控制器CCD光源快遞盒PC工業(yè)機(jī)器人圖2.1基于視覺機(jī)器人分揀系統(tǒng)示意圖快遞的輸送單元由輸送機(jī)履帶和步進(jìn)電機(jī)組成?？爝f箱均為棕色，具有光澤，與工件傳輸跟蹤箱托盤形成明顯的顏色對比。這種色差有利于快遞箱的識別和精確定位。視覺部門包括工業(yè)相機(jī)、光學(xué)鏡頭和照明設(shè)備。視覺光源作為平臺的照明設(shè)備安裝在傳消除工件上的陰影至關(guān)重要。工業(yè)相機(jī)在傳送帶上連續(xù)捕獲目標(biāo)工件，獲得的信息由Halcon軟件處理，以便工業(yè)機(jī)器人進(jìn)行后續(xù)分類，把Studio作為操作軟件界面。該接口可輕松控制和監(jiān)控整個系統(tǒng)，使包裹的分揀和交付更加高效和有效。2.2 系統(tǒng)軟硬件集成設(shè)備選型本次視覺分揀機(jī)器人中的控制單元與視覺設(shè)備選型分為兩種，一是硬件選型，二是軟件選型。硬件選型為：工業(yè)機(jī)器人、控制柜、示教器、?？迪鄼C(jī)、條形光源、光源控制器、紅與VS2019開發(fā)完成（圖2.3）。圖2.2HALCON12開始界面圖2.3VS2019開啟界面本課題選擇了中國ABB機(jī)器人分公司的一款名為IRB-1410型號機(jī)械手臂（圖機(jī)器人上管還提供了獨(dú)有的18kg附加荷重。根據(jù)ABB官方網(wǎng)站提供的信息，該機(jī)器人末端加上吸盤可以吸取的最大重量為10公斤，該項(xiàng)目中使用的工業(yè)機(jī)器人是一個多功能且適應(yīng)性可以進(jìn)行調(diào)整以適應(yīng)每個制造過程的獨(dú)特要求。此外，這種堅固可靠的機(jī)器人以其低噪音排放、長使用壽命和最低維護(hù)要求而聞名。其廣泛的工作范圍、長范圍和緊湊的設(shè)計使其成為該工業(yè)機(jī)器人非常適合滿足該項(xiàng)目的需求。圖2.4IRB-1410機(jī)器人IRB14102.4同時，示教器功能也非常強(qiáng)大，包括通信暫停、功能復(fù)位、觸摸屏無效化和機(jī)器人系統(tǒng)重啟等功能。機(jī)器人示教器是一種用于編程和控制工業(yè)機(jī)器人的工具，由一個手持式設(shè)備和一個用戶界面組成，可以讓用戶直接控制機(jī)器人的運(yùn)動和操作，而不需要編寫復(fù)雜的程序代碼。使用機(jī)器人示教器，操作人員可以將機(jī)器人的動作記錄下來并保存為程序，然后這些程序可以在后續(xù)的操作中被重復(fù)使用。這使得機(jī)器人的編程和操作變得更加簡單和高效，同時也提高了生產(chǎn)線的靈活性和適應(yīng)性。（圖2.4）圖2.5示教器2.6可以將活塞銷的外圓表面夾在夾持器端的內(nèi)側(cè)，并將卡展開以將連桿夾在外側(cè)。此外，當(dāng)完全關(guān)閉時，該工具的前端可以將活塞銷推入到位。圖2.6真空吸盤另一方面，吸盤工具用于夾緊活塞部分的上端面。吸盤的使用需要空氣壓縮機(jī)（如圖2.9所示）、真空發(fā)生器（如圖2.8所示）和電磁閥（如圖2.7所示）?？諝鈮嚎s機(jī)和真空發(fā)生器為真空吸盤產(chǎn)生吸力，而電磁閥控制氣體通道的打開和關(guān)閉。該系統(tǒng)選擇了常用的NMPC三位兩位三通電磁閥。當(dāng)機(jī)器人的吸盤用于抓取快遞時，電磁閥打開，當(dāng)工業(yè)機(jī)器人將快遞放下時，電磁閥關(guān)閉。圖2.7電磁閥 圖2.8真空發(fā)生器 圖2.9空氣壓縮機(jī)?？低曄鄼C(jī)化、機(jī)器視覺、數(shù)字圖像處理等領(lǐng)域。以下是對其詳細(xì)介紹：分辨率和幀率：MV-CA050-12GC采用500萬像素的CMOS圖像傳感器，最大輸出分辨率為2448×204823.5fps@2448×2048據(jù)。接口和輸出：該相機(jī)支持GigE接口，傳輸速率高達(dá)1Gbps，具有較高的數(shù)據(jù)傳輸穩(wěn)定性和可靠性。并輸出格式支持等多種格式。光學(xué)性能：該相機(jī)使用了高品質(zhì)的鏡頭和濾光片，能夠提供高質(zhì)量的圖像捕捉。此外，它還支持多種自動曝光、自動白平衡等功能，可以適應(yīng)不同的光線環(huán)境，并能夠?qū)崿F(xiàn)自適應(yīng)亮度和對比度調(diào)節(jié)，使得圖像更加清晰和真實(shí)。硬件和軟件支持：MV-CA050-12GC相機(jī)可以通過SDK和API進(jìn)行編程和控制，此外，該相機(jī)還具備多種應(yīng)用程序，如捕捉、觸發(fā)、調(diào)試等，方便用戶進(jìn)行圖像處理和數(shù)據(jù)分析。（圖2.12）。PAGEPAGE10圖2.10外形尺寸圖2.11MV-CA013-20GC相機(jī)圖2.1212mm鏡頭在本課題中，我們需要選用合適照明設(shè)備。這種照明設(shè)備是條形光源，它有兩種形態(tài)：高均勻性線性光源和復(fù)合線性光源。前者是照亮大型方形物體的理想選擇，而后者則提供了根據(jù)需要組合顏色的靈活性。條形光源的長度和照明角度可調(diào)，適用于各種成像場景，尤其是快遞包裹等涉及大型物品的場景。由于其多功能性，條形光源是這些領(lǐng)域?qū)I(yè)人士的寶貴工具。條形光源是任何需要高質(zhì)量照明才能產(chǎn)生準(zhǔn)確結(jié)果的機(jī)器視覺系統(tǒng)的關(guān)鍵組件。本次試驗(yàn)也是采用WDMM型號:DSL-144-22條形光源（圖2.13）。圖2.13DSL-144-22條形光源圖2.13光源照度參考圖條形光源具有高亮度LED，其照明水平可以根據(jù)照度參考圖進(jìn)行調(diào)整，同時可以靈活修改照明角度以滿足特定要求。此外，增加的擴(kuò)散板可確保更均勻、更柔和的光輸出。本研究使用紅外傳感器（圖2.14）來感應(yīng)物體是否有無等其他參數(shù)。當(dāng)紅外傳感器發(fā)出信號時，信號要么被周圍物體吸收，要么被反射，傳感器根據(jù)反射時間和強(qiáng)度計算物體的位置和距離。在本項(xiàng)目中，紅外傳感器用作硬觸發(fā)器，在必要時通過向相機(jī)發(fā)送信號來捕獲圖像。圖2.14紅外線傳感器源的亮度和開/關(guān)狀態(tài)。它配備了英特爾E38451.91GHzDDR3L內(nèi)存和高可靠性SSD存儲。它還支持多個光耦合器隔離輸入和輸出，并可通過光源接口控制光源的開/關(guān)狀態(tài)和亮度。內(nèi)置觸發(fā)器是一個數(shù)字輸入模塊，用于檢測外部信號，例如按下按鈕或光傳感器檢測物體，并向光源控制器發(fā)送信號以觸發(fā)相應(yīng)的操作?？刂破鞯某叽缛缦拢▓D2.16）圖2.15光源控制器2.3 光學(xué)方案設(shè)計

圖2.16光源控制器尺寸檢測快遞盒以及標(biāo)準(zhǔn)，產(chǎn)品名稱：快遞盒（圖2.17），產(chǎn)品尺寸：直徑長寬<50cm,產(chǎn)品低于0.1cm。尺寸24.7X17.2X43cm圖2.17尺寸24.7X17.2X43cm光學(xué)排布圖的設(shè)計，使用海康威視相機(jī)和12mm鏡頭與?？低暪庠纯刂破骱蜅l形燈一起（圖是80*60cm，單次曝光，10ms，相機(jī)安裝孔做成U型長孔可進(jìn)行適當(dāng)?shù)木嚯x調(diào)整，光源支架做C型孔可進(jìn)行適當(dāng)?shù)慕嵌日{(diào)整，兩個相機(jī)中心分別正對兩側(cè)快遞盒表面中心且光學(xué)聚焦面為快遞表面；光學(xué)排布圖可能會根據(jù)現(xiàn)場機(jī)構(gòu)實(shí)際狀態(tài)做優(yōu)化調(diào)整，左側(cè)為正視圖，右側(cè)為側(cè)視圖。（圖2.19）圖2.18dome平臺圖2.19光學(xué)排布圖視覺檢測流程，首先快遞盒移動到相機(jī)下，觸發(fā)紅外線傳感器進(jìn)行拍照，隨后通過軟件對圖像進(jìn)行處理，對產(chǎn)品進(jìn)行定位等操作，發(fā)送給ABB機(jī)器人一個信號，隨后機(jī)器人進(jìn)行抓取分揀。流程圖如下。圖2.20視覺方案流程圖3 Halcon視覺圖像處理3.1 Halcon視覺軟件工作總體流程在本設(shè)計中主要的圖像處理流程如下：(1)首先讀取圖像:使用讀取圖像函數(shù)readimage，并將其存儲在lmage1中。圖像路徑為C:/Users/32923/Desktop/畢業(yè)設(shè)計/1.jpg”。(2)將RGB圖像轉(zhuǎn)換為灰度圖像:使用rgb1to_gray函數(shù)將lmage1轉(zhuǎn)換為灰度圖像，并將結(jié)2果存儲在Graylmage中。腐蝕處理:使用grayerosionrect函數(shù)對Graylmage進(jìn)行腐蝕處理，并將結(jié)果存儲在26lmageMin中。膨脹處理:使用graydilationrect函數(shù)對ImageMin進(jìn)行膨脹處理，并將結(jié)果存儲在ImageMax中。(5)閩值處理:使用threshold函數(shù)對ImageMax進(jìn)行閩值處理，并將結(jié)果存儲在Regions中。(6)連通域處理:使用connection函數(shù)對Regions進(jìn)行連通域處理，并將結(jié)果存儲在ConnectedRegions中.選擇形狀:使用selectshape函數(shù)從ConnectedRegions中選擇符合“面積在734291和1.47756e+006之間”的形狀，并將結(jié)果存儲在SelectedRegions中。填充區(qū)域:使用fillup函數(shù)對SelectedRegionsRegionFillUp中。(9)形狀轉(zhuǎn)換:使用shapetrans函數(shù)將RegionFillUp轉(zhuǎn)換為凸包形狀，并將結(jié)果存儲在RegionTrans中。(10)10.矩形開放:使用openingrectangle1函數(shù)對RegionTrans進(jìn)行矩形開放，并將結(jié)果存儲在RegionOpening中邊界處理:使用boundary函數(shù)提取RegionOpening的內(nèi)部邊界，并將結(jié)果存儲在RegionBorder中(12)最小矩形處理:使用smallestrectangle2函數(shù)提取RegionBorder的最小矩形，并分別將結(jié)果存儲在Row、Column、Phi、Length1、Length2中。在進(jìn)行圖像處理之前，第一步先要對快遞進(jìn)行標(biāo)定（圖3.1），我們采用的方法是九點(diǎn)標(biāo)定，先要拍取實(shí)際標(biāo)定板的圖像，得到的圖像通過預(yù)處理和blob分系得到九點(diǎn)的中心坐標(biāo)，這里使用中心點(diǎn)(x,y)。用工業(yè)機(jī)器人移動機(jī)械臂旋轉(zhuǎn)中心依次到第一個點(diǎn)，并且保存機(jī)器當(dāng)存起來利用剛剛保存的九點(diǎn)坐標(biāo)和機(jī)器坐標(biāo)，再用算子vector_to_hom_mat2d素坐標(biāo)轉(zhuǎn)化成實(shí)際坐標(biāo)，就可以確定相機(jī)鏡頭下的物體具體坐標(biāo)，機(jī)械臂就可以實(shí)現(xiàn)精準(zhǔn)抓取。圖3.1標(biāo)定方法第二步建立機(jī)器人與相機(jī)通訊（圖3.2）。本次試驗(yàn)中使用socket通訊，機(jī)器人充當(dāng)服務(wù)器，Halcon充當(dāng)客戶端。服務(wù)器使用Sockek對象創(chuàng)建偵聽連接，并通過Bind方法將其綁定到一個EndPoint上。然后，使用Listen方法開始偵聽連接請求。當(dāng)客戶端請求連接時，服務(wù)器將創(chuàng)建一個新的Socket對象，并使用Accept方法開始通信。通信結(jié)束后，需關(guān)閉連接?？蛻舳诵枰葎?chuàng)建一個SocketIP地址和端口號創(chuàng)建一個EndPoint對象，以建立連接。接下來，使用Connect方法將連接請求發(fā)送到服務(wù)器，使用先前創(chuàng)建的EndPoint對象作為參數(shù)。圖3.2建立通訊成功連接后，客戶端使用socket對象方法向服務(wù)器發(fā)送信息（如圖3.3戶端使用socket對象的Receive旦ABB機(jī)器人收到Halcon發(fā)送的坐標(biāo)，它就會繼續(xù)抓取目標(biāo)。在進(jìn)行實(shí)驗(yàn)以確定目標(biāo)是否已準(zhǔn)確定位后，如有必要，對X或Y軸進(jìn)行調(diào)整，直到到達(dá)中心點(diǎn)。圖3.3信息接收第三步是確定快遞盒的中心坐標(biāo)。為此，首先對快遞盒像進(jìn)行預(yù)處理，然后使用中值濾波和高斯濾波、閾值分割、連接區(qū)域、區(qū)域選擇和區(qū)域填充運(yùn)算符等過濾技術(shù)，以獲得快遞的最小邊界矩形，也就是快遞件的矩形區(qū)域，隨后用area_center算子就可以求出快遞件中心affine_trans_point_2d(HomMat2D,物體Column,得到機(jī)器X,機(jī)器Y）。同時另外一個相機(jī)拍照得到高度Z,Z的實(shí)際值求出后，先計算機(jī)器人基坐標(biāo)中Z坐標(biāo)在快遞平臺的高度，根據(jù)上升多少多少坐標(biāo)與實(shí)際上升高度成比列進(jìn)行轉(zhuǎn)換，具體要根據(jù)現(xiàn)場調(diào)試，經(jīng)過比列計算轉(zhuǎn)換成參數(shù)給到Halcon求出的實(shí)際高度，進(jìn)行比列轉(zhuǎn)換得到相應(yīng)的高度坐標(biāo)，之后統(tǒng)一把X、Y、Z通過字符發(fā)送機(jī)器人，便形成相應(yīng)的空間坐標(biāo)。（圖3.4）圖3.4中心坐標(biāo)轉(zhuǎn)換舉例：快遞實(shí)際高度為Q，快遞平臺的高度在機(jī)械手臂中基坐標(biāo)Z1為200，平臺高度加上快遞高度在基坐標(biāo)中為200+X，則計算快遞在平臺中機(jī)械手臂坐標(biāo)高度X比快遞實(shí)際高度根據(jù)X\Q，檢測其他快遞的高度轉(zhuǎn)換成新機(jī)械臂坐標(biāo)高度：z+Z1。（圖3.5）圖3.5高度計算流程圖第四步是Halcon圖像處理對快遞件的大小進(jìn)行確定，實(shí)現(xiàn)不同大小進(jìn)行分倉處理，先通過Halcon對快遞進(jìn)行預(yù)處理，再通過求出的最小矩形得到快遞盒的長寬大小，；另外一臺相求體積的算法求出快遞件的體積。為體積，根據(jù)像素數(shù)轉(zhuǎn)換為實(shí)際長、寬、高進(jìn)行求體積。具體程序如下：*求最小矩形smallest_rectangle2(RegionBorder,Column,Phi,Length1,Length2)*顯示產(chǎn)生任意方位的矩形-Length1是矩形短邊（寬度）-Length2是矩形的長邊（長度）*根據(jù)像素數(shù)，實(shí)際長度與圖像長寬計算出，實(shí)際長度為15cm：real_length1:=Length*resolutionresolution:=0.01941a:=Length1b:=Length2real_length1:=a*resolutionreal_length2:=b*resolution*快遞盒實(shí)際表面積為area:=real_length1*real_length2*下一步計算體積*resolution為像素比resolution:=0.01941c:=Length2*實(shí)際的高度real_length3:=c*resolution*real_length3為實(shí)際高度，在基坐標(biāo)中桌面高為Z1（根據(jù)現(xiàn)場設(shè)置），坐標(biāo)高/快遞實(shí)際高比等于實(shí)際高度比*設(shè)置平臺高坐標(biāo)Z=200,實(shí)際高度比Heightratio=1.2,高坐標(biāo)Highcoordinates=平臺坐標(biāo)高Highplatformcoordinates+實(shí)際高度比Heightratio*實(shí)際的高度real_length3Heightratio:=1.2Highplatformcoordinates:=200Highcoordinates:=Highplatformcoordinates+Heightratio*real_length3*求體積的循環(huán)volumevolume:=area*real_length3隨后按不同體積進(jìn)行分揀，識別完之后Halcon會給ABB機(jī)器人發(fā)送不同信號，機(jī)器人通過不同信號進(jìn)行編程，把快遞件搬運(yùn)至不同信號的指定位置。首先通過?？迪鄼C(jī)連續(xù)觸發(fā)拍照得到快遞件的圖像，試驗(yàn)總共是三個快遞件分為，長寬高各不相同。求體積的循環(huán)volume條件一：體積大于等于1500，高小于等于15執(zhí)行0條件二：體積小于1500，高小于等于15執(zhí)行1條件三：體積大于等于1500，高大于等于15執(zhí)行2。具體程序如下：*條件一：體積大于等于1500，高小于等于15執(zhí)行0if(volume>=1500andreal_length3<=15)Summ:='0'tuple_add(Highcoordinates+';',Summ,data)tuple_add(Sum1,data,out)send_data(Socket1,'z',out,[])endif*條件二：體積小于1500，高小于等于15執(zhí)行1if(volume<1500andreal_length3<=15)Summ:='1'tuple_add(Highcoordinates+';',Summ,data)tuple_add(Sum1,data,out)send_data(Socket1,'z',out,[])*條件三：體積大于等于1500，高大于等于15執(zhí)行2endifif(volume>=1500andreal_length3>15)Summ:='2'tuple_add(Highcoordinates+';',Summ,data)tuple_add(Sum1,data,out)send_data(Socket1,'z',out,[])endif之后通過tuple_add算子把需要輸出的xyz坐標(biāo)和相應(yīng)的執(zhí)行條件進(jìn)行統(tǒng)一輸出，后面會通過ABB機(jī)器人進(jìn)行接收。（圖3.6）圖3.6坐標(biāo)輸出PAGEPAGE203.2 相機(jī)的標(biāo)定在本文中，相機(jī)校準(zhǔn)過程使用九點(diǎn)標(biāo)定方法（圖3.7），這是機(jī)器視覺中機(jī)器人技術(shù)的一個重要方面，因?yàn)樗驒C(jī)器人手臂提供有關(guān)操作對象的關(guān)鍵信息。物體識別與計算機(jī)視覺有一些相似之處，但其他兩個方面是機(jī)器視覺獨(dú)有的。相機(jī)校準(zhǔn)是決定相機(jī)和機(jī)器人手臂之間的相對位置和方向，姿態(tài)估計涉及計算物體在相機(jī)坐標(biāo)系中的位置和方向，使機(jī)器人手臂能夠準(zhǔn)確抓取它。此校準(zhǔn)過程對于將物體的世界坐標(biāo)系轉(zhuǎn)換為機(jī)械臂坐標(biāo)系至關(guān)重要，從而實(shí)現(xiàn)準(zhǔn)確的產(chǎn)品識別、定位和抓取。攝像機(jī)攝像機(jī)標(biāo)定板機(jī)械臂末端機(jī)器人基座圖3.7相機(jī)標(biāo)定九點(diǎn)標(biāo)定的基本原理是將物體放置在工作區(qū)內(nèi)的9個位置，并使用相機(jī)捕獲圖像以獲得這9halcon運(yùn)算符和計算仿射矩陣，前者獲得變換矩陣關(guān)系，后者執(zhí)行實(shí)際轉(zhuǎn)換。為確保準(zhǔn)確的2D機(jī)平面和物體平面盡可能平行且角度相同非常重要。手眼校準(zhǔn)過程是一個成熟的領(lǐng)域，旨在確定相機(jī)、工具、機(jī)器人手臂和世界坐標(biāo)系之間的變換矩陣。這是必要的，因?yàn)槲矬w識別通常依賴于世界坐標(biāo)系，而機(jī)械臂操作需要了解物體在機(jī)器人手臂坐標(biāo)系中的真實(shí)位置。如果機(jī)械臂包含夾持器，則需要進(jìn)行額外的變換才能將機(jī)械臂坐標(biāo)系轉(zhuǎn)換為工具坐標(biāo)系。因此，手眼校準(zhǔn)涉及在機(jī)器人手臂的工作空間內(nèi)捕獲不同位置和方向的物體圖像，然后使用這些圖像來確定與不同坐標(biāo)系相關(guān)的仿射變換矩陣。確保相機(jī)平面和物體平面盡可能平行非常重要，以最大程度地減少二維校準(zhǔn)過程中的誤差。手眼標(biāo)定分為兩類（圖3.8）：toHand：相機(jī)在機(jī)器人外部固定，不用隨機(jī)械臂的運(yùn)動而運(yùn)動。inHand：相機(jī)在機(jī)械臂上，跟隨機(jī)械臂運(yùn)動。圖3.8EyetoHand及EyeinHand標(biāo)定本課題中使用EyetoHand，就是眼在手外。首先自己畫九個點(diǎn)（圖3.9），點(diǎn)的中心是為了用于機(jī)械臂旋轉(zhuǎn)中心定位。圖3.9九點(diǎn)標(biāo)定板把剛剛放圖打印出的標(biāo)定紙進(jìn)行拍照（圖3.9）。使用點(diǎn)(X,Y)。（圖3.10）圖3.10九點(diǎn)坐標(biāo)第二個點(diǎn)，保存坐標(biāo)，以此類推，到最后一個點(diǎn),坐標(biāo)全部保存起來。（圖3.11）圖3.11九點(diǎn)中機(jī)器人坐標(biāo)利用剛剛保存的九點(diǎn)坐標(biāo)和機(jī)器坐標(biāo)，求出矩陣vector_to_hom_mat2d(九點(diǎn)行,九點(diǎn)列,機(jī)器X,機(jī)器之后拿個物品，再用求出物體的坐標(biāo)，拿著物品坐標(biāo)求出機(jī)器坐標(biāo)affine_trans_point_2d(HomMat2D,Column,X,Y)。（圖3.12）具體程序如下：*實(shí)際的坐標(biāo)點(diǎn)Qx:=[-1.08,70.46,142.05,0.22,71.11,142.77,0.22,71.53,142.77]Qy:=[64.82,65.72,66.91,0.42,1.33,2.34,-64.24,-63.29,-62.27]vector_to_hom_mat2d(Column,Qx,HomMat2D)affine_trans_point_2d(HomMat2D,1572,1770,Qx1,Qy1)*求快遞區(qū)域面積和中心點(diǎn)位置area_center(Rectangle,Area,Row2,Column2)*坐標(biāo)的轉(zhuǎn)化affine_trans_point_2d(HomMat2D,Column2,Row2,Qx1,Qy1)tuple_string(Qx1,'-0.1f',String)tuple_string(Qy1,'-0.1f',String1)tuple_add(String+';',String1+';',Sum1)圖3.12轉(zhuǎn)換坐標(biāo)X和Y機(jī)械臂移動到剛剛求出來的機(jī)器X，機(jī)器Y即可，如果有角度需求，直接補(bǔ)償計算出來常規(guī)的工業(yè)相機(jī)畸變并不是很大，但是標(biāo)定后會造成累積的邊緣誤差，導(dǎo)致邊緣的器件誤差增大，同時機(jī)械臂重復(fù)定位精度會導(dǎo)致在標(biāo)定時，移動的點(diǎn)位坐標(biāo)出現(xiàn)誤差，從而也會累積為隨機(jī)的系統(tǒng)誤差，所以現(xiàn)場需要根據(jù)實(shí)際誤差來進(jìn)行最終調(diào)試。3.3 系統(tǒng)的通信方式本課題用PCsocket通信連接ABBABB機(jī)器人如何用socket與Halcon相連接，（圖3.13）可以看到socket的基本用法，socket的聲明、服務(wù)端與客戶端的建立等等。Socket通訊的流程：(1)原始套接字的一種TCP/IP，需要選項(xiàng)616-1PCInterface(2)先創(chuàng)建服務(wù)器端監(jiān)聽，再創(chuàng)建客戶端連接服務(wù)器端；(3)服務(wù)器端與客戶端建立端口對端口連接以后，就可以互相收發(fā)數(shù)據(jù)；注意事項(xiàng)：(1)無字符串終止符，而不是回車換行符/r/n(2)消息的意外合并，注意發(fā)送數(shù)據(jù)留有間隙，或增加握手互傳信號(3)不可打印字符，即ASCII碼的特殊字符，如回車換行符為“\0D\0A”圖3.13Socket通訊的流程送接收，這種方式有80個字符的限制，在本課題足夠。在這里，我程序設(shè)置HALCON作為通訊的服務(wù)端，機(jī)械手臂示教器那邊作為通訊的客戶端。（圖HALCON創(chuàng)建如下代碼：Protocol:='TCP4'Timeout:=120open_socket_connect('',4660,'protocol','TCP4',Socket1)在機(jī)器人端創(chuàng)建如下代碼：PROCmain1(robtargetptmp;stringsendstring;SocketClosesocket1;SocketCreatesocket1;SocketConnectsocket1,"",4660\Time:=WAITMAX;SocketSendsocket1\str:="HelloHalcon"+""+CTime();SocketReceivesocket1\Str;=receivedstringMAX:TPWrite"serverwrote-"+receivedstring;Socketsendsocket1\str:="End";SocketReceivesocket1Str;=receivedstringMAXTPWrite"serverwrote-"+receivedstring;receivedstring:="End"ERRORSocketclosesocket1;先運(yùn)行HALCON的client程序,HALCON會先接受機(jī)器人發(fā)來的HelloHalcon，再將接受到的數(shù)據(jù)發(fā)送回機(jī)器人（圖3.14）。圖3.14Halcon通訊成功圖3.15示教器通訊成功PAGEPAGE253.4 快遞的定位轉(zhuǎn)換首先是使用對圖像進(jìn)行預(yù)處理，求灰度圖，再通過中值濾波與高值濾波?；叶绒D(zhuǎn)換通過相機(jī)獲取到RGBRGB0~255的數(shù)值來表示像素的透明度，像素點(diǎn)在灰度值對應(yīng)的值是是255，表示像素完全顯示。[11]此算子rgb1_to_gray()轉(zhuǎn)換的公式：（式3.1）式中：R、G、B-紅色值、綠色值、藍(lán)色值；Y-亮度大小用中值濾波與高值濾波，中值濾波對脈沖噪聲有良好的濾除作用，特別是在濾除噪聲的同時，能夠保護(hù)信號的邊緣，使之不被模糊，這些優(yōu)良特性是線性濾波方法所不具有的，中值濾波的算法比較簡單，也易于用硬件實(shí)現(xiàn)，中值濾波方法一經(jīng)提出后，便在數(shù)字信號處理領(lǐng)得到重要的應(yīng)用。[12]中值濾波方法：對一個數(shù)字信號序列xj(-∞<j<∞)進(jìn)行濾波處理時，首先要定義一個長度為奇數(shù)的Lx(i)，…，x(i+N)，其中x(i)為位于窗口中心的信號樣本值，對這L個信號樣本值按從小到大的順序排列后，其中值，在i處的樣值，便定義為中值濾波的輸出值，寫為y(i)=Med[x(i-N),,x(i),,x(i+N)]，中值濾波是在“最小絕對誤差”準(zhǔn)則下的最優(yōu)濾波，對此本課題中用到中值濾波濾除脈沖噪聲，使它不被模糊之后用高斯濾波再處理一下，使之變得平滑，消除高斯噪聲，可以簡單地理解為，高斯濾波去噪就是對整幅圖像像素值進(jìn)行加權(quán)平均，針對每一個像素點(diǎn)的值，都由其本身值和鄰域內(nèi)的其他像素值經(jīng)過加權(quán)平均后得到。[10]高斯濾波的具體操作是：用一個用戶指定的模板（或稱卷積、掩膜）去掃描圖像中的每一個像素，用模板確定的鄰域內(nèi)像素的加權(quán)平均灰度值去替代模板中心像素點(diǎn)的值。[10]一維高斯分布：（式3.2）二維高斯分布：（式3.3）閾值分割，經(jīng)過動態(tài)修正的灰度圖顯示出圖像的整體內(nèi)容，為得到只含有快遞盒信息的圖像，需要將上一步處理好的圖像進(jìn)行二值化閾值分割，灰度圖像中像素點(diǎn)閾值的不同是閾值分割的條件，將圖像表示為特性的區(qū)域，區(qū)域由離散平面的像素子集組成[13]，定義為：（式3.4）在區(qū)域內(nèi)含有某一特定的感興趣區(qū)域，即條形碼區(qū)域，定義為感興趣區(qū)域是數(shù)據(jù)集的子集[13]：（式3.5） （式3.6）式中：XR-特征區(qū)域集合r-最小灰度值c-最大灰度值R-區(qū)域。的灰度值要滿足：MinGary≤g≤MaxGary （式3.7）式中：MinGary-最小灰度值，MaxGary-最大的灰度值，g-區(qū)域的灰度值（圖3.16）。[13]圖3.16灰度值采集在Halcon中，灰度直方圖中顯示了圖像中每一個像素的灰度值，最終匯總獲得像素數(shù)。灰度直方圖的橫坐標(biāo)取值范圍在0~255（圖3.17），縱坐標(biāo)取值取決于圖像灰度。圖3.17灰度直方圖在全圖中灰度值為qi以上的像素數(shù)為A(qi)，灰度值為 以上的像素數(shù)為，灰度值qi的像素表示為[12]：（式3.8）其中全圖灰度值為 以上的像素數(shù)為 ，灰度值為 以上的像素數(shù)為。對離散的圖像，則表示為：如圖所示為閾值的結(jié)果，使用的threshold()算子。（圖3.18）

（式3.9）圖3.18閾值圖像再通過連通域操作，用connection算子分開圖像。圖（3.19）圖3.19連通域圖像篩選出快遞件的面積，使用select_shape算子。圖（3.20）圖3.20select_shape篩選圖像將快遞件的區(qū)域進(jìn)行填充，使用fill_up算子。圖（3.21）圖3.21填充區(qū)域算子。圖（3.22）圖3.22最小外接矩形再通過area_center求快遞區(qū)域面積和中心點(diǎn)位置，前面九點(diǎn)標(biāo)定已經(jīng)處理好，直接使用affine_trans_point_2dvector_to_hom_mat2dxyz坐標(biāo)發(fā)送給ABB機(jī)器人。具體轉(zhuǎn)換矩陣程序如下：*求快遞區(qū)域面積和中心點(diǎn)位置area_center(Rectangle,Area,Row2,Column2)*坐標(biāo)的轉(zhuǎn)化affine_trans_point_2d(HomMat2D,Column2,Row2,Qx1,Qy1)tuple_string(Qx1,'-0.1f',String)tuple_string(Qy1,'-0.1f',String1)tuple_add(String+';',String1+';',Sum1)*發(fā)送已轉(zhuǎn)化快遞實(shí)際坐標(biāo)給機(jī)器人send_data(Socket1,'z',Sum1,[])PAGEPAGE304 VS2019的WinForm窗體設(shè)計4.1 上位機(jī)開發(fā)功能要求實(shí)現(xiàn)socket通訊，將所需要的數(shù)據(jù)傳輸給ABB機(jī)器人?？膳娜】爝f件并且可以處理好圖片知道其大小。實(shí)現(xiàn)不同大小快遞矩形分揀的操作。軟件打開時快遞保存的數(shù)據(jù)保持上次關(guān)閉時的狀態(tài)。保存日志在本地與后臺。上位機(jī)界面簡單，易于理解、操作。提取安裝包。4.2 以C#格式導(dǎo)出Halcon程序我們用中的代碼并不是我們熟悉的典型代碼。要使用我們編寫的程序，我們需要將其導(dǎo)出為我們熟悉的格式，例如C、C++或C#。要導(dǎo)出程序，我們可以單擊文件控件中的導(dǎo)出圖標(biāo)。這將打開一個窗口，我們可以在其有兩個導(dǎo)出選項(xiàng)：使用Halcon窗口或使用導(dǎo)出模板（圖4.1）。如果我們選擇前者，我們需4.2所示。圖4.1選擇格式“導(dǎo)出”4.3

圖4.2導(dǎo)出的程序接下來我們需要把生成的Halcon程序?qū)氲絎indows窗體應(yīng)用中，打開Studio,創(chuàng)建Windows窗體應(yīng)用(.NETFramework)，框架選擇.NETFramework4。（圖4.4）圖4.3創(chuàng)建新項(xiàng)目在解決方案資源管理器下面，你創(chuàng)建的項(xiàng)目中找到引用，右擊添加引用。（圖4.4）圖4.4添加引用點(diǎn)擊打開的窗口中的瀏覽按鈕添加.dllHALCON的路徑下的bindotnet20和dotnet35，可能還有等等，區(qū)別在于對應(yīng)不同的框架，之前我建立的框架是.NETFrameworkdotnet35。然后把里面的halcondotnet.dll添加進(jìn)來。里面還有halcondotnetxl.dll之類的應(yīng)用程序擴(kuò)展文檔。我的理解是halcondotnet.dll可以識別普通分辨率的圖像，而halcondotnetxl.dll則適用于大分辨率的圖像，XL即大一號的意思。這里我使用halcondotnet.dll即可滿足需求。（圖4.5）圖4.5選擇添加位置圖4.6添加引用窗口添加完成后，在你的引用里面就會多出一個halcondotnet。（圖4.7）圖4.7引用窗口在工具箱的常規(guī)下方右擊，單擊“選擇項(xiàng)”，在窗口.NETFramrwork組件里面找到HWindowControl窗口,并且點(diǎn)擊確定。轉(zhuǎn)換工具箱里面就出現(xiàn)相應(yīng)的控件。（圖4.8）圖4.8控件窗口把ndoConol控件添加到orm窗口中作為顯示窗口并在搜索工具箱中搜索utton控件也添加到Form4.9）圖4.9工具箱窗口4.4 Winform界面設(shè)計窗體的設(shè)計使用“textBox”、“comboBox”、“button”等。窗體界面由手動界面(圖4.10)、自動界面(圖4.11)組成。圖4.10手動界面窗口4.5

圖4.11自動界面窗口創(chuàng)建完成窗體后要建立起窗體顯示的邏輯，具體邏輯可分為以下幾點(diǎn)：(1)點(diǎn)擊進(jìn)入軟件。(2)點(diǎn)擊圖像處理，Halcon則對圖像進(jìn)行處理分析，生成輪廓。(3)點(diǎn)擊快遞大小識別，便生成快遞盒長寬高和體積。(4)點(diǎn)擊下一頁，切換界面。(5)自動分揀，即可進(jìn)行自動連接信號，圖片處理，發(fā)送數(shù)據(jù)，重復(fù)進(jìn)行循環(huán)。(6)快遞抓取與分揀，及處理圖片，發(fā)送信息給機(jī)器人。(7)關(guān)閉程序，結(jié)束運(yùn)行。顯示邏輯根據(jù)Halcon算法來進(jìn)行，主要設(shè)計的是界面顯示，其中環(huán)境配置需要配置好，在相機(jī)的設(shè)置中需要進(jìn)行更改，由于現(xiàn)場環(huán)境區(qū)別，使用相機(jī)實(shí)際觸發(fā)拍照圖片進(jìn)行圖片替代，可以完美匹配。在vs2019中設(shè)置Form1為主程序，窗體打開、關(guān)閉后其他窗體是否打開、關(guān)閉的邏輯都是在這里執(zhí)行，在打開一個窗體前，首先要實(shí)例化一個窗體對象：Form1F2=newForm1();打開另一個窗口則關(guān)閉原先窗口：this.Hide();之后顯示新窗口：F2.Show();（圖4.12）圖4.12顯示窗口在C#中，圖像的顯示界面一般由“hWindowControl”控件完成，添加進(jìn)控件后調(diào)整控件到合適的大小，在需要現(xiàn)實(shí)的圖像程序下插入對應(yīng)代碼，前者為將處理后的圖像完整填充到控件界面中，后者為圖像的顯示，內(nèi)部填入需要顯示的圖像。（圖4.12）具體完整代碼解釋可查看附錄。圖4.13hWindowControl控件本科畢業(yè)論文（設(shè)計）專用本科畢業(yè)論文（設(shè)計）專用5 ABB機(jī)器人路徑算法設(shè)計5.1 ABB機(jī)器人工作總體流程機(jī)器人首先通過與電腦PC端的算法獲取的定位信息，以進(jìn)行抓取操作。機(jī)器人還可根據(jù)收到的信號來判斷調(diào)用對應(yīng)的分揀程序。開始開始走socket協(xié)議跟Halcon通訊等待Halcon信號sockett通訊volume=0Y調(diào)用子程序m=0volume=1Y調(diào)用子程序m=1volume=2Y調(diào)用子程序m=2結(jié)束圖5.1判斷流程圖當(dāng)機(jī)器人收到Halcon發(fā)送的虛擬信號地址0號地址為1的信號時，機(jī)器人會調(diào)用0號子程序；類似地，當(dāng)機(jī)器人收到Halcon發(fā)送的虛擬信號地址1號地址為1的信號時，機(jī)器人會調(diào)用1號子程序；當(dāng)機(jī)器人收到Halcon發(fā)送的虛擬信號地址2號地址為1的信號時，機(jī)器人則會調(diào)用2號子程序。5.2 ABB機(jī)器人Halcon通訊設(shè)置\hsocket通訊或者TCP通訊，并且通過設(shè)置交互即可發(fā)字符串，數(shù)組，這通常做client。IP設(shè)定：先點(diǎn)擊主菜單“控制面板”再點(diǎn)擊“配置”再選擇主題Communication。（圖5.2）PAGEPAGE38圖5.2hWindowControl控件雙擊IPIPIP地址必須與在Halcon上設(shè)置的ABB機(jī)器人組態(tài)地址相同。圖5.3IPSetting控件建立通訊：防止之前的連接為中斷先插入Socketclose指令，socket1為新建的Socketdev型程序數(shù)據(jù)，然后用Socketcreate創(chuàng)建連接，Socketconnect指定服務(wù)器的IP地址和端口，如本科畢業(yè)論文（設(shè)計）專用本科畢業(yè)論文（設(shè)計）專用創(chuàng)建失敗則一直等待，創(chuàng)建成功則向下執(zhí)行，在下一行做人機(jī)交互提醒通訊連接成功。具體程序如下：SocketBindtemp_Socket02,"",6000;SocketListentemp_Socket02;SocketAccepttemp_Socket02,socket1;SocketReceivesocket1\Str:=received_string;TPWrite"Serverwrote-"+received_string;SocketSendsocket1\Str:="OK";DecodeData;r_pick;5.3 ABB機(jī)器人離線程序設(shè)定主程序如下:當(dāng)收到Halcon信號時將接受字符串x、y、z、m的信號，運(yùn)行后直接執(zhí)行程序，將機(jī)械手臂移動到快遞盒上方50mm處，吸取并移到合適的軌跡。PROCr_pick()!MoveAbsJjpos10\NoEOffs,v1000,z50,tool0;SingArea\Wrist;!ConfL\On;ppick.trans.x:=x;ppick.trans.Z:=Z;MoveJpickmodify,v1000,z50,tool1;MoveJOffs(ppick,0,0,50),v500,z50,tool1;MoveLOffs(ppick,0,0,0),v500,fine,tool1;Setdo1;0.5;MoveJOffs(ppick,0,0,50),v500,z50,tool1;MoveJpickmodify,v1000,z50,tool1;!Setdo_plc;1;!Resetdo_plc;SingArea\Off;!ConfL\Off;ENDPROC繼續(xù)執(zhí)行下一步，如果m置為0就調(diào)用0里面程序。同時收到1就調(diào)用1，2就調(diào)用2，為機(jī)器人判斷代碼語句。子程序0表示為機(jī)器人搬運(yùn)體積大于等于15程序1表示為機(jī)器人搬運(yùn)體積小于1500，高小于等于15的快遞盒到指定位置。高小于等于15快遞盒。子程序1表示為機(jī)器人搬運(yùn)體積大于等于1500，高大于等于15的快遞盒到指定位置。具體程序如下：IFm=0THENPAGEPAGE40MoveJOffs(pplace,0,0,50),v500,z50,tool1;MoveJplacemodify,v500,z50,tool1;MoveLOffs(pplace,0,0,0),v500,fine,tool1;Resetdo1;0.5;MoveJOffs(pplace,0,0,50),v500,z50,tool1;ELSEIFm=1THENMoveJOffs(pplace,300,0,50),v500,z50,tool1;!MoveJplacemodify,v500,z50,tool1;MoveLOffs(pplace,300,0,0),v500,fine,tool1;Resetdo1;0.5;MoveJOffs(pplace,300,0,50),v500,z50,tool1;ELSEIFm=2THENMoveJOffs(pplace,600,0,50),v500,z50,tool1;MoveJOffs(pplace,600,0,50),v500,z50,tool1;!MoveJplacemodify,v500,z50,tool1;MoveLOffs(pplace,600,0,0),v500,fine,tool1;Resetdo1;0.5;MoveJOffs(pplace,600,0,50),v500,z50,tool1;6 工作站聯(lián)合調(diào)試試驗(yàn)6.1 程序調(diào)試手動快遞分揀試驗(yàn)線及電源線等，也需要確保所有設(shè)備已成功上電，并出于正常工作狀態(tài)。之后用戶還需佩戴頭盔、反光背心、勞保鞋等安全設(shè)備，確保使用過程中的人身安全。Studio2019（3）相機(jī)開始運(yùn)作，通過硬觸發(fā)拍取快遞圖片。（4）之后點(diǎn)擊圖像處理，Halcon則對圖像進(jìn)行處理分析，生成輪廓。（5）再點(diǎn)擊快遞大小識別，便在下方會生成快遞盒長寬高和體積。ABB機(jī)器人程序切換為自動模式等待Halcon的信號，最后可以點(diǎn)擊快遞抓取與分揀，及機(jī)械手臂進(jìn)行抓取分揀。自動快遞分揀試驗(yàn)分揀（1）先將ABB機(jī)器人程序轉(zhuǎn)化為自動模式等待通訊的連接信號。（2）啟動Studio2019程序，登入軟件，點(diǎn)擊下一頁。（3）點(diǎn)擊自動分揀，即可進(jìn)行自動分揀，重復(fù)進(jìn)行循環(huán)發(fā)送。（4）收到信號機(jī)器人便開始分揀，成功之后可以重復(fù)進(jìn)行3次試驗(yàn)，再點(diǎn)擊結(jié)束。6.2 軟件打包發(fā)布在主機(jī)上完成軟件調(diào)試后，下一步是將其打包并發(fā)布到安裝程序中，以便其他計算機(jī)可以像任何其他常規(guī)程序一樣輕松安裝和使用它，本章將介紹如何在Studio2022中使用MicrosoftStudioInstallerProject創(chuàng)建和打包Halcon程序的安裝程序，包括將.NetFramework離線打包，以及解決生成安裝程序時遇到的問題。首先安裝StudioInstallerProject，在Studio2022中，可以通過選擇菜單中的Studio來搜索和安裝StudioInstallerProject。（圖6.1）本科畢業(yè)論文（設(shè)計）專用本科畢業(yè)論文（設(shè)計）專用圖6.1SetupProject擴(kuò)展再新建SetupProject，在解決方案里面的資源管理器中，解決方案里面有（圖6.2），選擇“新增項(xiàng)目”，在“項(xiàng)目類型”中選擇“其他項(xiàng)目類型”>“安裝程序”>“SetupProject”并命名項(xiàng)目（圖6.3）。圖6.2SetupProject安裝圖6.3擴(kuò)展確定之后將.NetFramework打包安裝（離線），右鍵單擊SetupProject，選擇“屬性”>“先決條件”，在“必備項(xiàng)”中選擇需要的.NetFramework版本。（圖6.4）對于需要離線打包的.NetFramework版本（圖6.5），需要在本地計算機(jī)上下載對應(yīng)的目標(biāo)包和語言包，然后將它們放置對應(yīng)的路徑中的相應(yīng)文件夾中。（圖6.6）圖6.4啟動條件圖6.5選擇NetFramework版本本科畢業(yè)論文（設(shè)計）專用本科畢業(yè)論文（設(shè)計）專用圖6.6屬性版本選項(xiàng)如果項(xiàng)目中需要使用.NetFramework4.0，可以將對應(yīng)的目標(biāo)包下載放置到“C:\ProgramFiles(x86)\MicrosoftSDKs\ClickOnceBootstrapper\Packages”路徑中，然后在“必備項(xiàng)”中選擇它，就可以在項(xiàng)目必備中看到.NetFramework4.0。以上步驟是使用Studio創(chuàng)建和打包可以看到導(dǎo)出軟件的界面。（圖6.8）圖6.7快遞分揀系統(tǒng)設(shè)計圖6.8快遞分揀系統(tǒng)界面圖6.9快遞分揀系統(tǒng)界面本科畢業(yè)論文（設(shè)計）專用本科畢業(yè)論文（設(shè)計）專用7 結(jié) 語在本論文中，我們設(shè)計并實(shí)現(xiàn)了使用機(jī)器人視覺技術(shù)的快遞分揀系統(tǒng)。該系統(tǒng)的研發(fā)，我們?nèi)〉昧艘韵鲁晒菏紫龋覀優(yōu)榛跈C(jī)器人視覺的快遞分揀設(shè)計并構(gòu)建了完整的硬件和軟件系統(tǒng)，包括設(shè)備的選擇和集成，算法的設(shè)計和優(yōu)化，以及用戶界面的開發(fā)。其次，我們提出并實(shí)現(xiàn)了一種基于HALCON快遞包裹的深度信息，并為機(jī)器人抓取和分揀包裹提供精確的坐標(biāo)。我們成功地將HALCON算法與ABB機(jī)器人控制系統(tǒng)集成，并進(jìn)行了實(shí)驗(yàn)，驗(yàn)證了系統(tǒng)的準(zhǔn)確性和可靠性。雖然這項(xiàng)研究取得了成功，但仍有其他問題需要解決。例如，目前的系統(tǒng)主要側(cè)重于快遞分揀，而不考慮包裹重量、連包快遞、易碎性或特殊處理要求等其他因素。此外，該系統(tǒng)還不適合大規(guī)模應(yīng)用，需要進(jìn)一步優(yōu)化和改進(jìn)，以增強(qiáng)其可擴(kuò)展性和魯棒性。未來，我們計劃在以下方向繼續(xù)研究：首先，我們將探索將額外的傳感器和模塊集成到系統(tǒng)中，例如重量傳感器、條形碼閱讀器和機(jī)械手，以實(shí)現(xiàn)更智能和自動化的快遞分揀。最后，感謝導(dǎo)師教授在整個研究項(xiàng)目中的指導(dǎo)，鼓勵和支持。還要感謝智能制造研究院為我提供了優(yōu)質(zhì)的研究環(huán)境和豐富的學(xué)術(shù)資源。我希望本文中提出的結(jié)果和見解能PAGEPAGE47參考文獻(xiàn)[1]陳美玲,朱溫涵,劉佳成,鄭陽.基于機(jī)器視覺的垃圾分揀系統(tǒng)設(shè)計[J].現(xiàn)代信息科技,2023,7(04):18-21+28.[2]\h新型交叉帶分揀系統(tǒng)的設(shè)計與研究[D].馬繼成.\h安徽理工大學(xué),2020.[3]\h分揀機(jī)器人無線電能傳輸系統(tǒng)拓?fù)浣Y(jié)構(gòu)的研究[D].楊行.\h河北工業(yè)大學(xué),2020.[4]韋志文.基于機(jī)器視覺的分揀機(jī)器人設(shè)計與研究[D].安徽理工大學(xué),2022.[5]王成軍,韋志文,嚴(yán)晨.基于機(jī)器視覺技術(shù)的分揀機(jī)器人研究綜述[J].科學(xué)技術(shù)與工程,2022,22(03):893-902.[6]代瑞恒.基于視覺的電子元器件分揀機(jī)器人關(guān)鍵技術(shù)研究[D].山東理工大學(xué),2021.[7]韋志文.基于機(jī)器視覺的分揀機(jī)器人設(shè)計與研究[D].安徽理工大學(xué),2022.[8]陳藝海,黎蓮花,謝昊璋,盧思琪,董晉瑜.基于機(jī)器視覺的垃圾分揀機(jī)器人[J].儀器儀表與分析監(jiān)測,2022(01):30-35.[9]劉新穎,金守峰,嚴(yán)楠.面向分揀機(jī)器人的珍珠形狀視覺檢測方法[J].計算機(jī)測量與控制,2022,30(02):79-83.[10]王成軍,韋志文,嚴(yán)晨.基于機(jī)器視覺技術(shù)的分揀機(jī)器人研究綜述[J].科學(xué)技術(shù)與工程,2022,22(03):893-902.[11]魏哲,王盼.面向珍珠分揀機(jī)器人的形狀視覺檢測方法[J].機(jī)械與電子,2021,39(08):68-71+76.[12]劉星余.面向物流倉儲分揀機(jī)器人的多目標(biāo)視覺識別與定位方法研究[J].粘接,2021,47(07):109-112.[13]宋宇.基于深度學(xué)習(xí)的發(fā)動機(jī)缸蓋分揀機(jī)器人視覺檢測方法研究[D].湘潭大學(xué),2021.[14]姚濤.基于機(jī)器視覺和并聯(lián)機(jī)器人的紐扣電池分揀系統(tǒng)[D].廣東工業(yè)大學(xué),2021.[15]代瑞恒.基于視覺的電子元器件分揀機(jī)器人關(guān)鍵技術(shù)研究[D].山東理工大學(xué),2021.[16]陳苗苗.面向金屬廢料的機(jī)器人視覺分揀技術(shù)研究[D].南京航空航天大學(xué),2021.[17]李健凱.基于深度學(xué)習(xí)的視覺機(jī)器人垃圾分揀系統(tǒng)設(shè)計[D].天津工業(yè)大學(xué),2021.[18]儲琴.基于機(jī)器視覺的工業(yè)機(jī)器人分揀控制系統(tǒng)探究[J].電子制作,2021(04):41-43.[19]CongVisualservoingcontrolof4-DOFpalletizingroboticarmforvisionbasedsortingrobotsystem[J].InternationalJournalonInteractiveDesignandManufacturing(IJIDeM),2022,17(2).[20]GuoZiChen,WangKaiLong,LuFang.SortingrobotbasedonfuzzyPIDandmachinevision[P].ZhengzhouUniv.(China),2022.[21]HanSong,LiuXiaoping,WangGang.SortingMethodBasedonMulti-ModalInformationFusion[J].AppliedSciences,2022,12(6).本科畢業(yè)論文（設(shè)計）專用本科畢業(yè)論文（設(shè)計）專用致 謝衷心感謝我在武昌工學(xué)院智能制造學(xué)院的論文導(dǎo)師，感謝他在整個學(xué)術(shù)歷程感謝他的耐心和奉獻(xiàn)精神，幫助我克服挑戰(zhàn)，并提供建設(shè)性的反饋，幫助我改進(jìn)論文。運(yùn)用我所獲得的知識和技能在我的領(lǐng)域產(chǎn)生積極影響。附 錄附錄一：Halcon機(jī)器視覺算法設(shè)計及說明圖像處理、相機(jī)標(biāo)定、socket通訊、坐標(biāo)轉(zhuǎn)換的Halco