基于機(jī)器視覺的水果分揀系統(tǒng)的研究

論文題目基于機(jī)器視覺的水果分揀系統(tǒng)的研究聊城大學(xué)論文題目基于機(jī)器視覺的水果分揀系統(tǒng)的研究聊城大學(xué)聊硫?qū)I(yè)碩士學(xué)位論文基于機(jī)器視覺的水果分揀系統(tǒng)的研究 論文提交日期2018年6月和硫?qū)I(yè)碩士學(xué)位論文 指導(dǎo)教師姓名葛廣英教授原創(chuàng)性聲明學(xué)位論文使用授權(quán)聲明學(xué)位論文作者簽名萬方數(shù)據(jù)萬方數(shù)據(jù)thefruitsortingMoreover,fruitsortingisalong-termrepetitivetask.Ifpeoplesimplyrelyonincreasingproductionandthecompetitivenessofthefruitinthemarket.Thispaperhasdesignedamachinevisionsystemthatisspeciallyusedforfruitsortihasselectedthecamera,lens,andl2.Intheimagepreprocessingstage,thesystemusesthem3.Inthefruitclassificationprocess,thesupervisedclusteringGcharacteristics,thecorrespondingfruitclassAccordingtostatistics,theclassific4.Inthefruitgradingprocess,theresultsofthehorizontaldiametermeasurementofgradesbytheactuallengthofthehorizontaldiameterofthe5.Inthefruitsortingposturecalculationprocess,thepmonocularcamera-guidedrobotisstudied.ThebyusingtheZhangZhengyoucaofthecameraareobtained,andthenused.Thecalibrationdatacalculatestheexaccoordinatesofthefruit,andprepar萬方數(shù)據(jù)第一章緒論 1 11.2國內(nèi)研究現(xiàn)狀 21.3國外研究現(xiàn)狀 31.4課題研究的目的及意義 41.5課題研究的主要內(nèi)容 5第二章系統(tǒng)總體設(shè)計(jì) 62.1系統(tǒng)開發(fā)要求及研究路線 62.2硬件選型設(shè)計(jì) 72.3軟件算法流程 2.4本章小結(jié) 第三章圖像采集與處理 3.1圖像采集 3.2圖像去噪 23.4圖像分割 3.5本章小結(jié) 第四章水果分類算法 4.1分類算法選擇 4.2高斯混合模型 4.3水果分類 4.4水果等級鑒定 4.5本章小結(jié) 41第五章水果的分揀 425.1手眼標(biāo)定 425.2世界坐標(biāo)計(jì)算 475.3雙機(jī)通訊 495.4本章小結(jié) 第六章總結(jié)與展望 6.1工作總結(jié) 參考文獻(xiàn) 致謝 攻讀碩士學(xué)位期間科研成果 第一章緒論要產(chǎn)業(yè)。根據(jù)我國國家統(tǒng)計(jì)局發(fā)布的近十年(2006-2015年)的中國水果年產(chǎn)總量以第一、我國水果產(chǎn)量十分巨大而且總產(chǎn)量呈現(xiàn)出逐年遞增的態(tài)勢，從2006年的17101.97萬噸增長到了2015年的27375.00萬噸，其中僅蘋果產(chǎn)量就從2605.93萬噸增到了4261.34萬噸。際應(yīng)用的水果分揀系統(tǒng)。如圖1-1中所示，普遍來講一個(gè)典型的機(jī)器視覺系統(tǒng)[7主要1工業(yè)相機(jī)工業(yè)相機(jī)機(jī)械手機(jī)械手分離點(diǎn)分離點(diǎn)圖1-1機(jī)器視覺系統(tǒng)原理圖1.2國內(nèi)研究現(xiàn)狀機(jī)器視覺研究的推進(jìn)，其在農(nóng)業(yè)方面的應(yīng)用成果也變得層出不窮。早在1998年，楊秀坤[9]等人在水果表面缺陷自動檢測系統(tǒng)研究時(shí)就已變換及人工神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了對梨梗及果形的分辨。李慶中[11](2000年)在博士論文 (2004年)在對蘋果表面缺陷自動分辯的研究中成功的將二叉樹分類、人工神經(jīng)網(wǎng)陷的判別。饒秀勤[14](2007年)在其學(xué)位論文中提出了水果表面積檢測的球帶計(jì)算型及F檢驗(yàn)和T檢驗(yàn)的方法對不同通道水果的方差齊性和均值一致性進(jìn)行了分析，率先研制出了用于水果質(zhì)量檢測與分級的機(jī)器視覺系統(tǒng)。侯大軍[15](2010年)在其作做了詳細(xì)的描述，并提出了一種改進(jìn)的并行PSO(粒子集群優(yōu)化)特征選擇算法和2用最小二乘支持向量機(jī)(LSSVM)分類器對最優(yōu)特征子集進(jìn)行分類，最終使(實(shí)時(shí)高清處理DSP開發(fā)板)設(shè)計(jì)出了蘋果的分級系統(tǒng)。王國棟[16](2011年)以提高水果分揀實(shí)時(shí)性為目的，選擇使用具有大量流水線結(jié)構(gòu)和并行單元的FPGA為開發(fā)平臺實(shí)現(xiàn)了對甜瓜進(jìn)行分級的硬件設(shè)計(jì)。龔愛平[17](2012年)在嵌入式系統(tǒng)基礎(chǔ)臺結(jié)合IMAQVision和NIVisionAssis當(dāng)大的進(jìn)展。AbdesselamA,AbdullahRCl201在其2000年的會議論文中發(fā)表了使用ANN(人工神經(jīng)網(wǎng)絡(luò))算法對胡椒漿果進(jìn)行分類分級的研究結(jié)果。該論文的出發(fā)點(diǎn)是果的影響。在2000年P(guān)olderG,Heijden等人[21]使用396～736nm的電磁波譜從257茄成熟期的效果優(yōu)于標(biāo)準(zhǔn)的RGB圖像。單個(gè)像素的分類誤差從51%減少到19%。雖然使用不同光源時(shí)，誤差率從19%提高到35%,但在單個(gè)光源下，RGB的誤差率仍然大大低于51%。其研究對于水果表面顏色的分析提供了一個(gè)新的思路。在2003年BlascoJ,AleixosN22]利用ValencianodeInvestigacionesAgrarias研究所開發(fā)的機(jī)器視的位置和外部瑕疵。在2005年YimyamP等人[23通過圖像處理技術(shù)完成了對芒果的的形狀和紋理特征值，然后通過模式識別中的支持向量機(jī)(SVM)算法實(shí)現(xiàn)分類。此研究中果梗分辨的準(zhǔn)確率為99%,花萼分辨的準(zhǔn)確率為100%。SusnjakT,Barczak3萬方數(shù)據(jù)到2014年的數(shù)據(jù)顯示：全球水果的產(chǎn)量已經(jīng)從2000年的4.79億噸增長到了2014年的6.8億噸，其中亞洲地區(qū)2014年水果產(chǎn)量占總產(chǎn)量的46%,成為最大的水果產(chǎn)區(qū)發(fā)布的從2006年到2015年水果產(chǎn)量的統(tǒng)計(jì)數(shù)據(jù)可以看出。在2014年我國的水果產(chǎn)4該算法在本系統(tǒng)中的分類準(zhǔn)確率可以保持在98%左第一章緒論。首先介紹了本課題研究的背景意義，機(jī)器視覺在水果分揀方面應(yīng)第二章系統(tǒng)總體設(shè)計(jì)。該章節(jié)可以分為機(jī)器視覺硬件選型和軟件設(shè)計(jì)兩個(gè)部分。硬件選型設(shè)計(jì)中分析了對工業(yè)相機(jī)、鏡頭、打光方案以及物料分揀系統(tǒng)的設(shè)計(jì)依第三章圖像采集與處理。該章節(jié)對水果分揀系統(tǒng)開發(fā)過程中圖像采集、濾波、第四章水果分類算法的研究。本章節(jié)在水果分類程序編寫時(shí)使用了一種監(jiān)督式第五章水果的分揀。主要研究了如何使用單目相機(jī)引導(dǎo)機(jī)械手臂完成分類后的第六章總結(jié)與展望。對已完成系統(tǒng)的工作效果進(jìn)行總結(jié)，對系統(tǒng)開發(fā)的下一步5第二章系統(tǒng)總體設(shè)計(jì)圖2-1視覺系統(tǒng)架構(gòu)圖6萬方數(shù)據(jù)究的重復(fù)和無意義研究。本課題的研究路線如圖2-2所示：圖像采集水果抓取位姿計(jì)算系統(tǒng)硬件選型圖2-2水果分揀技術(shù)路線圖視圖像公司的MV-BDP300工業(yè)開發(fā)平臺(其后簡稱：工業(yè)硬件設(shè)計(jì)時(shí)要考慮到該平臺工作空間尺寸。如圖2-3所示為MV-BDP300開發(fā)平臺的7萬方數(shù)據(jù)圖2-3MV-BDP300工業(yè)視覺自動化開發(fā)平臺性能芯片輸出信號模擬信號數(shù)字信號相機(jī)輸出信號數(shù)字信號數(shù)字信號能耗高低系統(tǒng)噪聲低高響應(yīng)速度中高圖像質(zhì)量高中上技術(shù)成熟度成熟未成熟性能上有著些許的差別。表2-1所示為CCD與CMOs[32]工業(yè)相機(jī)性能對比表。8此CMOS感光芯片在尺寸、能耗、集成度等工藝上往往比CCD感光芯片工藝優(yōu)越。其次，比較二者對噪聲響應(yīng)的情況。為了保證生成圖像的均勻性，CCD感光芯CMOS感光芯片為每一個(gè)感光單元均配有放大器，但是不能確保各個(gè)放大器之間放大倍數(shù)一致。當(dāng)存在噪聲影響時(shí)CMOS對于噪聲的響應(yīng)會更加的明顯，加之放大器必須要在160*90mm2以上，同時(shí)要保持誤差精度在1mm以下。因此從滿足精度要求出發(fā)，最終確定使用MV-EM120M/C型號的CCD面陣工業(yè)相機(jī)。如圖2-4為MV-EM120M/C型號CCD面陣工業(yè)相機(jī)的實(shí)物圖像，該相機(jī)的部分性能參數(shù)如表2-2所型號最高分辨率像素尺寸光學(xué)尺寸1/3”最大幀率I/O接口傳輸距離100米GigE千兆以太網(wǎng)輸出(1000Mbit/s)鏡頭接口C接口功耗尺寸92.2.2鏡頭選型工業(yè)相機(jī)鏡頭[34]是一種光學(xué)設(shè)備，通常要與工業(yè)相機(jī)和光源配合才能構(gòu)成一套完整的圖像采集系統(tǒng)。在進(jìn)行鏡頭選型時(shí)要考慮到整個(gè)系統(tǒng)的要求和工作環(huán)境的允許程度。本課題的鏡頭選型依次考慮了以下幾個(gè)問題：是在可見光波段；在圖像獲取過程中沒有變焦的要求，可選擇定焦鏡頭。其次，根據(jù)已確定的表2-1中相機(jī)參數(shù)可以初步認(rèn)定鏡頭分辨率要在120萬像素以上，C接口，鏡頭成像尺寸應(yīng)大于相機(jī)感光芯片的尺寸。而鏡頭焦距根據(jù)工業(yè)開發(fā)平臺預(yù)留的視覺采集尺寸，配合焦距計(jì)算公式2-1可得：其中f為鏡頭成像焦距，L為鏡頭到物體的工作距離，w為工業(yè)相機(jī)感光芯片寬的暗箱中預(yù)留的視野范圍(大于等于160*90mm2)和工作距離(小于300mm)有限，所以根據(jù)焦距計(jì)算公式2-1可以得出工業(yè)相機(jī)鏡頭焦距應(yīng)小于等于12mm。綜合以上論述，系統(tǒng)在相機(jī)和鏡頭選型中首先確定使用MV-EM120M/C型號的CCD面陣工業(yè)相機(jī)，然后根據(jù)相機(jī)參數(shù)和實(shí)際情況選定C接口、2/3英寸、定焦(焦距小于等于12mm)、可見光波段、120萬像素以上工業(yè)相機(jī)鏡頭。本系統(tǒng)最終選用陜西維視圖像技術(shù)有限公司生產(chǎn)的MP系列AFT-1214MP百萬像素工業(yè)相機(jī)鏡頭，如圖2-5。該鏡頭除了能夠滿足上述的基本要求以外還具有超低失真，低畸變率，多種光學(xué)校正方式等優(yōu)點(diǎn)。的影響因素使后續(xù)處理得到優(yōu)化和簡化。如圖2-6是本系統(tǒng)在有打取水果圖像的操作中配有打光方案的水果圖像質(zhì)量明顯優(yōu)于未配備打光設(shè)備的水果工作周期較長，對光源工作的穩(wěn)定性要求較高等因素，在對比了表2-3中四種常見光源的性能參數(shù)后，本課題決定選擇使用LE光源熒光燈鹵素?zé)綦療袅炼群芰亮?種不同顏色白色暖白色壽命(h)特點(diǎn)效率高，形狀多成本低廉成本低，故障多持續(xù)光電力消耗節(jié)電稍微節(jié)電耗電多稍微節(jié)電源、環(huán)形光源、碗狀光源等。如圖2-7所示為三種光源的常見打光方式圖像。圖2-7三種光源常見打光方式圖本課題選擇使用反射光量低的中角度環(huán)形LED光源作為最終的打光方案，圖2-8則系統(tǒng)水果分揀裝置設(shè)計(jì)之初借鑒了前人的經(jīng)驗(yàn)，試圖通過PLC(如圖2-9為系統(tǒng)所選PLC圖像)作為分揀裝置的控制核心，控制氣動裝置將等級鑒定后的水果依次萬方數(shù)據(jù)圖2-10系統(tǒng)軟件算法設(shè)計(jì)流程圖征分別進(jìn)行水果的顏色和品種分類便可得到水果的類別和等級。最后，選擇水果抓取點(diǎn)計(jì)算出抓取位姿，完成PC與水果分揀裝置的通信。本章內(nèi)容在前幾節(jié)主要是對水果分揀系統(tǒng)的硬件選型進(jìn)行了闡述，根據(jù)課題研究的要求對機(jī)器視覺系統(tǒng)中的工業(yè)相機(jī)、鏡頭、打光方案及物料抓取設(shè)備進(jìn)行了逐步的選擇設(shè)計(jì)，避免了水果圖像獲取時(shí)的硬件問題。其次是對水果分揀系統(tǒng)開發(fā)的算法流程進(jìn)行了研究，從總體的角度對系統(tǒng)算法的開發(fā)流程做了描述，使軟件編程更具邏輯第三章圖像采集與處理在HDevelop開發(fā)環(huán)境中提供有兩種用于驅(qū)動工業(yè)相機(jī)進(jìn)行實(shí)時(shí)采集的方式：異MImageAcquisition:ImageMImageAcquisition:ImageAcquisition01?圖3-1圖像采集助手界面為了使開發(fā)者能夠快速調(diào)用圖像獲取設(shè)備，HALCON軟件中提供了專門用于連接圖像獲取設(shè)備的圖像采集助手(ImageAcquisiton)。如圖3-1所示為圖像open_framegrabber('GigEVision',1,1,0,0,0,0,'default',8,'rgb',-1,'fal'94aab804a520_Microvision120C',0set_framegrabber_param(AcqHandle,'gset_framegrabber_param(AcqHandlset_framegrabber_param(AcqHangrab_image_async(Image,集的最大延時(shí)時(shí)間被設(shè)置為1000ms,以避免因處理程序的超時(shí)而引起的系統(tǒng)報(bào)錯(cuò)現(xiàn)3.2圖像去噪(a)部分3*3圖像(b)3*3濾波器圖3-23*3濾波器濾波過程其中M和N分別為濾波器行列寬度，最后將計(jì)算所得的R值代替原圖像中S?的像素值作為該點(diǎn)濾波后的新像素值。經(jīng)過濾波的圖像其中的噪聲會得到極大的抑制，從而達(dá)到提高圖像質(zhì)量的效果。夠保留原圖像的細(xì)節(jié)內(nèi)容。設(shè)x?,x?,x?,…,x,是一組數(shù)列，按大小排列后為：本系統(tǒng)的HALCON軟件中針對水果圖像存在的隨機(jī)噪聲，選擇了尺寸為3*3像素的中值濾波器進(jìn)行濾波。濾波器工作流程示意圖，如圖3-3所示。濾波過程中濾波器在圖像中任意選取一個(gè)像素，并將它與濾波器下的其他像素進(jìn)行比較，將所有大于該像素的像素值排列到前面，將所有比該像素小的像素值放于后面；經(jīng)過一次排列之后，便可以得到按像素值大小排列的數(shù)組。從數(shù)組中提取位于中間的像素值代替原像素值組成新的濾波圖像。HALCON實(shí)現(xiàn)代碼如下：read_image(Image,'C:Users/Administrator/Desktop/11.25/testingsmedian_image(Image,ImageMedian,'square',3,'mirrored')3、mirrored分別是濾波器類型、濾波器尺寸及濾波后的邊緣填充模式。如圖3-4所示經(jīng)過中值濾波后的圖像其中的非線性噪聲得到了很好的消除。萬方數(shù)據(jù)3.2.2高斯濾波器高斯濾波器[39]是一種廣泛應(yīng)用于圖像處理的降噪濾波方式。該濾波器使用了一種像進(jìn)行加權(quán)平均的過程，具體操作為：使用卷積核(高斯濾波器)逐像素掃描水果圖像，利用鄰域內(nèi)加權(quán)平均灰度值代替卷積核中心點(diǎn)像素值。與一般空域?yàn)V波順序相同在對圖像進(jìn)行高斯濾波時(shí)，首先要選擇一款合適的濾波器也就是卷積核，用來對原圖5*5的高斯濾波器(圖3-5)對圖像做了進(jìn)一步的濾波處理。高斯濾波器數(shù)值計(jì)算公式如使用高斯濾波器雖然能夠很好的濾除圖像中的高斯噪聲，但是根據(jù)圖3-5也可以看出，為保證卷積核總數(shù)為1領(lǐng)域內(nèi)各系數(shù)均為小數(shù)。而計(jì)算機(jī)在對小數(shù)進(jìn)行運(yùn)算時(shí)的速度與整數(shù)運(yùn)算相比較慢。因此當(dāng)選擇的高斯濾波器尺寸增加時(shí)，其對圖像濾波的計(jì)算量也大大增加，會影響水果分揀系統(tǒng)的圖像處理速度。若減小濾波器尺寸，又存在著濾波不充分的問題。因此高斯濾波器對于本系統(tǒng)水果圖像處理的應(yīng)用不理想。圖3-55*5高斯濾波器3.2.3二項(xiàng)式濾波器為了避免因?yàn)楦咚篂V波器尺寸選擇不合適導(dǎo)致的水果圖像處理效果不理想的現(xiàn)象，本系統(tǒng)選擇使用二項(xiàng)式濾波器[401代替高斯濾波器對水果圖像進(jìn)行濾波。二項(xiàng)式濾波近似于高斯濾波器的整數(shù)運(yùn)算。因此，在濾波效果相同的前提下，二項(xiàng)式濾波器處理圖像速度優(yōu)于高斯濾波器。將濾波器的尺寸設(shè)置為M*N。然后，便可通過二項(xiàng)式其中i=0,..,m-1,j=0,..,n-1。在此情境下的二項(xiàng)式濾波器效果與高斯濾波器中σ=NOO3579經(jīng)過二項(xiàng)式濾波后的水果圖像噪聲得到了進(jìn)一步的抑制，從圖3-6中可以看出圖像中已經(jīng)不存在明顯噪聲的影響。但是使用濾波器會對圖像的細(xì)節(jié)產(chǎn)生一定模糊效果，圖3-6二項(xiàng)式濾波后圖像3.3圖像增強(qiáng)做差后再與增強(qiáng)系數(shù)相乘的值作為掩膜(如圖3-7(a)),然后與濾波圖像疊加得到增強(qiáng)圖像(如圖3-7(b))。反銳化掩膜法數(shù)學(xué)表達(dá)式為：處的像素值，f(x,y)為原圖像在坐標(biāo)(x,y)處的像素值，C為增求g(x,y)的值大于255則一律判定為255。利用反銳化掩膜法可以突出圖像的高頻分在HDevelop環(huán)境中實(shí)現(xiàn)反銳化掩膜法需要依據(jù)上述原理，獨(dú)立編寫所需程序，read_image(Image,'C:/Usemean_image(Image,Isub_image(Image,ImageMean,Imaadd_image(ImageMean,ImageSub,ImageResult,1,10)的取值范圍為0到255,共256個(gè)灰度等級。當(dāng)數(shù)字圖像中某一點(diǎn)的像素值大于設(shè)定的閾值時(shí)，將該點(diǎn)像素值設(shè)置為1;反之，則將該點(diǎn)像素值設(shè)置為0。靜態(tài)閾值分割灰度直方圖像。通過這兩幅圖像的灰度分布對比可知，系統(tǒng)獲取到的水果真彩(RGB)圖像在轉(zhuǎn)化為灰度圖像時(shí)各類水果的灰度值分布存在著很大的差距。若繼續(xù)使用靜態(tài)閾值分割的方法提取水果圖像，很顯然會影響系統(tǒng)分割水果的魯棒性。因此，本系統(tǒng)選擇使用全局自動閾值分割[42的方法達(dá)到完整提取水果圖像的效果，分割效果如圖3-10所示。首先，利用HALCON算子gray_histo()統(tǒng)計(jì)出水果圖像灰度分布情況的直方圖；然后，通過sort_index()算子排序?qū)ふ页龌叶戎狈綀D中頻率最高的灰度值；最后，選取直方圖中頻率最高的灰度值調(diào)整后作為閾值，使用閾值分割算子分割水果圖像。自動全局閾值分割代碼如下：gray_histo(GrayImage,GrayImage,Ab_HiP_Gray:=sort_index(Ab_Histthreshold(GrayImage,Region,0,P_Gra國▼圓適應(yīng)窗口-圖100第▼四Q因▼圓適應(yīng)窗口圖100%▼本章重點(diǎn)分析了水果分揀系統(tǒng)圖像處理過程中的圖像采集、處理及分割操作。選取了HALCON中更為適合流水的異步采集模式。圖像處理過程中使用中值濾波器和二項(xiàng)式濾波器實(shí)現(xiàn)了對原始水果圖像中的椒鹽噪聲、高斯噪聲的抑制。為了突出水果邊緣信息，系統(tǒng)使用反銳化掩膜法對圖像進(jìn)行了增強(qiáng)。然后利用自動全局閾值分割的方法將水果圖像從背景中提取出來。第四章水果分類算法用機(jī)器學(xué)習(xí)算法將對象歸于指定的類別中，必須要知道界)。在有監(jiān)督的情況下，這些類都是通過已知樣本對象的訓(xùn)練來構(gòu)建的。然后，在表4-1分類方式對比表訓(xùn)練速度慢中快快分類速度快中快中最高分類速度要求(低維特征下)隱含層少分類類別少內(nèi)存需求低中低高適用與高維特征是是否是基于神經(jīng)網(wǎng)絡(luò)算法的多層感知器(MLP,multi-layerperceptrons),基于支持向量機(jī)(SVM,support-vectormachines)的分類，基于高斯混合模型(GMM,Gaussianmixturemodels)的分類以及基于最鄰近分類算法(K-NN,k-nearestneighbors)的分類。根據(jù)HALCON中提供的四種分類方式的對比表(表4-1)可以看出，在特征向量維度較低(小于15維)的情況下高斯混合模型在訓(xùn)練和分類的速度上相較于其他分類方式都較快。而且使用高斯混合模型分類對于計(jì)算機(jī)內(nèi)存要求低，可以降低系統(tǒng)對于硬件配置的要求。本系統(tǒng)考慮到了水果生長過程中自身帶有多種色彩信息，而且各個(gè)種類的水果在幾何特征上也會體現(xiàn)出較大的差異，如：西瓜與蘋果在體積上的差異，香蕉與桔子在形狀上的差異等。根據(jù)以上的闡述結(jié)合表4-1中分類算法的對比情況以及以往對神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)的相關(guān)研究，系統(tǒng)選擇使用高斯混合模型算法作為水果分類的核心算法。4.2高斯混合模型高斯混合模型[43,44](GMM)的分類基礎(chǔ)來自于廣泛使用的高斯(正態(tài))分布。在HALCON中高斯混合模型處理分類的基本理論之一是貝葉斯決策規(guī)則。一般來講，高斯混合模型通常用于解決同一集合內(nèi)數(shù)據(jù)包含多個(gè)不同分布，或者同一類分布但參數(shù)不一樣，再者為不同類型的分布的情況。高斯混合模型概率分布模型形式如下式：HALCON中高斯混合模式使用到的貝葉斯決策規(guī)則[45]機(jī)制可以用以下公式進(jìn)行其中P(wi|x)指后驗(yàn)概率；P(x|w;)指在定特征向量的類為w;情況下，特征向量x出現(xiàn)的先驗(yàn)概率；P(wWi)指特征向量的類w;出現(xiàn)的概率；P(x)指特征向量x出現(xiàn)的概率。在分類過程中為了保證水果分類結(jié)果的準(zhǔn)確度，應(yīng)該最大限度地提高所有類別的后驗(yàn)概率。根據(jù)式4-1,4-2,4-3可以得出，高斯混合模型分類器實(shí)質(zhì)上是多個(gè)單高斯分類聊城大學(xué)專業(yè)碩士學(xué)位論文器的線性組合，通過使用不同的概率密度函數(shù)完成目標(biāo)物體的聚類工作。如圖4-1所4-2所示水果灰度直方圖的前景直方圖分布和背景直方圖分布近似的看作類似于圖4-1的線性組合的高斯分布。通過訓(xùn)練集有監(jiān)督的告訴分類器哪個(gè)屬于前景，哪個(gè)屬于根據(jù)4.2節(jié)表述，對于高斯混合模型算法應(yīng)用于水果分類的原理已經(jīng)清楚。本節(jié)(1)對水果樣本圖像中的顏色特征和區(qū)域特征進(jìn)行提取，并分別組合成特征向(2)利用特征向量分別訓(xùn)練出基于顏色特征和基于區(qū)域特征的分類器；(3)使用顏色分類器從整張圖像中提取出待分類水果的輪廓區(qū)域和顏色信息；(4)使用提取到的水果輪廓區(qū)域計(jì)算特征值帶入到區(qū)域分類器中完成水果的種read_image(ImageTest,ImagePath+'2decompose3(ImageTest,ImageR,gray_histo(ImageB,ImageB,Ab_HiP_Gray:=sort_index(Ab_Histthreshold(ImageB,Region2,0,P_Gconnection(Region2,Conneselect_shape(ConnectedRegions1,SelectedRegions,'area',sort_region(SelectedRegions,SortedRegions,'upper_select_obj(SortedRearea_center(Orange,Aarea_center(Green,A在本階段系統(tǒng)主要通過編程將濾波后的水果圖像中的顏色信息提取出來，并創(chuàng)建顏色特征向量。如圖4-3所示，程序分別提取了水果顏色樣本圖像的R(紅色通道)、G(綠色通道)、B(藍(lán)色通道)三個(gè)通道的分量信息。然后選擇背景與水果圖像對比度最大的B通道進(jìn)行全局自動閾值分割獲得水果區(qū)域信息，再通過連通及排序操作便可逐次將不同顏色的水果分割出來。如圖4-4所示為各個(gè)顏色水果分割圖像。最后將分割后的水果圖像按照顏色不同編為4組，并記錄各組的R、G、B通道分量信息建立顏色特征向量。圖形窗口：3600-Green四Q因▼圃適應(yīng)窗口▼圖100第▼響本系統(tǒng)水果區(qū)域特征提取所做的主要工作為，選擇合適的水果區(qū)域特征(如：面積，圓度，偏心率等),通過編程手段提取特征并添加到區(qū)域特征向量中訓(xùn)練，最后為了方便開發(fā)人員對目標(biāo)攜帶的各種特征值進(jìn)行把握，HALCON軟件的HDevelop環(huán)境中提供了如圖4-5所示的特征檢測和特征直方圖兩種觀察目標(biāo)特征的用到的各種特征值，例如：面積(Area)、圓度(Circularity)等。 _以避免因?yàn)楦鞣N特征相近導(dǎo)致分類失敗。通過HALCON提供的特征直方圖，便能夠清楚的觀察到目前使用的特征值是否適合作為本系統(tǒng)水果分揀的特征。圖4-6為四種不同種類水果圓度(Circularity)特征對比的特征直方圖。直方圖中橫坐標(biāo)代表各個(gè)水圖4-6水果圓度特征直方圖本論文在第三章的圖像分割一節(jié)中已經(jīng)對水果圖像進(jìn)行了預(yù)先處理，分割出了水果的二值圖像。通過特征直方圖對水果二值圖像進(jìn)行特征分析，最終決定使用面積 征。這些特征計(jì)算的數(shù)學(xué)依據(jù)如下所示：面積(Area)特征的提取是將水果的二值圖像進(jìn)行連通之后對區(qū)域內(nèi)像素值為1的像素依次進(jìn)行累加得到，其計(jì)算公式為：其中Area代表水果的像素面積，M和N分別為區(qū)域的行數(shù)和列數(shù)，O(i,j)為二值圖像中數(shù)值為1的像素點(diǎn)。大距離平方以及π的比值。因此完成水果圓度計(jì)算需要提前計(jì)算出水果圖像中心的像素位置，其計(jì)算公式為：式4-5中x和y分別為水果圖像的中心坐標(biāo)，A為區(qū)域像素面積，O(i,j)為數(shù)值為1的像素點(diǎn)坐標(biāo)。有了以上坐標(biāo)便能夠求出圖像邊緣距離中心的最大像素距離。然后跟可求得初步的水果圓度值，其中C為水果圖像圓度值，Area為圖像像素面積，distance為最大像素距離。因?yàn)樵谝粋€(gè)區(qū)域中的區(qū)域圓度最大只能與圖像外接圓重合，所以圓度值是不能大于1.0的，需要進(jìn)行如下夾斷操作：膨松度(Bulkiness)這兩個(gè)特征量的乘積得來的。因此需要提前計(jì)算兩個(gè)特征量。上式中An為不等距程度，Bu為膨松度，Ra和Rb分別為圖像外接橢圓的短半軸和長半軸。然后可根據(jù)以上二值的乘積求得偏心率。公式如下：其中SF為偏心率。根據(jù)公式4-4至4-9,經(jīng)計(jì)算可以得到如表4-3所示部分?jǐn)?shù)據(jù)，用作機(jī)器學(xué)習(xí)集合訓(xùn)練集。標(biāo)號面積圓度4.3.3訓(xùn)練高斯混合模型分類器系統(tǒng)的高斯混合模型分類器訓(xùn)練過程中針對水果的不同特征向量，分別創(chuàng)建了基于顏色查找表的分類器和基于區(qū)域特征的分類器。然后分別將上節(jié)中的水果顏色特征向量和水果區(qū)域特征向量導(dǎo)入到相應(yīng)的模型中進(jìn)行訓(xùn)練。特征導(dǎo)入程序如下：**訓(xùn)練顏色特征create_class_gmm(3,4,[1,10],'full','none',3,42,Gadd_samples_image_class_gmm(ImageTest,Classes,GMMHtrain_class_gmm(GMMHandle_Color,100,0.001,'training',0.001,Cent**訓(xùn)練區(qū)域特征create_class_gmm(3,3,[1,5],'spherical','normalization',10,42,Gadd_sample_class_gmm(GMMHandle_Ftrain_class_gmm(GMMHandle_Fruits,100,0.001,'training',0.0001,Cent在HDevelop環(huán)境中可以使用create_class_gmm(NumDim,NumClasses,NumCenters,CovarType,Preprocessing,NumComponents,RandSeed:GMMHandle)算子創(chuàng)建一個(gè)初始的高斯混合模型。在該算子中輸入?yún)?shù)NumDim指定了用于訓(xùn)練和分類的特征向參數(shù)則是為了提高算子運(yùn)算速度所需設(shè)定的參數(shù)。分別使用add_sample_class_gmm()和add_samples_image_class_gmm()算子添加提取到的水果區(qū)域特征及顏色特征到各本系統(tǒng)的水果分類操作主要依賴上述訓(xùn)練的兩個(gè)高斯混合模型分類器。如圖4-8據(jù)分類器中的邊界從整幅圖像中提取出水果的輪廓區(qū)域和顏色信結(jié)果。如圖4-10所示為4種不同顏色和種類水果的分類結(jié)果，從圖中可以看出使用圖4-8未知水果特征判定流程圖(a)綠色水果圖像(b)顏色提取圖圖4-9顏色查找表分類器分類圖4a因▼圈通應(yīng)窗口▼圈100第▼6溶eQ國▼圓適應(yīng)窗口▼圖100%k▼水果色系：橙色系水果色系：綠色系水果類型：桔子水果類型：桔子0a國▼圈適應(yīng)窗口▼圖100第▼水果色系：紅色系水果類型：百香果分類結(jié)果：紅色百香果a0a國▼圈適應(yīng)窗口▼圈100%水果色系：黃色系水果類型：檸檬分類結(jié)果：黃色檸檬圖4-10未知水果分類結(jié)果圖本課題軟件系統(tǒng)進(jìn)行水果分級的過程中首先根據(jù)水果種類的不同選擇合適的水表示出水果的種類。通過對比ClassID數(shù)值，系統(tǒng)選擇與之對應(yīng)的水果分級標(biāo)準(zhǔn)。其計(jì)算出檸檬橫徑大小鑒別檸檬等級。表4-4為檸檬等級劃分表等級大果中果小果果橫徑(厘米/cm)不得小于4第一部分是計(jì)算像素的物理距離。圖像處理軟件處理后得到的數(shù)據(jù)以像素為單位，需要進(jìn)一步處理才能得到實(shí)際的尺寸數(shù)據(jù)。經(jīng)過系統(tǒng)標(biāo)定獲得標(biāo)準(zhǔn)物體圖像的像素與實(shí)際尺寸兩者之間的比值K后再利用幾何運(yùn)算得到目標(biāo)物體的實(shí)際尺寸值。求取像素物理距離的原理如圖4-11所示。第二部分是利用檸檬分割圖像求取外接橢圓形，計(jì)算得果實(shí)橫徑。如圖4-12為檸檬分級結(jié)果。HALCON代碼如下：Camera_Para:=[0.00829847,-1099.98,3.74955e-006,3.75e-006,628Camera_Pose:=[-0.00605462,0.0176611,0.640014,352.27,0.676434R1:=R0+Distance_textC1:=C0+Distance_teimage_points_to_world_plane(Camera_Para,Camera_Pose,R0image_pointstoworld_plane(Camera_Para,Camera_Podistance_pp(X1,Y1,X2,Y2*像素物理距離Distance:=Distance1/(sqr*計(jì)算檸檬橫徑(a)檸檬外接橢圓圖(b)檸檬等級鑒定圖圖4-12檸檬分級圖其中單位為米，表4-5為計(jì)算得到的30組水果的實(shí)際尺寸。標(biāo)號品種尺寸標(biāo)號表4-5水果尺寸計(jì)算品種尺寸標(biāo)號品種尺寸綠色桔子2綠色桔子3綠色桔子4綠色桔子5綠色桔子6綠色桔子百香果7綠色桔子百香果8綠色桔子百香果9綠色桔子百香果百香果萬方數(shù)據(jù)disp_message(WindowHandle,'色系：'+Color[ColorFruits_Class0:=[Fruits_ClassO,'elseif(ColorNum==1)Fruits_Class1:=[Fruits_Classl,'oelseif(ColorNum==2)Fruits_Class2:=[Fruits_Classelseif(ColorNum==3)Fruits_Class1:=[Fruits_Classl,endif□圖4-13水果等級鑒定效果圖其次，系統(tǒng)再根據(jù)水果區(qū)域特征分類得到的水果品種信息，逐次從Furits_ClassX定過程為例，在本論文中系統(tǒng)分別采集了兩種面顏色為橙色，不成熟的桔子表面顏色為綠色)。依據(jù)此結(jié)果便可分辨出水果的成熟情況。如圖4-13所示為等級鑒定最終效果圖，表4-6為桔子等級鑒定的結(jié)果統(tǒng)計(jì)表。標(biāo)號品種尺寸等級標(biāo)號品種尺寸等級20.111成熟中果綠色桔子綠色桔子成熟中果成熟中果3綠色桔子成熟中果4綠色桔子成熟小果5綠色桔子成熟小果6綠色桔子成熟中果7綠色桔子成熟中果8綠色桔子成熟中果9綠色桔子成熟中果0.12成熟中果綠色桔子成熟小果4.5本章小結(jié)第五章水果的分揀水果分揀系統(tǒng)的最終目的是將視覺系統(tǒng)判斷出的水果按種類及水果的等級依次手眼標(biāo)定[52是建立機(jī)械手臂末端與如圖5-1所機(jī)坐標(biāo)系(CCS)、圖像物理坐標(biāo)系(IPCS)以及圖像像素坐標(biāo)系(ICS)之間聯(lián)系圖5-1P點(diǎn)在各坐標(biāo)系的關(guān)系圖通過整理公式5-1至5-5可得物理坐標(biāo)系與世界坐標(biāo)系之間的轉(zhuǎn)換公式5-7:單目相機(jī)的手眼標(biāo)定。標(biāo)定過程中由于工業(yè)相機(jī)與機(jī)械手臂末端所處的相對位置不同，安裝在機(jī)械手臂的末端，在機(jī)器人工作運(yùn)動時(shí)相機(jī)會隨之運(yùn)動，這樣避免了存在機(jī)械是機(jī)械手的工作區(qū)域，在機(jī)器人工作運(yùn)動時(shí)相機(jī)是不隨機(jī)械手臂的運(yùn)動而運(yùn)動的。這系統(tǒng)的工作方式進(jìn)行標(biāo)定，所以在論文中主要講解該種方式的標(biāo)定方法，其代碼如下所示。read_calib_data('F:/fruit_configure/eye_hand_calibdataID.ccd',Fruits_C*進(jìn)行手眼標(biāo)定calibrate_hand_eye(Fruits_CalibD*獲取標(biāo)定后的相機(jī)內(nèi)參get_calib_data(Fruits_CalibDataID,'camera',0,'params',*獲取標(biāo)定后末端在相機(jī)的位姿，靶標(biāo)在基坐標(biāo)系的位姿get_calib_data(Fruits_CalibDataID,'camera',0,'tool_in_cam_poseget_calib_data(Fruits_CalibDataID,'calib_obj',0,'obj_in_base_pose'*設(shè)置參考坐標(biāo)系define_reference_coord_system(ImageNameStart+'00',CamPpose_to_hom_mat3d(PoseRef,cam_H_ref)在HALCON中提供了專門用于這種工業(yè)生產(chǎn)的單目標(biāo)定算子和例程。通過以上程序并經(jīng)過多次的采圖實(shí)驗(yàn)，本系統(tǒng)最終成功將世界坐標(biāo)標(biāo)定的最大誤差限制在了參數(shù)數(shù)值焦距(Focus)畸變系數(shù)(Kappa)單個(gè)像素寬度(Sx)單個(gè)像素高度(Sy)中心值橫坐標(biāo)(Cx)628像素中心值縱坐標(biāo)(Cy)512像素圖像寬度(ImageWidth)1280像素圖像高度(ImageHeight960像素其次，需要獲取所使用標(biāo)定板的描述文件。雖然在HALC板的描述文件，但是為了確保標(biāo)定時(shí)標(biāo)定板面積占整幅圖像面積的1/3,本課題選擇了10*10cm邊長的標(biāo)準(zhǔn)標(biāo)定板進(jìn)行標(biāo)定，且單獨(dú)生成了HALCON標(biāo)定所需的描述文再次，則需要采集9-16張標(biāo)定板的清晰圖像，并準(zhǔn)確記錄每組圖像在拍攝時(shí)機(jī)標(biāo)號X軸(m)Y軸(m)Z軸(m)1234標(biāo)號X軸旋轉(zhuǎn)角()Y軸旋轉(zhuǎn)角()Z軸旋轉(zhuǎn)角()l234圖5-2采集的標(biāo)定板圖像最后，在HALCON的HDevelop環(huán)境中按標(biāo)定板描述文算子完成相機(jī)的手眼標(biāo)定。圖5-3為標(biāo)定結(jié)果及誤差顯示。平方根誤差最大誤差A(yù)FT-MCT-HC100wwwAFTvision.con像中繪制出3D坐標(biāo)軸，并依據(jù)水果顏色分類的輪廓找出其亞像素邊緣的中心坐標(biāo)用disp_3d_coord_system(WindowHandle,CamParamproject_3d_point(0.00626085,0.00265154,0.331585,CamParam,Row1,Column1)disp_cross(WindowHandle,Row1,gen_contour_region_xld(ObjectSelected,Fruit_Contoarea_center_xld(Fruit_Contours,Areal,Row3,Column3,Point*按照參考坐標(biāo)系的位姿關(guān)系，將獲取到的圖像點(diǎn)坐標(biāo)轉(zhuǎn)化為到參考坐標(biāo)系原點(diǎn)image_points_to_world_plane(CamParam,PoseRef,Row3,Coread_pose('C:/Users/Adminisdisp_3d_coord_system(WindowHandle,CamParamhom_mat3d_identity(HomMat3DIdehom_mat3d_translate(HomMat3DIdentity,X[I],Y[I],0*obj_in_base=tool_in_base*camerhom_mat3d_compose(cam_H_ref,ref_H_grasp,hom_mat3d_to_pose(cam_H_grasp,GripperInCamPose)disp_3d_coord_system(WindowHandle,CamParam,GripperIpose_invert(ToolInCamPose,pose_compose(ToolInBasePose,CamInToolPose,CamInBaspose_compose(CamInBasePose,GripperInCamPose,ObjInBasconvert_pose_type(ObjInBasePose,'Rp+T','abg','point',PosePOSE:=[PoseRobotGrasp_ZYX[0],PoseRobotGrasp_ZYX[1],PoseRo表5-3為本課題對系統(tǒng)進(jìn)行性能檢驗(yàn)時(shí)所用到的一部分(34組)水果分類及位姿計(jì)算結(jié)果，通過觀察可以看出系統(tǒng)對水果分類的總體準(zhǔn)確率可中個(gè)別特征明顯的水果(如：桔子)分類準(zhǔn)確率可在100%,已基本達(dá)到系統(tǒng)開發(fā)要軸坐標(biāo)是不準(zhǔn)確的，因此在本系統(tǒng)中只使用到了X軸和Y軸坐標(biāo)完成了定高(Z軸固定)抓取。標(biāo)區(qū)域特征判斷類別實(shí)際類別號面積圓度偏心率X軸Y軸123456789紅色百香果紅色百香果紅色百香果紅色百香果紅色百香果紅色百香果紅色百香果紅色百香果紅色百香果紅色百香果紅色百香果紅色百香果紅色百香果紅色百香果紅色桔子紅色百香果串口通信是通信串口按位(bit)發(fā)送和接收字節(jié)的通訊模式。雖然該方式在通訊通信線路下的全雙工長距離通信的優(yōu)勢。系統(tǒng)中由USB/RS-232轉(zhuǎn)換器實(shí)現(xiàn)工控機(jī) 作用，主要工作就是將USB數(shù)據(jù)格式與R在使用該裝置之前PC和分揀裝置首先需要設(shè)置波特率和串口號。然后約定位數(shù)和是否需要進(jìn)行奇偶校驗(yàn)。最后設(shè)置停止位數(shù)后二者便可以實(shí)現(xiàn)通信。在open_serial('COM5',get_serial_param(SerialHandle,BaudRate,DataBits,FlowControlset_serial_param(SerialHandle,9600,8,'none','none',1,1000,'unchanged')write_serial(SerialHandle,ords(POSE+'\n\r'))令下位機(jī)能夠根據(jù)該信息完成最終水果分揀的操作。圖5-5(a),(b),(c)為HALCON計(jì)算所得3種水果抓取點(diǎn)坐標(biāo)，圖5-5(d)為通過串口助手獲得的以上測試信息。+0230-0.380849十000(a)第一組抓取坐標(biāo)(b)第二組抓取坐標(biāo)(c)第三組抓取坐標(biāo)保存數(shù)據(jù)清除接收文件載入青除輸入廠啟用文件數(shù)據(jù)原□發(fā)送周期1000ns廠接收轉(zhuǎn)向文件.串口就緒!圖5-5抓取坐標(biāo)發(fā)送測試圖第六章總結(jié)與展望6.1工作總結(jié)本課題以Microvision維視圖像公司的MV-BDP300工業(yè)開發(fā)平臺為基礎(chǔ)，利用(2)選取HALCON圖像處理軟件作為視覺軟件開發(fā)平臺，使用中值(3)采用監(jiān)督式高斯混合模型聚類算法實(shí)現(xiàn)了水果分類。分類過程中