基于立體視覺的水果采摘機(jī)器人系統(tǒng)調(diào)研報(bào)告

1、基于立體視覺的水果采摘機(jī)器人系統(tǒng)調(diào)研報(bào)告摘要: 基于立體視覺建立了水果采摘機(jī)器人系統(tǒng)。在圖像空間利用Hough變換檢測出果實(shí)目標(biāo),并利用隨機(jī)采樣目標(biāo)上均勻分布多個(gè)點(diǎn)的三維坐標(biāo)信息重建果實(shí)球模型,進(jìn)而獲得目標(biāo)質(zhì)心的空間位置坐標(biāo)；通過最小二乘法研究了采摘機(jī)器人手眼標(biāo)定；分析了采摘機(jī)器人的軌跡規(guī)劃。實(shí)驗(yàn)結(jié)果表明,設(shè)計(jì)的自動(dòng)采摘系統(tǒng)可以有效地消除遮擋以及立體視覺匹配失效等因素的影響,目標(biāo)定位誤差小于8mm,顯著地提高了抓取的精度和可靠性。關(guān)鍵詞: 采摘機(jī)器人立體視覺手眼標(biāo)定識(shí)別Research Report of fruit picking robot system based on stereo v

2、isionAbstract： A fruit picking robot system based on stereo vision is established. In the image space by using Hough transform to detect target fruit, and the random sampling of multiple point reconstruction of 3D coordinate information fruit ball model are uniformly distributed target, and then obt

3、ain the spatial position coordinates of the target centroid; by the least squares method of picking robot hand eye calibration; analysis of the picking robot trajectory planning. The experimental results show that the design of the automatic picking system can effectively eliminate occlusion and the

4、 influence of the stereo vision matching failure and other factors, target location error is less than 8mm, significantly improve the accuracy and reliability of the crawl.Key words: picking robot；stereo vision；hand eye calibration；identification1 調(diào)研背景果蔬采摘作業(yè)一直是個(gè)亟待解決的問題1。德國、荷蘭和日本等發(fā)達(dá)國家研究開發(fā)了多種類型的果蔬自動(dòng)采摘

5、機(jī)器人,如蘋果、黃瓜和櫻桃等自動(dòng)收獲機(jī)器人24,但在果實(shí)識(shí)別率、采摘成功率等方面還存在尚待解決的問題。國內(nèi)果蔬采摘機(jī)器人的研究工作也較多5,但大多局限在采摘機(jī)器人的視覺系統(tǒng)、機(jī)械手和末端執(zhí)行器等單一的功能模塊,其中視覺系統(tǒng)的研究大多是在單果無遮擋的理想條件下進(jìn)行的。本文基于立體視覺構(gòu)建一個(gè)水果采摘機(jī)器人系統(tǒng),即利用視覺傳感器獲取環(huán)境圖像,計(jì)算出果實(shí)目標(biāo)相對(duì)于機(jī)器人坐標(biāo)系的位置,然后驅(qū)動(dòng)機(jī)器人到達(dá)目標(biāo)位置并抓取。重點(diǎn)研究復(fù)雜環(huán)境下果實(shí)目標(biāo)的可靠識(shí)別定位問題,并分析系統(tǒng)的手眼標(biāo)定與軌跡規(guī)劃等。2 關(guān)鍵技術(shù)2.1 果實(shí)識(shí)別定位果實(shí)目標(biāo)的辨識(shí)和定位是果實(shí)收獲機(jī)器人的首要任務(wù),是影響果實(shí)抓取成功率的關(guān)鍵

6、因素。采摘過程中,機(jī)器人末端執(zhí)行器的工作位置不僅由果實(shí)目標(biāo)位置決定,也受采摘方式的影響。目前常見的果蔬采摘方式有手指抓取采摘6、純氣吸采摘2和氣吸與手指相結(jié)合采摘4等。本文采用了先讓電動(dòng)夾持器夾持住果實(shí),再結(jié)合擰斷果柄的方式來實(shí)現(xiàn)采摘,這就要求末端執(zhí)行器的工作中心與果實(shí)質(zhì)心基本重合,因此,果實(shí)定位需要確定果實(shí)的質(zhì)心位置。在雙目立體視覺技術(shù)中,存在著多種因素影響果實(shí)定位的精度和可靠性。由于環(huán)境光照、果實(shí)形狀等不可控因素,使得立體視覺匹配過程中難免會(huì)出現(xiàn)部分隨機(jī)分布的無效匹配點(diǎn),進(jìn)而無法獲得深度信息而導(dǎo)致采摘失效。運(yùn)用的立體視覺模塊將所有無法匹配的點(diǎn)的深度值均設(shè)為0.376 926。果實(shí)不可避免地

7、會(huì)存在被葉片等物體遮擋的情況,如果利用目標(biāo)果實(shí)的形心來進(jìn)行定位,那么該形心在圖像平面上就有可能落在遮擋物上。結(jié)果立體視覺匹配后得到的空間位置就是遮擋物的位置而不是真正的采摘目標(biāo)的空間位置,從而造成抓取可能失敗。即使在無遮擋等相對(duì)理想條件下立體匹配過程不會(huì)出現(xiàn)前述情況,但由于圖像噪聲、圖像處理誤差以及標(biāo)定誤差等原因,立體信息的精度也同樣難以保證,所以,如果單純依靠形心等少數(shù)點(diǎn)來決定果實(shí)空間位置則可能存在較大誤差。果實(shí)中球形類果實(shí)約占70%,為了克服上述立體視覺技術(shù)中存在的幾個(gè)問題,將利用目標(biāo)上多個(gè)點(diǎn)的三維位置信息重建出果實(shí)球模型,然后基于最小二乘法計(jì)算果實(shí)質(zhì)心位置。果實(shí)球模型為(-)2+(-)2

8、+(-)2=2 (1)其中(,)為球心在相機(jī)坐標(biāo)系中的坐標(biāo)。式(1)也可以寫成2+2+2+2-(2+2+2)=2+2+2 (2)對(duì)于n個(gè)點(diǎn),式(2)可用矩陣的形式表達(dá),即 （3） 式(3)可以簡寫成 Am=B （4）利用最小二乘法,可以解得 （5） 從而獲得球心坐標(biāo)。兼顧算法的精度和效率,利用了目標(biāo)上8個(gè)點(diǎn)進(jìn)行目標(biāo)位置的求解。具體方法是:先以圓形來近似描述果實(shí)形狀,由Hough變換可以得到各個(gè)果實(shí)在圖像平面上的圓心坐標(biāo)(,)和半徑,這種方法計(jì)算簡單,果實(shí)形心識(shí)別準(zhǔn)確;然后可方便地得到該果實(shí)圓的外接矩形,該矩形左上點(diǎn)的坐標(biāo)為(xmin,ymin),右下點(diǎn)的坐標(biāo)為(xmax,ymax);最后將在此

9、矩形區(qū)域內(nèi)隨機(jī)找出一個(gè)點(diǎn)(,),坐標(biāo)為 (6)其中,rand()是+標(biāo)準(zhǔn)函數(shù)庫提供一個(gè)生成均勻分布隨機(jī)數(shù)的函數(shù),返回032 767間均勻分布的偽隨機(jī)整數(shù)，%表示求余數(shù)。這樣可以避免這些點(diǎn)過于集中,以提高最小二乘法的精度。當(dāng)然,這些點(diǎn)(,)還必須在果實(shí)目標(biāo)上,而不是遮擋物上,同時(shí)這些點(diǎn)處的立體匹配應(yīng)該符合有效性檢驗(yàn)。這樣直到找到8個(gè)點(diǎn)為止,它們的三維坐標(biāo)將用來擬合出一個(gè)球,進(jìn)而求出目標(biāo)的質(zhì)心位置。整個(gè)果實(shí)識(shí)別程序流程如圖1所示。圖1 果實(shí)識(shí)別定位流程圖在實(shí)驗(yàn)室中,使用3個(gè)橙子模型進(jìn)行實(shí)驗(yàn),如圖2所示。用RB對(duì)原圖進(jìn)行處理后并二值化;然后對(duì)圖像進(jìn)行結(jié)構(gòu)元素大小為3×3的腐蝕與膨脹,結(jié)果如

10、圖2b所示；對(duì)圖像基于Hough變換檢測圓,得到準(zhǔn)確的果實(shí)形心,把檢測出的果實(shí)圓輪廓疊加到圖2b上后得到圖2c。同時(shí),立體視覺模塊提供的視差圖如圖2d所示,若已知圖像上的點(diǎn)(i,j),可求出其在相機(jī)坐標(biāo)系中對(duì)應(yīng)的三維坐標(biāo)(x,y,z)。由圖2c可以看出,左邊的果實(shí)被葉片遮擋,其在圖像平面上的形心位于葉子上,使用通常的基于形心特征等匹配方法將無法得到準(zhǔn)確的果實(shí)空間位置。應(yīng)用提出的方法識(shí)別出目標(biāo)位置,通過機(jī)器人示教數(shù)據(jù),結(jié)合下面描述的坐標(biāo)變換測量出深度信息，結(jié)果如表1所示。可見,該方法能夠較為準(zhǔn)確地獲得目標(biāo)果實(shí)的質(zhì)心位置,有效地消除了遮擋以及匹配失效等對(duì)抓取成功率的影響,提高了抓取的精度和可靠性。

11、圖2 果實(shí)識(shí)別定位()右眼校正圖像()二值圖()Hough變換圖()深度圖表1 果實(shí)定位實(shí)驗(yàn)結(jié)果2.2 手眼標(biāo)定手眼標(biāo)定就是找到相機(jī)坐標(biāo)系與機(jī)器人坐標(biāo)系之間的約束關(guān)系,以便實(shí)現(xiàn)果實(shí)目標(biāo)在機(jī)器人坐標(biāo)系中的定位。由于立體視覺模塊可以給出果實(shí)在相機(jī)坐標(biāo)系下的三維坐標(biāo),則該系統(tǒng)標(biāo)定簡化為求解相機(jī)坐標(biāo)系與機(jī)器人基座坐標(biāo)之間的映射矩陣。一般,坐標(biāo)系A(chǔ)和B之間的映射矩陣為 （7）由式(7)又可以將機(jī)器人與相機(jī)坐標(biāo)之間映射矩陣表示為 （8）系統(tǒng)標(biāo)定中,通過將機(jī)器人示教到相機(jī)坐標(biāo)系的原點(diǎn)處,記錄機(jī)器人末端運(yùn)動(dòng)距離可得到某一配置下的平移矩陣為對(duì)于旋轉(zhuǎn)矩陣，先在機(jī)器人的工作范圍內(nèi)隨機(jī)選取n個(gè)目標(biāo)點(diǎn)，這些點(diǎn)在相機(jī)坐標(biāo)

12、系中的位置由立體視覺模塊提供，在機(jī)器人坐標(biāo)系中的坐標(biāo)值可以測量獲得，具體方法與前面測量相機(jī)坐標(biāo)系原點(diǎn)的方法類似。然后把這些點(diǎn)代入式(8)，于是可以得到一個(gè)由3n個(gè)方程構(gòu)成的方程組。實(shí)驗(yàn)中,選取了10個(gè)標(biāo)定點(diǎn)，利用最小二乘法計(jì)算出的相機(jī)坐標(biāo)系相對(duì)于機(jī)器人的映射矩陣為應(yīng)用上述標(biāo)定方法,通過將機(jī)械手的末端示教到每個(gè)目標(biāo)點(diǎn)的位置而獲得三維坐標(biāo)的實(shí)測值,目標(biāo)點(diǎn)在機(jī)器人坐標(biāo)系中位置計(jì)算值與實(shí)測值之間的差值為標(biāo)定誤差。由實(shí)驗(yàn)結(jié)果可見,目標(biāo)點(diǎn)在機(jī)器人坐標(biāo)系中位置坐標(biāo)的各個(gè)分量上最大標(biāo)定誤差小于10mm。實(shí)際上,此誤差是一綜合誤差,它把立體視覺模塊自身等環(huán)節(jié)的測量誤差也包含其中。根據(jù)本文的采摘方案,該精度能夠滿

13、足自動(dòng)采摘任務(wù)的需求。當(dāng)然,在后續(xù)抓取研究中還將用眼在手上的視覺伺服控制技術(shù)進(jìn)一步改善定位精度?？傊?該標(biāo)定算法操作簡單、無需昂貴的實(shí)驗(yàn)設(shè)備,適合現(xiàn)場標(biāo)定。2.3 采摘機(jī)器人的軌跡規(guī)劃軌跡規(guī)劃就是根據(jù)作業(yè)任務(wù)要求,確定軌跡參數(shù)并實(shí)時(shí)計(jì)算和生成運(yùn)動(dòng)軌跡,它是果實(shí)收獲機(jī)器人運(yùn)動(dòng)控制的依據(jù)。對(duì)于果蔬收獲機(jī)器人來說,一般只要求保證末端執(zhí)行器到達(dá)目標(biāo)點(diǎn)時(shí)滿足規(guī)定的位姿要求,而如空間避障等問題可以結(jié)合果蔬的栽培模式調(diào)整,得到一定程度的簡化,如文獻(xiàn)2就提出通過修剪果樹枝條的辦法使得果實(shí)容易識(shí)別和采摘。針對(duì)設(shè)計(jì)的自動(dòng)采摘機(jī)器人實(shí)驗(yàn)系統(tǒng),考慮球形果實(shí)的采摘要求,這里給出了分段路徑規(guī)劃實(shí)現(xiàn)機(jī)器人的運(yùn)動(dòng)控制,如圖5

14、所示。根據(jù)果實(shí)生長的姿態(tài)調(diào)整機(jī)器人末端執(zhí)行器處于適當(dāng)?shù)牟烧藨B(tài),實(shí)驗(yàn)中暫時(shí)采用了水平姿態(tài)。利用計(jì)算出的果實(shí)目標(biāo)在機(jī)器人坐標(biāo)系xOy平面內(nèi)的投影點(diǎn),控制機(jī)器人的S關(guān)節(jié)使得末端執(zhí)行器旋轉(zhuǎn)到與軸夾角為處 =arctan（Y/X） (9)圖5 采摘機(jī)器人軌跡規(guī)劃示意圖機(jī)器人將在直線OG與機(jī)器人z軸組成的平面內(nèi)運(yùn)動(dòng),從點(diǎn)到點(diǎn)通過點(diǎn)到點(diǎn)的圓弧插補(bǔ)方式運(yùn)動(dòng),運(yùn)動(dòng)過程中末端姿態(tài)保持不變。B點(diǎn)的坐標(biāo)為 （10）由B點(diǎn)直線插補(bǔ)到果實(shí)G位置,以水平姿態(tài)抓住果實(shí),通過旋轉(zhuǎn)末端執(zhí)行器使得果實(shí)與果梗分離,完成一次采摘任務(wù)。在整個(gè)軌跡規(guī)劃中,由于末端執(zhí)行器的姿態(tài)保持不變,只是在GOz平面內(nèi)作平移運(yùn)動(dòng),簡化了機(jī)器人求運(yùn)動(dòng)學(xué)逆

15、解的過程。同時(shí)，相應(yīng)的果實(shí)采摘區(qū)所需空間小，末端執(zhí)行器遇到障礙的可能性也會(huì)減小。2.4 系統(tǒng)構(gòu)建整個(gè)果實(shí)采摘機(jī)器人實(shí)驗(yàn)平臺(tái)主要由機(jī)械手、視覺系統(tǒng)、末端執(zhí)行器和計(jì)算機(jī)組成,如圖6所示。為了減少構(gòu)建系統(tǒng)的時(shí)間,采用了日本安川6自由度通用工業(yè)機(jī)器人,在計(jì)算機(jī)的控制下,它既可執(zhí)行點(diǎn)到點(diǎn)的運(yùn)動(dòng),也可按關(guān)節(jié)角進(jìn)行運(yùn)動(dòng)。視覺系統(tǒng)采用多攝像機(jī)視覺控制技術(shù),應(yīng)用了Bumbelee2立體視覺模塊,可以在較大范圍內(nèi)進(jìn)行采摘目標(biāo)的搜索與定位,該模塊也將用于后續(xù)移動(dòng)式果蔬采摘機(jī)器人的視覺導(dǎo)航。同時(shí),還添加了眼在手上(eye-in-hand)固定方式的單目攝像機(jī),它跟隨著機(jī)械手一起運(yùn)動(dòng),以實(shí)現(xiàn)小尺度精確伺服定位,進(jìn)一步提

16、高采摘成功率和可靠性。末端執(zhí)行器采用了電動(dòng)的二指夾持器,其抓取力與給定電流成比例,并可以保持夾持力恒定。圖6 采摘機(jī)器人系統(tǒng)組成3 調(diào)研總結(jié)（1）構(gòu)建了一個(gè)果實(shí)采摘機(jī)器人系統(tǒng),在實(shí)驗(yàn)室條件下實(shí)現(xiàn)了球形果實(shí)的自主采摘。（2）運(yùn)用果實(shí)球模型研究了多果有遮擋條件下的果實(shí)識(shí)別定位,有效地消除了遮擋以及匹配失效等因素的影響,提高了抓取的精度和可靠性。（3）使用了最小二乘法進(jìn)行了采摘機(jī)器人手眼精確標(biāo)定,各坐標(biāo)分量的標(biāo)定誤差都在10以內(nèi),能夠滿足果實(shí)抓取的需要。（4）采用分段路徑方法實(shí)現(xiàn)了采摘機(jī)器人的軌跡規(guī)劃,所需采摘空間較小,可以減小遇到枝葉等障礙的概率。（5）農(nóng)業(yè)機(jī)器人是 21世紀(jì)研究進(jìn)展最快

17、的機(jī)器人。我國作為農(nóng)業(yè)大國,水果和蔬菜在人類的生活中占有很重要的地位,種植面積和產(chǎn)量逐年提高。而農(nóng)產(chǎn)品的采摘是一項(xiàng)勞動(dòng)強(qiáng)度大、消耗時(shí)間長,具有一定危險(xiǎn)的作業(yè),所以,對(duì)農(nóng)業(yè)采摘機(jī)器人的研究就顯得非常迫切。由于農(nóng)業(yè)機(jī)器人作業(yè)對(duì)象是有機(jī)生物體,且不同地域有不同的自然氣候、 地形、 地貌以及不同的種植制度,所以其應(yīng)用的難度非常之大。尤其針對(duì)如此錯(cuò)綜復(fù)雜的外部環(huán)境和形狀各異的作業(yè)對(duì)象,即使是在同一種農(nóng)業(yè)作業(yè),其作業(yè)對(duì)象也是千差萬別,這樣一來,采用帶視覺技術(shù)的農(nóng)業(yè)采摘機(jī)器人將不失為一個(gè)非常理想的選擇。參考文獻(xiàn)1 宋健,張鐵中,徐麗明,等.果蔬采摘機(jī)器人研究進(jìn)展與展望J.農(nóng)業(yè)機(jī)械學(xué)報(bào),2

18、006,37(5):158162.2 Jean J H, Lai J H, Design and implementation of a visual servo system for aerial surveillance applications based on shape featuresA. IEEE International Conference on MechatronicsC. Taip