基于深度學(xué)習(xí)的智能果實采摘系統(tǒng)設(shè)計與實現(xiàn)

基于深度學(xué)習(xí)的智能果實采摘系統(tǒng)設(shè)計與實現(xiàn)

0降低農(nóng)業(yè)生產(chǎn)自動化、提高工作效率實現(xiàn)臂機(jī)械動作的控制以及果實空間坐標(biāo)的定位是提取和實現(xiàn)的重要因素。隨著現(xiàn)代科技的發(fā)展，智能識別算法、機(jī)械領(lǐng)域新技術(shù)也越來越多地應(yīng)用到果蔬采摘設(shè)備設(shè)計中，這些新技術(shù)在提高農(nóng)業(yè)生產(chǎn)自動化和智能化的同時，也降低了生產(chǎn)成本、提高了工作效率。目前，國內(nèi)外學(xué)者對采摘設(shè)備進(jìn)行了大量的研究和實驗本文使用YOLOv4目標(biāo)檢測識別算法對果實進(jìn)行像素定位和識別，訓(xùn)練多種果實的識別模型，并結(jié)合Android開發(fā)技術(shù)、服務(wù)器和網(wǎng)絡(luò)通信技術(shù)，對多種果實進(jìn)行智能識別及采摘，為降低機(jī)械臂逆運(yùn)動學(xué)求解時的分析難度和計算量，通過降維方式進(jìn)行機(jī)械臂逆運(yùn)動學(xué)解算。1系統(tǒng)的全球設(shè)計1.1機(jī)械臂逆運(yùn)動學(xué)解算和運(yùn)動軌跡規(guī)劃圖1為果實采摘系統(tǒng)的連接及功能框圖，系統(tǒng)中樹莓派和手機(jī)端APP使用Socket通信協(xié)議與服務(wù)器進(jìn)行連接，實現(xiàn)數(shù)據(jù)的互傳。樹莓派對實時圖像拍攝和上傳，完成機(jī)械臂逆運(yùn)動學(xué)解算和運(yùn)動軌跡規(guī)劃，通過GPIO管腳與六自由度機(jī)械臂連接，輸出控制信號，控制機(jī)械臂運(yùn)動到指定位置，實現(xiàn)果實的采摘。服務(wù)器使用YOLOv4識別算法對樹莓派上傳的圖像數(shù)據(jù)進(jìn)行果實目標(biāo)檢測和像素定位，并對果實空間坐標(biāo)進(jìn)行解算，再將解算結(jié)果發(fā)送到樹莓派。手機(jī)端APP可以實現(xiàn)與采摘設(shè)備的遠(yuǎn)程連接，控制采摘設(shè)備的啟動和停止，可實時查看采摘設(shè)備的現(xiàn)場采摘視頻，還可以通過手機(jī)端選擇需要采摘的果實類型。1.2機(jī)械臂逆運(yùn)動學(xué)制作系統(tǒng)的設(shè)計流程如圖2所示。打開手機(jī)APP以及采摘設(shè)備開機(jī)上電，APP和采摘設(shè)備自動連接至服務(wù)器，服務(wù)器端將采摘設(shè)備的IP信息發(fā)送到手機(jī)APP，在APP選中IP地址即可進(jìn)行采摘設(shè)備的連接。設(shè)備連接成功后，可通過手機(jī)APP對采摘設(shè)備進(jìn)行遠(yuǎn)程控制，此時樹莓派將采摘現(xiàn)場的實時圖像上傳至服務(wù)器進(jìn)行圖像識別和空間定位，而后服務(wù)器將空間定位坐標(biāo)返回樹莓派。樹莓派根據(jù)空間坐標(biāo)進(jìn)行機(jī)械臂逆運(yùn)動學(xué)解算和機(jī)械臂運(yùn)動軌跡規(guī)劃，最終由樹莓派輸出控制信號，控制機(jī)械臂進(jìn)行果實采摘。采摘過程中，可以點擊APP中的查看按鈕查看采摘現(xiàn)場的實時視頻。2采購系統(tǒng)臂設(shè)計2.1機(jī)械臂的導(dǎo)致果實采摘對果實進(jìn)行采摘的是一個六自由度的機(jī)械臂，圖3a為其實物圖。該機(jī)械臂由6個6125型數(shù)字舵機(jī)構(gòu)成旋轉(zhuǎn)關(guān)節(jié)，單個舵機(jī)的扭矩為25kg·cm,6個舵機(jī)與其它金屬零件組成機(jī)械臂。機(jī)械臂爪子部分可根據(jù)采摘不同的果實進(jìn)行更換，這樣可以使采摘機(jī)器人更好地完成果實采摘任務(wù)。當(dāng)采摘的果實直徑較小時，選用如圖3b所示的開口較小的爪子進(jìn)行采摘，該爪子最大的開口為55mm。果實直徑較大時，選用如圖3c所示的開口較大的爪子進(jìn)行采摘，該爪子最大的開口為125mm。該機(jī)械臂參數(shù)見表1。2.2機(jī)械臂逆運(yùn)動學(xué)應(yīng)用機(jī)械臂的運(yùn)動學(xué)分為正運(yùn)動學(xué)和逆運(yùn)動學(xué)兩種。正運(yùn)動學(xué)是設(shè)定好機(jī)械臂各個關(guān)節(jié)角，來實現(xiàn)機(jī)械臂的運(yùn)動控制;逆運(yùn)動學(xué)是已知一個在機(jī)械臂運(yùn)動范圍之內(nèi)的空間坐標(biāo)，根據(jù)已知的空間坐標(biāo)來求解得到機(jī)械臂各個關(guān)節(jié)所需旋轉(zhuǎn)的角度，最終控制機(jī)械臂運(yùn)動到指定位置。在機(jī)械臂的實際運(yùn)用中，更多的是實現(xiàn)機(jī)械臂的逆運(yùn)動學(xué)求解。本文設(shè)計的采摘系統(tǒng)，通過圖像識別算法來指定果實的空間坐標(biāo)，進(jìn)行機(jī)械臂逆運(yùn)動學(xué)求解使機(jī)械臂運(yùn)動到果實位置，最終實現(xiàn)采摘。機(jī)械臂的逆運(yùn)動學(xué)求解，通常是在三維坐標(biāo)系中實現(xiàn)。首先需要通過右手定則確定機(jī)械臂各個關(guān)節(jié)的正旋轉(zhuǎn)方向。之后得到各個關(guān)節(jié)的旋轉(zhuǎn)矩陣和平移矩陣，將旋轉(zhuǎn)矩陣和平移矩陣相乘得到一個新的矩陣，該矩陣描述了機(jī)械臂末端在空間的坐標(biāo)及姿態(tài)。通過該矩陣就能得到機(jī)械臂末端和各個關(guān)節(jié)間旋轉(zhuǎn)角的關(guān)系，通過這個關(guān)系可實現(xiàn)機(jī)械臂的逆運(yùn)動學(xué)求解。但是這需要進(jìn)行大量的矩陣運(yùn)算和三角函數(shù)運(yùn)算，并且可能求得多個解，使得機(jī)械臂的逆運(yùn)動學(xué)求解變得很復(fù)雜。為了降低運(yùn)算量，該采摘系統(tǒng)中結(jié)合使用的機(jī)械臂，對機(jī)械臂各個關(guān)節(jié)進(jìn)行拆分，最終通過二維坐標(biāo)系實現(xiàn)機(jī)械臂逆運(yùn)動學(xué)求解，大大簡化了計算。2.2.1dh模型和坐標(biāo)系的建立在分析機(jī)械手臂的運(yùn)動過程時，需要先建立機(jī)械手臂中各個關(guān)節(jié)的坐標(biāo)，圖4a為根據(jù)DH模型建立的機(jī)械臂各個關(guān)節(jié)的坐標(biāo)圖2.2.2機(jī)械臂逆運(yùn)動學(xué)建模為了提高機(jī)械臂控制的實時性，通過降低維度的方法來進(jìn)行分析得到逆運(yùn)動學(xué)求解。求解過程中，先將底部云臺的旋轉(zhuǎn)關(guān)節(jié)和控制末端機(jī)械爪轉(zhuǎn)動及開合的關(guān)節(jié)去掉，這樣就可以在XOY二維平面進(jìn)行機(jī)械臂姿態(tài)的分析。如圖5所示，在XOY二維平面中根據(jù)機(jī)械臂正運(yùn)動學(xué)方程的DH表示法，建立圖5中坐標(biāo)系原點與機(jī)械臂末端的總變換矩陣為式中，式(1)表示機(jī)械臂末端位姿與各關(guān)節(jié)變量之間的關(guān)系，該式為正運(yùn)動學(xué)方程。其中，連桿變換通式其中cθ式(2)表示機(jī)械臂末端連桿坐標(biāo)系相對于機(jī)械臂的描述由式(2)可以得到機(jī)械臂末端的坐標(biāo)為根據(jù)幾何方法有由式(3)～(5)組成方程組即可求解得到圖5所示的機(jī)械臂3個旋轉(zhuǎn)關(guān)節(jié)的姿態(tài)，求解過程如下:將式(5)分別代入式(3)、(4)得為了方便計算，令化簡式(6)、(7)有通過求解一元二次方程得由此求得θ由于該機(jī)械臂中控制爪子開合的關(guān)節(jié)和靠近爪子處的圓柱關(guān)節(jié)在轉(zhuǎn)動過程中不會對機(jī)械臂末端的位置產(chǎn)生影響，本文求解機(jī)械臂逆運(yùn)動學(xué)時，不對這2個關(guān)節(jié)進(jìn)行求解。所以在求解出θ圖6是完成了圖4a機(jī)械臂坐標(biāo)建立之后的ZOX平面圖。通過該圖進(jìn)行求解得到機(jī)械臂底部舵機(jī)云臺處旋轉(zhuǎn)關(guān)節(jié)的姿態(tài)。根據(jù)給定坐標(biāo)中的Z和X坐標(biāo)即可得到θ完成了θ、θ2.3水果識別和空間坐標(biāo)定位2.3.1模型訓(xùn)練過程實際采摘過程中，樹莓派攝像頭拍攝的視頻圖像中除了果實之外還有樹葉、樹枝和樹干等其它非果實物體。如圖7a所示，系統(tǒng)為了更好地在復(fù)雜環(huán)境中進(jìn)行果實檢測、識別以及像素定位，使用OpenCv計算機(jī)視覺和機(jī)器學(xué)習(xí)軟件庫來進(jìn)行視頻的處理，處理之后通過基于深度學(xué)習(xí)框架Darknet的YOLO進(jìn)行模型訓(xùn)練時，對各種果實在無遮擋光照充足的條件下實景拍攝圖像500幅，對每種果實的500幅圖像進(jìn)行4種處理方法，包括90°、180°和270°旋轉(zhuǎn)以及進(jìn)行X軸鏡像處理，最終得到每種果實的訓(xùn)練數(shù)據(jù)集圖像為2500幅，其中2000幅圖像用來進(jìn)行模型訓(xùn)練，500幅圖像用來模型驗證，訓(xùn)練集和驗證集比例為4∶1。確定好訓(xùn)練集之后使用圖像標(biāo)注工具對圖像中果實進(jìn)行標(biāo)注，并生成PASCALVOC格式的xml標(biāo)注文件，生成的標(biāo)記文件中使用了5個參數(shù)(class＿fruit,x,y,w,h)對圖像中的果實進(jìn)行描述，class＿fruit表示果實的種類，x和y表示果實在圖像的中心坐標(biāo)，w和h表示目標(biāo)框的長和寬。之后，對YOLOv4中的配置文件進(jìn)行修改。該項目中對配置文件的修改如下:batch(每一批訓(xùn)練的樣本數(shù)量)為16,subdivisions(batch分割數(shù)量)為16,max＿batches(迭代次數(shù))為6000,steps(學(xué)習(xí)率)為4800、5400(0.8倍batch為4800,0.9倍batch為5400)。進(jìn)行模型訓(xùn)練的硬件環(huán)境為Intel(R)Core(TM)i77700HQCPU2.80GHz(8CPUs)處理器，16GB運(yùn)行內(nèi)存，顯存為8GB的GTX1080Ti顯卡，軟件環(huán)境為Ubuntu19.10操作系統(tǒng)。該系統(tǒng)訓(xùn)練了蘋果、油桃、黃杏和李子4種果實的識別模型。訓(xùn)練好模型之后即可對樹莓派上傳的實時圖像進(jìn)行果實目標(biāo)檢測，檢測之后輸出圖像中果實的置信度、種類以及像素點尺寸和中心像素位置，得到的像素尺寸和像素位置用于后期果實的空間坐標(biāo)定位。圖7b是識別后的圖像，從圖像中可以看到果實被藍(lán)綠色邊框框出，果實標(biāo)簽為“l(fā)izi”，置信度為100%。2.3.2圖像距離轉(zhuǎn)換得到果實空間坐標(biāo)是實現(xiàn)果實采摘非常關(guān)鍵的步驟，該系統(tǒng)通過得到果實相對于攝像頭的坐標(biāo)來確定果實坐標(biāo)，如圖8所示。圖中分別建立了果實和攝像頭的XOY平面圖和XOZ平面圖，P表示攝像頭拍攝到的圖像，A表示果實，a表示果實A在圖像中的尺寸，a在坐標(biāo)定位中首先要得到圖像中像素點與實際物體尺寸的轉(zhuǎn)換關(guān)系，使用攝像頭拍攝1元硬幣的方式來得到轉(zhuǎn)換比率，1元硬幣的直徑為3cm，在拍攝距離為1m時，其在圖像中占163像素，得到轉(zhuǎn)換比率k=163/3=54.3像素/cm。圖中P根據(jù)單目攝像頭測距原理，計算果實空間坐標(biāo)中的x坐標(biāo)，計算公式為式中D———果實與攝像頭的相對距離P———果實在圖像中占的像素數(shù)樹莓派攝像頭焦距F為543像素。如圖8所示W(wǎng)=a確定果實A的空間坐標(biāo)為(X2.4臂關(guān)節(jié)的負(fù)荷規(guī)劃和采樣控制2.4.1機(jī)械臂運(yùn)動軌跡規(guī)劃系統(tǒng)首先對果實空間坐標(biāo)進(jìn)行定位，然后進(jìn)行逆運(yùn)動學(xué)求解，之后再對機(jī)械臂的運(yùn)動軌跡進(jìn)行規(guī)劃。系統(tǒng)中使用了五項式插值法對機(jī)械臂運(yùn)動軌跡進(jìn)行規(guī)劃，該方法在得到機(jī)械臂各關(guān)節(jié)的起始角和停止角的前提下，可實現(xiàn)對角度、角速度和角加速度的約束。該方法的數(shù)學(xué)推導(dǎo)過程如下:在五項式插值法中設(shè)定了6個待定系數(shù)a在已知起始角和終止角的前提下，使用θ將式(15)代入式(14)求解得到各個系數(shù)為2.4.2速度和加速度的約束在完成五項插值法數(shù)學(xué)推導(dǎo)之后，通過Python編程語言編寫五項式插值法程序。表2為電機(jī)運(yùn)動角、角速度和角加速度的約束關(guān)系。運(yùn)行程序之后得到圖9所示的角度、角速度和角加速度隨約束時間的變化曲線。通過曲線圖可以看出電機(jī)旋轉(zhuǎn)的角度和角加速度均隨時間變化，這也意味著電機(jī)在旋轉(zhuǎn)過程中處于平穩(wěn)的轉(zhuǎn)動狀態(tài)，這樣可以保證機(jī)械臂的關(guān)節(jié)電機(jī)在工作過程中損耗較小，且使得機(jī)械臂整體運(yùn)動情況更加協(xié)調(diào)與穩(wěn)定。2.4.3機(jī)械臂運(yùn)動軌跡規(guī)劃圖10為采摘系統(tǒng)的單次采摘流程圖，系統(tǒng)開始工作后，樹莓派控制機(jī)械臂進(jìn)入初始狀態(tài)，同時樹莓派拍攝圖像并上傳，在服務(wù)器中使用訓(xùn)練好的識別模型對果實進(jìn)行識別，并根據(jù)空間坐標(biāo)定位算法計算果實的空間坐標(biāo)并返回到樹莓派中。之后樹莓派進(jìn)行逆運(yùn)動學(xué)解算，得到機(jī)械臂從初始狀態(tài)運(yùn)動到果實位置各個關(guān)節(jié)旋轉(zhuǎn)的角度，并且根據(jù)旋轉(zhuǎn)角使用五項式插值法進(jìn)行運(yùn)動軌跡規(guī)劃。規(guī)劃后樹莓派輸出對應(yīng)的控制信號，控制機(jī)械臂運(yùn)動以實現(xiàn)果實的采摘。采摘完成之后進(jìn)行果實投放，最終機(jī)械臂回到初始狀態(tài)，等待下一次采摘指令。在該系統(tǒng)中為了防止機(jī)械臂運(yùn)動過快導(dǎo)致系統(tǒng)不穩(wěn)定以及容易碰撞到果實，設(shè)定五項式插值法中進(jìn)行運(yùn)動軌跡規(guī)劃的約束時間為5s。根據(jù)采摘流程圖可以得到，進(jìn)行一次果實采摘需要通過五項式插值法進(jìn)行3次運(yùn)動軌跡規(guī)劃。設(shè)3次五項式插值法消耗的時間為T3機(jī)械采摘測試結(jié)果圖11a為系統(tǒng)自動采摘李子的現(xiàn)場測試。測試中通過APP界面中的“設(shè)備管理”對采摘設(shè)備進(jìn)行連接，圖11b所示是在手機(jī)APP中選擇采摘的果實為李子，點擊確定按鈕后采摘設(shè)備開始工作。與樹莓派連接的攝像頭進(jìn)行視頻拍攝并上傳到服務(wù)器中，服務(wù)器調(diào)用訓(xùn)練好的李子識別模型對上傳的視頻進(jìn)行識別并對果實進(jìn)行空間位置定位，然后將識別結(jié)果返回樹莓派，由樹莓派控制機(jī)械臂進(jìn)行采摘。當(dāng)用戶發(fā)送查看視頻請求指令到服務(wù)器時，服務(wù)器將樹莓派上傳的原始視頻提供到手機(jī)端進(jìn)行顯示。圖11c為手機(jī)端APP查看到當(dāng)前設(shè)備的IP、已采摘的果實數(shù)量、采摘的果實種類以及實時畫面。表3為機(jī)械臂姿態(tài)解算測試結(jié)果，測試過程中通過樹莓派將實時圖像上傳到服務(wù)器中，服務(wù)器中調(diào)用YOLOv4識別算法訓(xùn)練得到的識別模型對上傳的圖像進(jìn)行果實目標(biāo)檢測以及像素定位，根據(jù)像素定位計算得出空間坐標(biāo)，并將果實的空間坐標(biāo)返回到樹莓派中，樹莓派根據(jù)接收到的空間坐標(biāo)對機(jī)械臂進(jìn)行逆運(yùn)動學(xué)解算，對不同空間坐標(biāo)實現(xiàn)機(jī)械臂逆運(yùn)動學(xué)解算得到θ、θ表4為使用該果實采摘設(shè)備采摘不同類別果實的測試結(jié)果。此次采摘測試在光照充足的條件下，對無遮擋且果實生長稀疏的情況下進(jìn)行采摘測試。測試過程中根據(jù)不同果實尺寸來選擇爪子型號，對每種果實進(jìn)行采摘測試的次數(shù)均為60次，在此基礎(chǔ)上得到采摘過程中機(jī)械臂的最大和最小電流、完成不同種類果實的采摘總時間T表5為采摘系統(tǒng)的單次采摘時間，表中T表6為對不同種類果實訓(xùn)練后的模型進(jìn)行測試的結(jié)果，每種果實的訓(xùn)練集圖像均為2000幅，測試集圖像為500幅，在Ubuntu19.10操作系統(tǒng)中使用GPU進(jìn)行模型訓(xùn)練，用訓(xùn)練后的模型進(jìn)行測試得到的各類平均精確率的平均值(mAP)、準(zhǔn)確率、召回率和交并比(IOU)如表6所示。通過實際采摘測試，該采摘系統(tǒng)可以實現(xiàn)對蘋果、油桃、黃杏、李子4種果實的自動采摘，系統(tǒng)工作穩(wěn)定，但是目前系統(tǒng)設(shè)計與研究處于實驗階段，還有一些不足之處:(1)果實識別模型采用的數(shù)據(jù)集均是在光照充足的條件下拍攝的無遮擋果實圖像，所以采摘系統(tǒng)目前只能在光照充足的條件下對無遮擋的果實進(jìn)行采摘。如果需要設(shè)計更好的采摘系統(tǒng)，則需要更多情況下的果實實景圖像來進(jìn)行模型訓(xùn)練。(2)目前采摘系統(tǒng)中只是通過更改爪子型號來實現(xiàn)對直徑較大和直徑較小的果實進(jìn)行采摘，由于爪子是金屬類物體，采摘過程中會導(dǎo)致果實表皮受損，需要更換采摘和夾取方式來保護(hù)果實。(3)目前該系統(tǒng)是通過人工方式移動或安放采摘設(shè)備到某一個位置來進(jìn)行采摘測試，而實際的采摘系統(tǒng)因根據(jù)不同種類水果的果樹高度來設(shè)計采摘機(jī)械臂以及整個采摘系統(tǒng)。4機(jī)械裝置的設(shè)計(1)基于樹莓派、六自由度機(jī)械臂、手機(jī)APP、服務(wù)器設(shè)計了智能果實采摘系統(tǒng)。(2)相比于傳統(tǒng)的水