基于深度學習的智能果實采摘系統(tǒng)設(shè)計與實現(xiàn)

基于深度學習的智能果實采摘系統(tǒng)設(shè)計與實現(xiàn)

0降低農(nóng)業(yè)生產(chǎn)自動化、提高工作效率實現(xiàn)臂機械動作的控制以及果實空間坐標的定位是提取和實現(xiàn)的重要因素。隨著現(xiàn)代科技的發(fā)展，智能識別算法、機械領(lǐng)域新技術(shù)也越來越多地應用到果蔬采摘設(shè)備設(shè)計中，這些新技術(shù)在提高農(nóng)業(yè)生產(chǎn)自動化和智能化的同時，也降低了生產(chǎn)成本、提高了工作效率。目前，國內(nèi)外學者對采摘設(shè)備進行了大量的研究和實驗本文使用YOLOv4目標檢測識別算法對果實進行像素定位和識別，訓練多種果實的識別模型，并結(jié)合Android開發(fā)技術(shù)、服務(wù)器和網(wǎng)絡(luò)通信技術(shù)，對多種果實進行智能識別及采摘，為降低機械臂逆運動學求解時的分析難度和計算量，通過降維方式進行機械臂逆運動學解算。1系統(tǒng)的全球設(shè)計1.1機械臂逆運動學解算和運動軌跡規(guī)劃圖1為果實采摘系統(tǒng)的連接及功能框圖，系統(tǒng)中樹莓派和手機端APP使用Socket通信協(xié)議與服務(wù)器進行連接，實現(xiàn)數(shù)據(jù)的互傳。樹莓派對實時圖像拍攝和上傳，完成機械臂逆運動學解算和運動軌跡規(guī)劃，通過GPIO管腳與六自由度機械臂連接，輸出控制信號，控制機械臂運動到指定位置，實現(xiàn)果實的采摘。服務(wù)器使用YOLOv4識別算法對樹莓派上傳的圖像數(shù)據(jù)進行果實目標檢測和像素定位，并對果實空間坐標進行解算，再將解算結(jié)果發(fā)送到樹莓派。手機端APP可以實現(xiàn)與采摘設(shè)備的遠程連接，控制采摘設(shè)備的啟動和停止，可實時查看采摘設(shè)備的現(xiàn)場采摘視頻，還可以通過手機端選擇需要采摘的果實類型。1.2機械臂逆運動學制作系統(tǒng)的設(shè)計流程如圖2所示。打開手機APP以及采摘設(shè)備開機上電，APP和采摘設(shè)備自動連接至服務(wù)器，服務(wù)器端將采摘設(shè)備的IP信息發(fā)送到手機APP，在APP選中IP地址即可進行采摘設(shè)備的連接。設(shè)備連接成功后，可通過手機APP對采摘設(shè)備進行遠程控制，此時樹莓派將采摘現(xiàn)場的實時圖像上傳至服務(wù)器進行圖像識別和空間定位，而后服務(wù)器將空間定位坐標返回樹莓派。樹莓派根據(jù)空間坐標進行機械臂逆運動學解算和機械臂運動軌跡規(guī)劃，最終由樹莓派輸出控制信號，控制機械臂進行果實采摘。采摘過程中，可以點擊APP中的查看按鈕查看采摘現(xiàn)場的實時視頻。2采購系統(tǒng)臂設(shè)計2.1機械臂的導致果實采摘對果實進行采摘的是一個六自由度的機械臂，圖3a為其實物圖。該機械臂由6個6125型數(shù)字舵機構(gòu)成旋轉(zhuǎn)關(guān)節(jié)，單個舵機的扭矩為25kg·cm,6個舵機與其它金屬零件組成機械臂。機械臂爪子部分可根據(jù)采摘不同的果實進行更換，這樣可以使采摘機器人更好地完成果實采摘任務(wù)。當采摘的果實直徑較小時，選用如圖3b所示的開口較小的爪子進行采摘，該爪子最大的開口為55mm。果實直徑較大時，選用如圖3c所示的開口較大的爪子進行采摘，該爪子最大的開口為125mm。該機械臂參數(shù)見表1。2.2機械臂逆運動學應用機械臂的運動學分為正運動學和逆運動學兩種。正運動學是設(shè)定好機械臂各個關(guān)節(jié)角，來實現(xiàn)機械臂的運動控制;逆運動學是已知一個在機械臂運動范圍之內(nèi)的空間坐標，根據(jù)已知的空間坐標來求解得到機械臂各個關(guān)節(jié)所需旋轉(zhuǎn)的角度，最終控制機械臂運動到指定位置。在機械臂的實際運用中，更多的是實現(xiàn)機械臂的逆運動學求解。本文設(shè)計的采摘系統(tǒng)，通過圖像識別算法來指定果實的空間坐標，進行機械臂逆運動學求解使機械臂運動到果實位置，最終實現(xiàn)采摘。機械臂的逆運動學求解，通常是在三維坐標系中實現(xiàn)。首先需要通過右手定則確定機械臂各個關(guān)節(jié)的正旋轉(zhuǎn)方向。之后得到各個關(guān)節(jié)的旋轉(zhuǎn)矩陣和平移矩陣，將旋轉(zhuǎn)矩陣和平移矩陣相乘得到一個新的矩陣，該矩陣描述了機械臂末端在空間的坐標及姿態(tài)。通過該矩陣就能得到機械臂末端和各個關(guān)節(jié)間旋轉(zhuǎn)角的關(guān)系，通過這個關(guān)系可實現(xiàn)機械臂的逆運動學求解。但是這需要進行大量的矩陣運算和三角函數(shù)運算，并且可能求得多個解，使得機械臂的逆運動學求解變得很復雜。為了降低運算量，該采摘系統(tǒng)中結(jié)合使用的機械臂，對機械臂各個關(guān)節(jié)進行拆分，最終通過二維坐標系實現(xiàn)機械臂逆運動學求解，大大簡化了計算。2.2.1dh模型和坐標系的建立在分析機械手臂的運動過程時，需要先建立機械手臂中各個關(guān)節(jié)的坐標，圖4a為根據(jù)DH模型建立的機械臂各個關(guān)節(jié)的坐標圖2.2.2機械臂逆運動學建模為了提高機械臂控制的實時性，通過降低維度的方法來進行分析得到逆運動學求解。求解過程中，先將底部云臺的旋轉(zhuǎn)關(guān)節(jié)和控制末端機械爪轉(zhuǎn)動及開合的關(guān)節(jié)去掉，這樣就可以在XOY二維平面進行機械臂姿態(tài)的分析。如圖5所示，在XOY二維平面中根據(jù)機械臂正運動學方程的DH表示法，建立圖5中坐標系原點與機械臂末端的總變換矩陣為式中，式(1)表示機械臂末端位姿與各關(guān)節(jié)變量之間的關(guān)系，該式為正運動學方程。其中，連桿變換通式其中cθ式(2)表示機械臂末端連桿坐標系相對于機械臂的描述由式(2)可以得到機械臂末端的坐標為根據(jù)幾何方法有由式(3)～(5)組成方程組即可求解得到圖5所示的機械臂3個旋轉(zhuǎn)關(guān)節(jié)的姿態(tài)，求解過程如下:將式(5)分別代入式(3)、(4)得為了方便計算，令化簡式(6)、(7)有通過求解一元二次方程得由此求得θ由于該機械臂中控制爪子開合的關(guān)節(jié)和靠近爪子處的圓柱關(guān)節(jié)在轉(zhuǎn)動過程中不會對機械臂末端的位置產(chǎn)生影響，本文求解機械臂逆運動學時，不對這2個關(guān)節(jié)進行求解。所以在求解出θ圖6是完成了圖4a機械臂坐標建立之后的ZOX平面圖。通過該圖進行求解得到機械臂底部舵機云臺處旋轉(zhuǎn)關(guān)節(jié)的姿態(tài)。根據(jù)給定坐標中的Z和X坐標即可得到θ完成了θ、θ2.3水果識別和空間坐標定位2.3.1模型訓練過程實際采摘過程中，樹莓派攝像頭拍攝的視頻圖像中除了果實之外還有樹葉、樹枝和樹干等其它非果實物體。如圖7a所示，系統(tǒng)為了更好地在復雜環(huán)境中進行果實檢測、識別以及像素定位，使用OpenCv計算機視覺和機器學習軟件庫來進行視頻的處理，處理之后通過基于深度學習框架Darknet的YOLO進行模型訓練時，對各種果實在無遮擋光照充足的條件下實景拍攝圖像500幅，對每種果實的500幅圖像進行4種處理方法，包括90°、180°和270°旋轉(zhuǎn)以及進行X軸鏡像處理，最終得到每種果實的訓練數(shù)據(jù)集圖像為2500幅，其中2000幅圖像用來進行模型訓練，500幅圖像用來模型驗證，訓練集和驗證集比例為4∶1。確定好訓練集之后使用圖像標注工具對圖像中果實進行標注，并生成PASCALVOC格式的xml標注文件，生成的標記文件中使用了5個參數(shù)(class＿fruit,x,y,w,h)對圖像中的果實進行描述，class＿fruit表示果實的種類，x和y表示果實在圖像的中心坐標，w和h表示目標框的長和寬。之后，對YOLOv4中的配置文件進行修改。該項目中對配置文件的修改如下:batch(每一批訓練的樣本數(shù)量)為16,subdivisions(batch分割數(shù)量)為16,max＿batches(迭代次數(shù))為6000,steps(學習率)為4800、5400(0.8倍batch為4800,0.9倍batch為5400)。進行模型訓練的硬件環(huán)境為Intel(R)Core(TM)i77700HQCPU2.80GHz(8CPUs)處理器，16GB運行內(nèi)存，顯存為8GB的GTX1080Ti顯卡，軟件環(huán)境為Ubuntu19.10操作系統(tǒng)。該系統(tǒng)訓練了蘋果、油桃、黃杏和李子4種果實的識別模型。訓練好模型之后即可對樹莓派上傳的實時圖像進行果實目標檢測，檢測之后輸出圖像中果實的置信度、種類以及像素點尺寸和中心像素位置，得到的像素尺寸和像素位置用于后期果實的空間坐標定位。圖7b是識別后的圖像，從圖像中可以看到果實被藍綠色邊框框出，果實標簽為“l(fā)izi”，置信度為100%。2.3.2圖像距離轉(zhuǎn)換得到果實空間坐標是實現(xiàn)果實采摘非常關(guān)鍵的步驟，該系統(tǒng)通過得到果實相對于攝像頭的坐標來確定果實坐標，如圖8所示。圖中分別建立了果實和攝像頭的XOY平面圖和XOZ平面圖，P表示攝像頭拍攝到的圖像，A表示果實，a表示果實A在圖像中的尺寸，a在坐標定位中首先要得到圖像中像素點與實際物體尺寸的轉(zhuǎn)換關(guān)系，使用攝像頭拍攝1元硬幣的方式來得到轉(zhuǎn)換比率，1元硬幣的直徑為3cm，在拍攝距離為1m時，其在圖像中占163像素，得到轉(zhuǎn)換比率k=163/3=54.3像素/cm。圖中P根據(jù)單目攝像頭測距原理，計算果實空間坐標中的x坐標，計算公式為式中D———果實與攝像頭的相對距離P———果實在圖像中占的像素數(shù)樹莓派攝像頭焦距F為543像素。如圖8所示W(wǎng)=a確定果實A的空間坐標為(X2.4臂關(guān)節(jié)的負荷規(guī)劃和采樣控制2.4.1機械臂運動軌跡規(guī)劃系統(tǒng)首先對果實空間坐標進行定位，然后進行逆運動學求解，之后再對機械臂的運動軌跡進行規(guī)劃。系統(tǒng)中使用了五項式插值法對機械臂運動軌跡進行規(guī)劃，該方法在得到機械臂各關(guān)節(jié)的起始角和停止角的前提下，可實現(xiàn)對角度、角速度和角加速度的約束。該方法的數(shù)學推導過程如下:在五項式插值法中設(shè)定了6個待定系數(shù)a在已知起始角和終止角的前提下，使用θ將式(15)代入式(14)求解得到各個系數(shù)為2.4.2速度和加速度的約束在完成五項插值法數(shù)學推導之后，通過Python編程語言編寫五項式插值法程序。表2為電機運動角、角速度和角加速度的約束關(guān)系。運行程序之后得到圖9所示的角度、角速度和角加速度隨約束時間的變化曲線。通過曲線圖可以看出電機旋轉(zhuǎn)的角度和角加速度均隨時間變化，這也意味著電機在旋轉(zhuǎn)過程中處于平穩(wěn)的轉(zhuǎn)動狀態(tài)，這樣可以保證機械臂的關(guān)節(jié)電機在工作過程中損耗較小，且使得機械臂整體運動情況更加協(xié)調(diào)與穩(wěn)定。2.4.3機械臂運動軌跡規(guī)劃圖10為采摘系統(tǒng)的單次采摘流程圖，系統(tǒng)開始工作后，樹莓派控制機械臂進入初始狀態(tài)，同時樹莓派拍攝圖像并上傳，在服務(wù)器中使用訓練好的識別模型對果實進行識別，并根據(jù)空間坐標定位算法計算果實的空間坐標并返回到樹莓派中。之后樹莓派進行逆運動學解算，得到機械臂從初始狀態(tài)運動到果實位置各個關(guān)節(jié)旋轉(zhuǎn)的角度，并且根據(jù)旋轉(zhuǎn)角使用五項式插值法進行運動軌跡規(guī)劃。規(guī)劃后樹莓派輸出對應的控制信號，控制機械臂運動以實現(xiàn)果實的采摘。采摘完成之后進行果實投放，最終機械臂回到初始狀態(tài)，等待下一次采摘指令。在該系統(tǒng)中為了防止機械臂運動過快導致系統(tǒng)不穩(wěn)定以及容易碰撞到果實，設(shè)定五項式插值法中進行運動軌跡規(guī)劃的約束時間為5s。根據(jù)采摘流程圖可以得到，進行一次果實采摘需要通過五項式插值法進行3次運動軌跡規(guī)劃。設(shè)3次五項式插值法消耗的時間為T3機械采摘測試結(jié)果圖11a為系統(tǒng)自動采摘李子的現(xiàn)場測試。測試中通過APP界面中的“設(shè)備管理”對采摘設(shè)備進行連接，圖11b所示是在手機APP中選擇采摘的果實為李子，點擊確定按鈕后采摘設(shè)備開始工作。與樹莓派連接的攝像頭進行視頻拍攝并上傳到服務(wù)器中，服務(wù)器調(diào)用訓練好的李子識別模型對上傳的視頻進行識別并對果實進行空間位置定位，然后將識別結(jié)果返回樹莓派，由樹莓派控制機械臂進行采摘。當用戶發(fā)送查看視頻請求指令到服務(wù)器時，服務(wù)器將樹莓派上傳的原始視頻提供到手機端進行顯示。圖11c為手機端APP查看到當前設(shè)備的IP、已采摘的果實數(shù)量、采摘的果實種類以及實時畫面。表3為機械臂姿態(tài)解算測試結(jié)果，測試過程中通過樹莓派將實時圖像上傳到服務(wù)器中，服務(wù)器中調(diào)用YOLOv4識別算法訓練得到的識別模型對上傳的圖像進行果實目標檢測以及像素定位，根據(jù)像素定位計算得出空間坐標，并將果實的空間坐標返回到樹莓派中，樹莓派根據(jù)接收到的空間坐標對機械臂進行逆運動學解算，對不同空間坐標實現(xiàn)機械臂逆運動學解算得到θ、θ表4為使用該果實采摘設(shè)備采摘不同類別果實的測試結(jié)果。此次采摘測試在光照充足的條件下，對無遮擋且果實生長稀疏的情況下進行采摘測試。測試過程中根據(jù)不同果實尺寸來選擇爪子型號，對每種果實進行采摘測試的次數(shù)均為60次，在此基礎(chǔ)上得到采摘過程中機械臂的最大和最小電流、完成不同種類果實的采摘總時間T表5為采摘系統(tǒng)的單次采摘時間，表中T表6為對不同種類果實訓練后的模型進行測試的結(jié)果，每種果實的訓練集圖像均為2000幅，測試集圖像為500幅，在Ubuntu19.10操作系統(tǒng)中使用GPU進行模型訓練，用訓練后的模型進行測試得到的各類平均精確率的平均值(mAP)、準確率、召回率和交并比(IOU)如表6所示。通過實際采摘測試，該采摘系統(tǒng)可以實現(xiàn)對蘋果、油桃、黃杏、李子4種果實的自動采摘，系統(tǒng)工作穩(wěn)定，但是目前系統(tǒng)設(shè)計與研究處于實驗階段，還有一些不足之處:(1)果實識別模型采用的數(shù)據(jù)集均是在光照充足的條件下拍攝的無遮擋果實圖像，所以采摘系統(tǒng)目前只能在光照充足的條件下對無遮擋的果實進行采摘。如果需要設(shè)計更好的采摘系統(tǒng)，則需要更多情況下的果實實景圖像來進行模型訓練。(2)目前采摘系統(tǒng)中只是通過更改爪子型號來實現(xiàn)對直徑較大和直徑較小的果實進行采摘，由于爪子是金屬類物體，采摘過程中會導致果實表皮受損，需要更換采摘和夾取方式來保護果實。(3)目前該系統(tǒng)是通過人工方式移動或安放采摘設(shè)備到某一個位置來進行采摘測試，而實際的采摘系統(tǒng)因根據(jù)不同種類水果的果樹高度來設(shè)計采摘機械臂以及整個采摘系統(tǒng)。4機械裝置的設(shè)計(1)基于樹莓派、六自由度機械臂、手機APP、服務(wù)器設(shè)計了智能果實采摘系統(tǒng)。(2)相比于傳統(tǒng)的水