基于機器視覺的工件智能抓取關(guān)鍵技術(shù)研究應用

基于機器視覺工業(yè)機器人工件搬運技術(shù)研究1.1研究背景自19世紀60年代問世以來，工業(yè)機器人不斷發(fā)展和完善，現(xiàn)已得到廣泛應用，機器人產(chǎn)業(yè)也逐漸成熟。當前，全世界已擁有100多萬臺工業(yè)機器人廣泛應用在焊接、搬運、裝配、噴涂、修邊、拾料、包裝、堆垛和上下料等單調(diào)或復雜作業(yè)中，為公司節(jié)約了大量勞動成本，大大提高了勞動生產(chǎn)率。工業(yè)機器人是面向工業(yè)領(lǐng)域多關(guān)節(jié)機械手或多自由度機器人，它在穩(wěn)定產(chǎn)品品質(zhì)、提高生產(chǎn)效率和改進勞動條件等方面有著十分重要作用，它應用可以使公司大大縮短新產(chǎn)品換產(chǎn)周期和節(jié)約勞動成本，從而提高了產(chǎn)品市場競爭力。隨著當代工業(yè)革命進一步發(fā)展，工業(yè)生產(chǎn)日益趨向自動化，工業(yè)機器人技術(shù)也正朝著智能、柔性方向發(fā)展。許多發(fā)達國家對于智能工業(yè)機器人研究都較為注重，國內(nèi)也早已將其納入國家高科技發(fā)展規(guī)劃。國家層面注重也必將給工業(yè)機器人技術(shù)帶來新跨越式發(fā)展，機器人發(fā)展也必將對社會經(jīng)濟和生產(chǎn)力發(fā)產(chǎn)生更加深遠影響1.2研究目和意義對于工作在自動化生產(chǎn)線上或柔性制造系統(tǒng)中工業(yè)機器人來說，其完畢最多一類操作是“抓取—放置”動作，例如流水線上工件搬運、裝配以及各工位之間工件轉(zhuǎn)移和上下料。機器人要完畢此類操作是通過復雜計算：一方面，機器人必要懂得怎么抓，另一方面機器人應當懂得怎么放；同步在這個過程還要隨著著機器人運動學分析過程。老式工業(yè)機器人完畢此類操作，必要通過精準逐點示教后，才干一步一步按照固定程序執(zhí)行。在這個過程中，工件相對于機器人初始位姿（位置和姿態(tài)）和終結(jié)位姿是事先規(guī)定，但諸多狀況下，特別是流水線場合，工件位姿經(jīng)常是不固定。這就導致實際目的工件位姿與抱負工件位姿總是有偏差，這種偏差哪怕很小都會導致機器人操作任務失敗。這種由于環(huán)境變化而導致機器人不能較好地完畢任務狀況極大地限制了機器人實際應用。這就規(guī)定工業(yè)機器人具備一定環(huán)境適應能力，即工業(yè)機器人智能化。智能工業(yè)機器人智能特性在于它具備與外部世界、對象、環(huán)境和人互相協(xié)調(diào)工作機能，詳細體當前機器視覺、接近覺、觸覺和力覺等方面。機器視覺是用機器代替人眼來做測量和判斷，其本質(zhì)是使計算機具備認知周邊環(huán)境信息能力。這種能力不但使機器能感知周邊物體形狀、位置、姿態(tài)、運動等等信息，并且能相應地對這些信息進行描述、理解和辨認。將機器視覺與機器人結(jié)合到一起，也就產(chǎn)生了機器人視覺。機器人視覺技術(shù)是用來模仿人類視覺，使機器人通過獲取視覺信息從而對操作環(huán)境進行鑒別，給機器人賦予更強大應對能力，大大增強了機器人柔性。因而基于視覺引導機器人擁有著遼闊發(fā)展空間，具備重要科研和應用價值。1.3國內(nèi)外現(xiàn)狀當前，機器視覺技術(shù)已經(jīng)從最初實驗室階段逐漸走向成熟，并且在工業(yè)生產(chǎn)線上已有實際應用。德國、日本、美國和韓國處在智能工業(yè)機器人領(lǐng)域應用研究前沿。日本從最初模仿到當前獨創(chuàng)，找到了自己技術(shù)創(chuàng)新之路。德國西門子公司也緊跟著時代步伐，將機器視覺滲入到各個領(lǐng)域，應用到汽車發(fā)動機裝配，生產(chǎn)線工件分揀等領(lǐng)域。美國更是機器人技術(shù)創(chuàng)新發(fā)源地，其機器視覺廣泛應用在工業(yè)和軍事上，機械手經(jīng)銷商，涉及Fanuc公司，Motman公司和Staubli公司都推出了“揀選”系統(tǒng)。如圖1.1所示，日本川崎設計工業(yè)機器人重要應用在基于視覺系統(tǒng)大型物品裝卸、樹脂成形機械抓取和汽車車門邊角打磨工程等領(lǐng)域。這種機器人可以結(jié)合詳細實際應用和目的辦法，配備不同選裝件和有關(guān)參數(shù)，可以適應各種應用場合。通過使用機器人內(nèi)部搭載原則機器人語言，它還可以實現(xiàn)高性能動作控制和時序控制。圖1.1基于視覺系統(tǒng)大型物品裝卸圖1.2所示是美國普渡大學研究一種基于視覺控制Bin-picking系統(tǒng)，該系統(tǒng)可以從各種零件中分揀出圓形零件，它是通過簡樸圓弧邊界特性來辨認圓形零件。圖1.3所示是瑞典ABB公司最新推出第二代拾取機器人FlexPickerIRB360，該機器人擁有有效載荷大、操作速度快、簡樸有效等長處，可以在2D視覺協(xié)助下，以高達2次/秒速度撿取傳送帶上物品?？倎碚f，美國、日本、歐洲某些發(fā)達國家在機器人視覺技術(shù)有著豐富經(jīng)驗，已經(jīng)開發(fā)出多款成熟產(chǎn)品，廣泛應用在微裝配、空間和軍事領(lǐng)域。圖1.2Bin-Picking機器人圖1.3ABBFlex-Picker機器人國內(nèi)對工業(yè)機器人研究起步較晚，從90年代初期起，國內(nèi)在工業(yè)機器人領(lǐng)域才獲得一定進展。隨著近幾年科技進步，國內(nèi)在這方面發(fā)展迅速，獲得了不少科研成果，機器人構(gòu)造和控制理論不斷得到創(chuàng)新，生產(chǎn)制造工藝也逐漸成熟，不斷有自主知識產(chǎn)權(quán)機器人產(chǎn)品相繼問世，此外還相繼建立了20各種機器人產(chǎn)業(yè)化基地，實行了100多項機器人應用工程，機器人產(chǎn)業(yè)不斷壯大和發(fā)展。新松機器人自動化股份有限公司研制機器人是擁有自主知識產(chǎn)權(quán)和核心技術(shù)工業(yè)搬運機器人，它可用于鍛造生產(chǎn)和鑄件落砂等工作條件惡劣場合，減少工人勞動強度。北京航空航天大學于1994年成功研制了七自由度機器人操作臂，并且研制出一系列改進型冗余自由度機器人實驗樣機。方躍提出了采用靈活角來度量操作器靈活限度，將機器人工作空間依照靈活限度不同劃分為相應有限靈活工作空間，高同以梯度投影法為基本，采用線性加權(quán)法，研究冗余度機器人多指標融合優(yōu)化問題。冗余自由度機器人另一種研究重點是運動學逆解，如圖1.5所示，為深圳眾為興技術(shù)股份有限公司生產(chǎn)四自由度分揀機器人。該機器人在分類分揀應用中具備視覺導引功能，重點簡介了眾為興SCARA機器人及視覺系統(tǒng)，并在現(xiàn)場用實物生動展示了具備視覺功能眾為興機器人在分類分揀應用。眾為興公司開發(fā)研制SCARA機器人，可應用在搬運、分揀某些較小規(guī)則工件。圖1.5眾為興展出SCARA機器人1.4本課題研究內(nèi)容本文是針對基于視覺引導工業(yè)機器人工件搬運技術(shù)進行研究，簡樸講，就是在一臺6軸工業(yè)機器人基本上引入機器視覺，運用機器人對視覺理解，完畢工業(yè)生產(chǎn)中工件抓取和放置操作。在這個操作過程中，工件辨認與定位和機器人運動學反解是兩個核心環(huán)節(jié)。工件辨認與定位是為機器人提供操作和如何操作信息，而機器人運動學反解精確性直接影響到操作能否完畢和相應操作精度。整個工件搬運詳細流程是：在機器人工作之前，先通過上方攝像機實時地采集工件圖像，并送到圖像解決系統(tǒng)，以便擬定所感興趣工件以及該工件相對于機器人位姿，最后將位姿信息反解成工業(yè)機器人熟悉關(guān)節(jié)角度和角度控制信息，從而實現(xiàn)運用視覺引導機器人精確地抓取工件。同步依照已抓取工件放置規(guī)定，進一步引導機器人完畢工件定點放置，從而實現(xiàn)機器人搬運操作。本課題研究內(nèi)容環(huán)繞物體辨認這個中心展開，重要涉及如下幾種方面：如何獲取圖像獲取圖像是進行本課題研究前提，順利通過攝像頭設備獲取到原始圖像是一切研究主線如何對圖像進行預解決視覺系統(tǒng)中直接使用圖像，必要在進行灰度校正、噪聲過濾等圖像預解決。將圖像中感興趣特性有選取地突出，衰減其不需要特性，預解決后輸出圖像并不需要去逼近原圖像。如何對預解決后來圖像進行特性辨認和特性提取已經(jīng)把待測目的工件進行過圖像預解決，接下來要針對靜態(tài)工件特性提取，最后要依照已經(jīng)提取目的工件特性進行分類。特性提取意義于要區(qū)別不同種類工件就要把它們之間不同信息提取出來，作為辨認前提條件。普通來說，提取普通特性涉及周長、邊沿、面積、曲率、角度和物體質(zhì)心等如何依照提取特性對目的進行分類和目的定位目的分類是指對得到不同目的進行區(qū)別并將其歸為某一已知類過程。對于圖像目的來說普通運用圖像特性來對目的進行描述，然后對其分類。通過模版匹配計算目的上空間點和像素點之間相應關(guān)系。然后創(chuàng)立模版，對后續(xù)圖像進行目的定位。如何跟蹤目的對于運動目的，通過跟蹤可以得到目的速度和加速度，并可以對將來目的浮現(xiàn)位置進行預測6.如何將目的在圖像中位置轉(zhuǎn)化到機器人基坐標系中并進行機器人運動學反解通過相機標定得到圖像坐標與機器人基坐標之間轉(zhuǎn)換關(guān)系，將目的在圖像中位置信息轉(zhuǎn)化為機器人基坐標系中詳細坐標，并通過該坐標進行機器人運動學逆解，得到關(guān)節(jié)運動信息如何規(guī)劃途徑并控制機器人進行目的抓取通過前面得到運動學逆解，合理設立機器人抓取運動規(guī)劃，涉及途徑規(guī)劃和手部抓取規(guī)劃，途徑規(guī)劃是研究按照何種途徑，將機器人手部坐標系原點和目的抓取坐標系原點重疊問題，抓取點規(guī)劃是針對不同形狀物體，如何選取適當夾持點位置問題。1.5本課題研究辦法1.5.1獲取圖像1)硬件簡介一種穩(wěn)定視覺系統(tǒng)構(gòu)建需要依照任務特點和現(xiàn)場環(huán)境特點進行，例如精度，目的尺寸，檢測速度，安裝空間大小等規(guī)定，都將影響系統(tǒng)硬、軟件選取。典型視覺系統(tǒng)涉及硬件諸多，但最重要最基本三件設備是：光源、鏡頭和相機。本節(jié)重要給出本系統(tǒng)所用硬件參數(shù)并對其進行簡樸簡介1.光源由于所有非發(fā)光物體都是通過反射光才干在傳感器上留下影像，因此光源對的選取是保證視覺系統(tǒng)正常工作基本。在選取視覺系統(tǒng)光源時要注意，使用光源要把感興趣目的和背景區(qū)別開來，削減非關(guān)懷目的或噪聲干擾，并且光源自身不會帶來額外干擾，鏡頭鏡頭與人眼晶狀體具備類似功能，如果沒有安裝鏡頭進行拍攝，得到圖像將是花白色，不包括任何場景信息。因此鏡頭作用是匯聚目的反射回光，在感光原件上產(chǎn)生細節(jié)豐富，銳利圖像。鏡頭參數(shù)選取普通是依照配用攝像機感光原件大小來進行，如果兩者參數(shù)不適當，將浮現(xiàn)圖像記錄不完整，視場角不符合規(guī)定或者畫面在焦點外問題本文選取是COMUPTAR公司M0814-MP2型號鏡頭，參數(shù)如表所示：性能指標參數(shù)靶面尺寸2/3’’焦距8最大成像尺寸8.8*6.6控制光圈手動聚焦手動變焦手動接口C-接口尺寸33.5*28.2攝像機本系統(tǒng)使用是Basler公司acA2500-14gm型號工業(yè)相機，如圖所示，該相機性能指標和參數(shù)如表所示：圖3BasleracA2500-14gm型號工業(yè)相機性能指標參數(shù)傳感器類型AptinaMT9PCMOS，rollingshutter有效圖像元素2592*1944像素尺寸2.2x2.2數(shù)據(jù)位數(shù)12鏡頭接口C-mount，CS-mount傳播方式GigabitEthernet幀率14供電規(guī)定ViaPoweroverEthernet(802.3af)or+12VDC(±10%)viathecamera′s6-pinHiroseconnector外形尺寸42x29x29表1BasleracA2500-14gm型號工業(yè)相機參數(shù)拍攝參數(shù)設定為了提高圖像解決速度并兼顧辨別率，選取拍攝參數(shù)如下表：圖像尺寸待定色彩待定ISO速度待定幀頻待定記錄頻率待定2）軟件簡介OpenCV全稱是：OpenSourceComputerVisionLibrary。OpenCV是一種基于（開源）發(fā)行跨平臺計算機視覺庫，可以運營在Linux、Windows和MacOS操作系統(tǒng)上。它輕量級并且高效——由一系列C函數(shù)和少量C++類構(gòu)成，同步提供了Python、Ruby、MATLAB等語言接口，實現(xiàn)了圖像解決和計算機視覺方面諸多通用算法，它可以完畢如下工作：1.圖像數(shù)據(jù)操作（內(nèi)存分派與釋放，圖像復制、設定和轉(zhuǎn)換）2.圖像/視頻輸入輸出（支持文獻或攝像頭輸入，圖像/視頻文獻輸出）3.矩陣/向量數(shù)據(jù)操作及線性代數(shù)運算（矩陣乘積、矩陣方程求解、特性值、奇異值分解）支持各種動態(tài)數(shù)據(jù)構(gòu)造（鏈表、隊列、數(shù)據(jù)集、樹、圖）4.基本圖像解決（去噪、邊沿檢測、角點檢測、采樣與插值、色彩變換、形態(tài)學解決、直方圖、圖像金字塔構(gòu)造）5.構(gòu)造分析（連通域/分支、輪廓解決、距離轉(zhuǎn)換、圖像矩、模板匹配、霍夫變換、多項式逼近、曲線擬合、橢圓擬合、狄勞尼三角化）6.攝像頭定標（尋找和跟蹤定標模式、參數(shù)定標、基本矩陣預計、單應矩陣預計、立體視覺匹配）7.運動分析（光流、動作分割、目的跟蹤）8.目的記別（特性辦法、HMM模型）HALCON軟件簡介HALCON是一款來自德國慕尼黑世界頂級機器視覺編程環(huán)境，該軟件以面向問題為基本，涉及工業(yè)領(lǐng)域中光學工程、精密制造、包裝、半導體、印刷、機械等行業(yè)。使用它可以迅速構(gòu)建一種精確、穩(wěn)定、高效率視覺解決方案。該軟件具備強大函數(shù)庫，能導出C++、C、VB等語言，縮短了代碼編寫時間，為構(gòu)建獨立視覺系統(tǒng)提供了以便。運用HALCON軟件構(gòu)建一種獨立視覺系統(tǒng)分為三個環(huán)節(jié)：該軟件最大特點是模范化和模塊化，所有算子都具備同一輸入輸出格式，下面是一種典型算子構(gòu)造：Operator(iconicinput:iconicoutput:controlinput:controloutput)HALCON語言數(shù)據(jù)有兩種：一種是控制參數(shù)，包括數(shù)字、數(shù)組，字符串等；另一種是圖形參數(shù)，包括圖像，區(qū)域和邊沿數(shù)據(jù)等。從典型算子構(gòu)造可以看出，圖形參數(shù)一方面輸入?yún)?shù)，然后是控制參數(shù)，并且順序是輸入數(shù)據(jù)和輸出數(shù)據(jù)相間隔，也即是：Operator(輸入圖形參數(shù)：輸出圖形參數(shù)：輸入控制參數(shù)：輸出控制參數(shù)）。1.5.2圖像預解決圖像灰度化將RGB彩色圖像轉(zhuǎn)化為單通道圖像，灰度范疇為0-255，可以很大限度上提高運算速度Image<gray,byte>cam_gray=cam.Convert<gray,byte>();Cam是攝像機采集彩色圖像直方圖均衡化對于工件和背景灰度相差不大狀況，可以通過直方圖均衡化增長圖像對比度，使工件在背景中更突出cvEqualizeHist函數(shù)可以增大圖像灰度動態(tài)范疇，從而增長對比度圖像濾波消除噪聲信息對于環(huán)境中各種干擾，相機成像噪聲，可以通過預解決階段消除或者削弱噪聲影響，詳細可以使用各種濾波算子，如中值濾波，高斯平滑濾波，均值濾波，在OpenCV中均有相應函數(shù)可以調(diào)用1.5.3圖像辨認模式辨認應用與圖像信號解決領(lǐng)域就成為了圖像辨認，它是一種運用計算機對圖像進行描述和分類技術(shù)，在機器視覺中具備廣泛應用，涉及文字，條碼，車牌辨認，目的分類等應用場合，辨認過程其實是一種分類過程，將滿足判斷條件對象歸為一類，而不滿足條件劃分為其她類，一方面對目的圖像進行特性提取，然后將它和已知模式向量進行比較，比較過程是函數(shù)計算過程，通過計算得到相似限度值，依照該值判斷目的與否與已知庫中目的相似，從而得到相應辨認或者不辨認信號，依照分類原則選取不同，可以將辨認辦法分為：基于概率記錄辦法辨認，基于模版匹配辦法辨認，基于多傳感器信息融合辦法辨認等。普通，圖像辨認有如下三步，如圖所示圖3圖像辨認環(huán)節(jié)重要有三個任務：圖像分割、目的分類、圖像匹配圖像分割要將圖像分割為區(qū)域，就要有分割原則，這個原則就叫做閾值，獲取適當閾值辦法諸多，普通可以分為手動獲取和自動獲取，當進行手動獲取時，普通借鑒圖像灰度直方圖分布來協(xié)助選取，最簡樸自動全局閾值辦法是：一方面選取一種初始閾值預計值（然后運用該閾值對圖像進行初始分割得到G1和G2區(qū)域。對G1和G2區(qū)域中所有像素計算灰度平均值，計算得到新閾值為T=，運用新閾值對圖像進行重新分割，然后重復前面兩步，直至先后兩次T值之差不大于設定值時停止。然后運用最后得到最佳閾值將區(qū)域分割為兩某些，從而得到二值圖像：對于本系統(tǒng)，由于拍攝到目的圖像和背景灰度差別較大，可以直接擬定閾值范疇，此辦法進行分割成果如圖所示，從圖中可以看出，目的區(qū)域和背景區(qū)域分割較好，但是有許多非目的區(qū)域也被劃分為一類（重要是傳送帶邊沿），因此還需要后續(xù)區(qū)域標記辦法，運用區(qū)域連通性將這些目的區(qū)域和非目的區(qū)域給分開來區(qū)域聯(lián)通標記是建立在像素點鄰接性基本之上，鄰接性是一種相似性度量辦法，慣用類型有4-鄰接、8-鄰接、和對角鄰接XXPXX4-鄰接XXXXPXXXX8-鄰接XXPXX對角鄰接提取連通成分過程事實上也是標記連通成分過程，普通做法是給圖像中每個連通區(qū)域分派一種唯一編號，這樣圖像成為標注圖像。得到各個編號區(qū)域，就能計算區(qū)域面積，中重心，圓度，外接/內(nèi)切圓半徑等特性參數(shù)，以供所需區(qū)域選取，本例采用面積特性進行選取，得到目的模版圖像目的分類目的分類是對得到不同目的進行區(qū)別并將其歸為某一已知類過程。對于圖像目的來說普通運用圖像特性來對目的進行描述，然后再對其分類，目的分類是目的記別過程中重要環(huán)節(jié)當前已經(jīng)廣泛應用于圖像分割，目的記別，變化檢測，字符辨認等場合。依照待分類目的外形，可將分類任務分為兩類。第一類是針對搜索目的外形固定，并且不同類型目的特性區(qū)域明顯，這種狀況可以采用模版匹配辦法對其進行分類，第二類是針對目的外形不是特別明顯，人工無法選取出適當分類辦法對其進行分類，這種狀況下就需要運用已知類型信息目的圖像對分類器進行訓練，讓分類器對后續(xù)圖像進行分類。慣用分類器有三種，分別是基于多層感知分類器MLP，基于支持向量機分類器SVM，基于高斯混合模型分類器GMM，本文采用MLP分類器，詳細環(huán)節(jié)為：圖X目的分類普通環(huán)節(jié)一方面創(chuàng)立某一類型分類器，然后對始終目的進行分析，得到描述該類型目的特性向量，然后運用特性向量對分類器進行訓練，得到鑒別函數(shù)，這時分類器就獲得了分類原則，然后對后續(xù)未知目的進行分類，同樣也需要對目的進行特性提獲得到特性向量，然后運用分類器對向量進行計算，得到分類成果。這里使用是OpenCV或者Halcon中提供分類器3圖像匹配用創(chuàng)立模版圖像辦法可以用于檢測圖像來擬定目的位置，但是通過圖像分割辦法來得到一種穩(wěn)定目的記別系統(tǒng)是非常困難。例如背景發(fā)生拜年話，目的被某些遮擋，目的與攝像機間距離變化，各種目的浮現(xiàn)等都導致分割困難，而圖像匹配可以解決這些問題。圖像匹配是指運用已知目的模式，對不同步刻或視角下拍攝兩幅圖像間尋找相似或相近目的模式，使盼望目的建立起相應關(guān)系過程，圖像匹配算法按照特性選取層次不同分為兩大類，基于灰度值有關(guān)匹配是運用圖像直接灰度值特性，其計算過程為：移動模版至待匹配圖像各個位置，計算每個位置時模版自身與所覆蓋區(qū)域相似性計算值，將得到一系列計算值進行比較，極值處便是目的所在位置。這種辦法計算量大，達不到實時性規(guī)定，并且不能適應光照條件變化、尺度變化，遮擋等狀況，為理解決實時性規(guī)定，采用基于圖像特性匹配辦法，這種匹配辦法有較好魯棒性，基于特性匹配是指，對模版圖像和匹配圖像分別進行特性提取，用相似性度量函數(shù)計算相應特性之間相似限度匹配辦法，特性選取有諸多，普通來說灰度變化大地方是信息量最豐富地方，例如，角點，輪廓，邊沿，直線，紋理等。本文采用是基于形狀匹配辦法，該辦法是各種技術(shù)綜合，既用到了金字塔匹配模型，也用到了圖像輪廓特性，該辦法普通流程如圖，匹配后得到目的在圖像中位置坐標如下表：序號目的個數(shù)坐標角度精確度11（289.042，311.058）-0.0005298.36521（145.325，178.698）6.3254199.452...........................圖X.基于形狀匹配環(huán)節(jié)目的跟蹤目的跟蹤是一種對運動目的或者運動相機采集到圖像序列進行持續(xù)擬定目的位置過程，目的定位是目的跟蹤基本，通過跟蹤可以得到目的運動軌跡從而可以對將來目的浮現(xiàn)位置進行預測，通過軌跡可以得到目的速度和加速度，從而可覺得運動學研究提供一種測量手段。此外，通過目的跟蹤可以對預先設定好浮現(xiàn)范疇和形狀目的進行監(jiān)視，如果其浮現(xiàn)范疇或者形狀發(fā)生變化時，便發(fā)出相應報警信號。目的跟蹤可以分為兩大辦法：第一類是基于邊沿特性辦法;第二類是基于目的內(nèi)部投影點信息辦法，如光流法，模版匹配法。本位采用第二類中模版匹配辦法，由于匹配計算量較大，可采用如下途徑減少運算量：一方面計算第一副圖像中目的位姿，由于目的運動持續(xù)性，對得到位姿進行限制，定義一種跟蹤范疇圓（下一種目的也許浮現(xiàn)區(qū)域），然后在指定范疇內(nèi)對后續(xù)圖像進行目的匹配。由于本文采用傳送帶運動狀態(tài)為勻速直線運動，因而只要計算出目的速度和位置便能寫出軌跡方程來。定義參照坐標系：在傳送帶上定義參照坐標系目，是為了將目的位姿與機器人基坐標系聯(lián)系起來。參照坐標系X軸與傳送帶中線重疊，方向指向目的運動方向，y軸指向機器人一側(cè)，Z軸垂直于傳送帶平面向上。左側(cè)方框區(qū)域代表相機視野范疇，右側(cè)外圓區(qū)域為機器人工作空間范疇，內(nèi)圓區(qū)域代表機器人工作空間與傳送帶在平面相交區(qū)域。工件從左側(cè)進入，在計時起點處開始計時。相機對通過計時起點目的進行持續(xù)拍照，估算出目的重心在參照坐標系中坐標和速度。在進行實驗之前通過離線測量辦法，得到參照坐標系與機器人基座之間相對位姿，同樣可以計算出參照坐標系在攝像機坐標系下位姿由離線測量得到位姿關(guān)系和，可以計算出機器人基座于攝像機之間位姿矩陣。然后通過目的定位得到目的位姿，再計算出目的重心相對于參照坐標系位姿，由可以得到目的重心坐標（），過重心點做一條平行于參照坐標系x軸直線，與機器人工作空間區(qū)域相交與兩點：，。這兩點便是目的進出工作空間坐標點。由這兩點結(jié)合運動速度就可以計算出目的何時進入和離開機器人工作空間范疇，在這個時間段中選取任一時刻即可對目的進行抓取。目的速度V計算，可以在攝像機視野內(nèi)，取間隔10張兩幅圖像，計算目的中心在運動方向位移，除以拍攝這10張圖像所經(jīng)歷時間，即可得到目的速度。1.5.6IRB120型機器人控制工業(yè)機器人控制辦法分類：分類根據(jù)類型特點依照控制量所處空間關(guān)節(jié)空間運動規(guī)劃和控制對象為各個關(guān)節(jié)角，是其她控制辦法基本笛卡爾空間在關(guān)節(jié)空間控制基本上實現(xiàn)通過給定途徑上各點出位姿，來保證運動擬定性依照控制量位置以末端執(zhí)行器位置為被控對象，在三維空間或者關(guān)節(jié)空間對機器人進行控制速度使任務動作以指定速度進行，例如目的跟蹤過程加速度考慮到機器人慣性負載，對加速段和減速段之間過度進行規(guī)劃，使之運營平穩(wěn)力（力矩）考慮到目的抓取時握緊力或者使用工具時力矩等因素依照控制算法PID控制由比例、積分和微分單元構(gòu)成，理論成熟自適應控制系統(tǒng)舒服發(fā)生變化或者收到干擾時，系統(tǒng)通過變化自身參數(shù)來自我調(diào)節(jié)，使輸出仍滿足性能規(guī)定神經(jīng)網(wǎng)絡控制屬于黑箱控制，具備較好學習能力本研究所完畢內(nèi)容屬于較為簡樸抓取任務，因此使用位置控制辦法就能滿足規(guī)定機器人抓取運動規(guī)劃機器人抓取運動規(guī)劃涉及途徑規(guī)劃和手部抓取方式規(guī)劃。途徑規(guī)劃是研究按照何種途徑，將機器人手部坐標系原點與目的抓取坐標系原點重疊問題；抓去店規(guī)劃是針對不同形狀物體，如何選取適當夾持點位置問題途徑