機器人視覺伺服系統(tǒng)綜述

1、機器人視覺伺服系統(tǒng)綜述摘要：對機器人視覺伺服系統(tǒng)進行闡述，介紹了機器人視覺伺服系統(tǒng)的概念、發(fā)展歷程以及研究背景；并從不同的角度對機器人視覺伺服系統(tǒng)進行了分類。最后介紹了該領(lǐng)域的研究現(xiàn)狀、所取得的成就，以及今后的發(fā)展趨勢。關(guān)鍵詞：機器人；視覺伺服；綜述SurveyofrobotvisualservoingsystemAbstract:Inthispaper;thesurveyofrobotvisualservoingsystemareintroduced.Thepaperreviewstheconceptandhistorybackgroundofrobotvisualservoingsyste

2、m.Thisarticlealsoclassifytherobotvisualservosystemfromdifferentaspects.Finally,itintroducetheresearchstatusquo,achievementsandfuturetrendsinthefield.Keywords:robot,visualservoing,summary1 .引言隨著先進科學(xué)技術(shù)的不斷發(fā)展，機器人已經(jīng)在生產(chǎn)和生活中起到了越來越重要的作用，因次人們不斷對機器人技術(shù)提出更高的要求。為了使機器人能夠完成更加復(fù)雜的工作，適應(yīng)更加復(fù)雜的環(huán)境，機器人不僅需要更加完善的控制統(tǒng)，還需要能夠更多

3、的感知環(huán)境的變化。而影響其發(fā)展的一個重要原因就是機器人缺少像人一樣的感知能力，在人們?yōu)闄C器人添加各種外部傳感器的過程中，機器人視覺以其信息大、信息完整成為最重要的機器人感知功能10機器人的視覺伺服系統(tǒng)是機器人的視覺和機器人控制的相結(jié)合的復(fù)雜系統(tǒng)。其內(nèi)容包括了圖像的采集與處理、運動學(xué)和動力學(xué)、自動控制理論及其系統(tǒng)數(shù)據(jù)實時分析等領(lǐng)域于一體的新興交叉學(xué)科。隨著攝像技術(shù)和計算機技術(shù)的發(fā)展，以及相關(guān)理論的日益完善和實踐的不斷檢驗，視覺伺服已具備了在實際中應(yīng)用的條件；而隨著機器人應(yīng)用領(lǐng)域的不斷擴展，重要性也不斷提高，與其相關(guān)技術(shù)問題已經(jīng)成為了當(dāng)前的研究熱點20所以實現(xiàn)機器人視覺伺服控制有相當(dāng)?shù)碾y度，是機器

4、人研究領(lǐng)域中具有挑戰(zhàn)性的課題。2 .機器人視覺伺服系統(tǒng)3 .1機器人視覺伺服系統(tǒng)的定義視覺是一種復(fù)雜的感官，視覺信息中包含有大量的數(shù)據(jù)，要從中提取特征信息，需要復(fù)雜的算法及耗費大量的運算時間，機器人視覺是通過光學(xué)裝置和非接觸式的傳感器自動接受并處理真實物體圖像信息，并通過分析獲得所需要信息或用于控制機器人自身運動的裝置。機器人視覺作為一種很與人類眼睛類似的機器仿生系統(tǒng)。而從廣義角度講凡是通過光學(xué)裝置獲取真實物體的信息以及對相關(guān)信息的處理與執(zhí)行都是機器視覺，這就包括了可見視覺以及非可見視覺，甚至包括人類視覺不能直接觀察到的、物體內(nèi)部信息的獲取與處理等30而視覺伺服是利用視覺傳感器得到的圖像作為反

5、饋信息，構(gòu)造機器人的位置閉環(huán)反饋。所以它和一般意義上的機器視覺有所不同，機器視覺一般定義為：自動地獲取分析圖像以得到描述一個景物或控制某種動作的數(shù)據(jù)。而視覺伺服則是以實現(xiàn)對機器人控制為目的而進行圖像的自動獲取與分析，因此它是利用機器視覺的原理，從直接得到的圖像反饋信息中，快速進行圖像處理，在盡量短的時間內(nèi)給出反饋信息，參與控制決策的產(chǎn)生，構(gòu)成機器人位置閉環(huán)控制系統(tǒng)40廣泛應(yīng)用于電子、汽車、機械等工業(yè)部門和醫(yī)學(xué)、軍事領(lǐng)域。2.2機器人視覺伺服系統(tǒng)的發(fā)展歷史、方向及研究背景機器視覺是隨著20世紀60年代末計算機與電子技術(shù)的快速發(fā)展而出現(xiàn)的新型學(xué)科。到20世紀70年代，Marr首次提出較為完善的視覺

6、理論框架，該理論核心是從二維圖像恢復(fù)物體的三維形狀；Marr的理論強調(diào)表示的重要性，提出從不同層次去研究信息處理的問題。當(dāng)時出現(xiàn)了將視覺信息用于工業(yè)生產(chǎn)中機械手定位的研究，已經(jīng)有了一些實用性的視覺系統(tǒng)，如應(yīng)用于集成電路生產(chǎn)、精密電子產(chǎn)品裝配等。到了80年代后期，出現(xiàn)了專門的圖像處理硬件，人們開始系統(tǒng)地研究機器人視覺控制系統(tǒng)，在此之前，由于硬件條件的限制，視覺伺服系統(tǒng)發(fā)展非常緩慢，而進入90年代后，隨著計算機處理能力的增強和成本價格的下降，以及圖像處理硬件和CCLM像機的快速發(fā)展，機器人視覺系統(tǒng)吸引了更多的科研人員對其進行研究。90年代后期視覺伺服控制技術(shù)從結(jié)構(gòu)形式、圖像處理方法、控制策略發(fā)展明

7、顯加快1。機器人視覺伺服系統(tǒng)由視覺傳感向控制器提供外部信息，調(diào)整機器人的位置和姿態(tài)。研究內(nèi)容涉及到圖像處理、機器視覺、控制理論、運動學(xué)等多個領(lǐng)域。機器人視覺伺服控制是機器人領(lǐng)域重要的研究方向之一，而視覺傳感器是機器人系統(tǒng)中最重要的“感官”之一，它的引入改變了機器人對操作對象及環(huán)境必須精確建模的要求5。視覺通常采用CCD®像機來實現(xiàn)，在成像過程中會受到多種因素的影響，使得視覺信息中不可避免地夾雜有噪聲，增加了圖像處理的難度；另外目前的攝像機采樣速率不高，并且在傳輸大量數(shù)據(jù)的視覺信息時需占用較多的時間；成像過程的非線性等。當(dāng)前機器人視覺伺服研究的主要內(nèi)容可以歸納為視覺伺服系統(tǒng)結(jié)構(gòu)、快速有

8、效的圖像處理算法以及視覺伺服控制器的設(shè)計等幾個主要方面7。通過視覺伺服控制，機器人可實現(xiàn)對動態(tài)、不確定的場合操作。因此，這方面的研究對開發(fā)手眼協(xié)調(diào)的系統(tǒng)應(yīng)用在航空航天領(lǐng)域、自動化生產(chǎn)、自動檢測等方面具有相當(dāng)重要的研究意義9。3 .機器人伺服系統(tǒng)的主要分類3.1 不同的分類標準可以從不同的角度，如反饋信息類型、控制結(jié)構(gòu)和圖像處理時間等方面對機器人控制系統(tǒng)進行分類。根據(jù)不同的標準，機器人視覺伺服系統(tǒng)可以被劃分為不同的類型。根據(jù)攝像機的數(shù)目的不同，可以分為單目視覺伺服系統(tǒng)、雙目視覺伺服系統(tǒng)以及多目視覺伺服系統(tǒng)。單目視覺無法直接得到目標的三維信息，一般通過移動獲得深度信息。單目視覺適用于工作任務(wù)比較簡

9、單且深度信息要求不高的工作環(huán)境。多目視覺伺服可以觀察到目標的不同部分，可以得到更為豐富的信息，但視覺控制器的設(shè)計比較復(fù)雜，且相對于雙目視覺伺服更加難以保證系統(tǒng)的穩(wěn)定性。雙目視覺可以得到深度信息，當(dāng)前的視覺伺服系統(tǒng)主要采用雙目視覺。根據(jù)攝像機放置位置的不同，可以分為手眼系統(tǒng)和固定攝像機系統(tǒng)。手眼系統(tǒng)能得到目標的精確位置，可以實現(xiàn)精確控制，由于手眼系統(tǒng)只能觀察到目標而無法觀察到機器人末端，因此需要通過已知的機器人運動學(xué)模型來求解目標與機器人末端的位置關(guān)系，對標定誤差以及運動學(xué)誤差比較敏感6。固定放置的攝像機既可以觀察到目標也可以觀察到機器人末端，并且可以得到大的工作空間場景，能得到機器人末端相對于

10、目標的相對速度，但無法得到目標的準確信息，且機器人運動可能造成目標圖像的遮擋。為了克服兩種攝像機放置位置的不足，當(dāng)前的一種解決方法是兩種方式的協(xié)作使用70從控制結(jié)構(gòu)的角度，可分為開環(huán)控制系統(tǒng)和閉環(huán)控制系統(tǒng)。開環(huán)控制的視覺信息只用來確定運動前的目標位姿。閉環(huán)控制的視覺信息用作反饋，這種情況下能抵抗攝像機與機器人的標定誤差80止匕外，也可根據(jù)任務(wù)進行分類，如基于視覺的定位、跟蹤或抓取等網(wǎng)。根據(jù)反饋信息類型的差別，還可以將視覺伺服分為基于位置的視覺伺服和基于圖像的視覺伺服?；谖恢玫恼`差信號定義在三維笛卡兒空間，而基于圖像的的誤差信號定義在二維圖像空間。這里我們主要討論根據(jù)此種方法的分類。3.2 基

11、于位置的視覺伺服系統(tǒng)基于位置的視覺伺服是根據(jù)得到的圖像，由目標的幾何模型和攝像機模型估計出目標相對于攝像機的位置，得到當(dāng)前機器人的末端位姿和估計的目標位姿的誤差，通過視覺控制器進行調(diào)節(jié)。基于位置的視覺伺服的結(jié)構(gòu)如圖1所示。基于位置的視覺伺服需要通過圖像進行三維重構(gòu)，在三維笛卡兒空間計算誤差。這種方法的優(yōu)點在于誤差信號和關(guān)節(jié)控制器的輸入信號都是空間位姿，實現(xiàn)起來比較容易。但由于根據(jù)圖像估計目標的空間位姿，機器人的運動學(xué)模型誤差和攝像機的標定誤差都直接影響系統(tǒng)的控制精度，且沒有對圖像進行直接控制，易使目標離開視場100位姿給定末端位姿3.3 基于圖像的視覺伺服系統(tǒng)基于圖像的視覺伺服直接計算圖像誤差

12、，產(chǎn)生相應(yīng)的控制信號，不需要三維重建，但需要計算圖像雅可比矩陣?；趫D像的視覺伺服的結(jié)構(gòu)如圖2所示1L基于圖像視覺伺服的突出優(yōu)點是對標定誤差和空間模型誤差不敏感，缺點是設(shè)計控制器困難，伺服過程中容易進入圖像雅可比矩陣的奇異點，一般需要估計目標的深度信息，而且只在目標位置附近的鄰域范圍內(nèi)收斂。而求解圖像雅可比矩陣是基于圖像視覺伺服的一個主要任務(wù)15。圖像給定輸出圖像圖2基于圖像控制的伺服結(jié)構(gòu)圖3.4 混合視覺伺服系統(tǒng)由于基于位置和基于圖像的視覺伺服方法都具有一些難以克服的缺點，人們提出了混和視覺伺服方法.混合視覺伺服的主要思想是采用圖像伺服控制一部分自由度，余下的自由度采用其他技術(shù)控制，不需要計

13、算圖像雅可比矩陣.混合視覺伺服以Malis提出的2.5D視覺伺服方法最具有代表性。這種方法可對基于位置和基于圖像兩種結(jié)構(gòu)進行取長補短，系統(tǒng)的穩(wěn)定性和收斂域都有所提54 .總結(jié)及展望機器人視覺是一個交叉性學(xué)科。相關(guān)學(xué)科以及硬件的發(fā)展制約著機器人視覺伺服系統(tǒng)的發(fā)展。當(dāng)前的發(fā)展來看，為了提高系統(tǒng)的動態(tài)性能，目前多數(shù)的研究集中在解決如何由感知到的視覺信息確定機器人該怎樣運動的問題，隨著系統(tǒng)采樣速率的進一步提高，有必要深入研究整個視覺伺服系統(tǒng)的動態(tài)性能14。需要結(jié)合機器人的動力學(xué)特性及視覺過程的動態(tài)特性綜合考慮130對視覺伺服系統(tǒng)的主要發(fā)展方向概括如下：(1)圖像特征提取與追蹤。對于圖像特征信息的提取直

14、接關(guān)系到伺服系統(tǒng)性能的優(yōu)劣。特征的選擇不僅需要考慮識別的準確性，而且需要考慮整個系統(tǒng)的性能。如何快速準確地得到理想的圖像特征是目前需要努力的方向。(2)多傳感器融合。每一種傳感器都有一定的使用范圍，如將多種傳感器結(jié)合起來一起使用，利用各種傳感器的優(yōu)勢彌補各自的缺點，可以得到更加準確、可靠的結(jié)果。主動視覺的應(yīng)用。這是當(dāng)前機器人視覺領(lǐng)域的一個熱點，它強調(diào)機器人利用視覺伺服系統(tǒng)與周圍環(huán)境進行交互的能力50參考文獻：1趙清杰，連廣宇，孫增圻.機器人視覺伺服綜述J.清華大學(xué)，2011,16(3):850.2孫鴻林，孫煒，石玉秋等.基于模糊控制機器人視覺伺服系統(tǒng)J.控制與工程，2006,6(17):266

15、2.3段彥婷，蔡陳生，王鵬飛等，機器人視覺伺服技術(shù)發(fā)展慨況綜述J.2007.4鐘金明，徐剛，張海波，機器人視覺伺服系統(tǒng)的研究與發(fā)展J.現(xiàn)代制造工程,2005(8).5倪受東，劉洋，袁祖強，機器人視覺伺服綜述J.機床與液壓，2007,35(9):227.6劉歡，魏立峰，王健，機器人視覺伺服系統(tǒng)的標定.7王麟琨，徐德，譚民，機器人視覺伺服研究進展J.機器,2004,26(3):277.8高成，佟維妍，吳連印等，開環(huán)和閉環(huán)結(jié)合的機器人視覺伺服J.系統(tǒng)仿真學(xué)報，2008,20(4):1084.9田夢倩，羅翔，機器人視覺伺服系統(tǒng)機構(gòu)及實現(xiàn)J.制造業(yè)自動化,2005,27(12):4010沈曉晶，潘俊民，

16、機器人視覺伺服系統(tǒng)控制結(jié)構(gòu)的研究J.工業(yè)儀表與自動化裝置,2002,411方勇純，機器人視覺伺服系統(tǒng)研究綜述J.智能系統(tǒng)學(xué),2008,3(2):109.12鐘金明，徐剛，張海波，基于圖像的機器人視覺伺服系統(tǒng)仿真J.機床與液壓，2005,4.13林靖，陳輝堂，王月娟等，機器人視覺伺服系統(tǒng)的研究J.控制理論與應(yīng)用，2000,17(4):47614楊延西，劉丁，閆振杰，圖像反饋機器人視覺伺服系統(tǒng)仿真J.系統(tǒng)仿真學(xué)報，2003,15(12):173715鐘金明，徐剛，張海波，圖像反饋機器人視覺伺服系統(tǒng)理論與實驗研究J.機電工程技術(shù)，2004,33(12):12.16 O.Faugeras,F.Lust

17、man.MotionandstructurefrommotioninapiecewiseplanarenvironmentJ.Int.J.PatternRecoghit.Arif.InteII.1988,voI(2)no.3,Oct.：485-508.17 MalisE,ChaumetteF.Multi-camerasvisualservoingA.Pro-ceedingsoftheIEEEInternationalConferenceonRoboticsandAu-tomationC.SanFrancisco,CA,USA:2000.3183-3188.18 MVargas,FRRubio,ARMalpesa.Pose-estimationandcontrolina3DvisualservoingsystemA.Procofthe14thIFACC.Beijing,1999.317-323.19 BuiTrongTuyen,PhamThuongCa.tNeuralnetworkbasedvisu-alControl,Automation,RoboticsandV