RoboCup中型組足球機器人視覺和決策系統(tǒng)的研究與設計

1、RoboCup中型組足球機器人視覺和決策系統(tǒng)的研究與設計指導教師：王明順副教授答辯學生：崔金柱碩士學位論文答辯看球吧 演講的結構首先足球機器人比賽中型組足球機器人的系統(tǒng)結構然后主要內容：視覺子系統(tǒng)和決策子系統(tǒng)最后本文的工作進行簡要的總結足球機器人的背景1992年，加拿大不列顛哥倫比亞大學的Alan Mackworth教授 在國際上首次提出了足球機器人的概念。1996年，在日本名古屋正式成立了“機器人足球世界杯”(the Robot World Cup Soccer Games, RoboCup)。1997年6月，第二屆微型機器人足球比賽在韓國舉行，在此 期間，國際機器人足球聯(lián)盟(Federat

2、ion of International Robot- soccer Association, FIRA)宣告成立。RoboCup和FIRA兩個組織每年各舉辦一次國際性的足球機器 人大賽。RoboCup足球機器人仿真組Simulation League小型組Small Size Robot League中型組Middle Size Robot League四腿組Sony Legged Robot League類人組Humanoid LeagueRoboCup機器人比賽RoboCup中型組足球機器人的研究意義中型組足球機器人的系統(tǒng)組成中型組足球機器人機械結構圖 中型組足球機器人的系統(tǒng)組成中型組足

3、球機器人控制系統(tǒng)圖主要內容視覺子系統(tǒng)任務分析RoboCup中型組足球機器人比賽場地 視覺子系統(tǒng)任務分析主要內容全向視覺傳感器全向視覺傳感器及其幾何模型 全向視覺傳感器常規(guī)曲面反射鏡優(yōu)缺點對照表 曲面優(yōu)點缺點球面加工容易，散光??；有一個焦點，不需要有大的焦距就可以獲得聚焦圖像；全向圖不能轉換成常規(guī)的透視圖像；全向圖的邊緣有畸變；錐面加工容易；可以多面鏡子構成鏡面陣列；散光大，沒有焦點；全向圖不能轉換成常規(guī)透視圖像；需要有大焦距才能獲得聚焦圖像；雙曲面全向圖可以轉換成常規(guī)透視圖像；曲率小時散光不是很大；是最適宜于標準攝像機的光學系統(tǒng)；加工困難；雙曲線的焦點需要放置在攝像機的中心位姿，所以其設計不靈

4、活；拋物面全向圖可以轉換成常規(guī)透視圖像、圓柱圖像；拋物面鏡加遠光鏡頭是最理想的光學系統(tǒng)；加工困難；遠光透鏡價格昂貴；全向視覺傳感器垂直等比鏡面設計示意圖 水平等比鏡面設計示意圖 全向視覺傳感器全向反射鏡實物 F=.1846199497295e-7*t6-.2694321750479e-5*t5+.3826165631862e-3*t4-.4449458452667e-2*t3+.6843492494856e-1*t2+.1442388401384*t-.8978189490374e-1曲面函數(shù)F(t)主要內容彩色圖像目標識別常用的彩色圖像分割準則： （1）RGB顏色空間分割 基于CLUT的顏色

5、空間分割 優(yōu)點：速度快，圖像二值化簡單 缺點：對環(huán)境的適應性差 （2）HSL顏色空間分割 基于閾值的顏色分割 優(yōu)點：便于閾值拓展，對環(huán)境的適應性好 缺點：速度慢彩色圖像目標識別RGB空間和HSL空間分割方法的綜合利用：（1）利用HSL顏色模型建立完備的RGB空間上的CLUT 建立CLUT時，先將顏色采樣數(shù)據(jù)從RGB空間轉換到HSL空間然后根據(jù)經驗進行閾值拓展，求出合適的HSL空間上的閾值然后將該閾值區(qū)間上的所有點轉換到RGB空間并填充顏色查找表（2）顏色分割采用基于CLUT的RGB空間的分割方法 彩色圖像目標識別基于CLUT的動態(tài)窗格目標搜索算法（1）搜索起點：上次目標的中心位置或圖象中心；（

6、2）從起點起，上下左右各外擴s得到起始搜索窗格Ak1 ；（3）搜索完成后若沒有發(fā)現(xiàn)目標，外擴一圈，依次搜索 Atop 、Aleft 、Aright、 Abottom ；（4）依次類推，直至搜索完整幅圖象。彩色圖像目標識別基于CLUT的區(qū)域生長算法（1）選取種子點 ； （2）以 為中心，考慮4鄰域像素 ， ， ， ， 如果該點未被處理且符合生長準則，將該點與之 合并，同時將該點壓入堆棧；（3）如果堆棧不為空，從堆棧中彈出一個像素，把它 當做 ； 回到步驟（2）；（4）區(qū)域生長完畢。彩色圖像目標識別基于CLUT的變步長區(qū)域生長算法如果我們在區(qū)域生長的時候，對每個種 子點處理的不是其4鄰接像素 ，而

7、是在 垂直或水平方向上與其隔一個象素的點， 我們稱生長步長為2。當目標面積較大，超過一定的閾值時， 則改用較大的步長。彩色圖像目標識別顏色面積顏色重心內徑外徑經度邊界1經度邊界2主要內容視覺子系統(tǒng)的軟件實現(xiàn)決策進程進程1進程0視覺進程系統(tǒng)初始化人系統(tǒng)設置坐標變換數(shù)據(jù)發(fā)送仿真顯示圖像采集顏色分割目標識別位置標定線程1線程0Socket人機交互消息啟動視覺子系統(tǒng)的軟件實現(xiàn)xd（x）（cm）xd（x）（cm）xd（x）（cm）1030731701283001950821901363202870912101443403790100230152360461101082501603805513011627

8、016840064150124290185500距離標定實驗數(shù)據(jù)和曲線 視覺子系統(tǒng)實際運行效果原始圖像 區(qū)域生長分割效果 視覺子系統(tǒng)實際運行效果變步長區(qū)域生長分割效果 物體在機器人坐標系下的坐標 坐標目標實際坐標定位坐標極徑厘米角度度極徑厘米角度度球70906689黃門2509023991藍門300-67285-68機器人1709016288角柱1330135310135角柱234045未識別未識別主要內容決策子系統(tǒng)任務分析機器人之間的交流與配合，實現(xiàn)合作與協(xié)調2機器人對于自己任務的承擔，轉化為具體的動作1決策子系統(tǒng)任務分析主要內容基于規(guī)劃的多智能體決策模型基于規(guī)劃的多智能體決策模型基于規(guī)劃的

9、多智能體決策模型基于規(guī)劃的多智能體決策模型足球機器人決策模型 主要內容控制協(xié)調智能體的角色分配算法控制協(xié)調智能體的流程圖控制協(xié)調智能體的角色分配算法機器人之間的沖突 機器人與角色的集合 控制協(xié)調智能體的角色分配算法前鋒的估值函數(shù)控制協(xié)調智能體的角色分配算法 具體的分配算法設計如下：（1）：計算角色能力值 作為權值 ；（2）：構造機器人集合 ，角色集合 ， 這兩個集合的元素沒有交集，滿足二分圖結點的條件；（3）：以第一步計算的權值作為邊的權值，以第二步構造的 集合作為結點構造完全二分圖 ，求解帶權二分 圖 的最優(yōu)匹配。主要內容計劃執(zhí)行智能體的有限狀態(tài)自動機模型計劃執(zhí)行智能體的有限狀態(tài)自動機模型有

10、限狀態(tài)自動機M是一個五元組：前鋒有限狀態(tài)自動機模型計劃執(zhí)行智能體的有限狀態(tài)自動機模型前鋒狀態(tài)轉移函數(shù) 的構造如下：計劃執(zhí)行智能體的有限狀態(tài)自動機模型前鋒狀態(tài)轉移圖 決策子系統(tǒng)實際運行效果機器人的角色分配 決策子系統(tǒng)界面 整個系統(tǒng)實際運行效果實際運行情況總結全向視覺傳感器設計系統(tǒng)的軟件實現(xiàn)基于規(guī)劃的多智能體決策模型彩色圖像目標識別控制協(xié)調智能體的角色分配算法計劃執(zhí)行智能體的有限狀態(tài)自動機模型視覺子系統(tǒng)決策子系統(tǒng)展望系統(tǒng)的可靠性全向視覺的理論分析抗干擾性進一步工作球場環(huán)境的重建碩士學位論文答辯謝謝！中型組足球機器人簡介中型組足球機器人硬件結構 求解參數(shù)全向鏡頂點高度 553mm攝像機凸透鏡高度 4

11、43mm焦距5.9mm全向鏡半徑32mmRGB to HSLHSL to RGB圖像分割的基本概念圖像分割的概念：將圖像劃分為與真實世界的物體或區(qū)域有 強相關性的組成部分。圖像分割的基礎是像素之間的相似性和跳變性。所謂“相似 性”是指某個區(qū)域內像素具有某種相似的特性，如灰度、色 彩、反射率、紋理等。所謂“跳變性”是指像素特征變化的 不連續(xù)性，如灰度、色彩的突變等。圖像分割后圖像中的不同區(qū)域都對應一定的實際物體。閾值化分割；基于邊緣的分割；基于區(qū)域的分割。RGB空間的分割基于CLUT的RGB顏色空間分割： 構造一個四維CLUT，其下標是R，G，B，T，其內容是True或False。優(yōu)點： 1.離

12、線設置簡單，以靜態(tài)數(shù)據(jù)保存顏色分類信息； 2.在線調用容易，不需要復雜的運算，查找速度快； 3.彩色圖像二值化簡單； 4.不容易受干擾；缺點： 1.對32位真彩色占用內存空間大，存儲麻煩； 2.由于光照的原因，顏色相近的兩個物體的RGB空間有重疊部分， CLUT不能解決一對多的問題； 3.當某顏色物體在RGB空間的分布不連續(xù)時，建立的CLUT不能覆 蓋封閉區(qū)域內的所有點； 4.CLUT不適宜進行顏色空間的拓展； 5.對光線、顏色的適應性差；RGB空間的分割基于閾值的RGB顏色空間分割： 某顏色物體在RGB空間的分布是一個封閉區(qū)域，于是我們可以用RGB閾值來描述這個封閉區(qū)域。優(yōu)點： 1.不同物體

13、的RGB閾值允許存在重疊，解決了顏色物體一對多的問 題； 2.計算簡單，信息存儲方便；缺點： 1.這種描述把封閉的不規(guī)則空間描述為封閉的立方體空間，包含了不 屬于該物體的顏色； 2.當亮度、色度漂移時，R、G、B值變化劇烈，并且是非線性的，閾 值拓展的效果不好； 3.閾值區(qū)間大的時候，干擾嚴重；HSL空間的分割HSL顏色空間分割： 對RGB顏色空間而言，由于色度、亮度漂移時，R、G、B值波動較大，而且變化是非線性的，因而顏色空間拓展的難度很大； 相比而言，HSL顏色模型更適宜于顏色空間的拓展。HSL顏色模型的三個變量是色度、飽和度和亮度，其中色度（Hue）反映目標顏色的能力顯著增強，對同一顏色

14、的目標往往具有較穩(wěn)定和較窄的數(shù)字變化范圍，受光照的影響比較小，因而人們往往把RGB空間模型轉換成HSL顏色模型進行圖像處理與識別。HSL空間的分割基于閾值的HSL顏色空間分割：優(yōu)點： 1.不同物體的HSL閾值允許存在重疊，解決顏色物體一對多的問題； 2.信息存儲方便； 3.當顏色、亮度漂移時，色度（Hue）和亮度（Luminosity）變化不大， 閾值拓展容易，效果較好；缺點： 1.從RGB空間到HSL空間的轉換運算復雜，實時性差；顏色空間的選擇顏色空間的選擇顏色空間的選擇快速搜索的方法分析 目前，在足球機器人視覺系統(tǒng)中，廣泛采用的有兩種搜索算法。一種是網(wǎng)格搜索算法，另一種是動態(tài)窗口搜索算法。

15、這兩種方法都是為了提高目標的搜索效率來設計的。 網(wǎng)格搜索算法是一種全局搜索方法，但它不是對圖像中的每個像素進行搜索，而是在一幅數(shù)字圖像中（640480）中，等間距地抽取一部分行和列圖像矩陣，這樣就形成一個網(wǎng)狀，然后在這個網(wǎng)的節(jié)點上進行逐點搜索，從而判斷出目標的大致位置，然后再在這個位置附近的一個范圍內進行搜索。 由于圖像采集時，可能存在各種噪聲，這樣在圖像中可能形成一些噪聲空洞，當網(wǎng)格節(jié)點正好位于空洞時，可能造成目標圖像的丟失；還有可能就是噪聲斑點中存在搜索目標的像素，這樣當網(wǎng)格節(jié)點位于噪聲斑點上時，就可能造成誤搜索。所以，如果利用這種方法，必須對上述缺點進行克服?？焖偎阉鞯姆椒ǚ治?動態(tài)網(wǎng)格

16、搜索法是根據(jù)圖像采集相鄰圖像序列的相關性來設計的。它是給每個搜索目標分配一個動態(tài)窗口，用這個窗口來跟蹤目標，每次搜索時不是在整個圖像中搜索目標，而是在所設定的遠遠小于整個圖像的窗口中進行搜索。動態(tài)窗口搜索方法主要是為了節(jié)省圖像處理的時間，滿足系統(tǒng)的實時性要求而提出的。它是根據(jù)機器人比賽中機器人本體的機械特性和小球在場地上運動的特點來設計的。 由機器人自身運動的特性和視覺采集系統(tǒng)的特點，可以看出，在大約33ms的時間內，機器人運動的距離是有限制的，根據(jù)機器人的最大運動速度，那么在一個采樣周期內，機器人運動的距離應該滿足下式：D 2m /s 0.033 s =66mm D:一個采樣周期內機器人移動

17、的距離。距離標定球門、角柱、機器人等目標的母線都是垂直于球場平面的，這些直線在全向視覺看來是從圖像的主點發(fā)出的射線,因而這些目標在圖像上的反映均為扇形或類似扇形的區(qū)域，這些區(qū)域與球場的交界反映在圖像上就是對應顏色區(qū)域的內徑(InnerR)，因而我們完全可以根據(jù)內徑(InnerR)來標定這些目標的位置。 協(xié)作類型（1）完全協(xié)同型：系統(tǒng)中的智能體都圍繞一個共同的全局目標，各智能體沒有自己的局部目標，所有智能體全力以赴的協(xié)作。（2）協(xié)同型：系統(tǒng)中的智能體具有一個共同的全局目標，同時各智能體還有與全局目標一致的局部目標。（3）自私型：系統(tǒng)中不存在共同的全局目標，各智能體都為自己的局部目標工作，而且目標

18、之間可能存在沖突。（4）完全自私型：系統(tǒng)中不存在共同的全局目標，各智能體都為自己的局部目標工作，并且不考慮任何協(xié)作行為。（5）協(xié)同與自私共存型：系統(tǒng)中既存在一些共同的全局目標，某些智能體也可能還具有與全局目標無直接聯(lián)系的局部目標。 再規(guī)劃的情況規(guī)劃一旦被分配就將會被執(zhí)行，直到出現(xiàn)意外情況被中斷。這種意外分為以下兩種情況：（1）計劃執(zhí)行智能體（即機器人）在執(zhí)行該計劃的同時，還將監(jiān)控該子計劃是否適合自己執(zhí)行，當其發(fā)現(xiàn)不再適合擔當由當前規(guī)劃所分配的角色時，將向控制協(xié)調智能體提出請求，進行再規(guī)劃，重新分配角色。（2）在計劃執(zhí)行的過程中，控制協(xié)調智能體將監(jiān)控計劃的執(zhí)行，當發(fā)現(xiàn)當前執(zhí)行的計劃同目前的環(huán)境輸

19、入狀態(tài)所要求的計劃差距比較大或者出現(xiàn)了某種意外情況時（如場上的形勢非常適合某種預先構造好的配合射門程序，或者是球被雙方球員頂在一起而不能進行正常的規(guī)劃時），它將重新進行再規(guī)劃以適應當前的形勢。 二分圖二分圖的數(shù)學模型為： 一個無向圖 稱為一個二分圖。如果下列條件成立： (U、V為非空結點集合)，對于邊集合E中的任一條邊 ，結點 ， 一個在U中，另一個在V中。如果將U中的結點布在一行，V中的結點布在下一行，則二分圖只允許不同行的結點間有邊相聯(lián)，同一行中的結點間不允許有邊相聯(lián)。如果對于U中每一個結點 ，V中每一個結點 ，E都含有邊 ，則記為完全二分圖，邊帶權成為帶權完全二分圖。K-M算法Kuhn-

20、Munkres算法：（1）初始一個可行頂標1，確定 ，在 中找到任一個匹配M。（2）若X中頂點都被M匹配，停止，則M即為最佳匹配。否則， 取 中未被M匹配的頂點 ， 。（3）若N(S)真包含T，轉4。若N(S)=T，令 ， ， ， ； ， ； ， 其它。（4）選 中一頂點y，若y已被M匹配，且 ， ， ，轉3，否則，取 中一個M的可增廣矩 ， 令 ，轉2 。有限狀態(tài)自動機的定義有限狀態(tài)自動機的定義：包含一組狀態(tài)集(States)、一個起始狀態(tài)(Startstate)、一組輸入符號集(Alphabet)、一個映射輸入符號和當前狀態(tài)到下一狀態(tài)的轉換函數(shù)(Transition function)的計算模型。當輸入符號串，模型隨即進入起始狀態(tài)。自動機中各分量的含義有限狀態(tài)自動機M是一個五元組： 狀態(tài)的非空有窮集合。 ，q稱為M的一個狀態(tài)。 輸入字母表。輸入字符串都是 上的字符串。 狀態(tài)轉移函數(shù)，有時又叫作轉移函數(shù)， ， 對 ，表示M在狀態(tài)q讀入字符a，將狀態(tài)變成 p，并將讀頭向移動一個帶方格而指向輸入字符串的下 一個字符。 M的初始狀態(tài)，也可叫作初始狀態(tài)或者啟動狀態(tài)。 M的終止狀態(tài)集合，F(xiàn)包含于Q。 ，q稱為M的終止 狀態(tài)。狀態(tài)轉換條件 a 看見球，與球之間沒有障礙物，離球遠 b 發(fā)現(xiàn)前進路線中有障礙物 c 球很近，無障礙物影響但有偏角 d 球很近且無障礙物無偏角，角度很