機(jī)器人視覺(jué)應(yīng)用-課件

1ppt課件第七章機(jī)器人的視覺(jué)及其應(yīng)用2ppt課件第一節(jié)概述

每個(gè)人都能體會(huì)到，眼睛對(duì)人來(lái)說(shuō)是多么重要。可以說(shuō)人類從外界獲得的信息，大多數(shù)都是由眼睛得到的。人類視覺(jué)細(xì)胞的數(shù)量大約在數(shù)量級(jí)，是聽(tīng)覺(jué)細(xì)胞的3000多倍，是皮膚感覺(jué)細(xì)胞的100多倍。從這個(gè)角度來(lái)說(shuō)，也可以看出視覺(jué)系統(tǒng)的重要性。至于視覺(jué)的應(yīng)用范圍，簡(jiǎn)直可以說(shuō)是包羅萬(wàn)象。3ppt課件

獲取機(jī)器人周圍世界的信息，人們?yōu)榱藦耐饨绛h(huán)境獲取信息，一般是通過(guò)視覺(jué)、觸覺(jué)、聽(tīng)覺(jué)等感覺(jué)器官來(lái)進(jìn)行的，也就是說(shuō)如果想要賦予機(jī)器人較為高級(jí)的智能，那么離開(kāi)視覺(jué)系統(tǒng)是無(wú)法做到的。

4ppt課件5ppt課件對(duì)于智能機(jī)器人來(lái)說(shuō)，視覺(jué)系統(tǒng)是必不可少的。從20世紀(jì)60年代開(kāi)始，人們便著手研究機(jī)器人的視覺(jué)系統(tǒng)。一開(kāi)始只能識(shí)別平面上的類似積木的物體。到了20世紀(jì)70年代，已經(jīng)可以認(rèn)識(shí)某些加工部件，也能認(rèn)識(shí)室內(nèi)的桌子、電話等物品了。當(dāng)時(shí)的研究工作雖然進(jìn)展很快，但無(wú)法應(yīng)用于實(shí)際。這是因?yàn)橐曈X(jué)系統(tǒng)的信息量極大，處理這些信息的硬件系統(tǒng)十分龐大，花費(fèi)的時(shí)間也很長(zhǎng)。6ppt課件7ppt課件

隨著大規(guī)模集成技術(shù)的發(fā)展，計(jì)算機(jī)內(nèi)存的體積不斷縮小，價(jià)格急劇下降，速度不斷提高，視覺(jué)系統(tǒng)也走向了實(shí)用化。進(jìn)入20世紀(jì)80年代后，由于微機(jī)的飛速發(fā)展，實(shí)用的視覺(jué)系統(tǒng)已經(jīng)進(jìn)入各個(gè)領(lǐng)域，其中用于機(jī)器人的視覺(jué)系統(tǒng)數(shù)量是很多的。8ppt課件第二節(jié)機(jī)器人的視覺(jué)系統(tǒng)的組成及其原理9ppt課件10ppt課件一、機(jī)器人視覺(jué)系統(tǒng)的硬件系統(tǒng)機(jī)器人視覺(jué)系統(tǒng)的硬件組成：（1）景物和距離傳感器：常用的有攝像機(jī)、CCD圖像傳感器、超聲波傳感器和結(jié)構(gòu)光設(shè)備等。（2）視頻信號(hào)數(shù)字化設(shè)備。（3）視頻信號(hào)快速處理器：如DSP系統(tǒng)。（4）計(jì)算機(jī)及其外設(shè)。（5）機(jī)器人及其控制器。11ppt課件

機(jī)器人視覺(jué)的軟件系統(tǒng)有以下幾個(gè)部分組成：（1）計(jì)算機(jī)系統(tǒng)軟件：選用不同類型的計(jì)算機(jī)，就有不同的操作系統(tǒng)和它所支撐的各種語(yǔ)言、數(shù)據(jù)庫(kù)等。（2）機(jī)器人視覺(jué)信息處理算法：圖像預(yù)處理、分割、描述、識(shí)別和解釋等算法。（3）機(jī)器人控制軟件。12ppt課件二、CCD原理光導(dǎo)攝像管工作原理(a)光導(dǎo)攝像管示意圖；(b)電子束掃描方式13ppt課件CCD傳感器(a)CCD行掃描傳感器；(b)CCD面陣傳感器14ppt課件三、視頻數(shù)字信號(hào)處理器圖像信號(hào)一般是二維信號(hào)，一幅圖像通常由512×512個(gè)像素組成（當(dāng)然有時(shí)也有256×256，或者1024×1024個(gè)像素），每個(gè)像素有256級(jí)灰度，或者是3×8bit，紅黃蘭16兆種顏色，一幅圖像就有256KB或者768KB（對(duì)于彩色）個(gè)數(shù)據(jù)。完成視覺(jué)處理的傳感、預(yù)處理、分割、描述、識(shí)別和解釋。15ppt課件

如果在通用的計(jì)算機(jī)上處理視覺(jué)信號(hào)，主要有兩個(gè)局限性：一是運(yùn)算速度慢，二是內(nèi)存容量小，為了解決上述問(wèn)題，可以采用如下方案：（1）利用大型高速計(jì)算機(jī)組成通用的視頻信號(hào)處理系統(tǒng)。但是缺點(diǎn)是成本太高。（2）小型高速陣列機(jī)。（3）采用專用的視覺(jué)處理器。為了適應(yīng)微型計(jì)算機(jī)視頻數(shù)字信號(hào)處理的需要，不少?gòu)S家設(shè)計(jì)了專用的視覺(jué)信號(hào)處理器，它的結(jié)構(gòu)簡(jiǎn)單，成本低，性能指標(biāo)高。多數(shù)采用多處理器并行處理，流水線式體系結(jié)構(gòu)以及基于DSP的方案。16ppt課件第三節(jié)視覺(jué)信息的處理17ppt課件視覺(jué)信息的處理如圖所示，包括預(yù)處理、分割、特征抽取和識(shí)別四個(gè)模塊。視覺(jué)處理過(guò)程及方法

18ppt課件一、預(yù)處理預(yù)處理的主要目的是清除原始圖像中各種噪聲等無(wú)用的信息，改進(jìn)圖像的質(zhì)量，增強(qiáng)感興趣的有用信息的可檢測(cè)性，從而使后面的分割、特征抽取和識(shí)別處理得以簡(jiǎn)化，并提高其可靠性，機(jī)器視覺(jué)常用的預(yù)處理包括去噪、灰度變換和銳化等。19ppt課件1.去噪原始圖像中不可避免地會(huì)包括許多噪聲，如傳感器噪聲、量化噪聲等。通常噪聲比圖像本身包含較強(qiáng)的高頻成分，而且噪聲具有空間不相關(guān)性，因此簡(jiǎn)單的低通濾波是最常用的一種去噪方法。20ppt課件2．灰度變換由于光照等原因，原始圖像的對(duì)比度往往不理想，利用各種灰度變換處理可以增強(qiáng)圖像的對(duì)比度。21ppt課件3.銳化與平滑處理相反，為了突出圖像中的高頻成分，使輪廓增強(qiáng)可以采用銳化處理22ppt課件二、圖像的分離1.圖像的邊沿檢測(cè)邊沿檢測(cè)作為各種物體檢測(cè)算法的最初預(yù)處理步驟，在機(jī)器人視覺(jué)中具有重要的作用。（1）基本公式從原理上看，絕大多數(shù)邊沿檢測(cè)方法的主導(dǎo)思想是局部微分算子的計(jì)算。23ppt課件用微分算子檢測(cè)邊沿的基本原理(a)在暗背景上的亮物體；(b)在亮背景上的暗物體24ppt課件（2）梯度算子圖像f(x,y)在位置(x,y)處的梯度，定義為二維矢量：對(duì)于邊沿檢測(cè)，我們最關(guān)心的是這個(gè)矢量的幅值，幅值通常稱為梯度25ppt課件

（3）閾值化圖像閾值是工業(yè)機(jī)器人視覺(jué)系統(tǒng)進(jìn)行物體檢測(cè)的主要技術(shù)之一，尤其是對(duì)于高數(shù)據(jù)吞吐量的應(yīng)用，閾值化更為有效?？煞指畹膹?qiáng)度直方圖(a)利用單一閾值分割；(b)多閾值分割26ppt課件2.圖像的邊沿連接和邊界檢測(cè)在理想情況下，檢測(cè)強(qiáng)度不連續(xù)性的方法給出的應(yīng)當(dāng)只是那些位于物體與背景之間邊界處的像素。實(shí)際上，噪聲的存在，不均勻照明引起的邊界中斷，以及其他因素造成的意外強(qiáng)度不連續(xù)性，都會(huì)使得檢測(cè)出的像素難以完全表征邊界。因此，在邊沿檢測(cè)算法之后，通常要進(jìn)行連接和用其它邊界檢測(cè)的方法進(jìn)行處理，以便使邊沿像素形成一個(gè)有意義的物體邊界。27ppt課件

（1）用局部分析方法進(jìn)行邊沿連接這是最簡(jiǎn)單的一種方法。在已進(jìn)行邊沿檢測(cè)處理的圖像的每一點(diǎn)(x,y)附近小鄰域（例如3×3或5×5）內(nèi)，分析像素的特性，將所有相似的點(diǎn)連接在一起，這樣便形成了具有某些共同特性的像素邊界。有兩種基本特性可用于建立邊沿像素的相似性：（1）用于檢測(cè)邊沿像素對(duì)梯度算子的響應(yīng)速度；（2）梯度的方向。28ppt課件【例】研究如圖(a)所示的汽車后部的圖像。我們的目的是從圖像中找出那些適于安置汽車牌照的矩形框。檢測(cè)出相應(yīng)的水平和垂直邊沿，便可獲得所需的矩形。29ppt課件圖(b)和(c)所示為Sobel算子的水平和垂直分量。在圖(d)所示為梯度值大于25并且梯度方向差小于15°的所有點(diǎn)的連接結(jié)果。應(yīng)用上述準(zhǔn)則于圖(c)的每一行，便求得所需水平線，然后再應(yīng)用圖(b)的每一列便可得到垂直線。進(jìn)一步的處理包括連接具有小間斷區(qū)間的邊沿線段和刪除孤立的短線。30ppt課件（2）閾值化前面我們引入了閾值化的概念。在大多數(shù)情況下，由任意照明條件產(chǎn)生的圖像，在用閾值化技術(shù)分割時(shí)，需要使用某些類型的局部分析，以補(bǔ)償非均勻照明的影響（如陰影、反射等）。在進(jìn)行閾值化時(shí)，關(guān)鍵是分割閾值的選擇。31ppt課件第四節(jié)數(shù)字圖像的編碼

數(shù)字圖像要占用大量的內(nèi)存，實(shí)際使用時(shí)，總是希望用盡可能少的內(nèi)存保存數(shù)字圖像，為此，可以選用適當(dāng)?shù)木幋a方法來(lái)壓縮圖像數(shù)據(jù)，目的不同，編碼的方法也不同。例如在傳送圖像數(shù)據(jù)的時(shí)候，應(yīng)選用抗干擾的編碼方法；在恢復(fù)圖像的時(shí)候，因?yàn)椴灰笸耆謴?fù)原來(lái)的畫(huà)面，特別是機(jī)器人視覺(jué)系統(tǒng)，只要求認(rèn)識(shí)目標(biāo)物體的某些特征或圖案，在這種情況下，為了使數(shù)據(jù)處理簡(jiǎn)單、快速，只要保留目標(biāo)物體的某些特征，能達(dá)到區(qū)別各種物體的程度就可以了。這樣做可以使數(shù)據(jù)量大為減少。32ppt課件

常用的編碼方法有輪廓編碼和掃描編碼。所謂輪廓編碼是在畫(huà)面灰度變化較小的情況下，用輪廓線來(lái)描述圖形的特征。具體的說(shuō)，就是用一些方向不同的短線段組成多邊形，用這個(gè)多邊形來(lái)描繪輪廓線。各線段的傾斜度可用一組碼來(lái)表示，稱為方向碼。33ppt課件鏈?zhǔn)骄幋a說(shuō)明圖(a)四方向碼；(b)八方向碼；(c)四方向碼例圖；(d)八方向碼例圖34ppt課件

所謂掃描法，是將一個(gè)畫(huà)面按一定的間距進(jìn)行掃描，在每條掃描線上找出濃度相同區(qū)域的起點(diǎn)和長(zhǎng)度。

格點(diǎn)式編碼方式35ppt課件第六節(jié)機(jī)器人視覺(jué)系統(tǒng)應(yīng)用舉例36ppt課件

機(jī)器人的的視覺(jué)應(yīng)用可以大致分為3類：視覺(jué)檢驗(yàn)，視覺(jué)導(dǎo)引和過(guò)程控制，以及近年來(lái)迅速發(fā)展的移動(dòng)機(jī)器人視覺(jué)導(dǎo)航。其應(yīng)用領(lǐng)域包括電子工業(yè)、汽車工業(yè)、航空工業(yè)，以及食品和制藥等各個(gè)工業(yè)領(lǐng)域。37ppt課件

例如機(jī)器人在完成裝配、分類或搬運(yùn)作業(yè)時(shí)，如果沒(méi)有視覺(jué)反饋，給機(jī)器人提供的零件必須保持精確固定的位置和方向，為此對(duì)每一特定形狀的零件要用專門(mén)的振動(dòng)斗式上料器供料，這樣才能保證機(jī)器人準(zhǔn)確的抓取零件。但由于零件的形狀、體積、重量等原因，有時(shí)不能保證提供固定的位置和方向，或者對(duì)于多種零件、小批量的產(chǎn)品用上料器是不經(jīng)濟(jì)的，這時(shí)用機(jī)器視覺(jué)系統(tǒng)完成零件的識(shí)別、定位和定向，引導(dǎo)機(jī)器人完成零件分類、取放，以至擰緊和裝配則是一種經(jīng)濟(jì)有效的方法。38ppt課件

另一種視覺(jué)導(dǎo)引的應(yīng)用也是起始于汽車工業(yè)，即焊接機(jī)器人的視覺(jué)導(dǎo)引——焊縫跟蹤。汽車工業(yè)使用的機(jī)器人大約一半是用于焊接。

39ppt課件

另一典型的應(yīng)用是荷蘭Oldelft公司研制Seampilot視覺(jué)系統(tǒng)。該系統(tǒng)已被許多機(jī)器人公