《智能視覺(jué)技術(shù)及應(yīng)用》課件第10章

第10章智能視覺(jué)開(kāi)發(fā)平臺(tái)10.1智能視覺(jué)技術(shù)的主要應(yīng)用10.2智能視覺(jué)開(kāi)發(fā)平臺(tái)本章小結(jié)

10.1智能視覺(jué)技術(shù)的主要應(yīng)用

10.1.1定位引導(dǎo)基于機(jī)器視覺(jué)的機(jī)器人引導(dǎo)技術(shù)是機(jī)器視覺(jué)技術(shù)、機(jī)器人控制技術(shù)相結(jié)合產(chǎn)生的新型技術(shù),通過(guò)視覺(jué)技術(shù)對(duì)機(jī)器人進(jìn)行引導(dǎo),使機(jī)器人在完成產(chǎn)品的抓取、工件的裝配等任務(wù)時(shí)具有靈活性,同時(shí)免除了昂貴的精密夾具等特殊裝置?；跈C(jī)器視覺(jué)的工業(yè)機(jī)器人定位抓取技術(shù)在工業(yè)中具有非常高的應(yīng)用價(jià)值,一方面降低了工業(yè)生產(chǎn)的成本,同時(shí)也提高了生產(chǎn)效率。

基于機(jī)器視覺(jué)的工業(yè)機(jī)器人引導(dǎo)技術(shù)主要應(yīng)用于產(chǎn)品組裝、零件分揀和自動(dòng)焊接或點(diǎn)膠等任務(wù)中?；跈C(jī)器視覺(jué)的工業(yè)機(jī)器人通過(guò)攝像頭和機(jī)器人的手臂可以完成高難度的組

裝工作,工人在組裝產(chǎn)品之前可以先將產(chǎn)品零件的大小和尺寸輸入到系統(tǒng)當(dāng)中,系統(tǒng)會(huì)自動(dòng)將數(shù)據(jù)信息存儲(chǔ)。在組裝時(shí),系統(tǒng)通過(guò)攝像機(jī)來(lái)識(shí)別對(duì)應(yīng)的零件,然后通過(guò)機(jī)器人的手臂來(lái)定位抓取零件,從而完成組裝工作?；跈C(jī)器視覺(jué)的工業(yè)機(jī)器人還可以通過(guò)一系列步驟來(lái)完成零件分揀工作。首

先利用攝像機(jī)拍攝零件,然后將圖像傳輸至系統(tǒng)中,再通過(guò)圖像處理技術(shù)來(lái)處理圖像,從而提取圖像中的信息。系統(tǒng)會(huì)自動(dòng)將零件分揀到不同位置,并且會(huì)把形狀不完整的零件當(dāng)作廢件處理,有效地提高了分揀的效率?；跈C(jī)器視覺(jué)的工業(yè)機(jī)器人也可以通過(guò)準(zhǔn)確定位圖像中的目標(biāo)來(lái)引導(dǎo)機(jī)械臂對(duì)目標(biāo)進(jìn)行精確的操作,其可應(yīng)用于流水線的靜態(tài)和動(dòng)態(tài)目標(biāo)識(shí)別場(chǎng)景,可以適應(yīng)各類(lèi)不同形狀和光照條件下的視覺(jué)定位需求,圖10-1為機(jī)器人引導(dǎo)系統(tǒng)框架。圖10-1機(jī)器人引導(dǎo)系統(tǒng)框架

如圖10-2所示,機(jī)器人引導(dǎo)系統(tǒng)一般由相機(jī)、光源、平臺(tái)、機(jī)械臂以及控制分析系統(tǒng)組成,通過(guò)相機(jī)捕獲平臺(tái)上的目標(biāo)物體,經(jīng)控制分析系統(tǒng)分析后發(fā)出控制信號(hào),引導(dǎo)機(jī)械手進(jìn)行精確對(duì)位。視覺(jué)引導(dǎo)系統(tǒng)框架如圖10-1所示,在進(jìn)行引導(dǎo)任務(wù)時(shí),通過(guò)相機(jī)獲取目標(biāo)物體圖像,進(jìn)行物體搜索;確定物體位置后,系統(tǒng)需要先對(duì)機(jī)械臂進(jìn)行路徑規(guī)劃,最終定位到目標(biāo)物體。圖10-2機(jī)器人引導(dǎo)系統(tǒng)

10.1.2字符識(shí)別

字符識(shí)別是模式識(shí)別的一種,模式識(shí)別是指對(duì)表征事物或現(xiàn)象的各種形式的(數(shù)值的、文字的和邏輯關(guān)系的)信息進(jìn)行處理和分析,并對(duì)事物或現(xiàn)象進(jìn)行描述、辨認(rèn)、分類(lèi)和解釋的過(guò)程。

如圖10-3所示,圖片表面上的字符包括大小寫(xiě)英文字母、數(shù)字,它們的組合可以存儲(chǔ)不同的信息,用于標(biāo)記或區(qū)分產(chǎn)品。為了保證字符印刷的準(zhǔn)確性,字符識(shí)別在工業(yè)應(yīng)用中尤為重要。圖10-3待識(shí)別的字符圖像

字符識(shí)別的過(guò)程包括兩個(gè)步驟:一是將圖像中識(shí)別區(qū)域的單個(gè)字符分割出來(lái);二是將分割得到的字符進(jìn)行分類(lèi),得到對(duì)應(yīng)的符號(hào)標(biāo)記。字符識(shí)別首先是生成字符模板,提取字符模板特征,再對(duì)分割到的單個(gè)字符進(jìn)行識(shí)別。對(duì)字符識(shí)別的方法通常有模板匹配、聚類(lèi)、神經(jīng)網(wǎng)絡(luò)以及支持向量機(jī)等。圖10-4為字符識(shí)別步驟的基本流程圖。圖10-5是一個(gè)簡(jiǎn)單的字符識(shí)別例子。圖10-4字符識(shí)別步驟的基本流程圖圖10-5字符識(shí)別

10.1.3顏色檢測(cè)

傳統(tǒng)的機(jī)器視覺(jué)系統(tǒng)大部分是基于灰度圖像進(jìn)行圖像處理,如果檢測(cè)顏色則需要選擇彩色相機(jī),因?yàn)椴噬鄼C(jī)可以還原物體的真實(shí)色彩。彩色圖像的顏色模型有很多種形式,如RGB、YUV、HSV、CMYK,其中在圖像處理中以RGB最為直觀,而HSV更符合人眼的顏色分辨規(guī)律,顏色檢測(cè)通常在HSV顏色空間下進(jìn)行。H(色調(diào))用角度度量,取值范圍為0°~360°,從紅色開(kāi)始按逆時(shí)針?lè)较蛴?jì)算,紅色為0°,綠色為120°,藍(lán)色為240°;它們的補(bǔ)色是黃色為60°,青色為180°,品紅為300°。S(飽和度)的取值范圍為0~255。V(亮度)的取值范圍為0(黑色)~255(白色)。圖10-6為HSV顏色空間。圖10-6HSV顏色空間

圖10-7為顏色檢測(cè)基本流程圖。對(duì)于顏色檢測(cè)系統(tǒng),首先需要通過(guò)彩色相機(jī)捕獲物體圖像,將彩色圖像轉(zhuǎn)化到灰度圖像做特征定位,定位到檢測(cè)區(qū)域后在原圖像上做顏色處理。一般的顏色處理會(huì)在HSV顏色空間內(nèi)進(jìn)行。若相機(jī)的輸出為RGB顏色空間還需要進(jìn)行RGB到HSV顏色空間的轉(zhuǎn)換,再?gòu)念伾臻g中抽取某個(gè)特征顏色進(jìn)行進(jìn)一步的分析。圖10-7顏色檢測(cè)的基本流程圖

10.1.4尺寸測(cè)量

基于機(jī)器視覺(jué)的尺寸測(cè)量方法具有成本低、精度高、安裝簡(jiǎn)易等優(yōu)點(diǎn),其非接觸性、實(shí)時(shí)性、靈活性和精確性等特點(diǎn)可以有效地解決傳統(tǒng)檢測(cè)方法存在的問(wèn)題。另外,基于機(jī)器視覺(jué)的尺寸測(cè)量方法不但可以獲得尺寸參數(shù),還可以根據(jù)測(cè)量結(jié)果及時(shí)給出反饋信息,修正加工參數(shù)。尺寸測(cè)量可以用于檢測(cè)零件的各種尺寸,如長(zhǎng)度、圓、角度等。圖10-8為尺寸測(cè)量的基本流程圖。圖10-8尺寸測(cè)量的基本流程圖

10.1.5缺陷檢測(cè)

產(chǎn)品缺陷檢測(cè)方法可以分為三種。

第一種是人工檢測(cè)法,這種方法不僅成本高,而且在對(duì)微小缺陷進(jìn)行判別時(shí),難以達(dá)到所需要的精度和速度,還存在勞動(dòng)強(qiáng)度大、檢測(cè)標(biāo)準(zhǔn)一致性差等缺點(diǎn)。

第二種是機(jī)械裝置接觸檢測(cè)法,這種方法雖然在質(zhì)量上能滿(mǎn)足生產(chǎn)的需要,但存在檢測(cè)設(shè)備價(jià)格高、靈活性差、速度慢等缺點(diǎn)。

第三種是機(jī)器視覺(jué)檢測(cè)法,即利用圖像處理和分析對(duì)產(chǎn)品可能存在的缺陷進(jìn)行檢測(cè),這種方法采用非接觸的工作方式,安裝靈活,測(cè)量精度和速度都比較高。

機(jī)器視覺(jué)缺陷檢測(cè)軟件通過(guò)對(duì)目標(biāo)表面圖像進(jìn)行預(yù)處理,并與標(biāo)準(zhǔn)圖像對(duì)比,找到其中存在的缺陷,然后識(shí)別并判斷缺陷種類(lèi)和嚴(yán)重程度,對(duì)產(chǎn)品進(jìn)行分類(lèi)分級(jí)處理。圖10-9是利用機(jī)器視覺(jué)技術(shù)完成對(duì)工業(yè)產(chǎn)品中的一些常見(jiàn)缺陷檢測(cè)實(shí)例,缺陷類(lèi)型包括紡織品上的缺經(jīng)、臟污缺陷和鑄件上的劃痕缺陷等。圖10-9缺陷檢測(cè)實(shí)例

10.2智能視覺(jué)開(kāi)發(fā)平臺(tái)10.2.1智能視覺(jué)開(kāi)發(fā)平臺(tái)的分類(lèi)智能視覺(jué)開(kāi)發(fā)平臺(tái)可分為單任務(wù)的專(zhuān)用開(kāi)發(fā)平臺(tái)和集成式通用組態(tài)開(kāi)發(fā)平臺(tái)。單任務(wù)的專(zhuān)用開(kāi)發(fā)平臺(tái)是專(zhuān)門(mén)針對(duì)具體應(yīng)用研制開(kāi)發(fā)的,應(yīng)用的待測(cè)目標(biāo)已知,根據(jù)待測(cè)目標(biāo)的特性以及檢測(cè)目標(biāo),針對(duì)性地進(jìn)行開(kāi)發(fā)。集成式通用組態(tài)開(kāi)發(fā)平臺(tái)基于視覺(jué)庫(kù),將眾多通用的圖像處理算法二次開(kāi)發(fā)成工具庫(kù),并向用戶(hù)提供一個(gè)開(kāi)放的通用平臺(tái),用戶(hù)可以在這個(gè)平臺(tái)上組合自己需要的處理工具,配置處理流程,快速靈活地通過(guò)組態(tài)實(shí)現(xiàn)一個(gè)具體的視覺(jué)檢測(cè)任務(wù)。

1.單任務(wù)的專(zhuān)用開(kāi)發(fā)平臺(tái)

單任務(wù)的專(zhuān)用開(kāi)發(fā)平臺(tái)的算法實(shí)現(xiàn)一般都基于市場(chǎng)上已有的視覺(jué)庫(kù)。視覺(jué)庫(kù)用于將一些常用的圖像處理算法編制成函數(shù)庫(kù)。這類(lèi)開(kāi)發(fā)平臺(tái)需要開(kāi)發(fā)者根據(jù)檢測(cè)任務(wù)調(diào)用視覺(jué)庫(kù)中所需的函數(shù),完成檢測(cè)任務(wù),最終開(kāi)發(fā)出適合某一特定任務(wù)的應(yīng)用。每個(gè)應(yīng)用都需要重新開(kāi)發(fā)算法,開(kāi)發(fā)周期長(zhǎng),不具有通用性。

2.集成式通用組態(tài)開(kāi)發(fā)平臺(tái)

集成式通用組態(tài)開(kāi)發(fā)平臺(tái)的工具庫(kù)具有流程化和模塊化的設(shè)計(jì)特點(diǎn),用戶(hù)可以根據(jù)平臺(tái)提供的各種預(yù)處理、定位、測(cè)量、計(jì)數(shù)等工具,對(duì)測(cè)試圖像處理流程進(jìn)行自定義組合配

置,快速完成所需要的檢測(cè)任務(wù),開(kāi)發(fā)周期短,通用性強(qiáng)。

10.2.2VisionBank智能視覺(jué)開(kāi)發(fā)平臺(tái)

VisionBank智能視覺(jué)開(kāi)發(fā)平臺(tái)是一個(gè)智能化的機(jī)器視覺(jué)項(xiàng)目開(kāi)發(fā)平臺(tái),內(nèi)置了大量的圖像處理工具,用戶(hù)開(kāi)發(fā)全新機(jī)器視覺(jué)項(xiàng)目時(shí)只需要靈活配置平臺(tái)上的不同圖像處理工具

就可以設(shè)計(jì)各種不同檢測(cè)要求的視覺(jué)項(xiàng)目。

VisionBank與同類(lèi)開(kāi)發(fā)平臺(tái)相比具有以下幾個(gè)特點(diǎn):

(1)內(nèi)容豐富,并且在持續(xù)擴(kuò)展中;

(2)高度集成化,基于各種使用場(chǎng)景抽象集成得到;

(3)運(yùn)行速度快,算法速度進(jìn)行了深入優(yōu)化;

(4)算法模塊之間可關(guān)聯(lián),流程中后面的模塊可使用前面模塊的計(jì)算結(jié)果作為輸入或者確定處理區(qū)域;

(5)對(duì)于高級(jí)用戶(hù),支持自定義相機(jī)和I/O卡、自定義運(yùn)行界面和自定義通訊;

(6)使用簡(jiǎn)單,易于操作。

VisionBank的應(yīng)用領(lǐng)域如圖10-10所示。圖10-10-VisionBank的應(yīng)用領(lǐng)域

基于VisionBank的機(jī)器視覺(jué)項(xiàng)目開(kāi)發(fā)流程如圖10-11所示。圖10-11VisionBank開(kāi)發(fā)流程

1.圖像采集

VisionBank的圖像采集模塊支持讀取本地圖像和從工業(yè)相機(jī)獲取實(shí)時(shí)圖像。讀取本地圖像時(shí)可以單獨(dú)加載一幀圖像,也可以選擇本地的一個(gè)目錄,按照?qǐng)D片的序列不斷地讀進(jìn)來(lái),如圖10-12所示。圖10-12目錄測(cè)試

從工業(yè)相機(jī)獲取實(shí)時(shí)圖像時(shí),需要先選擇同時(shí)連接的相機(jī)數(shù)量(VisionBank最多支持同時(shí)連接8臺(tái)相機(jī)),再設(shè)置連接的相機(jī)類(lèi)型,如圖10-13所示。當(dāng)“硬件連接”監(jiān)控區(qū)中相機(jī)的圖標(biāo)變綠后,就可以從相機(jī)中獲取實(shí)時(shí)圖像了。圖10-13工業(yè)相機(jī)的選擇

2.圖像預(yù)處理

VisionBank的圖像預(yù)處理功能有兩個(gè)應(yīng)用場(chǎng)景:

一是通用圖像預(yù)處理,選擇此功能時(shí),主畫(huà)面窗口會(huì)顯示預(yù)處理后的圖像,同時(shí)后面所有的圖像處理功能都在這個(gè)基礎(chǔ)上進(jìn)行。VisionBank為用戶(hù)提供了20余種預(yù)處理工具,如圖10-14所示,包括常見(jiàn)的轉(zhuǎn)換為灰度圖、Sobel濾波、高斯濾波等工具,還包含了圖像縮放、旋轉(zhuǎn)等功能性工具。用戶(hù)不僅可以對(duì)圖片進(jìn)行降噪處理,還可以根據(jù)實(shí)際檢測(cè)的需要使用不同的預(yù)處理工具組合來(lái)獲取對(duì)檢測(cè)最有用的信息。

二是局部圖像預(yù)處理,該功能是和具體的圖像處理工具綁定的。比如,通用圖像預(yù)處理對(duì)圖像做了“轉(zhuǎn)換為灰度圖”操作,再添加“特征定位”時(shí)可以選用局部預(yù)處理,對(duì)圖像做灰度變換操作,該局部預(yù)處理僅對(duì)“特征定位”工具生效。圖10-14圖像預(yù)處理工具

3.圖像處理

圖像處理模塊是VisionBank的核心功能,內(nèi)置了200余種圖像處理工具?；谶@些工具的不同組合及不同參數(shù)設(shè)置,圖像處理模塊幾乎能應(yīng)用于所有平面機(jī)器視覺(jué)應(yīng)用場(chǎng)景。這些工具主要分為定位、幾何、有無(wú)、計(jì)數(shù)、計(jì)測(cè)、識(shí)別、掩模、其它八大類(lèi),如圖10-15所示。圖10-15圖像處理工具

定位工具中為不同的場(chǎng)景提供了大量的定位方法,包括灰度定位、特征定位、圓定位、邊定位等,如圖10-16所示。圖10-16定位參照

4.標(biāo)定

VisionBank的標(biāo)定模塊包括三類(lèi)應(yīng)用場(chǎng)景。

(1)鏡頭畸變矯正標(biāo)定。VisionBank支持圓形、網(wǎng)格、棋盤(pán)格三類(lèi)標(biāo)定板,用戶(hù)只需要輸入所使用標(biāo)定板的參數(shù)即可完成鏡頭畸變標(biāo)定,如圖10-17所示。

(2)尺寸測(cè)量標(biāo)定。VisionBank支持圓形、網(wǎng)格、棋盤(pán)格三類(lèi)標(biāo)定板標(biāo)定和比例尺標(biāo)定,用戶(hù)僅輸入所使用標(biāo)定板的參數(shù)或標(biāo)準(zhǔn)件的標(biāo)準(zhǔn)尺寸即可完成像素單位到毫米單位的換算。

(3)機(jī)器人手眼標(biāo)定。VisionBank支持圓形、網(wǎng)格、棋盤(pán)格三類(lèi)標(biāo)定板標(biāo)定和多點(diǎn)映射標(biāo)定,其目的是把圖像坐標(biāo)系換算到機(jī)器人坐標(biāo)系下。通過(guò)位置標(biāo)定,可以讓圖像坐標(biāo)系與機(jī)器人坐標(biāo)系建立關(guān)聯(lián),從而實(shí)現(xiàn)手眼互動(dòng)操作。圖10-17鏡頭畸變標(biāo)定模塊