機(jī)器視覺基礎(chǔ)知識(shí)課件

機(jī)器視覺基礎(chǔ)1第1頁，共56頁。一、機(jī)器視覺的基本概念2第2頁，共56頁。一、機(jī)器視覺相關(guān)概念機(jī)器視覺的通俗定義： 機(jī)器視覺就是用機(jī)器代替人眼來做測量和判斷。機(jī)器視覺的工作原理：相機(jī)將被檢測目標(biāo)轉(zhuǎn)換成圖像信號(hào)，傳送給圖像處理系統(tǒng)，圖像處理系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來抽取目標(biāo)的特征，如面積、數(shù)量、位置、長度，再根據(jù)預(yù)設(shè)的允許度和其他條件輸出結(jié)果，實(shí)現(xiàn)自動(dòng)識(shí)別功能。

3第3頁，共56頁。一、機(jī)器視覺相關(guān)概念機(jī)器視覺系統(tǒng)的定義：機(jī)器視覺系統(tǒng)是指通過圖像采集單元（相機(jī)），將被攝取目標(biāo)轉(zhuǎn)換成圖像信號(hào)，傳送給專用的圖像處理系統(tǒng)，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號(hào)；圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來控制現(xiàn)場的設(shè)備動(dòng)作。主要適用環(huán)境：1、高速、高精；2、超視、微距；3、客觀、無疲勞；4、環(huán)境限制等。

4第4頁，共56頁。二、機(jī)器視覺系統(tǒng)相關(guān)學(xué)科涉及相關(guān)學(xué)科有：計(jì)算機(jī)視覺機(jī)械設(shè)計(jì)照明工程光學(xué)設(shè)計(jì)自動(dòng)控制圖像處理嵌入式電子圖像處理自動(dòng)控制嵌入式系統(tǒng)照明工程機(jī)械設(shè)計(jì)計(jì)算機(jī)視覺光學(xué)設(shè)計(jì)機(jī)器視覺系統(tǒng)5第5頁，共56頁。三、機(jī)器視覺系統(tǒng)基本構(gòu)成典型系統(tǒng)由以下組成：待測目標(biāo)光源鏡頭相機(jī)圖像采集卡圖像處理軟件輸入輸出板卡工業(yè)電腦6第6頁，共56頁。三、機(jī)器視覺系統(tǒng)基本構(gòu)成典型系統(tǒng)由以下組成：待測目標(biāo)光源鏡頭相機(jī)圖像采集卡圖像處理軟件輸入輸出板卡工業(yè)電腦“嵌入”7第7頁，共56頁。四、機(jī)器視覺系統(tǒng)應(yīng)用分類測量（Measure）檢測（Inspect）定位（Locate）識(shí)別（Identify）8第8頁，共56頁。四、機(jī)器視覺系統(tǒng)應(yīng)用分類測量：長度測量9第9頁，共56頁。四、機(jī)器視覺系統(tǒng)應(yīng)用分類測量：角度測量10第10頁，共56頁。四、機(jī)器視覺系統(tǒng)應(yīng)用分類測量：圓弧及半徑測量11第11頁，共56頁。四、機(jī)器視覺系統(tǒng)應(yīng)用分類檢測：有無檢測(郵包)12第12頁，共56頁。四、機(jī)器視覺系統(tǒng)應(yīng)用分類檢測：殘次品檢測13第13頁，共56頁。四、機(jī)器視覺系統(tǒng)應(yīng)用分類檢測：數(shù)字統(tǒng)計(jì)14第14頁，共56頁。四、機(jī)器視覺系統(tǒng)應(yīng)用分類檢測：瑕疵檢測15第15頁，共56頁。四、機(jī)器視覺系統(tǒng)應(yīng)用分類定位：內(nèi)部定位16第16頁，共56頁。四、機(jī)器視覺系統(tǒng)應(yīng)用分類定位：坐標(biāo)輸出定位17第17頁，共56頁。四、機(jī)器視覺系統(tǒng)應(yīng)用分類識(shí)別：讀碼18第18頁，共56頁。四、機(jī)器視覺系統(tǒng)應(yīng)用分類識(shí)別：OCR/OCV19第19頁，共56頁。四、機(jī)器視覺系統(tǒng)應(yīng)用分類識(shí)別：顏色識(shí)別20第20頁，共56頁。二、機(jī)器視覺軟硬件知識(shí)21第21頁，共56頁。五、機(jī)器視覺系統(tǒng)軟硬件22第22頁，共56頁。六、軟硬件知識(shí)--光源篇

機(jī)器視覺系統(tǒng)工作的基本程序：取像=》分析=》結(jié)果輸出光源為確保視覺系統(tǒng)正常取像獲得足夠光信息和穩(wěn)定圖像而提供的照明裝置

光源是一個(gè)視覺應(yīng)用開始工作的第一步。23第23頁，共56頁。六、軟硬件知識(shí)--光源篇光源的目的

-照亮目標(biāo)，提高目標(biāo)亮度-形成最有利于圖像處理的成像效果-克服環(huán)境光干擾，保證圖像的穩(wěn)定性光源的重要性合適的光源可以大大降低圖像處理難度，提高系統(tǒng)檢測精度、運(yùn)行速度及工作效率。

24第24頁，共56頁。六、軟硬件知識(shí)--光源篇

光源分類螢光燈

鹵素?zé)?光纖導(dǎo)管LED光源其他（激光、紫外光等）25第25頁，共56頁。六、軟硬件知識(shí)--光源篇

常用照明技術(shù)#1：背光——測量系統(tǒng)的最佳選擇26第26頁，共56頁。六、軟硬件知識(shí)--光源篇

常用照明技術(shù)

#2：亮場——最直接的照明27第27頁，共56頁。六、軟硬件知識(shí)--光源篇

常用照明技術(shù)

#3：暗場——適合光滑表面的照明28第28頁，共56頁。六、軟硬件知識(shí)--光源篇

常用照明技術(shù)

#4：同軸光—均勻性好50%分束片29第29頁，共56頁。六、軟硬件知識(shí)--光源篇

常用照明技術(shù)

#5：結(jié)構(gòu)光法——最簡便的三維測量激光或線性光源固定角度照射三維深度信息30第30頁，共56頁。六、軟硬件知識(shí)--光源篇

常用照明技術(shù)

#6：影子的利用——最不直接的測量待測物長度信息待測物高度信息31第31頁，共56頁。六、軟硬件知識(shí)--光源篇

常用照明技術(shù)

#7：彩色的考慮光的三原色色彩三原色

光的三原色：紅、綠、藍(lán)；色彩三原色：青、紫、黃。世界上所有顏色都是由三原色按不同比例組合而成三原色的色光疊加為白光。如：日光三原色的色彩疊加為黑色。32第32頁，共56頁。六、軟硬件知識(shí)--光源篇

常用照明技術(shù)

#7：彩色的考慮33第33頁，共56頁。六、軟硬件知識(shí)--光源篇

常用照明技術(shù)

#8：常用光源分析螢光燈鹵素?zé)?光纖導(dǎo)管LED燈源價(jià)格低高中亮度低高中穩(wěn)定性低中高閃光裝置無無有使用壽命中低高光線均勻度高中低多色光無無有復(fù)雜設(shè)計(jì)低中高34第34頁，共56頁。六、軟硬件知識(shí)--鏡頭篇

鏡頭的介紹1、基本功能

-實(shí)現(xiàn)光束變換，將目標(biāo)成像在圖像傳感器的光敏面上；2、鏡頭與相機(jī)匹配

-鏡頭接口是否為工業(yè)標(biāo)準(zhǔn)接口，C/CS接口、F口等；

-鏡頭成象面是否>=相機(jī)CCD尺寸；若相機(jī)CCD為1/2英寸，而鏡頭為1/3英寸，則該鏡頭與相機(jī)不匹配。35第35頁，共56頁。六、軟硬件知識(shí)--鏡頭篇3、工作距離

-鏡頭焦距是否適合系統(tǒng)工作空間4、系統(tǒng)精度

-獲取最佳視野

-鏡頭畸變對(duì)系統(tǒng)精度的影響

-鏡頭分辨率對(duì)系統(tǒng)精度的影響5、縱深成象

-待測物縱深方向的成象是否在鏡頭景深范圍之內(nèi)36第36頁，共56頁。六、軟硬件知識(shí)--鏡頭篇6、視場范圍

37第37頁，共56頁。六、軟硬件知識(shí)--鏡頭篇7、常用鏡頭

CCTV鏡頭專業(yè)攝影鏡頭遠(yuǎn)心鏡頭38第38頁，共56頁。六、軟硬件知識(shí)--相機(jī)篇

常用照明技術(shù)相機(jī)分類按芯片技術(shù)：CCD相機(jī)和CMOS相機(jī)按靶面類型：面陣相機(jī)和線陣相機(jī)按輸出模式：模擬相機(jī)和數(shù)字相機(jī)按顏色：彩色相機(jī)和黑白相機(jī)按是否帶處理器：智能相機(jī)和非智能相機(jī)主要特性參數(shù)芯片類型分辨率：位于CCD&CMOS芯片上的像素?cái)?shù)速度：line/s，fps光學(xué)接口：C,CS,F等39第39頁，共56頁。六、軟硬件知識(shí)--相機(jī)篇

相機(jī)的選擇相機(jī)分辨率：相機(jī)分辨率（X方向）＝最佳視野范圍（X方向）÷理論象素值（X方向）相機(jī)分辨率（Y方向）＝最佳視野范圍（Y方向）÷理論象素值（Y方向）系統(tǒng)速度要求與相機(jī)成象速度系統(tǒng)單次運(yùn)行速度=系統(tǒng)成象速度+系統(tǒng)檢測速度幀速或線數(shù)快門速度40第40頁，共56頁。六、軟硬件知識(shí)--工控機(jī)篇

工控機(jī)選型的要素關(guān)鍵關(guān)注因素：處理器主頻硬盤讀寫速度內(nèi)存大小輸入輸出離散IO接口類型與數(shù)量工控機(jī)的散熱能力主要衡量指標(biāo)：系統(tǒng)穩(wěn)定性（推薦無風(fēng)扇，低功耗）41第41頁，共56頁。六、軟硬件知識(shí)--軟件篇

機(jī)器視覺軟件包國外品牌：Halcon、VisionPro、LabviewVision等商業(yè)軟件包；OpenCV開源免費(fèi)軟件包。國內(nèi)品牌：研華、OPT、海康、大華、匯萃等，都宣稱開發(fā)成功。42第42頁，共56頁。三、機(jī)器視覺系統(tǒng)搭建技巧43第43頁，共56頁。七、機(jī)器視覺系統(tǒng)搭建

獲得完美圖象的6大要素#1：高系統(tǒng)精度FOV：100MM500象素象素值=0.2MM系統(tǒng)精度（Systemaccuracy）X方向系統(tǒng)精度（X方向象素值）＝視野范圍（X方向）÷CCD芯片象素?cái)?shù)量（X方向）Y方向系統(tǒng)精度（Y方向象素值）＝視野范圍（Y方向÷CCD芯片象素?cái)?shù)量（Y方向）該指標(biāo)取決于，相機(jī)分辨率及視野（FOV）44第44頁，共56頁。七、機(jī)器視覺系統(tǒng)搭建

獲得完美圖象的6大要素#1：高系統(tǒng)精度視野（FOV）

-讓視覺系統(tǒng)“關(guān)心”的部分盡可能“充滿”視野。通俗來說，F(xiàn)OV越小越“好”。 -相機(jī)分辨率相同視野越小系統(tǒng)精度越高 -視野相同相機(jī)分辨率越高系統(tǒng)精度越高適合的視野不適合的視野調(diào)整系統(tǒng)關(guān)心的部分45第45頁，共56頁。七、機(jī)器視覺系統(tǒng)搭建

獲得完美圖象的6大要素#2：清晰成象確定圖象中所要檢測的部分處于清晰的焦距之內(nèi)當(dāng)圖象中檢測部分不處于同一焦平面時(shí)，需要考慮鏡頭的景深注意：每一款鏡頭相對(duì)于固定的光圈，都有自己固定的景深注意：縮小光圈可以加大景深。同時(shí)為保證正確曝光需要提高光強(qiáng)46第46頁，共56頁。七、機(jī)器視覺系統(tǒng)搭建

獲得完美圖象的6大要素#3：避免畸變?cè)诙ㄎ患案呔葴y量的系統(tǒng)中，鏡頭畸變的影響尤其重要真實(shí)世界鏡頭畸變產(chǎn)生的圖象47第47頁，共56頁。七、機(jī)器視覺系統(tǒng)搭建

獲得完美圖象的6大要素#4：保持待測物體在成象中大小一致在定位及識(shí)別系統(tǒng)中，這一點(diǎn)尤為重要48第48頁，共56頁。七、機(jī)器視覺系統(tǒng)搭建

獲得完美圖象的6大要素#5：圖象中待測部分反差最大化待測部分對(duì)于一個(gè)視覺系統(tǒng)來說，“黑白分明”的圖象才是好圖象。49第49頁，共56頁。七、機(jī)器視覺系統(tǒng)搭建

獲得完美圖象的6大要素#6：恰當(dāng)?shù)恼彰髋c曝光避免陰影如果圖象中待測區(qū)域處于陰影之下，圖象將不能提供足夠的反差，這將嚴(yán)重影響系統(tǒng)檢測的精度避免過亮如果照明過亮，區(qū)域內(nèi)亮部的光線會(huì)反射進(jìn)暗部的區(qū)域，造成暗部區(qū)域內(nèi)的細(xì)節(jié)損失避免光線變化如果照明系統(tǒng)發(fā)生明暗變化，會(huì)造成圖象明暗變化。這將直接影響系統(tǒng)運(yùn)行的穩(wěn)定性避免外界影響注意系統(tǒng)周圍環(huán)境的影響，如生產(chǎn)線上的照明系統(tǒng)、室外陽光等等可移動(dòng)的人或物會(huì)遮擋系統(tǒng)照明50第50頁，共56頁。七、機(jī)器視覺系統(tǒng)搭建

小結(jié)#1：獲得完美圖象的6大要素及控制因素高系統(tǒng)精度?？刂埔蛩兀阂曇?、相機(jī)分辨率。清晰成象?？刂埔蛩兀虹R頭、光源避免畸變?？刂埔蛩兀虹R頭保持待測物體在成象中大小一致?？刂埔蛩兀阂曇啊⑴恼战嵌?、待測物位置反差最大化。控制因素：光源、鏡頭恰當(dāng)?shù)恼彰髋c曝光?？刂埔蛩兀汗庠?、鏡頭#2：如何獲得完美圖象選擇適合的光源、鏡頭、相機(jī)學(xué)會(huì)如何使用、控制光源、鏡頭、相機(jī)51第51頁，共56頁。七、機(jī)器視覺系統(tǒng)搭建

項(xiàng)目硬件選型：選型步驟：確定項(xiàng)目檢測方向：測量、檢測、定位、識(shí)別。確定項(xiàng)目檢測要求：精度、速度、工作空間。根據(jù)項(xiàng)目檢測方向完成光源選型根據(jù)項(xiàng)目精度要求確定最佳視野根據(jù)項(xiàng)目精度要求及工作空間要求完成鏡頭選型根據(jù)項(xiàng)目精度要求及速度要求完成相機(jī)選型考慮系統(tǒng)硬件成本52第52頁，共56頁。七、機(jī)器視覺系統(tǒng)搭建

項(xiàng)目評(píng)估的基本步驟1：檢測項(xiàng)目條款條款名稱及詳細(xì)說明客戶需求系統(tǒng)精度要求系統(tǒng)速度要求檢測項(xiàng)目條款系統(tǒng)工作空間要求初步了解視覺系統(tǒng)允許的工作空間系統(tǒng)速度要求清楚了解整個(gè)系統(tǒng)的速度要求對(duì)于設(shè)備制造商，還需要了解整個(gè)設(shè)備的工作流程系統(tǒng)工作空間要求系統(tǒng)精度要求詳細(xì)記錄每項(xiàng)條款的精度要求53第53頁，共56頁。七、機(jī)器視覺系統(tǒng)搭建

項(xiàng)目評(píng)估的基本步驟2：光源選型根據(jù)項(xiàng)目的檢測條款，選用適合的光源鏡頭選型系統(tǒng)精度要求系統(tǒng)工作空間要求相機(jī)選型系統(tǒng)精度要求系統(tǒng)速度要求項(xiàng)目評(píng)估鏡頭選型相機(jī)選型光源選型項(xiàng)目試驗(yàn)項(xiàng)目試驗(yàn)系統(tǒng)搭建，光源、鏡頭、相機(jī)建立檢測程序原型記錄試驗(yàn)結(jié)果，精度、檢測時(shí)間54第54頁，共56頁。七、機(jī)器視覺系統(tǒng)搭建

項(xiàng)目評(píng)估的基本步驟3：條款回顧根據(jù)項(xiàng)目的檢測條款，逐條確定是否可以檢測精度回顧根據(jù)項(xiàng)目的檢測條款，逐條列出試驗(yàn)完成精度系統(tǒng)運(yùn)行速度記錄試驗(yàn)中系統(tǒng)運(yùn)行速度評(píng)估報(bào)告精度回顧系統(tǒng)運(yùn)行