機(jī)器視覺(jué)基礎(chǔ)知識(shí)培訓(xùn)優(yōu)秀課件

1、1機(jī)器視覺(jué)基礎(chǔ)培訓(xùn)機(jī)器視覺(jué)基礎(chǔ)培訓(xùn)2一、機(jī)器視覺(jué)的基本概念一、機(jī)器視覺(jué)的基本概念3一、機(jī)器視覺(jué)相關(guān)概念機(jī)器視覺(jué)的通俗定義：機(jī)器視覺(jué)的通俗定義：機(jī)器視覺(jué)就是用機(jī)器代替人眼來(lái)做測(cè)量和判斷。機(jī)器視覺(jué)就是用機(jī)器代替人眼來(lái)做測(cè)量和判斷。機(jī)器視覺(jué)的工作原理：機(jī)器視覺(jué)的工作原理： 相機(jī)將被檢測(cè)目標(biāo)轉(zhuǎn)換成圖像信號(hào)，傳送給圖像處理系統(tǒng)，圖像相機(jī)將被檢測(cè)目標(biāo)轉(zhuǎn)換成圖像信號(hào)，傳送給圖像處理系統(tǒng)，圖像處理系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目標(biāo)的特征，如面積、數(shù)量、處理系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目標(biāo)的特征，如面積、數(shù)量、位置、長(zhǎng)度，再根據(jù)預(yù)設(shè)的允許度和其他條件輸出結(jié)果，實(shí)現(xiàn)自動(dòng)識(shí)位置、長(zhǎng)度，再根據(jù)預(yù)設(shè)的允許度和其他

2、條件輸出結(jié)果，實(shí)現(xiàn)自動(dòng)識(shí)別功能。別功能。4一、機(jī)器視覺(jué)相關(guān)概念機(jī)器視覺(jué)系統(tǒng)的定義：機(jī)器視覺(jué)系統(tǒng)的定義： 機(jī)器視覺(jué)系統(tǒng)是指通過(guò)圖像采集單元（相機(jī)），將被攝取目標(biāo)機(jī)器視覺(jué)系統(tǒng)是指通過(guò)圖像采集單元（相機(jī)），將被攝取目標(biāo)轉(zhuǎn)換成圖像信號(hào)，傳送給專(zhuān)用的圖像處理系統(tǒng)，根據(jù)像素分布和亮度、轉(zhuǎn)換成圖像信號(hào)，傳送給專(zhuān)用的圖像處理系統(tǒng)，根據(jù)像素分布和亮度、顏色等信息，轉(zhuǎn)變成數(shù)字化信號(hào)；圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算顏色等信息，轉(zhuǎn)變成數(shù)字化信號(hào)；圖像系統(tǒng)對(duì)這些信號(hào)進(jìn)行各種運(yùn)算來(lái)抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來(lái)控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作。來(lái)抽取目標(biāo)的特征，進(jìn)而根據(jù)判別的結(jié)果來(lái)控制現(xiàn)場(chǎng)的設(shè)備動(dòng)作。主要適用環(huán)境：主要適用環(huán)境：

3、 1、高速、高精；、高速、高精； 2、超視、微距；、超視、微距； 3、客觀(guān)、無(wú)疲勞；、客觀(guān)、無(wú)疲勞； 4、環(huán)境限制等。、環(huán)境限制等。 5二、機(jī)器視覺(jué)系統(tǒng)相關(guān)學(xué)科涉及相關(guān)學(xué)科有：涉及相關(guān)學(xué)科有：計(jì)算機(jī)視覺(jué)計(jì)算機(jī)視覺(jué)機(jī)械設(shè)計(jì)機(jī)械設(shè)計(jì)照明工程照明工程光學(xué)設(shè)計(jì)光學(xué)設(shè)計(jì)自動(dòng)控制自動(dòng)控制圖像處理圖像處理嵌入式電子嵌入式電子圖像處理自動(dòng)控制嵌入式系統(tǒng)照明工程機(jī)械設(shè)計(jì)計(jì)算機(jī)視覺(jué)光學(xué)設(shè)計(jì)機(jī)器視覺(jué)系統(tǒng)6三、機(jī)器視覺(jué)系統(tǒng)基本構(gòu)成典型系統(tǒng)由以下組成：待測(cè)目標(biāo)光源鏡頭相機(jī)圖像采集卡圖像處理軟件輸入輸出板卡工業(yè)電腦7三、機(jī)器視覺(jué)系統(tǒng)基本構(gòu)成典型系統(tǒng)由以下組成：待測(cè)目標(biāo)光源鏡頭相機(jī)圖像采集卡圖像處理軟件輸入輸出板卡工業(yè)電腦

4、“嵌入嵌入”8四、機(jī)器視覺(jué)系統(tǒng)應(yīng)用分類(lèi)測(cè)量測(cè)量（Measure）檢測(cè)檢測(cè)（Inspect）定位定位（Locate）識(shí)別識(shí)別（ Identify ）9四、機(jī)器視覺(jué)系統(tǒng)應(yīng)用分類(lèi)測(cè)量：長(zhǎng)度測(cè)量測(cè)量：長(zhǎng)度測(cè)量10四、機(jī)器視覺(jué)系統(tǒng)應(yīng)用分類(lèi)測(cè)量：角度測(cè)量測(cè)量：角度測(cè)量11四、機(jī)器視覺(jué)系統(tǒng)應(yīng)用分類(lèi)測(cè)量：圓弧及半徑測(cè)量測(cè)量：圓弧及半徑測(cè)量12四、機(jī)器視覺(jué)系統(tǒng)應(yīng)用分類(lèi)檢測(cè)：有無(wú)檢測(cè)檢測(cè)：有無(wú)檢測(cè)(郵包)13四、機(jī)器視覺(jué)系統(tǒng)應(yīng)用分類(lèi)檢測(cè)：殘次品檢測(cè)檢測(cè)：殘次品檢測(cè)14四、機(jī)器視覺(jué)系統(tǒng)應(yīng)用分類(lèi)檢測(cè)：數(shù)字統(tǒng)計(jì)檢測(cè)：數(shù)字統(tǒng)計(jì)15四、機(jī)器視覺(jué)系統(tǒng)應(yīng)用分類(lèi)檢測(cè)：瑕疵檢測(cè)檢測(cè)：瑕疵檢測(cè)16四、機(jī)器視覺(jué)系統(tǒng)應(yīng)用分類(lèi)定位：內(nèi)部定

5、位定位：內(nèi)部定位17四、機(jī)器視覺(jué)系統(tǒng)應(yīng)用分類(lèi)定位：坐標(biāo)輸出定位定位：坐標(biāo)輸出定位18四、機(jī)器視覺(jué)系統(tǒng)應(yīng)用分類(lèi)識(shí)別：讀碼識(shí)別：讀碼19四、機(jī)器視覺(jué)系統(tǒng)應(yīng)用分類(lèi)識(shí)別：識(shí)別：OCR/OCV20四、機(jī)器視覺(jué)系統(tǒng)應(yīng)用分類(lèi)識(shí)別：顏色識(shí)別識(shí)別：顏色識(shí)別21二、機(jī)器視覺(jué)軟硬件知識(shí)二、機(jī)器視覺(jué)軟硬件知識(shí)22五、機(jī)器視覺(jué)系統(tǒng)軟硬件23六、軟硬件知識(shí)-光源篇l 機(jī)器視覺(jué)系統(tǒng)工作的基本程序：取像 = 分析 = 結(jié)果輸出l 光源為確保視覺(jué)系統(tǒng)正常取像獲得足夠光信息和穩(wěn)定圖像而提供的照明裝置l 光源是一個(gè)視覺(jué)應(yīng)用開(kāi)始工作的第一步。光源是一個(gè)視覺(jué)應(yīng)用開(kāi)始工作的第一步。24六、軟硬件知識(shí)-光源篇l光源的目的 -照亮目標(biāo)，提高

6、目標(biāo)亮度 -形成最有利于圖像處理的成像效果 -克服環(huán)境光干擾，保證圖像的穩(wěn)定性l光源的重要性 合適的光源可以大大降低圖像處理難度，提高系統(tǒng)檢測(cè)精度、運(yùn)行速度及工作效率。 25六、軟硬件知識(shí)-光源篇u 光源分類(lèi)光源分類(lèi)螢光燈 鹵素?zé)?光纖導(dǎo)管LED光源其他（激光、紫外光等）26六、軟硬件知識(shí)-光源篇u 常用照明技術(shù)常用照明技術(shù) #1：背光：背光測(cè)量系統(tǒng)的最佳選擇測(cè)量系統(tǒng)的最佳選擇27六、軟硬件知識(shí)-光源篇u 常用照明技術(shù)常用照明技術(shù) #2：亮場(chǎng)：亮場(chǎng)最直接的照明最直接的照明28六、軟硬件知識(shí)-光源篇u 常用照明技術(shù)常用照明技術(shù) #3：暗場(chǎng)：暗場(chǎng)適合光滑表面的照明適合光滑表面的照明29六、軟硬件知

7、識(shí)-光源篇u 常用照明技術(shù)常用照明技術(shù) #4#4：同軸光：同軸光均勻性好均勻性好50% 分束片分束片30六、軟硬件知識(shí)-光源篇u 常用照明技術(shù)常用照明技術(shù) #5#5：結(jié)構(gòu)光法：結(jié)構(gòu)光法最簡(jiǎn)便的三維測(cè)量最簡(jiǎn)便的三維測(cè)量激光或線(xiàn)性光激光或線(xiàn)性光源源固定角度照射固定角度照射三維深度信息三維深度信息31六、軟硬件知識(shí)-光源篇u 常用照明技術(shù)常用照明技術(shù) #6#6：影子的利用：影子的利用最不直接的測(cè)量最不直接的測(cè)量待測(cè)物長(zhǎng)度信息待測(cè)物長(zhǎng)度信息待測(cè)物高度信息待測(cè)物高度信息32六、軟硬件知識(shí)-光源篇u 常用照明技術(shù)常用照明技術(shù) #7#7：彩色的考慮：彩色的考慮光的三原色光的三原色色彩三原色色彩三原色 光的三

8、原色：紅、綠、藍(lán)；色彩三原色：青、紫、黃。 世界上所有顏色都是由三原色按不同比例組合而成 三原色的色光疊加為白光。如：日光 三原色的色彩疊加為黑色。 33六、軟硬件知識(shí)-光源篇u 常用照明技術(shù)常用照明技術(shù) #7#7：彩色的考慮：彩色的考慮34六、軟硬件知識(shí)-光源篇u 常用照明技術(shù)常用照明技術(shù) #8#8：常用光源分析：常用光源分析螢光燈鹵素?zé)?光纖導(dǎo)管LED燈源價(jià)格低高中亮度低高中穩(wěn)定性低中高閃光裝置無(wú)無(wú)有使用壽命中低高光線(xiàn)均勻度高中低多色光無(wú)無(wú)有復(fù)雜設(shè)計(jì)低中高35六、軟硬件知識(shí)-鏡頭篇u 鏡頭的介紹鏡頭的介紹l 1、基本功能 -實(shí)現(xiàn)光束變換，將目標(biāo)成像在圖像傳感器的光敏面上；l 2、鏡頭與相機(jī)

9、匹配 -鏡頭接口是否為工業(yè)標(biāo)準(zhǔn)接口，C/CS接口、F口等； -鏡頭成象面是否=相機(jī)CCD尺寸； 若相機(jī)CCD為1/2英寸，而鏡頭為1/3英寸，則該鏡頭與相機(jī)不匹配。36六、軟硬件知識(shí)-鏡頭篇l 3、工作距離 -鏡頭焦距是否適合系統(tǒng)工作空間l 4、系統(tǒng)精度 -獲取最佳視野 -鏡頭畸變對(duì)系統(tǒng)精度的影響 -鏡頭分辨率對(duì)系統(tǒng)精度的影響l 5、縱深成象 -待測(cè)物縱深方向的成象是否在鏡頭景深范圍之內(nèi)37六、軟硬件知識(shí)-鏡頭篇l 6、視場(chǎng)范圍 38六、軟硬件知識(shí)-鏡頭篇l 7、常用鏡頭 CCTV鏡頭專(zhuān)業(yè)攝影鏡頭遠(yuǎn)心鏡頭39六、軟硬件知識(shí)-相機(jī)篇u 常用照明技術(shù)常用照明技術(shù) 相機(jī)分類(lèi) 按芯片技術(shù)：CCD相機(jī)和

10、CMOS相機(jī) 按靶面類(lèi)型：面陣相機(jī)和線(xiàn)陣相機(jī) 按輸出模式：模擬相機(jī)和數(shù)字相機(jī) 按顏色：彩色相機(jī)和黑白相機(jī) 按是否帶處理器：智能相機(jī)和非智能相機(jī) 主要特性參數(shù) 芯片類(lèi)型 分辨率：位于CCD&CMOS芯片上的像素?cái)?shù) 速度：line/s，fps 光學(xué)接口：C,CS,F等40六、軟硬件知識(shí)-相機(jī)篇u 相機(jī)的選擇相機(jī)的選擇 相機(jī)分辨率： 相機(jī)分辨率（X方向）最佳視野范圍（X方向） 理論象素值（X方向） 相機(jī)分辨率（Y方向）最佳視野范圍（Y方向） 理論象素值（Y方向） 系統(tǒng)速度要求與相機(jī)成象速度 系統(tǒng)單次運(yùn)行速度 = 系統(tǒng)成象速度 + 系統(tǒng)檢測(cè)速度 幀速或線(xiàn)數(shù) 快門(mén)速度41六、軟硬件知識(shí)-工控機(jī)篇u 工控

11、機(jī)選型的要素工控機(jī)選型的要素 關(guān)鍵關(guān)注因素： 處理器主頻 硬盤(pán)讀寫(xiě)速度 內(nèi)存大小 輸入輸出離散IO 接口類(lèi)型與數(shù)量 工控機(jī)的散熱能力 主要衡量指標(biāo)： 系統(tǒng)穩(wěn)定性（推薦無(wú)風(fēng)扇，低功耗）42六、軟硬件知識(shí)-軟件篇u 機(jī)器視覺(jué)軟件包機(jī)器視覺(jué)軟件包 國(guó)外品牌： Halcon、VisionPro、Labview Vision等商業(yè)軟件包；OpenCV開(kāi)源免費(fèi)軟件包。 國(guó)內(nèi)品牌： 研華、OPT、?？?、大華、匯萃等，都宣稱(chēng)開(kāi)發(fā)成功。43三、機(jī)器視覺(jué)系統(tǒng)搭建技巧三、機(jī)器視覺(jué)系統(tǒng)搭建技巧44七、機(jī)器視覺(jué)系統(tǒng)搭建u 獲得完美圖象的獲得完美圖象的6 6大要素大要素#1#1：高系統(tǒng)精度：高系統(tǒng)精度FOV：100MM5

12、00 象素象素象素值象素值 = 0.2 MM系統(tǒng)精度（System accuracy） X方向系統(tǒng)精度（X方向象素值） 視野范圍（X方向） CCD芯片象素?cái)?shù)量（X方向） Y方向系統(tǒng)精度（Y方向象素值） 視野范圍（Y方向 CCD芯片象素?cái)?shù)量（Y方向） 該指標(biāo)取決于，相機(jī)分辨率及視野（FOV）45七、機(jī)器視覺(jué)系統(tǒng)搭建u 獲得完美圖象的獲得完美圖象的6 6大要素大要素#1#1：高系統(tǒng)精度：高系統(tǒng)精度視野（FOV） - 讓視覺(jué)系統(tǒng)“關(guān)心”的部分盡可能“充滿(mǎn)”視野。通俗來(lái)說(shuō)，F(xiàn)OV越小越“好”。- 相機(jī)分辨率相同視野越小系統(tǒng)精度越高- 視野相同相機(jī)分辨率越高系統(tǒng)精度越高適合的視野適合的視野不適合的視野不

13、適合的視野調(diào)整調(diào)整系統(tǒng)關(guān)心的部分系統(tǒng)關(guān)心的部分46七、機(jī)器視覺(jué)系統(tǒng)搭建u 獲得完美圖象的獲得完美圖象的6 6大要素大要素#2#2：清晰成象：清晰成象確定圖象中所要檢測(cè)的部分處于清晰的焦距之內(nèi)當(dāng)圖象中檢測(cè)部分不處于同一焦平面時(shí)，需要考慮鏡頭的景深注意：每一款鏡頭相對(duì)于固定的光圈，都有自己固定的景深注意：縮小光圈可以加大景深。同時(shí)為保證正確曝光需要提高光強(qiáng)47七、機(jī)器視覺(jué)系統(tǒng)搭建u 獲得完美圖象的獲得完美圖象的6 6大要素大要素#3#3：避免畸變：避免畸變?cè)诙ㄎ患案呔葴y(cè)量的系統(tǒng)中，鏡頭畸變的影響尤其重要真實(shí)世界真實(shí)世界鏡頭畸變產(chǎn)生的圖象鏡頭畸變產(chǎn)生的圖象48七、機(jī)器視覺(jué)系統(tǒng)搭建u 獲得完美圖象的

14、獲得完美圖象的6 6大要素大要素#4#4：保持待測(cè)物體在成象中大小一致：保持待測(cè)物體在成象中大小一致在定位及識(shí)別系統(tǒng)中，這一點(diǎn)尤為重要49七、機(jī)器視覺(jué)系統(tǒng)搭建u 獲得完美圖象的獲得完美圖象的6 6大要素大要素#5#5：圖象中待測(cè)部分反差最大化：圖象中待測(cè)部分反差最大化待測(cè)部分待測(cè)部分對(duì)于一個(gè)視覺(jué)系統(tǒng)來(lái)說(shuō)，“黑白分明”的圖象才是好圖象。50七、機(jī)器視覺(jué)系統(tǒng)搭建u 獲得完美圖象的獲得完美圖象的6 6大要素大要素#6#6：恰當(dāng)?shù)恼彰髋c曝光：恰當(dāng)?shù)恼彰髋c曝光避免陰影 如果圖象中待測(cè)區(qū)域處于陰影之下，圖象將不能提供足夠的反差，這將嚴(yán)重影響系統(tǒng)檢測(cè)的精度避免過(guò)亮 如果照明過(guò)亮，區(qū)域內(nèi)亮部的光線(xiàn)會(huì)反射進(jìn)暗部

15、的區(qū)域，造成暗部區(qū)域內(nèi)的細(xì)節(jié)損失避免光線(xiàn)變化 如果照明系統(tǒng)發(fā)生明暗變化，會(huì)造成圖象明暗變化。這將直接影響系統(tǒng)運(yùn)行的穩(wěn)定性避免外界影響 注意系統(tǒng)周?chē)h(huán)境的影響，如生產(chǎn)線(xiàn)上的照明系統(tǒng)、室外陽(yáng)光等等可移動(dòng)的人或物會(huì)遮擋系統(tǒng)照明51七、機(jī)器視覺(jué)系統(tǒng)搭建u 小結(jié)小結(jié)#1#1：獲得完美圖象的：獲得完美圖象的6 6大要素及控制因素大要素及控制因素 高系統(tǒng)精度?？刂埔蛩兀阂曇啊⑾鄼C(jī)分辨率。 清晰成象。控制因素：鏡頭、光源 避免畸變?？刂埔蛩兀虹R頭 保持待測(cè)物體在成象中大小一致?？刂埔蛩兀阂曇啊⑴恼战嵌?、待測(cè)物位置 反差最大化?？刂埔蛩兀汗庠础㈢R頭 恰當(dāng)?shù)恼彰髋c曝光?？刂埔蛩兀汗庠?、鏡頭#2#2：如何獲得完美圖

16、象如何獲得完美圖象 選擇適合的光源、鏡頭、相機(jī) 學(xué)會(huì)如何使用、控制光源、鏡頭、相機(jī)52七、機(jī)器視覺(jué)系統(tǒng)搭建u 項(xiàng)目硬件選型：項(xiàng)目硬件選型： 選型步驟： 確定項(xiàng)目檢測(cè)方向：測(cè)量、檢測(cè)、定位、識(shí)別。 確定項(xiàng)目檢測(cè)要求：精度、速度、工作空間。 根據(jù)項(xiàng)目檢測(cè)方向完成光源選型 根據(jù)項(xiàng)目精度要求確定最佳視野 根據(jù)項(xiàng)目精度要求及工作空間要求完成鏡頭選型 根據(jù)項(xiàng)目精度要求及速度要求完成相機(jī)選型 考慮系統(tǒng)硬件成本53七、機(jī)器視覺(jué)系統(tǒng)搭建u 項(xiàng)目評(píng)估的基本步驟項(xiàng)目評(píng)估的基本步驟1：q 檢測(cè)項(xiàng)目條款 條款名稱(chēng)及詳細(xì)說(shuō)明客戶(hù)需求客戶(hù)需求系統(tǒng)精度系統(tǒng)精度要求要求系統(tǒng)速度系統(tǒng)速度要求要求檢測(cè)項(xiàng)目檢測(cè)項(xiàng)目條款條款q 系統(tǒng)工作空間要求 初步了解視覺(jué)系統(tǒng)允許的工作空間q 系統(tǒng)速度要求 清楚了解整個(gè)系統(tǒng)的速度要求 對(duì)于設(shè)備制造商，還需要了解整個(gè)設(shè)備的工作流程系統(tǒng)工作系統(tǒng)工作空間要求空間要求q 系統(tǒng)精度要求 詳細(xì)記錄每項(xiàng)條款的精度要求54七、機(jī)器視覺(jué)系統(tǒng)搭建u 項(xiàng)目評(píng)估的基本步驟項(xiàng)目評(píng)估的基本步驟2：q 光源選型 根據(jù)項(xiàng)目的檢測(cè)條款，選用適合的光源q 鏡頭選型 系統(tǒng)精度要求 系統(tǒng)工作空間要求q 相機(jī)選型 系統(tǒng)精度要求 系統(tǒng)速度要求項(xiàng)目評(píng)估項(xiàng)目評(píng)估鏡頭選型鏡頭選型相機(jī)選型相機(jī)選型光源選型光源選型項(xiàng)目試驗(yàn)項(xiàng)目試驗(yàn)q 項(xiàng)目試驗(yàn) 系統(tǒng)搭建，光源、