智能傳感與檢測(cè)技術(shù) 課件 第11章機(jī)器視覺技術(shù)

機(jī)械工業(yè)出版社CHINAMACHINEPRESS機(jī)器視覺技術(shù)第11章智能傳感與檢測(cè)技術(shù)徐小華主編

ISBN9118-11-111-1160112-6機(jī)器視覺技術(shù)11智能傳感與檢測(cè)技術(shù)

機(jī)器視覺系統(tǒng)的組成11.1機(jī)器視覺數(shù)字圖像處理11.2機(jī)器視覺圖像邊緣的檢測(cè)11.3機(jī)器視覺技術(shù)在紡織企業(yè)中的應(yīng)用11.411.1機(jī)器視覺系統(tǒng)的組成11.2機(jī)器視覺數(shù)字圖像處理11.2.1圖像處理11.2.2圖像分析11.2.3圖像理解11.3機(jī)器視覺圖像邊緣的檢測(cè)11.4機(jī)器視覺技術(shù)在紡織企業(yè)中的應(yīng)用機(jī)器視覺技術(shù)11機(jī)器視覺是使機(jī)器具有像人一樣的視覺，從而實(shí)現(xiàn)各種檢測(cè)、判斷、識(shí)別等功能。一個(gè)典型的工業(yè)機(jī)器視覺系統(tǒng)組成包括：圖像采集單元：光源、鏡頭、視覺傳感器（包括CCD和COMS）、采集卡等。圖像處理分析單元：工控主機(jī)、圖像處理軟件、圖形交互界面等。執(zhí)行單元：接受數(shù)據(jù)和指令，通過(guò)電力、液壓、氣壓實(shí)現(xiàn)運(yùn)動(dòng)的執(zhí)行機(jī)構(gòu)，如機(jī)械手或機(jī)械臂等執(zhí)行機(jī)構(gòu)。11.1機(jī)器視覺系統(tǒng)的組成智能傳感與檢測(cè)技術(shù)機(jī)器視覺技術(shù)11視覺傳感器按照芯片類型主要分為電荷耦合器件(ChargeCoupledDevice，CCD)和互補(bǔ)金屬氧化物半導(dǎo)體(ComplementaryMetalOxideSemiconductor，CMOS)兩大類，按照鏡頭和布置方式的不同又分為單目視覺傳感器、多目視覺傳感器和環(huán)視視覺傳感器。機(jī)器視覺一項(xiàng)綜合技術(shù)，包括圖像處理、機(jī)械工程技術(shù)、控制、電光源照明、光學(xué)成像、視覺傳感器、模擬與數(shù)字視頻技術(shù)、計(jì)算機(jī)軟硬件技術(shù)等。機(jī)器視覺系統(tǒng)的工作原理示意圖如圖所示。11.1機(jī)器視覺系統(tǒng)的組成智能傳感與檢測(cè)技術(shù)

機(jī)器視覺技術(shù)11智能傳感與檢測(cè)技術(shù)11.2機(jī)器視覺數(shù)字圖像處理數(shù)字圖像處理的層次分為圖像處理、圖像分析、圖像理解，如圖所示。機(jī)器視覺技術(shù)11智能傳感與檢測(cè)技術(shù)11.2機(jī)器視覺數(shù)字圖像處理11.2.1圖像處理1.像素生成

像素表示圖像元素，像素的英文“pixel”是一個(gè)合成詞（picture和element）。像素是構(gòu)成數(shù)字圖像的最小單位，是以一個(gè)明確的位置和單一色彩數(shù)值組成的小方塊，這些小方塊的組合構(gòu)成了圖像。圖像分辨率是單位英寸中所包含的像素點(diǎn)數(shù)，例如大多數(shù)網(wǎng)頁(yè)制作常用圖片的分辨率為72，即每英寸像素為72，不同像素的圖像質(zhì)量差別表現(xiàn)如圖所示。a)像素為320x240的圖像b)像素為80x60的圖像機(jī)器視覺技術(shù)11智能傳感與檢測(cè)技術(shù)2.灰度值與灰度處理3.數(shù)字圖像處理

圖11-5灰度圖像的矩陣表示圖11-6黑白圖像的矩陣表示機(jī)器視覺技術(shù)11智能傳感與檢測(cè)技術(shù)2.灰度值與灰度處理3.數(shù)字圖像處理

圖11-7彩色圖像的矩陣表示機(jī)器視覺技術(shù)11智能傳感與檢測(cè)技術(shù)11.2.2圖像分析圖像分析是對(duì)圖像中感興趣的目標(biāo)進(jìn)行檢測(cè)和測(cè)量，以獲得它們的客觀信息，從而建對(duì)圖像中目標(biāo)的描述，是一個(gè)從圖像到數(shù)據(jù)的過(guò)程。圖像分析輸入的是圖像，輸出的是數(shù)據(jù)。11.2.3圖像理解圖像理解在圖像分析的基礎(chǔ)上，進(jìn)一步研究圖像中各目標(biāo)的性質(zhì)和相互聯(lián)系，得出對(duì)圖像內(nèi)容的理解(對(duì)象識(shí)別)及對(duì)原來(lái)客觀場(chǎng)景的解釋(機(jī)器視覺)，從而指導(dǎo)相關(guān)的動(dòng)作執(zhí)行。圖像理解借助機(jī)器視覺，通過(guò)知識(shí)、經(jīng)驗(yàn)和機(jī)器學(xué)習(xí)來(lái)理解整個(gè)客觀世界。圖像理解輸入的是數(shù)據(jù)，輸出的是理解。機(jī)器視覺技術(shù)11智能傳感與檢測(cè)技術(shù)11.3機(jī)器視覺圖像邊緣的檢測(cè)圖像邊緣檢測(cè)是圖像處理的基本問(wèn)題。如圖11-8所示，圖像邊緣構(gòu)成了物體的輪廓，使得“人”或“機(jī)器”一看就知道是什么物體。人類視覺通過(guò)物體邊緣就能夠做到識(shí)別物體。因此，物體邊緣是圖像中最基本也是最重要的特征，圖像識(shí)別和理解圖像的第一步就是邊緣檢測(cè)。機(jī)器視覺技術(shù)11智能傳感與檢測(cè)技術(shù)11.3機(jī)器視覺圖像邊緣的檢測(cè)階梯狀邊緣兩邊像素的灰度值明顯不同，邊緣位置容易檢測(cè)；脈沖狀邊緣處于灰度值由小到大再到小的突變位置；屋頂狀邊緣處于灰度值由小到大再到小的逐漸變化轉(zhuǎn)折點(diǎn)位置。道路邊緣圖像分析與檢測(cè)示例如圖所示。圖11-9道路邊緣圖像分析與檢測(cè)機(jī)器視覺技術(shù)11智能傳感與檢測(cè)技術(shù)11.3機(jī)器視覺圖像邊緣的檢測(cè)圖11-10所示圖像邊緣中，第1行是一些具有邊緣的圖像示例，第2行是沿圖像水平方向的圖像邊緣剖面圖，第3行是剖面的一階導(dǎo)數(shù)，第4行是剖面的二階導(dǎo)數(shù)。第1列和第2列是階梯狀邊緣，第3列是脈沖狀邊緣，第4列是屋頂狀邊緣。實(shí)現(xiàn)圖像的邊緣檢測(cè)，就是要用離散化梯度逼近函數(shù)根據(jù)二維灰度矩陣梯度向量來(lái)尋找圖像灰度矩陣的灰度躍變位置，然后在圖像中將這些位置的點(diǎn)連起來(lái)，構(gòu)成圖像邊緣。機(jī)器視覺技術(shù)11智能傳感與檢測(cè)技術(shù)『知識(shí)拓展』無(wú)人駕駛汽車的感知和定位隨著機(jī)器視覺技術(shù)的發(fā)展，目前視覺傳感器能提供無(wú)人駕駛汽車感知和定位兩個(gè)功能。感知功能主要有障礙物識(shí)別、交通標(biāo)志識(shí)別、可通行空間識(shí)別、交通信號(hào)燈識(shí)別。定位功能是基于視覺同步定位與建圖(SimultaneousLocalizationndMapping，SLAM)技術(shù)，將提前建好的地圖和實(shí)時(shí)的感知結(jié)果做匹配，獲取當(dāng)前汽車的位置。視覺傳感器工作狀態(tài)受光線明暗、天氣狀態(tài)和拍攝物體形狀的影響較大，MobilEYE是著名的車用視覺系統(tǒng)公司，初創(chuàng)于以色列，于2017年被美國(guó)INTEL公司以153億美元收購(gòu)。美國(guó)Tesla汽車公司在其無(wú)人駕駛技術(shù)方案中，堅(jiān)決排斥激光雷達(dá)，而采用了毫米波雷達(dá)+視覺傳感器的方案。除了無(wú)人駕駛技術(shù)應(yīng)用以外，視覺傳感器還可以應(yīng)用于倒車輔助、泊車輔助、駕駛?cè)诵袨楸O(jiān)測(cè)等。機(jī)器視覺技術(shù)11智能傳感與檢測(cè)技術(shù)11.4機(jī)器視覺技術(shù)在紡織企業(yè)中的應(yīng)用

紡織企業(yè)是大型勞動(dòng)和技術(shù)密集型企業(yè)，“布匹檢測(cè)”流水線（圖11-11）是實(shí)時(shí)、準(zhǔn)確、高效的流水線。在流水線上，所有布匹的顏色、及數(shù)量都要進(jìn)行自動(dòng)確認(rèn)。采用機(jī)器視覺的自動(dòng)識(shí)別技術(shù)完成以前由人工來(lái)完成的檢測(cè)工作。在大批量的布匹檢測(cè)中，用人工檢查產(chǎn)品質(zhì)量效率低且精度不高，用機(jī)器視覺檢測(cè)方法可以大大提高生產(chǎn)效率和生產(chǎn)的自動(dòng)化程度。機(jī)器視覺技術(shù)11智能傳感與檢測(cè)技術(shù)

中國(guó)正成為世界機(jī)器視覺發(fā)展最活躍的地區(qū)之一，應(yīng)用范圍涵蓋了工業(yè)、農(nóng)業(yè)、醫(yī)藥、軍事、航天、氣象、科研等國(guó)民經(jīng)濟(jì)的各個(gè)行業(yè)。其重要原因是中國(guó)已經(jīng)成為全球