機(jī)器視覺應(yīng)用實(shí)例課件第一章

視覺測(cè)量主講人：全燕鳴教授博士生導(dǎo)師本章要點(diǎn)：

1.1計(jì)算機(jī)視覺的發(fā)展與系統(tǒng)構(gòu)成

1.2生物視覺簡(jiǎn)介1.3Marr視覺理論框架1.4計(jì)算機(jī)視覺應(yīng)用領(lǐng)域及面臨問題1.5視覺測(cè)量系統(tǒng)與關(guān)鍵技術(shù)第一章引論什么是計(jì)算機(jī)視覺呢？讓我們先來了解一些基礎(chǔ)概念，做好本課程學(xué)習(xí)的準(zhǔn)備工作！2、計(jì)算機(jī)視覺的研究目標(biāo)

計(jì)算機(jī)視覺的研究目標(biāo)是使計(jì)算機(jī)具有通過一幅或多幅圖像認(rèn)知環(huán)境信息的能力。它不僅在于模擬人眼能完成的功能，更重要的是它能完成人眼所不能勝任的。1、什么是計(jì)算機(jī)視覺隨著信號(hào)處理理論和計(jì)算機(jī)技術(shù)的發(fā)展，人們?cè)噲D用攝像機(jī)獲取環(huán)境圖像并將其轉(zhuǎn)換成數(shù)字信號(hào)，用計(jì)算機(jī)實(shí)現(xiàn)對(duì)視覺信息處理的全過程，這樣就形成了一門新興的學(xué)科——計(jì)算機(jī)視覺。視覺測(cè)量廣泛應(yīng)用于產(chǎn)品在線質(zhì)量監(jiān)控、微電子器件的自動(dòng)檢測(cè)、各種磨具三維形狀的測(cè)量及生產(chǎn)線線中機(jī)械手的定位與瞄準(zhǔn)。在檢測(cè)領(lǐng)域有重要地位哦！3、視覺測(cè)量概念的提出從計(jì)算機(jī)視覺概念和方法出發(fā)，將計(jì)算機(jī)視覺應(yīng)用于空間幾何尺寸的精確測(cè)量和定位，從而產(chǎn)生了一種新的計(jì)算機(jī)視覺應(yīng)用概念，視覺測(cè)量。視覺測(cè)量作為當(dāng)今高新技術(shù)之一，在電子學(xué)、光學(xué)探測(cè)、圖像處理和計(jì)算機(jī)技術(shù)不斷成熟和完善的基礎(chǔ)上得到了突飛猛進(jìn)的發(fā)展。

看一些實(shí)例吧……美國Perceptron公司研制的用于轎車車身生產(chǎn)的Perceptron1000型多傳感器視覺測(cè)量系統(tǒng)

美國Faro公司產(chǎn)品ATOS便攜式三維掃描儀

英國3DScanners公司的產(chǎn)品

很多大公司都給予視覺測(cè)量領(lǐng)域足夠的重視和資金支持，以上是一些世界知名企業(yè)的視覺測(cè)量產(chǎn)品。通過本課程的學(xué)習(xí)，我們會(huì)學(xué)習(xí)視覺測(cè)量的理論基礎(chǔ)、當(dāng)今視覺測(cè)量領(lǐng)域的發(fā)展現(xiàn)狀、以及對(duì)視覺測(cè)量產(chǎn)品的運(yùn)用！1.1計(jì)算機(jī)視覺的發(fā)展與系統(tǒng)構(gòu)成20世紀(jì)50年代開始統(tǒng)計(jì)模式識(shí)別，工作主要集中在二維圖像分析、識(shí)別和理解上。如：字符識(shí)別、工件表面、顯微圖片和航空照片的分析解釋60年代，Roberts開創(chuàng)了以理解三維場(chǎng)景為目標(biāo)的三維計(jì)算機(jī)視覺的研究（Roberts提出了所謂的“積木世界”說法）70年代，出現(xiàn)了一些計(jì)算機(jī)視覺應(yīng)用系統(tǒng)80年代，Marr教授提出了Marr視覺理論，該理論成為20世紀(jì)80年代計(jì)算機(jī)視覺研究領(lǐng)域中的一個(gè)十分重要的理論框架80年代中期，計(jì)算機(jī)視覺獲得了迅速發(fā)展，主動(dòng)視覺理論框架、給予感知特征群的物體識(shí)別理論框架等新概念、新方法、新理論不斷涌現(xiàn)90年代，計(jì)算機(jī)視覺在工業(yè)環(huán)境中得到廣泛應(yīng)用，同時(shí)基于多視幾何的視覺理論得到迅速發(fā)展計(jì)算機(jī)視覺系統(tǒng)構(gòu)成計(jì)算機(jī)視覺系統(tǒng)一般以計(jì)算機(jī)為中心，主要有視覺傳感器、高速圖像采集系統(tǒng)及專用圖像處理系統(tǒng)等模塊構(gòu)成，如圖所示：標(biāo)準(zhǔn)總線（1）視覺傳感器：視覺傳感器是整個(gè)計(jì)算機(jī)視覺系統(tǒng)信息的直接來源，主要由一個(gè)或兩個(gè)圖像傳感器組成，有時(shí)還要配以光投射器及其它輔助設(shè)備。主要功能是獲取足夠的計(jì)算機(jī)視覺系統(tǒng)要處理的最原始圖像。常用的圖像傳感器：激光傳感器、線陣和面陣CCD攝像機(jī)或TV攝像機(jī)、數(shù)字?jǐn)z相機(jī)。選擇合適的光源對(duì)于獲取清晰圖像非常重要，讓我們認(rèn)識(shí)一些常用的光源：（2）高速圖像采集系統(tǒng)：由專用視頻解碼器、圖像緩沖器以及控制接口電路組成。主要功能是適時(shí)地將視覺傳感器獲取的模擬視頻信號(hào)轉(zhuǎn)換為數(shù)字圖像信號(hào)，并將圖像直接傳送給計(jì)算機(jī)進(jìn)行顯示和處理，或者將數(shù)字圖像傳送給專用圖像處理系統(tǒng)進(jìn)行視覺信號(hào)的實(shí)施前段處理。隨著邏輯門陣列FPGA芯片的出現(xiàn)，使得大多數(shù)高速圖像采集系統(tǒng)只需由幾個(gè)芯片就可以完成。圖像采集系統(tǒng)與計(jì)算機(jī)的接口采用工業(yè)標(biāo)準(zhǔn)總線，如ISA、VME、PCI等。

(3)專用圖像處理系統(tǒng)：是計(jì)算機(jī)的輔助處理器，主要采用專用集成芯（ASIC)、數(shù)字信號(hào)處理器（DSP)或者FPGA等設(shè)計(jì)的全硬件處理器，可以實(shí)時(shí)高速完成各種低級(jí)圖像的處理算法，減輕后端計(jì)算機(jī)的處理負(fù)荷，提高整個(gè)視覺系統(tǒng)的速度。它與計(jì)算機(jī)之間的通信可以采用標(biāo)準(zhǔn)總線接口、串行通信總線接口或者網(wǎng)絡(luò)通信等方式。（4）計(jì)算機(jī)：計(jì)算機(jī)是整個(gè)計(jì)算機(jī)視覺系統(tǒng)的核心，它除了控制整個(gè)系統(tǒng)的各個(gè)模塊的正常運(yùn)行外，還承擔(dān)著視覺系統(tǒng)的最后結(jié)果運(yùn)算和輸出。由圖像采集系統(tǒng)輸出的數(shù)字圖像可以直接傳送到計(jì)算機(jī)，有計(jì)算機(jī)采用純軟件方式完成所有的圖像處理和其他運(yùn)算。如果純軟件處理能夠滿足視覺系統(tǒng)的要求，就不需專用硬件處理系統(tǒng)出現(xiàn)在計(jì)算機(jī)視覺系統(tǒng)。小結(jié)隨著計(jì)算機(jī)視覺的飛速發(fā)展，二維視覺處理已從二值視覺系統(tǒng)發(fā)展為灰度視覺系統(tǒng)，并達(dá)到實(shí)用。在三維視覺信息獲取上，也取得了巨大的進(jìn)步，并且由于實(shí)現(xiàn)思想和條件的不同，產(chǎn)生了相應(yīng)的諸多方法，從一定程度上克服了自然環(huán)境的限制，進(jìn)一步擴(kuò)大了計(jì)算機(jī)視覺的應(yīng)用領(lǐng)域。1.2生物視覺簡(jiǎn)介生物視覺通路如下圖所示：經(jīng)視網(wǎng)膜中的神經(jīng)節(jié)細(xì)胞加工后傳出視網(wǎng)膜上丘物體可見光光學(xué)系統(tǒng)在眼底視網(wǎng)膜上形成物象桿體和錐體感光細(xì)胞神經(jīng)信號(hào)視束丘腦外膝體視皮層1.2.1生物視覺通路視覺第一通路：神經(jīng)節(jié)細(xì)胞軸突在外膝體患神經(jīng)元后，由外膝體神經(jīng)元直接經(jīng)到視放線到視皮層，這是視束的大部分纖維去向，稱為第一視覺通路。神經(jīng)信號(hào)主要是通過視覺第一視通路到達(dá)視皮層，在視覺過程中起著主要作用視覺第二通路：視束的一小部分纖維走向內(nèi)方，經(jīng)上丘臂到達(dá)上丘和頂蓋前區(qū)。上丘淺層神經(jīng)元投射到丘腦枕換元后，再投射到視皮層，上丘還有纖維直接透射到視皮層。由于這條通路不經(jīng)過外膝體，故稱為視覺第二通路。第二視覺視通路的作用極其微小。由視覺視通路可以看到，眼、外膝體與視皮層構(gòu)成了對(duì)視覺信息處理的三個(gè)基本層次。進(jìn)一步分析表明，外膝體與視皮層有著更為復(fù)雜的分塊結(jié)構(gòu)（尤其是視皮層）。分塊表明了視覺信息處理的并行性，不同區(qū)域的是神經(jīng)細(xì)胞具有不同的功能；分層表明了視覺信息處理的串行性。因此，生物視覺系統(tǒng)是一個(gè)串行并行處理相結(jié)合的復(fù)雜系統(tǒng)。1.2.2感受野的分層等級(jí)假設(shè)視覺通路上各層次的神經(jīng)細(xì)胞，由簡(jiǎn)單到復(fù)雜，它們所處理的信息，分別對(duì)應(yīng)于視網(wǎng)膜上的一個(gè)局部區(qū)域，層次越深入，該區(qū)域就越大，這就是著名的感受野與感受野等級(jí)假設(shè)。感受野是支持視覺信息分層串行處理的最重要的生理學(xué)證據(jù)。以信息處理的第一級(jí)為例，視網(wǎng)膜上的神經(jīng)節(jié)細(xì)胞將感光細(xì)胞上接收到的光信號(hào)轉(zhuǎn)換成電信號(hào)再由它的軸突傳出，但每一個(gè)GC細(xì)胞只能接收視網(wǎng)膜上一個(gè)局部區(qū)域的信號(hào)，該區(qū)域就是GC的感受野。GC感受野及其對(duì)光信號(hào)的轉(zhuǎn)換作用分為：1、對(duì)空間亮度變化敏感的感受野。2、對(duì)時(shí)間變化敏感的Y型細(xì)胞。1.2.3視覺信息的并行處理感受野的等級(jí)假設(shè)與局部性質(zhì)主要支持視覺信息處理的自下而上的分層次串行處理，然而視覺系統(tǒng)的任務(wù)不是單一的，它要識(shí)別物體的形狀和顏色，要得到三維物體的深度信息，要檢測(cè)物體的方位和運(yùn)動(dòng)參數(shù)等等。因此，視覺通路的各個(gè)層次上存在著基本互相獨(dú)立的并行通道，分別完成不同的視覺任務(wù)。視覺信息的處理是一個(gè)串行與并行相結(jié)合的復(fù)雜信息處理過程，但目前被人們認(rèn)知的僅僅是一小部分，從信息處理角度看，迄今對(duì)大多數(shù)的處理單元的知識(shí)還非常有限，只知道這個(gè)單元對(duì)某種信息“敏感”，而信息是如何表征的、如何變換的，則仍不清楚，尤其是較高層信息的處理。1.3Marr視覺理論框架1.3.1視覺系統(tǒng)研究的三個(gè)層次要素名稱含義和所解決的問題1計(jì)算理論什么是計(jì)算目的，為什么要這樣計(jì)算2表達(dá)和算法怎樣實(shí)現(xiàn)計(jì)算理論，什么是輸入輸出表達(dá)，用什么算法實(shí)現(xiàn)表搭建的轉(zhuǎn)換3硬件實(shí)現(xiàn)怎樣在物理上實(shí)現(xiàn)表達(dá)和算法，什么是計(jì)算結(jié)構(gòu)的具體細(xì)節(jié)1.3.2視覺信息處理的三個(gè)階段早期視覺處理中期視覺處理后期視覺處理圖像3D描述要素圖2.5維圖由圖像恢復(fù)形狀信息的表達(dá)框架名稱目的基元圖像亮度表示圖像中每一點(diǎn)的亮度值基元圖表是二維圖像中的重要信息，主要是圖像中的亮度變化位置及其幾何分布和組織結(jié)構(gòu)零交叉，斑點(diǎn)，端點(diǎn)和不連續(xù)點(diǎn)，邊緣，有效線段，組合群，曲線組織，邊界2.5維圖在以觀測(cè)者為中心的坐標(biāo)中，表示可見表面的方向、深度值和不連續(xù)的輪廓局部表面朝向（“針”基元）；離觀測(cè)者的距離；深度上的不連續(xù)點(diǎn)；表面朝向的不連續(xù)點(diǎn)3維模型表示在以物體為中心的坐標(biāo)中，用由體積基元和面積基元構(gòu)成的模塊化多層次表示，描述形狀及其空間組織形式分層次組成若干三維模型，每個(gè)三維模型都是在幾個(gè)軸線空間的基礎(chǔ)上構(gòu)成的，所有體積基元或面積形狀基元都附著在軸線上Marr視覺理論的不足之處：1、框架中輸入是被動(dòng)的，給什么圖像，系統(tǒng)就處理什么圖像；2、框架中加工目的不變，總是恢復(fù)場(chǎng)景中物體的位置和形狀等；3、框架缺乏或者說為足夠重視高層知識(shí)的指導(dǎo)作用；4、整個(gè)框架中信息加工過程基本自下而上，單向流動(dòng)，沒有反饋。改進(jìn)的Marr框架：圖像獲取早期處理中期處理后期處理高層知識(shí)視覺目的反饋1.4計(jì)算機(jī)視覺應(yīng)用領(lǐng)域及面臨問題1、工業(yè)自動(dòng)化生產(chǎn)線應(yīng)用：產(chǎn)品檢測(cè)、工業(yè)探傷、自動(dòng)焊接等；2、各類檢驗(yàn)和監(jiān)視應(yīng)用：標(biāo)簽文字標(biāo)記檢查，郵政自動(dòng)化，顯微醫(yī)學(xué)操作等；3、視覺導(dǎo)航應(yīng)用。巡航導(dǎo)彈制導(dǎo)、無人駕駛飛機(jī)飛行、自動(dòng)行駛車輛等；4、圖像自動(dòng)解釋應(yīng)用：對(duì)放射圖、顯微圖像、醫(yī)學(xué)圖像、遙感多波段圖1

像等進(jìn)行自動(dòng)判讀理解；5、人機(jī)交互應(yīng)用：人臉識(shí)別、智能代理等；6、虛擬現(xiàn)實(shí)應(yīng)用：飛機(jī)駕駛員訓(xùn)練、醫(yī)學(xué)手術(shù)模擬、場(chǎng)景建模等。計(jì)算機(jī)視覺的優(yōu)點(diǎn)：1、最大優(yōu)點(diǎn)是與被測(cè)對(duì)象的無接觸2、所能觀測(cè)的對(duì)象十分廣泛3、計(jì)算機(jī)視覺不知疲勞，始終如一觀測(cè)1.4.1計(jì)算機(jī)視覺應(yīng)用領(lǐng)域：建立人類視覺的計(jì)算理論，并進(jìn)而建成可與人類視覺系統(tǒng)相比擬的通用視覺系統(tǒng)是計(jì)算機(jī)視覺研究的最終目標(biāo)。1.4.2計(jì)算機(jī)視覺面臨的問題：1、如何準(zhǔn)確、高速（實(shí)時(shí)）地識(shí)別出目標(biāo)；2、如何有效的增大存儲(chǔ)容量，以便容納下足夠細(xì)節(jié)的目標(biāo)圖像；3、如何有效的構(gòu)造和組織處可靠的識(shí)別算法，并且順利地實(shí)現(xiàn)計(jì)算機(jī)視覺與人的視覺能力比較能力計(jì)算機(jī)視覺人的視覺測(cè)距能力有限定量估計(jì)定方向定量計(jì)算定量估計(jì)運(yùn)動(dòng)分析定量分析，但受限制定量分析檢測(cè)邊界區(qū)域?qū)υ肼暠容^敏感定量、定性分析圖像形狀受分割、噪聲制約高度發(fā)達(dá)圖像機(jī)構(gòu)需要專用軟件，能力有限高度發(fā)達(dá)陰影初級(jí)水平高度發(fā)達(dá)二維解釋對(duì)分割完善的目標(biāo)能較好解釋高度發(fā)達(dá)三維解釋較為低級(jí)高度發(fā)達(dá)總的能力最適合于結(jié)構(gòu)環(huán)境的定量測(cè)量最適合于復(fù)雜的、非結(jié)構(gòu)化環(huán)境的定量解釋計(jì)算機(jī)視覺與人的視覺性能標(biāo)準(zhǔn)比較性能標(biāo)準(zhǔn)計(jì)算機(jī)視覺人的視覺分辨率能力有限定量估計(jì)處理速度零點(diǎn)幾秒/每幀圖像定量估計(jì)處理方式串行處理，部分并行處理每只眼睛每秒處理（實(shí)時(shí)）1010空間數(shù)據(jù)視覺功能二維、三維立體視覺有限自然形式三維立體視覺感光范圍紫外線、紅外線、可見光可見光1.5視覺測(cè)量系統(tǒng)與關(guān)鍵技術(shù)視覺測(cè)量原理框圖工作時(shí)，被測(cè)工件處于生產(chǎn)線上，視覺測(cè)量系統(tǒng)安裝在生產(chǎn)線的固定工位；或者被監(jiān)測(cè)工件靜止，而視覺測(cè)量系統(tǒng)集成在處于運(yùn)動(dòng)中的生產(chǎn)作業(yè)設(shè)備中。1.5.1視覺測(cè)量系統(tǒng)：1.5.2視覺測(cè)量關(guān)鍵技術(shù)1、視覺測(cè)量模型視覺測(cè)量模型對(duì)視覺測(cè)量系統(tǒng)的測(cè)量精度、測(cè)量范圍及測(cè)量速度有著直接的影響2、視覺傳感器結(jié)構(gòu)優(yōu)化雙目視覺傳感器、結(jié)構(gòu)光視覺傳感器在三維視覺測(cè)量系統(tǒng)匯總起著重要作用3、視覺視頻信號(hào)實(shí)時(shí)采集研究一種專用實(shí)時(shí)圖像采集系統(tǒng)是實(shí)現(xiàn)三維測(cè)量的條件之一4、視覺視頻信號(hào)前段實(shí)時(shí)處理視覺圖像信息數(shù)據(jù)量大