文酷網(wǎng)計(jì)算機(jī)視覺

計(jì)算機(jī)視覺

ComputerVision北京理工大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院10/29/20241CV:Introduction

關(guān)于課程

主講教師賈云得教授（jiayunde@,68940955）劉峽壁博士（liuxiabi@,86343158）

教材

賈云得，《機(jī)器視覺》，科學(xué)出版社，2000

課程主頁

http:///course/cv/index.asp10/29/20242CV:Introduction

考核與成績評定結(jié)合平時(shí)表現(xiàn)，大作業(yè)與期末考試進(jìn)行考核：平時(shí)成績根據(jù)課堂表現(xiàn)和作業(yè)完成情況評定。大作業(yè)題目與要求在課程學(xué)習(xí)過程中適當(dāng)時(shí)候給出。考核成績，按百分制評定。平時(shí)成績30%，大作業(yè)成績30%,期末考試成績40%。10/29/20243CV:Introduction第一章概論Chapter1Introduction10/29/20244CV:Introduction1.1什么是計(jì)算機(jī)視覺？

智能機(jī)器：能模擬人類的功能，能感知外部世界并有效地解決人所能解決的問題．感知系統(tǒng)：人類感知外部世界主要是通過視覺、觸覺、聽覺和嗅覺等感覺器官，其中約80%的信息是由視覺獲取的．因此，賦予機(jī)器以人類視覺功能對發(fā)展智能機(jī)器是及其重要的．計(jì)算機(jī)視覺：研究用計(jì)算機(jī)來模擬生物外顯或宏觀視覺功能的科學(xué)和技術(shù)．計(jì)算機(jī)視覺系統(tǒng)的首要目標(biāo)是用圖像創(chuàng)建或恢復(fù)現(xiàn)實(shí)世界模型，然后認(rèn)知現(xiàn)實(shí)世界．10/29/20245CV:Introduction1.1.1計(jì)算機(jī)視覺的五大研究內(nèi)容1）輸入設(shè)備(inputdevice)

包括成像設(shè)備和數(shù)字化設(shè)備．成象設(shè)備是指通過光學(xué)攝像機(jī)或紅外、激光、超聲、X射線對周圍場景或物體進(jìn)行探測成象，得到關(guān)于場景或物體的二維或三維數(shù)字化圖像．2）低層視覺(lowlevel)

主要是對輸入的原始圖像進(jìn)行處理．這一過程借用了大量的圖像處理技術(shù)和算法，如圖像濾波、圖像增強(qiáng)、邊緣檢測、紋理檢測、運(yùn)動(dòng)檢測，以便從圖像中抽取諸如角點(diǎn)、邊緣、線條、邊界、色彩、紋理、運(yùn)動(dòng)等關(guān)于場景的基本特征．10/29/20246CV:Introduction計(jì)算機(jī)視覺的五大研究內(nèi)容3）中層視覺（middlelevel）

主要任務(wù)是恢復(fù)場景的深度、表面法線方向、輪廓等有關(guān)場景的2.5維信息，實(shí)現(xiàn)的途徑有立體視覺（stereovision）、測距成像（rangefinder）、從X恢復(fù)形狀（ShapefromX,X=明暗、紋理、運(yùn)動(dòng)）．系統(tǒng)標(biāo)定、系統(tǒng)成像模型等研究內(nèi)容一般也是在這個(gè)層次上進(jìn)行的．4）高層視覺（highlevel）

主要任務(wù)是在以物體為中心的坐標(biāo)系中，在原始輸入圖像、圖像基本特征、2.5維圖的基礎(chǔ)上，恢復(fù)物體的完整三維圖，建立物體三維描述，識別三維物體并確定物體的位置和方向．10/29/20247CV:Introduction計(jì)算機(jī)視覺的五大研究內(nèi)容5）體系結(jié)構(gòu)（systemarchitecture）在高度抽象的層次上，根據(jù)系統(tǒng)模型而不是根據(jù)實(shí)現(xiàn)設(shè)計(jì)的具體例子來研究系統(tǒng)的結(jié)構(gòu)．為了說明這一點(diǎn)，可以考慮建筑設(shè)計(jì)中某一時(shí)期的建筑風(fēng)格（如清朝時(shí)期）和根據(jù)這一風(fēng)格設(shè)計(jì)出來的具體建筑之間的區(qū)別．體系結(jié)構(gòu)研究涉及一系列相關(guān)的課題：并行結(jié)構(gòu)、分層結(jié)構(gòu)、信息流結(jié)構(gòu)、拓?fù)浣Y(jié)構(gòu)以及從設(shè)計(jì)到實(shí)現(xiàn)的途徑等等．10/29/20248CV:Introduction1.1.2計(jì)算機(jī)視覺與相關(guān)學(xué)科的關(guān)系1）圖像處理(imageprocessing)

圖像處理通常是把一幅圖像變換成另外一幅圖像，也就是說，圖像處理系統(tǒng)的輸入是圖像，輸出仍然是圖像，信息恢復(fù)任務(wù)則留給人來完成2）計(jì)算機(jī)圖形學(xué)(computergraphics)

通過幾何基元，如線、圓和自由曲面等，來生成圖像，屬于圖像綜合，它在可視化（Visualization）和虛擬現(xiàn)實(shí)(VirtualReality）中起著很重要的作用．計(jì)算機(jī)視覺正好是解決相反的問題，即從圖像中估計(jì)幾何基元和其它特征，屬于圖像分析．3）模式識別(patternrecognition)研究分類問題，確定符號、圖畫、物體等輸入對象的類別．強(qiáng)調(diào)一類事物區(qū)別于其它事物所具有的共同特征。一般不關(guān)心三維世界的恢復(fù)問題。10/29/20249CV:Introduction計(jì)算機(jī)視覺與相關(guān)學(xué)科的關(guān)系3）人工智能(ArtificialIntelligence)涉及到智能系統(tǒng)的設(shè)計(jì)和智能計(jì)算的研究．在經(jīng)過圖像處理和圖像特征提取過程后，接下來要用人工智能方法對場景特征進(jìn)行表示，并分析和理解場景．4）媒體計(jì)算(MultimediaComputing)文字\圖形\圖像\動(dòng)畫\視頻\音頻等各類感覺媒體的共性基礎(chǔ)計(jì)算理論、計(jì)算方法，以及媒體系統(tǒng)實(shí)現(xiàn)技術(shù)。以實(shí)現(xiàn)下一代計(jì)算機(jī)能聽、能看、會(huì)說、會(huì)學(xué)習(xí)為目標(biāo)。5）認(rèn)知科學(xué)與神經(jīng)科學(xué)(CognitivescienceandNeuroscience)將人類視覺作為主要的研究對象．計(jì)算機(jī)視覺中已有的許多方法與人類視覺極為相似．許多計(jì)算機(jī)視覺研究者對研究人類視覺計(jì)算模型比研究計(jì)算機(jī)視覺系統(tǒng)更感興趣，希望計(jì)算機(jī)視覺更加自然化，更加接近生物視覺10/29/202410CV:Introduction1.1.3計(jì)算機(jī)視覺技術(shù)的應(yīng)用工業(yè)領(lǐng)域（生產(chǎn)裝配、質(zhì)量檢驗(yàn)）機(jī)器人（星球探測機(jī)器人）遙感圖像分析（植被分析）醫(yī)學(xué)圖像分析（骨骼定位）安全鑒別、監(jiān)視與跟蹤（門禁系統(tǒng)、視頻監(jiān)控）國防系統(tǒng)（目標(biāo)自動(dòng)識別與目標(biāo)跟蹤）圖像與視頻檢索（基于內(nèi)容的檢索）文物保護(hù)（數(shù)字博物館）其他（游戲、動(dòng)畫、體育、人機(jī)交互）…………10/29/202411CV:IntroductionSojourner火星車前部圖，中部的兩個(gè)小突出是兩個(gè)黑白CCD攝像機(jī)10/29/202412CV:Introduction勇氣號火星車Rocky7火星車10/29/202413CV:Introduction

Rocky7視覺系統(tǒng)獲取的立體圖象對(a)深度圖象

(b)障礙物探測示意圖Rocky7視覺系統(tǒng)對場景的深度恢復(fù)

10/29/202414CV:IntroductionCMU月球探測實(shí)驗(yàn)車Nomad漫游者10/29/202415CV:IntroductionEyeVision手勢交互智能交通監(jiān)控10/29/202416CV:Introduction?1950s：二維圖像分析和識別，如光學(xué)字符識別，工件表面、顯微圖片和航空圖片的分析和解釋等．是模式識別的重要內(nèi)容。?1960s：MIT的Roberts通過計(jì)算機(jī)程序從數(shù)字圖像中提取出諸如立方體、楔形體、棱柱體等多面體的三維結(jié)構(gòu)，并對物體形狀及物體的空間關(guān)系進(jìn)行描述．這項(xiàng)研究開創(chuàng)了以理解三維場景為目的的三維計(jì)算機(jī)視覺的研究．Roberts對積木世界的創(chuàng)造性研究給人們以極大的啟發(fā)，許多人相信，一旦由白色積木玩具組成的三維世界可以被理解，則可以推廣到理解更復(fù)雜的三維場景．1.2計(jì)算機(jī)視覺發(fā)展簡史10/29/202417CV:Introduction?1970s：出現(xiàn)了一些視覺應(yīng)用系統(tǒng)．

70年代中期，麻省理工學(xué)院(MIT)人工智能(AI)實(shí)驗(yàn)室正式開設(shè)“計(jì)算機(jī)視覺”(

MachineVision)課程，由B．K．P．Horn教授講授．

DavidMarr教授于1973年應(yīng)邀在MITAI實(shí)驗(yàn)室領(lǐng)導(dǎo)一個(gè)以博士生為主體的研究小組，1977年提出了不同于“積木世界”分析方法的計(jì)算視覺理論.?1980s~Marr理論成為計(jì)算機(jī)視覺研究領(lǐng)域中的一個(gè)十分重要的理論框架．(ICCV,Marr獎(jiǎng))

計(jì)算機(jī)視覺獲得蓬勃發(fā)展，新概念、新方法、新理論、新應(yīng)用不斷涌現(xiàn)，比如，基于感知特征群的物體識別理論框架，主動(dòng)視覺理論框架，視覺集成理論框架等．10/29/202418CV:Introduction主要學(xué)術(shù)會(huì)議

Int.Conf.onComputerVisionandPatternRecognition(CVPR);Int.Conf.onComputerVision(ICCV);EuropeanConf.onComputerVision(ECCV);AsianConf.onComputerVision(ACCV);．

Int.Conf.onPatternRecognition(ICPR);

主要學(xué)術(shù)期刊

Int.JonComputerVision(IJCV)IEEETrans.onPatternAnalysisandMachineIntelligence(PAMI)IEEETrans.onImageProcessingPatternRecognitionImageandVisionComputingPatternRecognitionLetter如何了解最新進(jìn)展？10/29/202419CV:Introduction1.3Marr視覺計(jì)算理論?Marr視覺計(jì)算理論立足于計(jì)算機(jī)科學(xué)，系統(tǒng)地概括了心理生理學(xué)、神經(jīng)生理學(xué)等方面取得的所有重要成果，是視覺研究中迄今為止最為完善的視覺理論．?Marr建立的視覺計(jì)算理論，使計(jì)算機(jī)視覺研究有了一個(gè)比較明確的體系，并大大推動(dòng)了計(jì)算機(jī)視覺研究的發(fā)展．人們普遍認(rèn)為，計(jì)算機(jī)視覺這門學(xué)科的形成與Marr的視覺理論有著密切的關(guān)系．?Marr視覺理論的組成

1）信息處理的三個(gè)層次

2）視覺表示框架的三個(gè)階段10/29/202420CV:Introduction

1）信息處理的三個(gè)層次

計(jì)算理論

表示和算法

硬件實(shí)現(xiàn)計(jì)算的目的是什么？

如何實(shí)現(xiàn)這個(gè)計(jì)算理論？

在物理上如何實(shí)現(xiàn)為什么這一計(jì)算是合適的？

輸入、輸出的表示是什么？

這些表示和算法？執(zhí)行計(jì)算的策略是什么？

表示與表示之間的變換是什么？10/29/202421CV:Introduction

2）視覺表示框架第一階段(也稱為早期階段)：將輸入的原始圖像進(jìn)行處理，抽取圖像中諸如角點(diǎn)、邊緣、紋理、線條、邊界等基本特征，這些特征的集合稱為基元圖(primitivesketch)；第二階段(中期階段)：指在以觀測者為中心的坐標(biāo)系中，由輸入圖像和基元圖恢復(fù)場景可見部分的深度、法線方向、輪廓等，這些信息包含了深度信息，但不是真正的物體三維表示，因此，稱為二維半圖(2.5dimensionalsketch)；第三階段(后期階段)：在以物體為中心的坐標(biāo)系中，由輸入圖像、基元圖、二維半圖來恢復(fù)、表示和識別三維物體。10/29/202422CV:Introduction1.4計(jì)算機(jī)視覺面臨的困難與對策1）圖像多義性三維場景被投影為二維圖像，深度和不可見部分的信息被丟失，因而會(huì)出現(xiàn)不同形狀的三維物體投影在圖像平面上產(chǎn)生相同圖像的問題．另外，在不同角度獲取同一物體的圖像會(huì)有很大的差異．2）環(huán)境因素影響場景中的諸多因素，包括照明、物體形狀、表面顏色、攝像機(jī)以及空間關(guān)系變化都會(huì)對成像有影響3）知識導(dǎo)引同樣的圖像在不同的知識導(dǎo)引下，將會(huì)產(chǎn)生不同的識別結(jié)果．4）海量數(shù)據(jù)灰度圖像，彩色圖像，深度圖像的信息量十分巨大，巨大的數(shù)據(jù)量需要很大的存貯空間，同時(shí)不易實(shí)現(xiàn)快速處理．10/29/202423CV:Introduction10/29/202424CV:Introduction10/29/202425CV:Introduction10/29/202426CV:Introduc