第6章-視覺傳感器及其應(yīng)用

Car

情報(bào)局傳

感

器

原

理

及

其

在

無

人

駕

駛

車

輛

中的

應(yīng)

用Car

情報(bào)局第6講 視覺傳感器及其應(yīng)用1、視覺傳感器的基本原理2、

數(shù)字圖像處理3、

雙目立體視覺4、

全景成像5、

紅外成像6、視覺傳感器在無人車中的應(yīng)用7、應(yīng)用案例1視覺傳感器的基本原理1.1

視覺傳感器在無人車中的作用人類感知外部世界主要是通過視覺、觸覺、聽覺和嗅覺等感覺器官，其中約80%

的信息是由視覺獲取的。1.1

視覺傳感器在無人車中的作用視覺傳感器相當(dāng)于無人駕駛車輛的眼睛，是實(shí)現(xiàn)無人駕駛車輛智能化的基礎(chǔ)。1.2

視覺傳感器的基本原理將二維光強(qiáng)分布的光學(xué)圖像轉(zhuǎn)變成一維時(shí)序電信號的傳感器稱為視覺傳感器。1.2

視覺傳感器的基本原理1.3

視覺傳感器的分類視覺傳感器按照芯片類型主要分為CCD和CMOS兩大類。電荷產(chǎn)生電荷量化信號輸出1.4

CCD的基本原理水桶導(dǎo)管量雨器CCD

的基本原理演示1.4

CCD的基本原理Car

情報(bào)局不同的水桶中，雨水量不相同1.4

CCD的基本原理CCD

的基本原理演示Car

情報(bào)局通過導(dǎo)管，水桶中的雨水向左側(cè)流動(dòng)1.4

CCD的基本原理CCD

的基本原理演示Car

情報(bào)局1.4

CCD的基本原理CCD

的基本原理演示1.4

CCD的基本原理CCD

的基本原理演示1.4

CCD的基本原理CCD

的基本原理演示1.4

CCD的基本原理CCD

的基本原理演示1.5

CMOS的基本原理1.6

CCD與CMOS的比較成像過程集成性速度噪聲功耗像素?cái)?shù)量靶面尺寸感光度信噪比焦距與視場角1.7

視覺傳感器的主要指標(biāo)2數(shù)字圖像處理2.1、數(shù)字圖像的形成過程視覺傳感器采集的圖像，經(jīng)過采樣、量化，最終獲得計(jì)算機(jī)可以處理的數(shù)字圖像。采樣列采樣行像素行間隔采樣列間隔?黑?灰?白?0128255采樣量化灰階2.1、數(shù)字圖像的形成過程像素（

pixel）：像素是一個(gè)面積概念，是構(gòu)成數(shù)字圖像的最小單位。像素為320×240的圖像像素為80×60的圖像2.2、一些基本概念灰度：圖像色彩亮度的深淺。圖像所能夠展現(xiàn)的灰度級越多，也就意味著圖像可以表現(xiàn)更強(qiáng)的色彩層次。如果把黑——灰——白連續(xù)變化的灰度值量化為256個(gè)灰度級，灰度值的范圍為0～255，表示亮度從深到淺，對應(yīng)圖像中的顏色為從黑到白。2.2、一些基本概念黑白圖像2.3、幾種常見的數(shù)字圖像灰度圖像2.3、幾種常見的數(shù)字圖像彩色圖像2.3、幾種常見的數(shù)字圖像序列圖像把具有一定聯(lián)系的、具有時(shí)間先后關(guān)系的圖像稱為序列圖像。我們所經(jīng)常看到的電視劇或電影圖像主要是由序列圖像構(gòu)成的。序列圖像是數(shù)字多媒體的重要組成部分。序列圖像是單幅數(shù)字圖像在時(shí)間軸上的擴(kuò)展，可以將視頻的每一幀視為一幅靜止的圖像。2.3、幾種常見的數(shù)字圖像2.4、數(shù)字圖像的矩陣表示在C語言中數(shù)字圖像處理運(yùn)算的核心部分如下:for(j=1,j<N+1;j++)for(i=1;i<M+1;i++){ (對

IP(i,j)

的具體運(yùn)算)}2.4、數(shù)字圖像的矩陣表示2.5

數(shù)字圖像處理的層次3雙目立體視覺3.1、雙目立體視覺的概念雙目立體視覺是模仿人的雙眼成像的原理，不僅能夠獲得二維圖像信息，還可以獲得目標(biāo)距觀測點(diǎn)的距離。3.2、雙目立體視覺原理雙目立體視覺三維測量是基于視差原理

。3.2、雙目立體視覺原理3.2、雙目立體視覺原理目的：由兩幅或多幅從不同視點(diǎn)拍攝的圖像恢復(fù)場景三維信息。兩個(gè)主要的子問題：1）匹配問題

->

視差圖相似而不是相同遮擋問題:

場景的某些部分只在一幅圖像中可見2）重建問題

->

3D地圖重建所需要的攝像機(jī)參數(shù)立體攝像機(jī)標(biāo)定3.3、雙目立體視覺的研究目的目的：由兩幅或多幅從不同視點(diǎn)拍攝的圖像恢復(fù)場景三維信息。步驟：圖像獲取攝像機(jī)標(biāo)定立體圖像校正立體匹配三維重建3.4、雙目立體視覺的研究流程最大分辨率1280×960焦距3.8mm，66°橫向視場角6mm，43°橫向視場角數(shù)據(jù)接口IEEE-1394a接口基線距離12cm和14cm尺寸276×36×41.8mm重量505g功耗＜4w3.5、無人車常用的雙目立體視覺系統(tǒng)Bumblebee

3優(yōu)勢：獲取的信息豐富，可獲得物體的距離信息。不足：受光照及環(huán)境的影響大；運(yùn)算量大。3.6、雙目立體視覺的優(yōu)劣4全景成像4.1、全景成像的概念全景圖像(Panorama)是指通過圖像拼接技術(shù)形成一個(gè)全視角、高分辨率的360°圖像。它是觀察者環(huán)視一圈所能看到景色的整合重現(xiàn)，能較好地表達(dá)完整的周圍信息。4.2

全景成像的實(shí)現(xiàn)過程方法1：使用全景視覺傳感器等專用設(shè)備直接拍攝環(huán)境圖像，生成全景圖像。該方法具有速度快、魯棒性好等特點(diǎn)，但這樣的設(shè)備一般比較昂貴。加拿大PointGrey公司的Ladybug相機(jī)由完全相同6個(gè)相機(jī)對360度全周進(jìn)行同時(shí)成像，

然后再進(jìn)行6幅圖像矯正和拼接，

以獲得同時(shí)成像的全景圖像。4.2

全景成像的實(shí)現(xiàn)過程方法2：采用普通的視覺傳感器獲得序列照片，通過圖像拼接的方法來獲得寬視角、高分辨率的全景圖像

。圖像拼接常用的方法包括：基于相位相關(guān)的拼接方法基于特征點(diǎn)的圖像拼接4.2

全景成像的實(shí)現(xiàn)過程5紅外成像5.1

紅外成像傳感器的原理將視場內(nèi)物體的紅外輻射接收到傳感器上，并將所接收到的輻射信號轉(zhuǎn)換成相應(yīng)的電信號，然后經(jīng)過放大和處理，形成可供觀測、處理的信號的裝置。5.2

遠(yuǎn)紅外熱成像的優(yōu)勢5.2

遠(yuǎn)紅外熱成像的優(yōu)勢5.2

遠(yuǎn)紅外熱成像的優(yōu)勢5.2

遠(yuǎn)紅外熱成像的優(yōu)勢5.3

帶有紅外線發(fā)射裝置的視覺系統(tǒng)6視覺傳感器在無人車中的應(yīng)用6、視覺傳感器在無人車中的應(yīng)用行人及車輛檢測軌道線提取6、視覺傳感器在無人車中的應(yīng)用交通標(biāo)志識(shí)別6、視覺傳感器在無人車中的應(yīng)用7應(yīng)用案例7.1

RealSense的特點(diǎn)7.1

RealSense的特點(diǎn)Intel

RealSense被動(dòng)式雙目立體視覺系統(tǒng)特征點(diǎn)光源主動(dòng)提供特征物體本身特征特征點(diǎn)采集特征點(diǎn)固定（結(jié)構(gòu)光）每次拍攝需提取特征點(diǎn)適應(yīng)性不依賴環(huán)境光源較暗環(huán)境下性能下降或無法工作7.2

RealSense的組成7.2

RealSense的組成7.3

編程實(shí)現(xiàn)加入

#include<librealsense/rs.hpp>，引入reals