智能網(wǎng)聯(lián)汽車 課件 項(xiàng)目二 任務(wù)二認(rèn)知視覺傳感器

項(xiàng)目二智能網(wǎng)聯(lián)汽車環(huán)境感知技術(shù)前言視覺傳感器成本低廉，獲取的環(huán)境信息直觀，在車載領(lǐng)域得到了廣泛應(yīng)用，如目前常見的倒車影像和360°全景環(huán)視系統(tǒng)，都使用了魚眼攝像頭作為視覺傳感器。同時(shí)，隨著各類圖像處理方法的發(fā)展，以及圖像處理芯片成本的持續(xù)降低，使用視覺傳感器實(shí)時(shí)獲取環(huán)境信息成為一種可行的車載應(yīng)用方案。因此，視覺傳感器成為目前智視覺傳感器能網(wǎng)聯(lián)汽車廣泛使用的傳感器。目前具備圖像識(shí)別能力的視覺傳感器主要是攝像頭。認(rèn)知視覺傳感器Annualworksummary2目錄01教學(xué)目標(biāo)02教學(xué)內(nèi)容教學(xué)目標(biāo)0103能解釋環(huán)境感知的應(yīng)用范圍01能描述環(huán)境感知系統(tǒng)概念和內(nèi)容02能描述環(huán)境感知系統(tǒng)組成01.通過(guò)環(huán)境感知系統(tǒng)的學(xué)習(xí)，讓學(xué)生知道技術(shù)不斷進(jìn)步，激發(fā)學(xué)生不斷學(xué)習(xí)的興趣。知識(shí)目標(biāo)素質(zhì)目標(biāo)教學(xué)內(nèi)容02一、視覺傳感器概念視覺傳感器又稱為成像裝置或攝像裝置，是智能車輛路徑識(shí)別模塊中攝像頭的重要組成部分，可以檢測(cè)可見光、紫外線、X射線及近紅外光等，實(shí)現(xiàn)視覺功能的信息采集、轉(zhuǎn)換和擴(kuò)展，提供可視化、真實(shí)、多級(jí)、多內(nèi)容的視覺圖像信息。圖像傳感器控制芯片。視覺傳感器是人工智能的一個(gè)分支，通過(guò)使用光學(xué)系統(tǒng)和圖像處理工具等來(lái)模擬人的視覺能力捕捉和處理場(chǎng)景的三維信息，理解并通過(guò)指揮特定的裝置執(zhí)行決策。視覺傳感器涉及多種技術(shù)，包括圖像外理、機(jī)械工程技術(shù)、控制、電光源照明，光學(xué)成像、傳感器、模擬與數(shù)字視頻技術(shù)、計(jì)算機(jī)軟硬件技術(shù)等，其外觀如圖2-2-1所示。二、視覺傳感器類型視覺傳感器按安裝位置分有前視、后視和環(huán)視;按鏡頭類型分有長(zhǎng)焦、魚眼;按傳感器的原理分有單目視覺傳感器、雙目視覺傳感器、三目視覺傳感器和紅外夜視視覺傳感器等多種類型。圖像處理算法在處理遠(yuǎn)紅外夜視圖像時(shí)中可以發(fā)揮作用。認(rèn)知視覺傳感器二、視覺傳感器類型單目視覺傳感器只包含一個(gè)攝像機(jī)和一個(gè)鏡頭，如圖2-2-2所示。因大多圖像算法的研究都是基于單目視覺傳感器開發(fā)的，因此相對(duì)于其池類別的車載視覺傳感器，單目視覺傳感器的算法成熟度更高。但是單目視覺有兩個(gè)先天的缺陷，一是它的視野完全取決于鏡頭。焦距短的鏡頭，視野廣，但缺失遠(yuǎn)處的信息，反之亦然。二是單目測(cè)距的精度較低。攝像機(jī)的成像圖是透視圖，即越遠(yuǎn)的物體成像越小。近處的物體，需要用幾百甚至上千個(gè)像素點(diǎn)描述;而處于遠(yuǎn)處的同一物體，可能只需要幾個(gè)像素點(diǎn)即可描還出來(lái)。這種特性會(huì)導(dǎo)致越遠(yuǎn)的地方，一個(gè)像素點(diǎn)代表的距離越大。單目視覺物體越遠(yuǎn)，測(cè)距的精度越低。01單目視覺傳感器二、視覺傳感器類型雙目視覺傳感器，由于單目測(cè)距存在缺陷，雙目視覺應(yīng)運(yùn)而生，如圖2-2-3所示，雙目視覺傳感器包含兩個(gè)攝像機(jī)和兩個(gè)鏡頭。相近的兩個(gè)攝像機(jī)拍攝物體時(shí)，會(huì)得到同一物體在相機(jī)成像平面的像素偏移量。有了像素偏移量、相機(jī)焦距和兩個(gè)車載視覺傳感器的實(shí)際距離這些信息，根據(jù)數(shù)學(xué)換算即可得到物體的距離。將雙且測(cè)距源理應(yīng)用在圖像上每一個(gè)像素點(diǎn)時(shí)，即可得到圖像的深度信息。深度信息的加入，不僅便干障礙物的分類，也能提高高精度地圖的定位精度。與單目視覺相比，雙目視覺的特點(diǎn)如下:一是成本比單目系統(tǒng)要高，但尚處干可接受范圍內(nèi)。并且與激光雷達(dá)等方案相比成本較低:二是沒有識(shí)別率的限制，因?yàn)閺脑砩蠠o(wú)須先進(jìn)行識(shí)別再進(jìn)行測(cè)算，而是對(duì)所有障礙物直接進(jìn)行測(cè)量:三是精度比單目高，直接利用視差計(jì)算距離。雙目系統(tǒng)的一個(gè)難點(diǎn)在于計(jì)算量非常大，對(duì)計(jì)算單元的性能要求非常高。02雙目視覺傳感器二、視覺傳感器類型02雙目視覺傳感器二、視覺傳感器類型三目視覺傳感器由于單目視覺傳感器和雙目視覺傳感器都存在某些缺陷，因此，很多智能網(wǎng)聯(lián)汽車采用了三目視覺傳感器方案。三目視覺傳感器是三個(gè)不同焦距單目視覺傳感器的組合。如圖2-2-4所示為三目視覺傳感器，分別為28°視場(chǎng)、52°視場(chǎng)、150°視場(chǎng)。其中28°視場(chǎng)用干檢測(cè)前車道線、交通燈，52°視場(chǎng)負(fù)責(zé)道路狀況監(jiān)測(cè)，150°視場(chǎng)用于臨測(cè)平行車道道路狀況以及行人和非機(jī)動(dòng)車的行駛狀況。03三目視覺傳感器二、視覺傳感器類型與前面三種視覺傳感器所用的鏡頭都是非魚眼的不同，環(huán)視視覺傳感器的鏡頭是魚眼鏡頭，而且安裝位置是朝向地面的。“360°全景顯示”功能，所用到的就是環(huán)視攝像機(jī)。安裝干車輛前方、車輛左右后視鏡下和車輛后方的四個(gè)魚眼鏡頭采集圖像，采集到的圖像，為獲取足夠大的視野，魚眼攝像機(jī)的代價(jià)是圖像畸變嚴(yán)重。通過(guò)標(biāo)定值進(jìn)行圖像的投影變換，可將圖像還原成俯視圖的樣子。然后對(duì)四個(gè)方向的圖像進(jìn)行拼接，再在四幅圖像的中間放上一張車的俯視圖，即可實(shí)現(xiàn)從車頂往下看的效果，如圖2-2-5所示。環(huán)視視覺傳感器的感知范圍并不大，主要用于車身5~10m內(nèi)的障礙物檢測(cè)、自主泊車時(shí)的庫(kù)位線識(shí)別等。04環(huán)視視覺傳感器二、視覺傳感器類型04環(huán)視視覺傳感器二、視覺傳感器類型夜間可見光成像的信噪比較低，從而導(dǎo)致視覺傳感器夜間成像效果不佳，而紅外夜視系統(tǒng)可以彌補(bǔ)光照不足條件下視覺傳感器的缺點(diǎn)。紅外夜視系統(tǒng)可分為主動(dòng)夜視和被動(dòng)夜視兩種類型。主動(dòng)夜視系統(tǒng):是利用近紅外光作為光源照明目標(biāo)，如紅外LED、紅外燈和近紅外激光器等，用低照度攝像機(jī)或微光攝像機(jī)接收目標(biāo)反射的紅外光，轉(zhuǎn)換成視頻信號(hào)在監(jiān)視器熒光屏上同步顯示圖像，如圖2-2-6所示。05紅外夜視視覺傳感二、視覺傳感器類型被動(dòng)夜視系統(tǒng):有兩種類型，一類是利用月光、星回光、夜天光等一切很微弱的自然光線。加以放大增強(qiáng)達(dá)到可視的目的，這類夜視儀也稱為微光夜視儀，如圖2-2-7所示。另一類是利用遠(yuǎn)紅外敏感的探測(cè)器探測(cè)目標(biāo)本身的熱輻射，這類夜視儀也稱為熱像儀。05紅外夜視視覺傳感二、視覺傳感器類型紅外夜視系統(tǒng)基干紅外熱成像原理，通過(guò)能夠透過(guò)紅外輻射的紅外光學(xué)系統(tǒng)，將視場(chǎng)內(nèi)景物的紅外輻射聚焦到紅外探測(cè)器上，紅外探測(cè)器再將強(qiáng)弱不等的輻射信號(hào)轉(zhuǎn)換成相應(yīng)的電信號(hào)，然后經(jīng)過(guò)放大和視頻處理，形成可供人眼觀察的視頻圖像。如圖2-2-8所示。05紅外夜視視覺傳感三、視覺傳感器系統(tǒng)組成視覺傳感器系統(tǒng)包括光源、相機(jī)、鏡頭、圖像處理單元、監(jiān)視器、通信/輸入輸出單元等，如圖2-2-9所示。其核心則是圖像處理單元，也就是把字入的大量數(shù)字化信息與模板庫(kù)信息進(jìn)行比較處理，并快速得出結(jié)論，其運(yùn)算速度和準(zhǔn)確率是關(guān)鍵指標(biāo)。這主要是通過(guò)高效合理的算法和處理能力強(qiáng)大的芯片來(lái)實(shí)現(xiàn)的。三、視覺傳感器系統(tǒng)組成視覺傳感器的感知核心是電荷耦合元件(CCD)，是一種半導(dǎo)體器件，能夠把光學(xué)影像轉(zhuǎn)化為數(shù)字信號(hào)。CCD上植人的微小光敏物質(zhì)稱為像素(Pixel)。一塊CCD上包含的像素?cái)?shù)越多，其提供的畫面分辨率也就越高。CCD的作用就像膠片一樣，但它是把光信號(hào)轉(zhuǎn)換成電荷信號(hào)。CCD上有許多排列整齊的光電二極管，能感應(yīng)光線，并將光信號(hào)轉(zhuǎn)換成電信號(hào)，經(jīng)外部采樣放大及模/數(shù)轉(zhuǎn)換電路可以轉(zhuǎn)換成數(shù)字圖像信號(hào)。CCD作為一種新型的光電轉(zhuǎn)換器，現(xiàn)已被廣泛應(yīng)用于攝像、圖食采集、掃描儀以及工業(yè)測(cè)量等領(lǐng)域。CCD圖像傳感器可分為兩類:一類用于獲取線陣圖像，稱為線陣CCD，如圖2-2-10所示;另一類用于獲取表面圖像，稱為面陣CCD，如圖2-2-11所示。三、視覺傳感器系統(tǒng)組成對(duì)于線陣CCD，它可以直接接收一維光學(xué)信息，但是不能直接將二維圖像轉(zhuǎn)換成一維電信號(hào)輸出，為獲得整個(gè)二維圖像的輸出，必須采用線掃描方法來(lái)實(shí)現(xiàn)。面陣CCD的感光單元以二維矩陣排列，可以直接檢測(cè)二維平面圖像涂在CCD表面的硅半導(dǎo)體光敏器件捕獲光子并產(chǎn)生光生電子，這些電子首先聚集在CCD下的絕緣層中，然后由控制電路串行輸出到模擬電路，再通過(guò)成像電路(如DSP)進(jìn)行傳輸形成一個(gè)圖像。視覺傳感器的鏡頭和CCD將獲取到的光信號(hào)轉(zhuǎn)換為可以由計(jì)算機(jī)處理的圖像編碼后，內(nèi)部的光敏元件電路和控制元件對(duì)圖像編碼進(jìn)行處理，并將其轉(zhuǎn)換成控制單元可處理的數(shù)字信號(hào)，進(jìn)一步使用各類圖像處理算法從圖像中提取并跟蹤相關(guān)特征，即可實(shí)現(xiàn)對(duì)車輛周圍路況的識(shí)別，為決策系統(tǒng)做出前方碰撞警告、車道偏移報(bào)警和行人檢測(cè)等提供有效的環(huán)境感知信息。四、視覺傳感器工作原理視覺傳感器在智能網(wǎng)聯(lián)汽車中解決的問題可以分為物體的識(shí)別與跟蹤、車輛本身的定位兩類。1.物體的識(shí)別與跟蹤通過(guò)機(jī)器學(xué)習(xí)的方法，智能網(wǎng)聯(lián)汽車可以識(shí)別在行駛途!遇到的物體，比如行人、車輛、交通信號(hào)、交通標(biāo)志、車道線、道路邊界和自由行駛空間等。一般來(lái)說(shuō)，視覺傳感器識(shí)別的過(guò)程主要包括圖像輸入、預(yù)處理(如平滑濾波、二值化、灰度轉(zhuǎn)化等)、特征提取(如形狀特征、陰影特征等)、特征分類、模板匹配和完全識(shí)別等。2.車輛本身的定位智能網(wǎng)聯(lián)汽車基于視覺技術(shù)用于車輛本身的定位時(shí)，主要采用視覺SLAM技術(shù)（SLAM即實(shí)時(shí)定位與地圖構(gòu)建），根據(jù)提前建好的地圖和實(shí)時(shí)的感知結(jié)果做匹配，獲取智能網(wǎng)聯(lián)汽車的當(dāng)前位置。視覺SLAM系統(tǒng)可分為傳感器數(shù)據(jù)、視覺里程計(jì)、后端、建圖和回環(huán)檢測(cè)五個(gè)模塊。視覺SLAM定位流程如圖2-5-9所示，輸入傳感器數(shù)據(jù)后，前臺(tái)線程根據(jù)傳感器數(shù)據(jù)進(jìn)行跟蹤求解，實(shí)時(shí)恢復(fù)每個(gè)時(shí)刻的位姿，后臺(tái)線程進(jìn)行局部或全局優(yōu)化，減少誤差累積，并進(jìn)行場(chǎng)景回路檢測(cè)，最后輸出設(shè)備實(shí)時(shí)位姿。四、視覺傳感器工作原理3.單目和雙目視覺傳感器的原理和特點(diǎn)單目視覺傳感器的工作原理是先識(shí)別后測(cè)距，首先通過(guò)圖像匹配對(duì)圖像進(jìn)行識(shí)別，然后根據(jù)圖像的大小和高度進(jìn)一步估計(jì)障礙物和車輛移動(dòng)時(shí)間。雙目視覺傳感器的工作原理是先對(duì)物體與本車距離進(jìn)行測(cè)量，然后再對(duì)物體進(jìn)行識(shí)別。在距離測(cè)量階段，先利用視差直接測(cè)量物體與汽車之間的距離，原理與人眼相似。當(dāng)兩只眼睛注視同一物體時(shí)，會(huì)有視差，分別閉上左右眼看物體時(shí)，會(huì)發(fā)現(xiàn)感覺位移，這種位移大小可以用來(lái)測(cè)量目標(biāo)物體的距離。五、多個(gè)視覺傳感器的組合應(yīng)用視覺傳感器可以提供的感知能力主要有車道線識(shí)別、障礙物識(shí)別、交通標(biāo)志識(shí)別、道路標(biāo)志識(shí)別、交通信號(hào)燈識(shí)別、可行駛區(qū)域識(shí)別、周圍車輛感知、交通狀況感知、道路狀況感知、車輛本身狀態(tài)感知等。視覺傳感器在智能網(wǎng)聯(lián)汽車上的具體應(yīng)用如表2-5-1所示。ADAS攝像頭位置具體功能車道偏離預(yù)警系統(tǒng)前視當(dāng)前視攝像頭檢測(cè)到車輛日將偏離車道線時(shí)發(fā)出警報(bào)盲區(qū)監(jiān)控系統(tǒng)側(cè)視利用側(cè)視攝像頭將后視鏡盲區(qū)的影像顯示在后視鏡或駕駛艙內(nèi)自動(dòng)泊車輔助系統(tǒng)后視利用后視攝像頭將車尾影像顯示在駕駛艙內(nèi)全景泊車系統(tǒng)前視、側(cè)視、后視利用圖