第二章 環(huán)境感知技術(shù)

智能網(wǎng)聯(lián)汽車環(huán)境感知技術(shù)能網(wǎng)聯(lián)智汽車技術(shù)時(shí)間：講課老師：內(nèi)

容CONTENTS環(huán)境感知技術(shù)概述01視覺(jué)傳感器02超聲波傳感器03毫米波雷達(dá)04激光雷達(dá)05目標(biāo)識(shí)別06導(dǎo)入思考：安裝先進(jìn)駕駛輔助系統(tǒng)的目的？感知周圍環(huán)境，對(duì)道路、車輛、行人、交通標(biāo)志、交通信號(hào)燈等進(jìn)行檢測(cè)與識(shí)別。

環(huán)境感知技術(shù)概述01分組討論環(huán)境感知系統(tǒng)的任務(wù)？掃碼觀看課本29頁(yè)--環(huán)境感知技術(shù)01環(huán)境感知技術(shù)概述01環(huán)境感知技術(shù)概述1.環(huán)境感知的目的目的：（1）通過(guò)性：基于自身行駛性能和共識(shí)規(guī)則，能實(shí)時(shí)、可靠、準(zhǔn)確識(shí)別并規(guī)劃出可保證規(guī)范、安全、迅速到達(dá)目的地的行駛路徑。（2）安全性：在行駛過(guò)程中，能夠?qū)崟r(shí)準(zhǔn)確地識(shí)別出行駛路徑周邊對(duì)行駛安全可能存在安全隱患的物體，為自身采取必要操作以避免發(fā)生交通安全事故。（3）經(jīng)濟(jì)性：為提高車輛高效、經(jīng)濟(jì)地行駛提供參考依據(jù)。（4）平順性：為車輛平順行駛提供參考依據(jù)。第7頁(yè)智能網(wǎng)聯(lián)汽車環(huán)境感知對(duì)象主要有道路、周邊物體、駕駛狀態(tài)和駕駛環(huán)境等。01環(huán)境感知技術(shù)概述2.環(huán)境感知的對(duì)象第8頁(yè)（1）道路。道路分為結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路，結(jié)構(gòu)化道路識(shí)別包括道路邊界和各種車道標(biāo)識(shí)線；非結(jié)構(gòu)化道路識(shí)別主要是可行駛路徑。（2）周邊物體。周邊物體主要包括車輛、行人、地面上可能影響車輛通過(guò)和安全行駛的其他各種移動(dòng)或靜止物體，各種交通標(biāo)志和交通信號(hào)燈等。（3）駕駛狀態(tài)。駕駛狀態(tài)主要包括駕駛員自身狀態(tài)、主車自身行駛狀態(tài)和周邊車輛行駛狀態(tài)。（4）駕駛環(huán)境。駕駛環(huán)境主要包括路面狀況、道路交通擁堵情況、天氣狀況等。01環(huán)境感知技術(shù)概述2.環(huán)境感知的對(duì)象第9頁(yè)智能網(wǎng)聯(lián)汽車環(huán)境感知方法主要有基于單一傳感器的環(huán)境感知方法、基于自組織網(wǎng)絡(luò)的環(huán)境感知方法和基于傳感器信息融合的環(huán)境感知方法。（1）慣性元件。慣性元件主要是指汽車上的車輪轉(zhuǎn)速傳感器、加速度傳感器、陀螺儀、轉(zhuǎn)向盤傳感器等，通過(guò)它們感知汽車自身的行駛狀態(tài)。（2）超聲波雷達(dá)。超聲波雷達(dá)主要用于短距離探測(cè)物體，不受光照影響，但測(cè)量精度受測(cè)量物體表面形狀、材質(zhì)影響大。（3）毫米波雷達(dá)。毫米波雷達(dá)可以獲取車輛周邊環(huán)境二維或三維距離信息，通過(guò)距離分析識(shí)別技術(shù)對(duì)行駛環(huán)境進(jìn)行感知。毫米波雷達(dá)抗干擾能力強(qiáng)，受天氣情況和夜間的影響小，體積?。粋鞑p失比激光雷達(dá)少，行人的反射波較弱，難以探測(cè)。01環(huán)境感知技術(shù)概述2.環(huán)境感知的方法第10頁(yè)（4）激光雷達(dá)。激光雷達(dá)可以獲取車輛周邊環(huán)境二維或三維距離信息，通過(guò)距離分析識(shí)別技術(shù)對(duì)行駛環(huán)境進(jìn)行感知。激光雷達(dá)能夠直接獲取物體三維距離信息，測(cè)量精度高，對(duì)光照環(huán)境變化不敏感；但它無(wú)法感知無(wú)距離差異的平面內(nèi)目標(biāo)信息，體積較大，價(jià)格較高，不便于車載集成。（5）視覺(jué)傳感器。視覺(jué)傳感器能夠獲取車輛周邊環(huán)境二維或三維圖像信息，通過(guò)圖像分析識(shí)別技術(shù)對(duì)行駛環(huán)境進(jìn)行感知。視覺(jué)傳感器獲取的圖像信息量大，實(shí)時(shí)性好，體積小，能耗低，價(jià)格低；但易受光照環(huán)境影響，三維信息測(cè)量精度較低。01環(huán)境感知技術(shù)概述2.環(huán)境感知的方法第11頁(yè)（6）V2X通信技術(shù)。V2X通信技術(shù)主要包括V2V、V2I、V2P和V2N，它們采集的信息既可以用于先進(jìn)駕駛輔助系統(tǒng)，又可以用于自動(dòng)駕駛系統(tǒng)，特別是車路協(xié)同控制，具有較大的優(yōu)勢(shì)。V2X通信技術(shù)獲取的信息范圍更為廣闊，可以提供360°視覺(jué)感知，不受天氣和道路環(huán)境的影響，可以給駕駛員或自動(dòng)駕駛系統(tǒng)提供更多的信息，保障車輛的安全行駛。（7）傳感器融合。傳感器融合是指運(yùn)用多種不同傳感手段獲取車輛周邊環(huán)境多種不同形式信息，通過(guò)多信息融合技術(shù)對(duì)行駛環(huán)境進(jìn)行感知，如視覺(jué)+毫米波雷達(dá)、視覺(jué)+激光雷達(dá)、視覺(jué)+超聲波雷達(dá)的融合等。其優(yōu)點(diǎn)是能夠獲取豐富的車輛周邊環(huán)境信息，具有優(yōu)良的環(huán)境適應(yīng)能力，為安全快速輔助駕駛提供可靠保障；缺點(diǎn)是系統(tǒng)復(fù)雜，成本高。超聲波雷達(dá)、毫米波雷達(dá)、激光雷達(dá)、視覺(jué)傳感器統(tǒng)稱為智能傳感器。01環(huán)境感知技術(shù)概述2.環(huán)境感知的方法第12頁(yè)案例：如圖所示為谷歌第5代無(wú)人駕駛汽車智能傳感器的配置?？梢钥闯觯悄軅鞲衅鞯呐渲煤凸δ芨鞑幌嗤?。隨著汽車電動(dòng)化、智能化和網(wǎng)聯(lián)化的發(fā)展，智能網(wǎng)聯(lián)汽車配備的智能傳感器的數(shù)量將會(huì)逐漸增加，傳感器的性能要求也會(huì)逐漸提高。01環(huán)境感知技術(shù)概述第13頁(yè)02視覺(jué)傳感器1.視覺(jué)傳感器的定義視覺(jué)傳感器是指：利用光學(xué)元件和成像裝置獲取外部環(huán)境圖像信息的儀器，通常用圖像分辨率來(lái)描述視覺(jué)傳感器的性能。視覺(jué)傳感器的精度不僅與分辨率有關(guān)，而且和被測(cè)物體的檢測(cè)距離相關(guān)。被測(cè)物體距離越遠(yuǎn)，其絕對(duì)的位置精度越差。第14頁(yè)02視覺(jué)傳感器2.視覺(jué)傳感器的組成視覺(jué)傳感器主要由光源、鏡頭、圖像傳感器、模/數(shù)轉(zhuǎn)換器、圖像處理器、圖像存儲(chǔ)器等組成，其主要功能是獲取足夠的機(jī)器視覺(jué)系統(tǒng)要處理的原始圖像。第15頁(yè)02視覺(jué)傳感器2.視覺(jué)傳感器的組成（1）單目攝像頭：?jiǎn)文繑z像頭成本低，可以識(shí)別出具體障礙物的種類，而且識(shí)別技術(shù)比較準(zhǔn)確，但因其識(shí)別原理所限，它并不具備識(shí)別沒(méi)有明顯輪廓的障礙物。（2）雙目攝像頭：相比于單目攝像頭，雙目攝像頭不存在識(shí)別率的限制，不用先識(shí)別，就能夠直接進(jìn)行測(cè)量，并能夠直接利用視差計(jì)算距離，有著更高精度計(jì)算，不需要維護(hù)樣本數(shù)據(jù)庫(kù)。（3）三目攝像頭：三目攝像頭主要是通過(guò)三個(gè)攝像頭同時(shí)判斷、測(cè)算前方景物，有著更大的感知范圍，但缺點(diǎn)也較為明顯。（4）環(huán)視攝像頭：環(huán)視攝像頭通常至少會(huì)包括4個(gè)攝像頭，并且可以實(shí)現(xiàn)360度環(huán)境感知。環(huán)視攝像頭常常包括車輛側(cè)視鏡邊緣的兩個(gè)超廣角攝像頭、汽車前格柵中部的一個(gè)中程攝像頭、車牌上方的一個(gè)廣角攝像頭。第16頁(yè)02視覺(jué)傳感器3.視覺(jué)傳感器的特點(diǎn)視覺(jué)傳感器主要具有以下特點(diǎn)：（1）信息量豐富視覺(jué)圖像的信息量極為豐富，尤其是彩色圖像，不僅包含視野內(nèi)物體的距離信息，而且還有物體的顏色、紋理、深度和形狀等信息。（2）信息獲取面積大，設(shè)備間互不干擾在視野范圍內(nèi)可同時(shí)實(shí)現(xiàn)道路檢測(cè)、車輛檢測(cè)、行人檢測(cè)、交通標(biāo)志檢測(cè)、交通信號(hào)燈檢測(cè)等，信息獲取面積大。當(dāng)多輛智能網(wǎng)聯(lián)汽車同時(shí)工作時(shí)，不會(huì)出現(xiàn)相互干擾的現(xiàn)象。（3）較強(qiáng)的適應(yīng)環(huán)境的能力視覺(jué)信息獲取的是實(shí)時(shí)的場(chǎng)景圖像，提供的信息不依賴于先驗(yàn)知識(shí)，比如GPS導(dǎo)航依賴地圖信息，有較強(qiáng)的適應(yīng)環(huán)境能力。（4）應(yīng)用廣泛視覺(jué)傳感器應(yīng)用廣泛，在智能網(wǎng)聯(lián)汽車中可以前視、后視、側(cè)視、內(nèi)視、環(huán)視等.第17頁(yè)02視覺(jué)傳感器3.視覺(jué)傳感器的原理視覺(jué)傳感器是一種電子圖像技術(shù)，通過(guò)視覺(jué)傳感器把圖像抓到，具有從一幅圖像中捕獲數(shù)以千計(jì)像素的能力。1）CCD成像原理。CCD成像原理是當(dāng)光線與圖像從鏡頭透過(guò)投射到CCD表面時(shí)，CCD就會(huì)產(chǎn)生電流，將感應(yīng)到的內(nèi)容轉(zhuǎn)換成數(shù)碼資料儲(chǔ)存起來(lái)。CCD像素?cái)?shù)目越多，單一像素尺寸越大，收集到的圖像就會(huì)越清晰。2）CMOS成像原理。CMOS成像原理是利用硅和鍺這兩種元素所做成的半導(dǎo)體，使其在CMOS上共存著帶負(fù)電的N級(jí)和帶正電的P級(jí)半導(dǎo)體，這兩個(gè)互補(bǔ)效應(yīng)所產(chǎn)生的電流即可被處理芯片記錄和解讀成影像。第18頁(yè)02視覺(jué)傳感器3.視覺(jué)傳感器的原理視覺(jué)傳感器的環(huán)境感知流程一般包括圖像采集、圖像預(yù)處理、圖像特征提取、圖像模式識(shí)別、結(jié)果傳輸?shù)取＠靡曈X(jué)傳感器進(jìn)行道路識(shí)別的流程如圖所示：第19頁(yè)02視覺(jué)傳感器4.視覺(jué)傳感器的標(biāo)定視覺(jué)傳感器的標(biāo)定主要在于確定相機(jī)的內(nèi)參，包含相機(jī)的焦距和畸變系數(shù)等數(shù)據(jù)，如圖所示視頻圖像坐標(biāo)系的示意圖。02視覺(jué)傳感器4.視覺(jué)傳感器的標(biāo)定從世界坐標(biāo)系轉(zhuǎn)為相機(jī)坐標(biāo)系，這一步是三維點(diǎn)到三維點(diǎn)的轉(zhuǎn)換。世界坐標(biāo)系描述物體空間位置，可自由確定，從相機(jī)坐標(biāo)系轉(zhuǎn)為成像平面坐標(biāo)系（像素坐標(biāo)系），這一步是三維點(diǎn)到二維點(diǎn)的轉(zhuǎn)換。像素坐標(biāo)系是一個(gè)二維直角坐標(biāo)系，反映像素點(diǎn)的排列情況，原點(diǎn)位于圖像左上角，其坐標(biāo)軸的單位是像素（整數(shù)），由于像素坐標(biāo)系不方便坐標(biāo)變換，引入了圖像坐標(biāo)系，原點(diǎn)為相機(jī)光軸與像平面交點(diǎn)，圖像坐標(biāo)系與像素坐標(biāo)系為平移關(guān)系。02視覺(jué)傳感器4.視覺(jué)傳感器的標(biāo)定相機(jī)畸變?cè)恚阂话愣?，相機(jī)拍攝的圖片都存在一定的畸變，畸變模型包括徑向畸變和切向畸變。對(duì)某些透鏡，光線在遠(yuǎn)離透鏡中心的地方比靠近中心的地方更加彎曲，產(chǎn)生“筒形”或“魚眼”現(xiàn)象，稱為徑向畸變。成像儀中心的徑向畸變?yōu)?，越向邊緣移動(dòng)，畸變?cè)絿?yán)重。徑向畸變公式切向畸變公式第22頁(yè)02視覺(jué)傳感器4.視覺(jué)傳感器的應(yīng)用視覺(jué)傳感器是智能網(wǎng)聯(lián)汽車實(shí)現(xiàn)眾多預(yù)警、識(shí)別類ADAS功能的基礎(chǔ)，可用于自適應(yīng)巡航控制系統(tǒng)、車道偏離預(yù)警系統(tǒng)、車道保持輔助系統(tǒng)、汽車并線輔助系統(tǒng)、自動(dòng)剎車輔助系統(tǒng)中的障礙物檢測(cè)和道路檢測(cè)等多個(gè)系統(tǒng)。1.聲波及超聲波雷達(dá)

在氣體、液體、固體中傳播的彈性波。什么是聲波？是利用超聲波特性研制而成，是在超聲波頻率范圍內(nèi)將交變的電信號(hào)轉(zhuǎn)換成聲信號(hào)或?qū)⑼饨缏晥?chǎng)中的聲信號(hào)轉(zhuǎn)換為電信號(hào)的能量轉(zhuǎn)換器件。1.次聲波（f＜20Hz）2.聲波（20Hz≤f≤20kHz）3.超聲波（f>20kHz）什么是超聲波雷達(dá)？03超聲波傳感器2.超聲波雷達(dá)組成、原理

發(fā)射頭（器）、接收頭（器）、數(shù)據(jù)線和拔碼開(kāi)關(guān)等。L=vt/2v=340m/s03超聲波傳感器第25頁(yè)03超聲波傳感器（1）測(cè)量距離——取決于其使用的波長(zhǎng)和頻率；波長(zhǎng)越長(zhǎng)，頻率越小，測(cè)量距離越大。測(cè)量汽車前后障礙物的短距超聲波雷達(dá)測(cè)量距離一般為0.15~2.50m；安裝在汽車側(cè)面、用于測(cè)量側(cè)方障礙物距離的長(zhǎng)距超聲波雷達(dá)測(cè)量距離一般為0.30~5.0m。（2）測(cè)量精度——傳感器測(cè)量值與真實(shí)值的偏差。超聲波雷達(dá)測(cè)量精度主要受被測(cè)物體體積、表面形狀、表面材料等影響。測(cè)量精度越高，感知信息越可靠。測(cè)量精度要求在±10cm以內(nèi)。3.超聲傳感器參數(shù)（3）波束角---超聲波雷達(dá)產(chǎn)生的超聲波以一定角度向外發(fā)出，超聲波沿傳感器中軸線方向上的超聲射線能量最大，能量向其他方向逐漸減弱。（4）工作頻率——發(fā)射頻率要求是40±2kHz，這樣傳感器方向性尖銳，且避開(kāi)了噪聲，提高了信噪比。（5）抗干擾性能---超聲波為機(jī)械波，使用環(huán)境中的噪聲會(huì)干擾超聲波雷達(dá)接收物體反射回來(lái)的超聲波，因此要求超聲波雷達(dá)具有一定的抗干擾能力。3.超聲傳感器參數(shù)第27頁(yè)03超聲波傳感器超聲波傳感器具有以下特點(diǎn)：1）超聲波的傳播速度僅為光波的百萬(wàn)分之一，并且指向性強(qiáng)，能量消耗緩慢，因此可以直接測(cè)量較近目標(biāo)的距離，一般測(cè)量距離小于10m。2）超聲波對(duì)色彩、光照度不敏感，可適用于識(shí)別透明、半透明及漫反射差的物體。3）超聲波對(duì)外界光線和電磁場(chǎng)不敏感，可用于黑暗、有灰塵或煙霧、電磁干擾強(qiáng)、有毒等惡劣環(huán)境中。4）超聲波傳感器結(jié)構(gòu)簡(jiǎn)單，體積小，成本低，信息處理簡(jiǎn)單可靠，易于小型化與集成化，并且可以進(jìn)行實(shí)時(shí)控制。超聲波方法作為非接觸檢測(cè)和識(shí)別的手段，已引起人們?cè)絹?lái)越多的重視。4.超聲傳感器特點(diǎn)第28頁(yè)03超聲波傳感器超聲波雷達(dá)在智能網(wǎng)聯(lián)汽車中最常見(jiàn)的應(yīng)用是自動(dòng)泊車輔助系統(tǒng)，系統(tǒng)利用超聲波雷達(dá)幫助汽車停車入位。5.超聲傳感器應(yīng)用

毫米波雷達(dá)041.毫米波雷達(dá)定義

波長(zhǎng)為1~10mm電磁波頻率范圍為30~300GHz。什么是毫米波？是工作在毫米波頻段的雷達(dá)，它通過(guò)發(fā)射

與接收高頻電磁波來(lái)探測(cè)目標(biāo)，后端信號(hào)

處理模塊利用回波信號(hào)計(jì)算出目標(biāo)的距離

、速度和角度等信息。什么是毫米波雷達(dá)？完整的毫米波雷達(dá)組成包括射頻前端、信號(hào)處理系統(tǒng)和后端算法等組成。1）射頻前端射頻前端通過(guò)發(fā)射和接收毫米波，得到中頻信號(hào)，從中提取距離、速度等信息。因此，射頻前端直接決定了雷達(dá)系統(tǒng)的性能。2.信號(hào)處理系統(tǒng)信號(hào)處理系統(tǒng)也是雷達(dá)重要的組成部分，通過(guò)嵌入不同的信號(hào)處理算法，提取從射頻前端采集得到的中頻信號(hào)，獲得特定類型的目標(biāo)信息。3.后端算法后端算法占整個(gè)毫米波雷達(dá)成本的比例最高。針對(duì)毫米波雷達(dá)，國(guó)內(nèi)研究人員從頻域、時(shí)域、時(shí)頻分析多個(gè)角度提出了大量的算法，離線實(shí)驗(yàn)的精度也較高。2.毫米波雷達(dá)組成毫米波雷達(dá)具有波長(zhǎng)短、頻帶寬、穿透能力強(qiáng)的特點(diǎn)，這些特點(diǎn)形成了毫米波雷達(dá)的優(yōu)勢(shì)：1）穿透能力強(qiáng)。與傳統(tǒng)光學(xué)檢測(cè)器相比，毫米波雷達(dá)穿透霧、煙、灰塵的能力強(qiáng)，具有全天候、全天時(shí)、全照度的特點(diǎn)。2）抗干擾性好。同微波雷達(dá)相比，具有更高的發(fā)射頻率和更低的發(fā)射功率，更強(qiáng)的抗電子干擾、雜波干擾和多徑反射干擾能力，精度更高。3）探測(cè)距離遠(yuǎn)。實(shí)時(shí)性高，可覆蓋雙向6車道以上300~1000m的范圍，分辨識(shí)別很小的目標(biāo)，并且能同時(shí)識(shí)別多個(gè)目標(biāo)。4）識(shí)別目標(biāo)數(shù)多參數(shù)多。實(shí)時(shí)連續(xù)對(duì)道路多個(gè)目標(biāo)進(jìn)行坐標(biāo)、尺寸測(cè)量，跟蹤目標(biāo)速度及運(yùn)動(dòng)軌跡，可直接獲取各類交通參數(shù)，直接判別多種交通事件。同時(shí)，毫米波雷達(dá)也有其明顯的劣勢(shì)如無(wú)法成像、無(wú)法進(jìn)行圖像顏色的識(shí)別、對(duì)橫向目標(biāo)敏感度低等，存在對(duì)橫穿車輛檢測(cè)效果不佳、行人反射波較弱和行人分辨率不高、探測(cè)距離近等問(wèn)題。3.毫米波雷達(dá)特點(diǎn)4.毫米波雷達(dá)的原理及參數(shù)毫米波雷達(dá)的工作原理是首先通過(guò)振蕩器產(chǎn)生線性調(diào)頻連續(xù)波或三角波，經(jīng)由發(fā)射機(jī)發(fā)射，再由發(fā)射天線定向輻射出去，在空間以電磁波形式傳播，當(dāng)遇到目標(biāo)時(shí)反射回來(lái)。接收天線接收目標(biāo)反射信號(hào)，再經(jīng)過(guò)信號(hào)處理、數(shù)據(jù)處理，既可得到單個(gè)目標(biāo)的距離、方位、相對(duì)速度信息，又可以檢測(cè)車流平均速度、車流量、車道占用率、排隊(duì)長(zhǎng)度和時(shí)間分析。1）距離測(cè)量毫米波雷達(dá)的測(cè)距原理就是把無(wú)線電波（毫米波）發(fā)出去，然后接收回波，根據(jù)收發(fā)的時(shí)間差測(cè)得目標(biāo)的位置數(shù)據(jù)和相對(duì)距離。根據(jù)電磁波的傳播速度，可以確定目標(biāo)的距離公式為：L=ct/2式中，L為目標(biāo)距離；t為電磁波從雷達(dá)發(fā)射出去到接收到目標(biāo)回波的時(shí)間差；c為光速。4.毫米波雷達(dá)的測(cè)量參數(shù)2)速度測(cè)量毫米波雷達(dá)測(cè)速是基于多普勒效應(yīng)（DopplerEffect）原理。多普勒效應(yīng)是當(dāng)聲音、光和無(wú)線電波等振動(dòng)源與觀測(cè)者以相對(duì)速度V運(yùn)動(dòng)時(shí)，觀測(cè)者所收到的振動(dòng)頻率與振動(dòng)源所發(fā)出的頻率有不同。當(dāng)發(fā)射的電磁波和被探測(cè)目標(biāo)有相對(duì)移動(dòng)時(shí)，回波的頻率會(huì)和發(fā)射波的頻率不同。當(dāng)目標(biāo)向雷達(dá)天線靠近時(shí)，反射信號(hào)頻率將高于發(fā)射信號(hào)頻率；反之，當(dāng)目標(biāo)遠(yuǎn)離天線而去時(shí)，反射信號(hào)頻率將低于發(fā)射信號(hào)頻率。由多普勒效應(yīng)所形成的頻率變化被稱為多普勒頻移，它與相對(duì)速度v成正比，與振動(dòng)的頻率成反比。通過(guò)檢測(cè)這個(gè)頻率，可以測(cè)得目標(biāo)與雷達(dá)的相對(duì)速度。4.毫米波雷達(dá)的測(cè)量參數(shù)3）角度測(cè)量通過(guò)毫米波雷達(dá)的發(fā)射天線發(fā)射出毫米波后，遇到被監(jiān)測(cè)物體，反射回來(lái)，通過(guò)毫米波雷達(dá)并列的接收天線，通過(guò)收到同一監(jiān)測(cè)目標(biāo)反射回來(lái)的毫米波的相位差，就可以計(jì)算出被監(jiān)測(cè)目標(biāo)的方位角。4.毫米波雷達(dá)的測(cè)量參數(shù)4）目標(biāo)特征提取和分類雷達(dá)截面積（RadarCrossSection,RCS）是目標(biāo)在雷達(dá)接收方向上反射雷達(dá)信號(hào)能力的度量。目標(biāo)的RCS取決于目標(biāo)結(jié)構(gòu)(形狀和材料)、雷達(dá)工作頻率、雷達(dá)極化方式和雷達(dá)觀測(cè)角。4.毫米波雷達(dá)的測(cè)量參數(shù)4.毫米波雷達(dá)的主要技術(shù)參數(shù)指標(biāo)說(shuō)明工作頻段用于表示毫米波雷達(dá)的類別最大有效識(shí)別距離毫米波雷達(dá)能穩(wěn)定識(shí)別的最大距離，與目標(biāo)RCS有關(guān)，對(duì)應(yīng)不同物體此指標(biāo)差異大最小有效識(shí)別距離毫米波雷達(dá)能穩(wěn)定識(shí)別的最小距離，與毫米波雷達(dá)區(qū)分飛行時(shí)間能力有關(guān)縱向分辨率兩個(gè)物體在縱向存在距離差異時(shí)，毫米波雷達(dá)能將其正確區(qū)分的能力橫向分辨率兩個(gè)物體在橫向存在距離差異時(shí)，毫米波雷達(dá)能將其正確區(qū)分的能力水平角度范圍毫米波雷達(dá)在水平方向上的有效探測(cè)范圍，一般與縱向距離有關(guān)縱向距離誤差毫米波雷達(dá)識(shí)別目標(biāo)相對(duì)縱向距離結(jié)果與真值的差異橫向距離誤差毫米波雷達(dá)識(shí)別目標(biāo)相對(duì)橫向距離結(jié)果與真值的差異測(cè)速范圍毫米波雷達(dá)能有效探測(cè)的相對(duì)速度的范圍測(cè)速誤差毫米波雷達(dá)探測(cè)相對(duì)速度結(jié)果與真值的差異測(cè)速精度毫米波雷達(dá)能夠分辨的最小目標(biāo)速度變化量探測(cè)靈敏度一般用指定距離處能穩(wěn)定探測(cè)物體的最小RCS指來(lái)評(píng)判可探測(cè)目標(biāo)類型毫米波雷達(dá)可探測(cè)的目標(biāo)類型范圍，如移動(dòng)車輛、靜止車輛、移動(dòng)騎行者、靜止騎行者、移動(dòng)行人、靜止行人等探測(cè)功能毫米波雷達(dá)具備的探測(cè)功能，如目標(biāo)檢測(cè)、目標(biāo)類型識(shí)別、車流量統(tǒng)計(jì)、車速檢測(cè)、逆行檢測(cè)、目標(biāo)狀態(tài)跟蹤、車隊(duì)長(zhǎng)度檢測(cè)等識(shí)別目標(biāo)數(shù)量毫米波雷達(dá)能夠同時(shí)識(shí)別的最大目標(biāo)數(shù)量數(shù)據(jù)更新周期毫米波雷達(dá)處理單幀數(shù)據(jù)的時(shí)間工作電壓毫米波雷達(dá)能夠穩(wěn)定正常工作的電壓范圍區(qū)間功耗額定功率過(guò)壓保護(hù)機(jī)制是否具備過(guò)壓保護(hù)及有效保護(hù)機(jī)制條件工作溫度毫米波雷達(dá)能夠穩(wěn)定正常工作的溫度范圍區(qū)間防振性抗震性能壽命一般用累計(jì)工作時(shí)長(zhǎng)或等效參數(shù)表示防護(hù)等級(jí)防水、防塵能力通訊數(shù)據(jù)傳輸方式、數(shù)據(jù)傳輸能力故障監(jiān)測(cè)對(duì)毫米波雷達(dá)部件故障、機(jī)身被覆蓋等導(dǎo)致不能正常工作環(huán)境的監(jiān)測(cè)能力列舉智能網(wǎng)聯(lián)汽車應(yīng)用毫米波雷達(dá)的系統(tǒng)？自適應(yīng)巡航系統(tǒng)、前向防撞報(bào)警、盲區(qū)檢測(cè)、輔助變道24GHz頻段，這個(gè)頻段的毫米波雷達(dá)目前大量應(yīng)用于汽車的盲區(qū)檢測(cè)、編導(dǎo)輔助等，主要用作側(cè)向雷達(dá)，用于監(jiān)測(cè)車輛后方及兩側(cè)車道是否有障礙物，是否可以變道。77GHz頻段，這個(gè)頻段的頻率比較高，帶寬也比較高，可以達(dá)到800MHz。這個(gè)頻段的雷達(dá)性能要優(yōu)于24GHz頻段的雷達(dá)，主要用作前向雷達(dá)，裝在保險(xiǎn)杠的位置，探測(cè)本車與前車的相對(duì)距離和相對(duì)速度，目前比較典型的應(yīng)用有自適應(yīng)巡航、主動(dòng)防撞等。5.毫米波雷達(dá)的應(yīng)用激光雷達(dá)是激光探測(cè)及測(cè)距系統(tǒng)的簡(jiǎn)稱，是一種以激光器作為發(fā)射光源，采用光電探測(cè)技術(shù)手段的主動(dòng)遙感設(shè)備。激光雷達(dá)是工作在光波頻段的雷達(dá)，它利用光波頻段的電磁波先向目標(biāo)發(fā)射探測(cè)信號(hào)，然后將其接收到的同波信號(hào)與發(fā)射信號(hào)相比較，從而獲得目標(biāo)的位置（距離、方位和高度）、運(yùn)動(dòng)狀態(tài)（速度、姿態(tài)）等信息，實(shí)現(xiàn)對(duì)目標(biāo)的探測(cè)、跟蹤和識(shí)別。05激光雷達(dá)1.激光雷達(dá)的定義發(fā)射系統(tǒng)負(fù)責(zé)發(fā)射激光束即探測(cè)信號(hào)，主要由激勵(lì)源、激光器和光束控制器、發(fā)射光學(xué)系統(tǒng)和激光調(diào)制器等組成。激光接收系統(tǒng)負(fù)責(zé)接收反射的激光信號(hào)即回波信號(hào)，主要由接收光學(xué)系統(tǒng)和光學(xué)探測(cè)器等組成。信號(hào)處理系統(tǒng)負(fù)責(zé)數(shù)據(jù)獲取、光電轉(zhuǎn)換、信號(hào)分析處理

。掃描系統(tǒng)通過(guò)對(duì)光束的操縱，實(shí)現(xiàn)對(duì)所探測(cè)目標(biāo)的掃描，并產(chǎn)生實(shí)時(shí)的平面圖信息，主要旋轉(zhuǎn)電機(jī)、掃描鏡、準(zhǔn)直鏡頭和窄帶濾光片等組成。2.激光雷達(dá)的組成2.激光雷達(dá)的組成1）激光發(fā)射系統(tǒng)激光的產(chǎn)生來(lái)自于激光發(fā)射器。激勵(lì)源周期性地驅(qū)動(dòng)激光器，發(fā)射激光脈沖，激光調(diào)制器通過(guò)光束控制器控制發(fā)射激光的方向和線數(shù)，最后通過(guò)發(fā)射光學(xué)系統(tǒng)，將激光發(fā)射至目標(biāo)物體。2）激光接收系統(tǒng)激光接收系統(tǒng)由接收光學(xué)系統(tǒng)和光電探測(cè)器兩部分組成。激光器發(fā)射的激光照射到障礙物以后，通過(guò)障礙物的反射，反射光線會(huì)經(jīng)由鏡頭組匯聚到接收器上，這里的鏡頭組即激光雷達(dá)接收光學(xué)系統(tǒng)，涉及到的結(jié)構(gòu)包括透鏡、窄帶濾光片、分束器等。3）信號(hào)處理系統(tǒng)目前激光雷達(dá)信號(hào)處理主控芯片主流方案為FPGA，負(fù)責(zé)波形算法處理、激光雷達(dá)探測(cè)器等功能模塊的控制。4）掃描系統(tǒng)激光雷達(dá)的掃描系統(tǒng)通過(guò)對(duì)光束的操縱，實(shí)現(xiàn)對(duì)所探測(cè)目標(biāo)的掃描，并產(chǎn)生實(shí)時(shí)的平面圖信息。3.激光雷達(dá)的特點(diǎn)1）具有極高的分辨率激光雷達(dá)工作于光學(xué)波段，頻率比微波高2～3個(gè)數(shù)量級(jí)以上，因此，與微波雷達(dá)相比，激光雷達(dá)具有極高的距離分辨率、角分辨率和速度分辨率。2）抗干擾能力強(qiáng)自然界中存在諸多干擾電磁波的信號(hào)和物質(zhì)，但是很少有能對(duì)激光產(chǎn)生干擾的信號(hào)，因此激光雷達(dá)具有較強(qiáng)的抗干擾能力。3）獲取的信息量豐富可直接獲取目標(biāo)的距離、角度、反射強(qiáng)度、速度等信息，生成目標(biāo)多維度圖像。4）可全天時(shí)工作激光主動(dòng)探測(cè)，不依賴于外界光照條件或目標(biāo)本身的輻射特性。4.激光雷達(dá)測(cè)量原理脈沖測(cè)距法首先激光器發(fā)出一個(gè)光脈沖，同時(shí)設(shè)定的計(jì)數(shù)器開(kāi)始計(jì)數(shù)，當(dāng)接收系統(tǒng)接收到經(jīng)過(guò)障礙物反射回來(lái)的光脈沖時(shí)停止計(jì)數(shù)。計(jì)數(shù)器所記錄的時(shí)間就是光脈沖從發(fā)射到接收所用的時(shí)間。024.激光雷達(dá)測(cè)量原理1）ToFToF通過(guò)測(cè)量激光脈沖的發(fā)射、返回時(shí)間差來(lái)測(cè)量物體與傳感器的相對(duì)距離。激光發(fā)射器發(fā)出調(diào)制脈沖激光，內(nèi)部定時(shí)器開(kāi)始計(jì)算時(shí)間t1，當(dāng)激光照射到目標(biāo)物體后，部分能量返回，當(dāng)激光接收到返回的激光信號(hào)時(shí)，停止內(nèi)部定時(shí)器t2。024.激光雷達(dá)測(cè)量原理2）ToF光和本地光做干涉，并利用混頻探測(cè)技術(shù)來(lái)測(cè)量發(fā)送和接收的頻率差異，再通過(guò)頻率差換算出目標(biāo)物的距離。024.激光雷達(dá)測(cè)量原理3）相位法對(duì)發(fā)射光波的光強(qiáng)進(jìn)行調(diào)制，使光波在投射到物體后返回探測(cè)器的過(guò)程中在光強(qiáng)波形上形成一個(gè)相位差，通過(guò)測(cè)量相位差來(lái)測(cè)量時(shí)間。024.激光雷達(dá)測(cè)量原理4）三角法三角法的測(cè)距原理如圖2-26所示，激光器發(fā)射激光，在照射到物體后，反射光由線性電荷耦合器件（ChargeCoupledDevice，CCD）接收。案例：少線束激光雷達(dá)主要用于智能網(wǎng)聯(lián)汽車ADAS，奧迪A8L安裝的4線束激光雷達(dá)如圖所示，可實(shí)現(xiàn)自適應(yīng)巡航控制系統(tǒng)、車道偏離預(yù)警系統(tǒng)、自動(dòng)緊急制動(dòng)系統(tǒng)、交通擁堵輔助系統(tǒng)等。對(duì)于自動(dòng)駕駛來(lái)說(shuō)，激光雷達(dá)的作用主要展現(xiàn)在兩個(gè)方面。其一是加載在車輛上，讓車輛達(dá)到L2/L3/L4級(jí)別，具備高級(jí)別自動(dòng)輔助駕駛能力。通過(guò)激光雷達(dá)加持，一方面車輛能彌補(bǔ)攝像頭的盲點(diǎn)感知，獲得緊急制動(dòng)和盲區(qū)監(jiān)測(cè)能力，進(jìn)一步保障安全；另一方面，車輛也能擁有在高速路上運(yùn)行的保障。其二是加載在道路上，讓車路協(xié)同成為現(xiàn)實(shí)。激光雷達(dá)加載在路側(cè)，可以精確探測(cè)和跟蹤道路、車輛、行人、環(huán)境的數(shù)據(jù)，并通過(guò)分析實(shí)現(xiàn)智慧交通的車路協(xié)同。對(duì)于自動(dòng)駕駛來(lái)說(shuō)，激光雷達(dá)的上“路”與上“車”相結(jié)合，進(jìn)一步保障商用安全。5.激光雷達(dá)的應(yīng)用

目標(biāo)識(shí)別061.道路識(shí)別

把真實(shí)的道路通過(guò)激光雷達(dá)轉(zhuǎn)換成汽車認(rèn)識(shí)的道路，供自動(dòng)駕駛汽車行駛；或通過(guò)視覺(jué)傳感器識(shí)別出車道線，提供車輛在當(dāng)前車道中的位置，幫助智能網(wǎng)聯(lián)汽車提高行駛的安全性。道路識(shí)別任務(wù)：提取車道的幾何結(jié)構(gòu)（車道的寬度、車道的曲率等），確定車輛在車道中的位置、方向。

目標(biāo)識(shí)別061.道路識(shí)別

（1）傳統(tǒng)非結(jié)構(gòu)道路識(shí)別方法道路模型法：部分非結(jié)構(gòu)化道路依然具有一定程度的固定結(jié)構(gòu)，通過(guò)合理構(gòu)造相對(duì)規(guī)則的邊緣，近似得到特征明顯的道路模型。該種方法的優(yōu)勢(shì)在于對(duì)陰影等干擾不敏感，但只適用于部分非結(jié)構(gòu)化道路，無(wú)法適用于邊緣不明顯的完全非結(jié)構(gòu)化道路。光流法消失點(diǎn)檢測(cè)法圖像分割法

目標(biāo)識(shí)別061.道路識(shí)別

（2）機(jī)器學(xué)習(xí)根據(jù)非結(jié)構(gòu)化道路的特點(diǎn)，提出了一種基于高斯核支持向量機(jī)的非結(jié)構(gòu)化道路環(huán)境植被檢測(cè)方法，通過(guò)檢測(cè)植被，完成可通行區(qū)域和不可通行區(qū)域的甄別?？紤]到植被幾何形狀、邊緣線等特征不明顯.

目標(biāo)識(shí)別061.道路識(shí)別

（3）

深度學(xué)習(xí)深度學(xué)習(xí)是含有多層隱藏層的人工神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)在圖像識(shí)別方面的應(yīng)用，相比較傳統(tǒng)方法的優(yōu)點(diǎn)在于不需要人為設(shè)定特征。卷積神經(jīng)網(wǎng)（ConvNet）能夠?qū)D像進(jìn)行語(yǔ)義層面的分割，結(jié)合的神經(jīng)網(wǎng)能夠發(fā)揮各個(gè)神經(jīng)網(wǎng)各自的優(yōu)點(diǎn)，彌補(bǔ)不足，具有較高的識(shí)別率。

目標(biāo)識(shí)別061.道路識(shí)別

（4）

基于激光雷達(dá)的道路識(shí)別方法激光雷達(dá)傳感器因具有可以向系統(tǒng)反饋三維坐標(biāo)、深度等信息的特點(diǎn)，被廣泛應(yīng)用于識(shí)別領(lǐng)域。通過(guò)激光雷達(dá)的非結(jié)構(gòu)化道路感知方法，依據(jù)對(duì)柵格化后的點(diǎn)云數(shù)據(jù)完成距地高度、高度差、梯度差等特征數(shù)據(jù)的統(tǒng)計(jì)和聚類分析、跟蹤，實(shí)現(xiàn)了可通行區(qū)域、靜態(tài)障礙物的識(shí)別與車輛的跟蹤監(jiān)測(cè)。

目標(biāo)識(shí)別061.道路識(shí)別

視覺(jué)傳感器能夠采集紋理信息，同時(shí)激光雷達(dá)傳感器能夠收集深度信息。結(jié)合兩種傳感器各自的特點(diǎn)，通過(guò)深度學(xué)習(xí)訓(xùn)練圖片，用完成訓(xùn)練的模型對(duì)圖片語(yǔ)意進(jìn)行分割；同時(shí)，利用雷達(dá)獲取與圖片逐幀對(duì)應(yīng)的點(diǎn)云數(shù)據(jù)，將點(diǎn)云數(shù)據(jù)和語(yǔ)意分割圖相匹配、融合，得到2.5D分割地圖。根據(jù)地圖計(jì)算不同候選路徑的損失，最終選擇損失最小的路徑作為當(dāng)前路徑。該方法能綜合考慮圖像紋理和深度信息，時(shí)效性、魯棒性較好。（5）多路傳感器技術(shù)融合

目標(biāo)識(shí)別062.車輛識(shí)別

視頻+毫米波融合等方法。但單一的感知算法，如激光雷達(dá)、毫米波雷達(dá)、攝像頭等均存在各自的短板，難以適用于所有場(chǎng)景。而將多傳感器進(jìn)行融合計(jì)算，可實(shí)現(xiàn)優(yōu)勢(shì)互補(bǔ)，使數(shù)據(jù)的維度更豐富、數(shù)據(jù)的置信度更高。因此，多傳感器融合進(jìn)行車輛識(shí)別以及行人識(shí)別是目前的主流方式。

目標(biāo)識(shí)別062.車輛識(shí)別

1）基于視頻的車輛目標(biāo)檢測(cè)與識(shí)別目前，基于視頻的車輛目標(biāo)檢測(cè)與識(shí)別從淺層學(xué)習(xí)發(fā)展深度學(xué)習(xí)?；跍\層學(xué)習(xí)的車輛識(shí)別一般包括數(shù)據(jù)獲取、預(yù)處理、特征提取、圖像表示和分類器等環(huán)節(jié)，如圖2-30所示。淺層學(xué)習(xí)可分為基于全局特征的車輛識(shí)別方法、基于局部特征的車輛識(shí)別方法以及基于三維特征的識(shí)別方法。預(yù)處理數(shù)據(jù)獲取特征提取圖像表示分類器

目標(biāo)識(shí)別062.車輛識(shí)別基于深度學(xué)習(xí)車輛識(shí)別，該系統(tǒng)由圖像采集、圖像與處理和圖像識(shí)別三個(gè)模塊組成。

目標(biāo)識(shí)別062.車輛識(shí)別

2）基于激光雷達(dá)的車輛目標(biāo)檢測(cè)與識(shí)別通過(guò)激光雷達(dá)的車輛目標(biāo)檢測(cè)與識(shí)別一般分為數(shù)據(jù)預(yù)處理、提取特征、目標(biāo)跟蹤和車輛識(shí)別等步驟。提取特征數(shù)據(jù)預(yù)處理目標(biāo)跟蹤車輛識(shí)別

目標(biāo)識(shí)別062.車輛識(shí)別

3）基于視頻+激光雷達(dá)的車輛目標(biāo)檢測(cè)與識(shí)別基于攝像頭與激光雷達(dá)的車輛識(shí)別方法：首先建立一個(gè)感興趣的區(qū)域（ROI）。對(duì)該區(qū)域內(nèi)的雷達(dá)數(shù)據(jù)進(jìn)行濾波及聚類處理；聚類后通過(guò)計(jì)算類的寬度排除一部分不可能是車輛的障礙物，再通過(guò)坐標(biāo)轉(zhuǎn)換得到可能是車輛的障礙物在圖像中的位置，然后通過(guò)圖像處理的方法進(jìn)行識(shí)別。

目標(biāo)識(shí)別062.車輛識(shí)別

4）基于視頻+毫米波雷達(dá)的車輛目標(biāo)檢測(cè)與識(shí)別利用雷達(dá)獲取候選目標(biāo)的距離、角度、速度等信息，進(jìn)而得到目標(biāo)物的世界坐標(biāo)，利用攝像頭標(biāo)定原理得到世界坐標(biāo)與圖像像素坐標(biāo)的轉(zhuǎn)換關(guān)系，初步確定候選目標(biāo)在圖像上的區(qū)域，即感興趣區(qū)域（ROI）；通過(guò)自適應(yīng)閾值確定方法進(jìn)行圖像分割處理，進(jìn)而利用圖像處理方法對(duì)感興趣區(qū)域檢測(cè)是否存在車輛特征。06目標(biāo)識(shí)別2.行人識(shí)別行人安全是駕駛安全中的重要環(huán)節(jié)，而確保行人安全的前提在于能夠?qū)π腥诉M(jìn)行準(zhǔn)確的檢測(cè)和識(shí)別，下面主要介紹三種行人目標(biāo)檢測(cè)與識(shí)別方法：1）基于視頻的行人目標(biāo)檢測(cè)與識(shí)別行人檢測(cè)是把視頻序列中出現(xiàn)的行人從背景中分割出來(lái)并精確定位，目前有背景差法、幀間差分法、光流法和基于統(tǒng)計(jì)學(xué)習(xí)的人體檢測(cè)等幾種方法。在實(shí)際的交通環(huán)境中，通常采用背景差法檢測(cè)行人，即首先通過(guò)自適應(yīng)背景提取方法快速提取背景圖像，在差分圖像的基礎(chǔ)上，結(jié)合直方圖自動(dòng)閾值分割和數(shù)學(xué)形態(tài)學(xué)運(yùn)算，采用一定的行人分割算法，填充分割圖像中運(yùn)動(dòng)行人圖像的斷裂部分，提取出行人完整的輪廓；根據(jù)提取的目標(biāo)特征信息，結(jié)合多種特征初步判斷行人的存在信息，進(jìn)行行人檢測(cè)。01目標(biāo)識(shí)別3.行人識(shí)別2）基于激光雷達(dá)的行人目標(biāo)檢測(cè)與識(shí)別基于三維激光雷達(dá)的障礙物檢測(cè)和行人識(shí)別主要分為地面點(diǎn)云去除、目標(biāo)物體分割和行人目標(biāo)識(shí)別三個(gè)部分。地面點(diǎn)云去除主要包括建立深度圖和去除地面點(diǎn)云數(shù)據(jù)，將點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為深度圖然后去除地面點(diǎn)云。目標(biāo)物體分割是從非地面點(diǎn)云數(shù)據(jù)中提取出不同的物體。06目標(biāo)識(shí)別3.行人識(shí)別3）基于視頻+激光雷達(dá)的行人目標(biāo)檢測(cè)與識(shí)別激光雷達(dá)雖能獲得深度信息，但是分辨率低，這就使得多傳感器系統(tǒng)成為智能網(wǎng)聯(lián)汽車環(huán)境感知系統(tǒng)研究中的一個(gè)熱點(diǎn)?；谝曨l+激光雷達(dá)的車輛目標(biāo)檢測(cè)與識(shí)別檢測(cè)方案類似。06目標(biāo)識(shí)別3.行人識(shí)別4）感興趣區(qū)域預(yù)處理由于室外場(chǎng)景下的圖像受天氣、光照等因素的影響，圖像質(zhì)量不高，對(duì)其進(jìn)行預(yù)處理可以消除圖像中的噪聲和增