汽車智能座艙系統(tǒng)與應(yīng)用 課件 3-3 完成DMS狀態(tài)監(jiān)測系統(tǒng)的調(diào)試

能力模塊三

掌握智能座艙中機器視覺技術(shù)的應(yīng)用任務(wù)三

完成DMS狀態(tài)監(jiān)測系統(tǒng)的調(diào)試圖像處理技術(shù)在智能座艙領(lǐng)域的另一個應(yīng)用是駕駛員監(jiān)測，通過在危險情境下向駕駛員發(fā)出警示，幫助駕駛員改善駕駛行為，并根據(jù)駕駛員狀態(tài)進行相應(yīng)干預(yù)，從而提高行車安全。主管需要你熟悉駕駛員監(jiān)測系統(tǒng)主要預(yù)警功能，根據(jù)實際開發(fā)案例整理一份算法流程圖進行展示匯報，并基于前期理論基礎(chǔ)，完成DMS狀態(tài)監(jiān)測系統(tǒng)的應(yīng)用測試。任務(wù)引入Tasktointroduce01駕駛員檢測應(yīng)用場景簡介02常見智能座艙算法開發(fā)認(rèn)知目錄

CONTENTS03案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)04百度智能云實現(xiàn)駕駛員狀態(tài)監(jiān)控駕駛員檢測應(yīng)用場景簡介PART0101駕駛員檢測應(yīng)用場景簡介通常檢測人臉眼睛和其他臉部特征以及行為，同時跟蹤變化，實現(xiàn)駕駛員疲勞、分神等不規(guī)范駕駛檢測，從而保障駕駛員的生命財產(chǎn)安全。

駕駛員監(jiān)測系統(tǒng)（DMS，Drivermonitoringsystem），是智能網(wǎng)聯(lián)汽車中很重要的一個人機交互系統(tǒng)。主要是通過一個面向駕駛員的攝像頭來實時監(jiān)測頭部、眼部、面部、手部等細(xì)節(jié)，可以從眼睛閉合、眨眼、凝視方向、打哈欠和頭部運動等檢測駕駛員狀態(tài)。01駕駛員檢測應(yīng)用場景簡介主要預(yù)警功能有以下幾大類：1.疲勞駕駛：主要包括閉眼，打哈欠，檢測到駕駛員有此行為觸發(fā)報警。2.分神駕駛：主要包括低頭，左顧右盼，檢測到駕駛員視線偏移超過1.0秒，可觸發(fā)報警。01駕駛員檢測應(yīng)用場景簡介主要預(yù)警功能有以下幾大類：3.接打電話：檢測到駕駛員有打電話行為時，觸發(fā)報警。4.抽煙：檢測到駕駛員有抽煙行為時，觸發(fā)報警。01駕駛員檢測應(yīng)用場景簡介

除了上述所列的行為狀態(tài)外，在DMS研究中還有情緒激動，醉酒駕駛等狀態(tài)檢測等。除此之外，智能汽車艙內(nèi)攝像頭不僅僅是識別到駕駛員的行為，還能夠根據(jù)不同的駕乘人員，學(xué)習(xí)并記憶他們的操作習(xí)慣，并在不同的駕乘人員乘車時，做出個性化的推薦，打造個性化駕駛模式。常見智能座艙算法開發(fā)認(rèn)知PART0202常見智能座艙算法開發(fā)認(rèn)知算法開發(fā)流程

在AI算法開發(fā)之前，我們必須要分析算法的應(yīng)用場景是什么？要解決什么問題？基于場景需要進行理解，整理AI開發(fā)框架和思路。不同的項目對數(shù)據(jù)的要求，開發(fā)手段也是不一樣的。02常見智能座艙算法開發(fā)認(rèn)知算法開發(fā)流程場景明確：在這個步驟中，我們需要對正常場景設(shè)計的流程進行梳理，明確要求。例如，我們需要開發(fā)一個抽煙檢測的算法模型，那我們需要明確抽煙的動作有哪些，行為是什么。數(shù)據(jù)準(zhǔn)備：主要是指收集和預(yù)處理數(shù)據(jù)的過程。按照確定的場景和目的，有目的性地收集、整合相關(guān)數(shù)據(jù)，數(shù)據(jù)準(zhǔn)備是AI開發(fā)的一個基礎(chǔ)。此時最重要的是保證獲取數(shù)據(jù)的真實可靠性。而事實上，不能一次性將所有數(shù)據(jù)都采集全，因此，在數(shù)據(jù)標(biāo)注階段你可能會發(fā)現(xiàn)還缺少某一部分?jǐn)?shù)據(jù)源，反復(fù)調(diào)整優(yōu)化。02常見智能座艙算法開發(fā)認(rèn)知算法開發(fā)流程模型選擇：不僅要考慮精度與效率，還要考慮座艙內(nèi)的芯片能力。與通用芯片不同，智能座艙屬于端側(cè)處理，端側(cè)支持的算子有限。我們要對場景選擇合適的預(yù)訓(xùn)練模型或者網(wǎng)絡(luò)進行訓(xùn)練。訓(xùn)練模型：訓(xùn)練模型的結(jié)果通常是一個或多個機器學(xué)習(xí)或深度學(xué)習(xí)模型，模型可以應(yīng)用到新的數(shù)據(jù)中，得到預(yù)測、評價等結(jié)果。02常見智能座艙算法開發(fā)認(rèn)知算法開發(fā)流程評估模型：模型選擇我們不僅要考慮精度與效率，還要考慮座艙內(nèi)的芯片能力。與通用芯片不同，智能座艙屬于端側(cè)處理，端側(cè)支持的算子有限。我們要對場景選擇合適的預(yù)訓(xùn)練模型或者網(wǎng)絡(luò)進行訓(xùn)練。部署模型：模型部署是模型在實際項目中的落地應(yīng)用，模型部署包括了各種不同的編程語言的部署，比如常見的C/C++、JAVA、Python，以及其他語言，各種語言由于其自身的特性，在部署的時候部署方法也不大一樣，比如按照某些定義而言，C/C++屬于編譯型語言，Python屬于解釋型語言，總之兩者的程序執(zhí)行過程的差異導(dǎo)致它們在部署的時候要考慮跨平臺性的問題。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡介

一、三維實現(xiàn)估計

廣義的視線估計泛指與眼球、眼動、視線等相關(guān)的研究。我們將介紹的主要以眼睛圖像或人臉圖像為處理對象，估算人的視線方向或注視點位置。（一）算法目標(biāo)

三維視線估計的目標(biāo)是從眼睛圖片或人臉圖片中推導(dǎo)出人的視線方向。通常，這個視線方向是由兩個角度，pitch（垂直方向）和yaw（水平方向）來表示的，在相機坐標(biāo)系下，視線的方向（gaze）不僅取決于眼睛的狀態(tài)（眼珠位置，眼睛開合程度等），還取決于頭部姿態(tài)。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡介（二）評價指標(biāo)

在模型估計出pitch角（垂直角）和yaw角（水平角）之后，可以計算出代表視線方向的三維向量，該向量與真實的方向向量（groundtruth）之間的夾角即是視線方向領(lǐng)域最常用的評價指標(biāo)。（三）實現(xiàn)方法介紹

一般來說，視線估計方法可以分為基于幾何的方法（GeometryBasedMethods）和基于外觀的方法（AppearanceBasedMethods）兩大類?；趲缀蔚姆椒ǖ幕舅枷胧菣z測眼睛的一些特征（例如眼角、瞳孔位置等關(guān)鍵點），然后根據(jù)這些特征來計算視線方向（gaze）。而基于外觀的方法則是直接學(xué)習(xí)一個將外觀映射到gaze的模型。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡介（四）單眼/雙眼視線估計

德國馬普所XucongZhang博士等最早嘗試使用神經(jīng)網(wǎng)絡(luò)來做視線估計，其成果發(fā)表在CVPR2015上。這個工作以單眼圖像為輸入，所使用的網(wǎng)絡(luò)架構(gòu)。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡介02常見智能座艙算法開發(fā)認(rèn)知常見算法簡介

二、手勢檢測算法

隨著深度學(xué)習(xí)的研究與發(fā)展，基于深度學(xué)習(xí)的方法識別速度快，準(zhǔn)確率高，成為主流的手勢識別算法。

但深度學(xué)習(xí)的大多算法精度和速度不能兼得，造成很多模型在嵌入式端難以實現(xiàn)。在經(jīng)典算法YOLO系列算法中，2020年6月發(fā)布的YOLOv4-tiny算法，具有更快的目標(biāo)檢測速度，適合在移動端和嵌入式等運算能力不強的設(shè)備開發(fā)，能夠很好地解決上述的這個難題。

二、手勢檢測算法 YOLO是YouOnlyLookOnce的縮寫，意思是神經(jīng)網(wǎng)絡(luò)只需要看一次圖片，就能輸出結(jié)果。YOLOv4-tiny算法是在YOLOv4（YOLO第四代算法）的基礎(chǔ)上設(shè)計的，預(yù)測過程與YOLOv4相同，檢測速度得到大幅提升。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡介

我們采用的是公開手勢數(shù)據(jù)集NUS-II對YOLOv4-tiny進行再次訓(xùn)練，NUS-II是一個10類手勢數(shù)據(jù)集。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡介02常見智能座艙算法開發(fā)認(rèn)知常見算法簡介三、分心行為檢測算法

基于深度學(xué)習(xí)的駕駛員分心行為識別方法的整體過程如圖所示。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡介

模型以彩色圖像作為輸入，直接輸出駕駛員行為信息，是一種端到端的、非侵入式的駕駛員行為檢測算法。

設(shè)計搭建一個級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，由2個部分組成： 1）利用目標(biāo)檢測算法預(yù)測駕駛員位置信息，確定候選區(qū)域； 2）采用卷積神經(jīng)網(wǎng)絡(luò)模型對候選區(qū)域內(nèi)的駕駛員分心行為進行精確識別

四、疲勞檢測算法

隨著我國高速道路系統(tǒng)的不斷完善，各地方連接越發(fā)緊密，來自全國各地的車輛晝夜不停地行駛，長時間的長途跋涉讓駕駛?cè)藛T變得疲憊打瞌睡、注意力不集中、反應(yīng)遲鈍等等，這種情況是造成交通事故的主要原因之一，因此對駕駛員疲勞出現(xiàn)危險行為時的預(yù)警系統(tǒng)是極其必要的。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡介

（一）疲勞檢測算法分類

1.基于駕駛員的生理信號的檢測：通過檢測駕駛員的生理信號包括腦電圖信號EEG、眼電圖信號EOG、呼吸頻率等來判斷駕駛員此時的駕駛狀態(tài)，此方法的缺點是駕駛員要穿戴厚重的檢測儀器，不僅阻礙了駕駛員的行車視線，還容易發(fā)生交通事故。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡介

（一）疲勞檢測算法分類

2.基于車道線及方向盤偏移角度的檢測：此方法是通過測量方向盤偏移角度或者車道偏離來判斷駕駛員此時的行駛狀態(tài)，但是缺點是得到結(jié)果的時間長且精度低。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡介

（一）疲勞檢測算法分類

3.基于機器視覺和圖像處理的疲勞檢測：這類方法通過攝像頭實時采集駕駛員的行為表情狀態(tài)，判斷駕駛員的頭部姿態(tài)，眼睛閉合頻率和單位時間打哈欠的次數(shù)來判斷駕駛員的疲勞程度，我們接下來將介紹這種方法來判斷駕駛員的行駛狀態(tài)的使用方法。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡介02常見智能座艙算法開發(fā)認(rèn)知常見算法簡介（二）基于機器視覺和圖像處理的疲勞檢測算法

1.通過面部特征檢測駕駛員疲勞狀態(tài)一般分為三個類型：眨眼（眨眼次數(shù)增多、眨眼速度明顯變慢、眼睛微瞇）、打哈欠（單位時間打哈欠次數(shù)增加）、點頭（單位時間瞌睡點頭次數(shù)增加），通過單目攝像頭實時拍攝駕駛員的行車狀態(tài)，獲取到駕駛員的行車視頻流，對視頻流進行循環(huán)讀取幀圖片。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡介2.進行人臉關(guān)鍵點檢測之前需要得到人臉區(qū)域，我們采用MTCNN（多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)）算法進行人臉檢測。MTCNN算法是一種使用卷積網(wǎng)絡(luò)的人臉檢測與對齊的方法。算法采用級聯(lián)CNN結(jié)構(gòu)，將三個卷積神經(jīng)網(wǎng)絡(luò)P-Net、R-Net與O-Net級聯(lián)到一起構(gòu)成強分類器。（二）基于機器視覺和圖像處理的疲勞檢測算法（二）基于機器視覺和圖像處理的疲勞檢測算法

3.基于卷積神經(jīng)網(wǎng)絡(luò)的MTCNN算法消耗的算力資源較大，對硬件要求較高，難以做到跟隨攝像頭輸入進行實時檢測。

機動車正常行駛途中駕駛員不會發(fā)生變更且頭部姿態(tài)變化不大，人臉在每幀之間的移動幅度小，在獲取人臉區(qū)域后，采用KCF跟蹤算法對人臉區(qū)域進行追蹤，從而減少算力消耗。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡介（二）基于機器視覺和圖像處理的疲勞檢測算法

4.PERCLOS(PercentageofEyelidClosureoverthePupilOverTime)指的是在一段時間內(nèi)眼睛閉合時間占總時間的比值，是在疲勞檢測中被廣泛使用的判斷指標(biāo)，計算公式如下：02常見智能座艙算法開發(fā)認(rèn)知常見算法簡介（二）基于機器視覺和圖像處理的疲勞檢測算法

5.MAR（MouthAspectRatio，嘴部縱橫比），仿照EAR的原理，通過對嘴部縱橫比的檢測來判斷嘴張開的大小。

6.我們通過MTCNN算法檢測人臉，再通過KCF算法跟蹤人臉區(qū)域，最后通過人臉特征點檢測算法ERT得到EAR與MAR值，由此計算PERCLOS值與判斷是否哈欠，最后通過多特征融合判斷方法得到駕駛員疲勞信息。02常見智能座艙算法開發(fā)認(rèn)知常見算法簡介案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)PART0303案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)建立吸煙圖像數(shù)據(jù)集一、圖像采集

在采集圖像前，首先要先對目標(biāo)特征進行分析，以確保采集的圖像具有代表性。通過對大量包含吸煙者的圖像分析，總結(jié)出以下幾種類型的吸煙動作。03案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)建立吸煙圖像數(shù)據(jù)集二、圖像預(yù)處理

采集圖像數(shù)據(jù)的渠道為網(wǎng)絡(luò)和VOC2007通用目標(biāo)檢測數(shù)據(jù)集，采集到的圖像數(shù)據(jù)不能直接用于深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練，還需要一些預(yù)處理工作，如統(tǒng)一圖像數(shù)據(jù)格式，對圖像重命名。03案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)建立吸煙圖像數(shù)據(jù)集三、圖像標(biāo)注

經(jīng)過預(yù)處理的圖像數(shù)據(jù)還不能直接輸入深度學(xué)習(xí)網(wǎng)絡(luò)，需要經(jīng)過標(biāo)注等處理，同時由以上分析可知，吸煙者圖像較為復(fù)雜，若不加篩選地采集任意吸煙者圖像，將對后續(xù)圖像標(biāo)注工作造成困擾。為圖像打標(biāo)簽的工作被稱為圖像標(biāo)注。03案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)建立吸煙圖像數(shù)據(jù)集四、標(biāo)注格式轉(zhuǎn)換 YOLOv5不能直接讀取XML文件，需要將XML文件轉(zhuǎn)化為TXT文件，其轉(zhuǎn)化思路為提取XML文件中重點關(guān)注的信息，并將其寫入TXT文本中。五、數(shù)據(jù)集劃分 YOLOv5不能直接讀取XML文件，需要將XML文件轉(zhuǎn)化為TXT文件，其轉(zhuǎn)化思路為提取XML文件中重點關(guān)注的信息，并將其寫入TXT文本中。03案例：基于機器視覺的抽煙駕駛檢測算法開發(fā)吸煙檢測算法訓(xùn)練常用參數(shù)說明weights權(quán)重文件路徑cfg存儲模型結(jié)構(gòu)的配置文件data存儲訓(xùn)練、測試數(shù)據(jù)的文件epochs指的就是訓(xùn)練過程中整個數(shù)據(jù)集將被迭代（訓(xùn)練）了多少次batch-size訓(xùn)練完多少張圖片才進行權(quán)重更新img-size輸入圖片寬高點devicecudadevice,i.e.0or0,1,2,3orcpu。選擇使用GPU還是CPUworkers線程數(shù)，默認(rèn)是8

訓(xùn)練是將深度學(xué)習(xí)網(wǎng)絡(luò)投入使用的關(guān)鍵步驟，接下來我們將進行訓(xùn)練參數(shù)配置。當(dāng)損失函數(shù)不斷減小直至最后收斂，整體呈下降趨勢，且下降速度由快到慢，逐漸逼近最優(yōu)解。訓(xùn)練初始時，損失函數(shù)較大，經(jīng)過5000次的訓(xùn)練，損失函數(shù)降至0.1以下