基于深度強(qiáng)化學(xué)習(xí)的無(wú)人駕駛智能決策控制研究

1、    基于深度強(qiáng)化學(xué)習(xí)的無(wú)人駕駛智能決策控制研究    朱武哲摘 要：隨著人工智能技術(shù)的發(fā)展，越來(lái)越多的智能應(yīng)用正在潛移默化地改變我們的生活。普及無(wú)人駕駛車輛是未來(lái)交通的發(fā)展方向，決策控制問題則是無(wú)人駕駛技術(shù)發(fā)展需要面對(duì)的重要問題。本文針對(duì)無(wú)人駕駛決策控制問題，提出將示教學(xué)習(xí)與強(qiáng)化學(xué)習(xí)相結(jié)合的解決方案，嘗試吸取示教學(xué)習(xí)算法的優(yōu)點(diǎn)，對(duì)強(qiáng)化學(xué)習(xí)算法訓(xùn)練效果進(jìn)行提升。基于深度確定性策略梯度算法（deep deterministic policy gradient， ddpg），本文提出了融合示教的 ddpg 算法（ddpg with demonstratio

2、n， ddpgwd），并使用了開源微軟仿真環(huán)境對(duì)算法進(jìn)行了仿真驗(yàn)證，證明了上述算法在自動(dòng)駕駛決策控制中的有效性。關(guān)鍵詞：無(wú)人駕駛智能決策;深度確定性策略梯度算法;示教學(xué)習(xí);強(qiáng)化學(xué)習(xí)一 引言隨著自動(dòng)駕駛技術(shù)的不斷突破，無(wú)人駕駛車輛的生產(chǎn)已經(jīng)向?qū)嵱没~進(jìn)，在未來(lái)數(shù)年內(nèi)將對(duì)提高道路安全、促進(jìn)交通管理和改善城市環(huán)保等產(chǎn)生顛覆性影響。據(jù)統(tǒng)計(jì)，在所有車輛肇事情況中，九成以上的車禍?zhǔn)怯神{駛員的失誤造成的。因此，無(wú)人駕駛功能的出現(xiàn)，有可能大幅降低交通肇事案件的數(shù)量。我國(guó)對(duì)于無(wú)人駕駛的研究起步較早，但是隨著對(duì)自動(dòng)駕駛應(yīng)變能力要求的不斷提高，新一代的無(wú)人駕駛車輛既需要對(duì)復(fù)雜的道路場(chǎng)景進(jìn)行識(shí)別與分析，又需要克服不同

3、環(huán)境下的傳感器噪聲等問題，同時(shí)還需要實(shí)時(shí)應(yīng)對(duì)各種突發(fā)狀況，這對(duì)自動(dòng)駕駛?cè)斯ぶ悄艿目焖賹W(xué)習(xí)能力、泛化能力提出了更高的要求，成為急需攻克的難點(diǎn)問題。當(dāng)前，制約無(wú)人駕駛技術(shù)應(yīng)用的一個(gè)關(guān)鍵問題是如何保證車輛在不可控復(fù)雜環(huán)境中長(zhǎng)時(shí)間安全自主行駛。在不可控復(fù)雜交通環(huán)境中，道路情況復(fù)雜（包括道路標(biāo)志缺失、被遮擋、表面破損，行人及車輛共存等），道路周圍環(huán)境多變（包括天氣、光照和氣候多變，城市部分片區(qū)改造或重新規(guī)劃等）。在不可控環(huán)境中要求無(wú)人駕駛車輛具有更加智能的決策控制能力，能夠綜合利用感知信息，在緊急突發(fā)情況下做出安全合理的決策控制。以示教學(xué)習(xí)（imitation learning）為代表的一系列通過人類示

4、教來(lái)引導(dǎo)機(jī)器進(jìn)行學(xué)習(xí)的智能方法，已經(jīng)在機(jī)器人與智能控制領(lǐng)域取得了很大的成就。但是，如何將人類的經(jīng)驗(yàn)用于汽車自動(dòng)駕駛?cè)斯ぶ悄艿挠?xùn)練，尤其是在示教樣本較少的情況下，如何應(yīng)付不可控復(fù)雜交通場(chǎng)景、如何提高泛化能力，都是無(wú)人駕駛研究的難點(diǎn)。無(wú)人駕駛的決策與控制模塊是決定無(wú)人駕駛汽車安全性、穩(wěn)定性的關(guān)鍵。圖1展示了谷歌無(wú)人車和特斯拉自動(dòng)駕駛模式下發(fā)生的事故。會(huì)發(fā)生這些事故，主要原因是面對(duì)不可控的突發(fā)交通狀況時(shí)，無(wú)人車無(wú)法做出最佳的實(shí)時(shí)決策與控制。因此，不可控復(fù)雜環(huán)境中的無(wú)人駕駛的決策和控制，逐漸成為制約無(wú)人駕駛技術(shù)發(fā)展的關(guān)鍵問題。二 國(guó)內(nèi)外研究現(xiàn)狀強(qiáng)化學(xué)習(xí)是一種再激勵(lì)學(xué)習(xí)算法，和上述的監(jiān)督學(xué)習(xí)方法不同，它

5、通過和環(huán)境交互試錯(cuò)進(jìn)行在線的學(xué)習(xí)，獲取反饋，從而優(yōu)化策略，不依賴環(huán)境模型和先驗(yàn)知識(shí)。近年來(lái)很多學(xué)者將強(qiáng)化學(xué)習(xí)用于無(wú)人車路徑規(guī)劃上面。liwei huang等在動(dòng)態(tài)環(huán)境下基于強(qiáng)化學(xué)習(xí)進(jìn)行車輛的路徑規(guī)劃和避障，將狀態(tài)空間分為八個(gè)角度區(qū)間，動(dòng)作域分為三向前、左轉(zhuǎn)和右轉(zhuǎn)三個(gè)動(dòng)作，并加入-貪婪策略改進(jìn)了獎(jiǎng)勵(lì)函數(shù)，實(shí)現(xiàn)了無(wú)人小車導(dǎo)航，但是該方法未考慮后退動(dòng)作，難以解決若前方堵死時(shí)車輛如何選擇動(dòng)作的問題，還有避讓的路線是折線，并不是光滑的，與現(xiàn)實(shí)車輛行駛路線不符;董培方等加入初始引力勢(shì)場(chǎng)和陷阱搜索的改進(jìn)q-learning算法，在其基礎(chǔ)上對(duì)環(huán)境進(jìn)行陷阱區(qū)域逐層搜索，剔除凹形陷阱區(qū)域q值迭代，加快了路徑規(guī)劃的

6、收斂速度，搜索到較好的路徑，但是其收斂速度還有待提高，規(guī)劃的路徑也可能不是最優(yōu)的;張明雨利用代價(jià)地圖的cost信息來(lái)構(gòu)建狀態(tài)空間，動(dòng)作空間，獎(jiǎng)賞函數(shù)和值函數(shù)，然后對(duì)移動(dòng)機(jī)器人進(jìn)行訓(xùn)練，獲得q值表，然后在后面的導(dǎo)航過程中遇到障礙物時(shí)，用學(xué)習(xí)到的策略選擇動(dòng)作，避過障礙物，使用代價(jià)地圖結(jié)合q-learning算法來(lái)修改全局路徑實(shí)現(xiàn)機(jī)器人的動(dòng)態(tài)導(dǎo)航;張汕播等針對(duì)未知環(huán)境，利用情感學(xué)習(xí)機(jī)制輔助強(qiáng)化學(xué)習(xí)系統(tǒng)，給出算法在當(dāng)時(shí)環(huán)境下的決策空間，實(shí)現(xiàn)agent的實(shí)時(shí)決策，最后將強(qiáng)化學(xué)習(xí)模型和a*算法結(jié)合構(gòu)建路徑規(guī)劃系統(tǒng)。現(xiàn)在大部分的無(wú)人駕駛車輛都是在無(wú)人區(qū)域或者簡(jiǎn)單的道路環(huán)境下行駛的，但是現(xiàn)實(shí)的路況都是實(shí)時(shí)變化

7、的，障礙物分布隨機(jī)且多，我們希望在復(fù)雜動(dòng)態(tài)環(huán)境下無(wú)人車輛能自主搜索出合適的路徑并自主避讓障礙物。三 ddpgwd 算法框架本文采用組合運(yùn)動(dòng)規(guī)劃方法進(jìn)行無(wú)人車的行為規(guī)劃。運(yùn)動(dòng)規(guī)劃的組合方法通過連續(xù)的配置空間找到路徑，而無(wú)需借助近似值。組合方法通過對(duì)規(guī)劃問題建立離散表示來(lái)找到完整的解，首先使用路徑規(guī)劃器生成備選的路徑和目標(biāo)點(diǎn)（這些路徑和目標(biāo)點(diǎn)是融合動(dòng)力學(xué)可達(dá)的），然后通過優(yōu)化算法選擇最優(yōu)的路徑。在大規(guī)模學(xué)習(xí)時(shí)強(qiáng)化學(xué)習(xí)普遍有收斂速度慢、規(guī)劃效率低的缺點(diǎn)，對(duì)于無(wú)人車輛來(lái)說(shuō)，其“試錯(cuò)”機(jī)制可能會(huì)使車輛撞擊到障礙物，不能直接應(yīng)用于真實(shí)環(huán)境中。針對(duì)上述問題，擬加入人工勢(shì)場(chǎng)法對(duì)環(huán)境的勢(shì)能進(jìn)行賦值作為搜索啟發(fā)信

8、息對(duì)q值進(jìn)行初始化，從而在學(xué)習(xí)初期便能引導(dǎo)移動(dòng)機(jī)器人快速收斂，提高規(guī)劃效率，使用攝像機(jī)、激光雷達(dá)等識(shí)別周圍環(huán)境，結(jié)合強(qiáng)化學(xué)習(xí)進(jìn)行動(dòng)態(tài)的路徑規(guī)劃，流程圖如下：利用強(qiáng)化學(xué)習(xí)解決機(jī)器人路徑規(guī)劃問題時(shí)，機(jī)器人會(huì)在相應(yīng)的環(huán)境中“試錯(cuò)”學(xué)習(xí)，在執(zhí)行動(dòng)作的同時(shí)會(huì)得到相應(yīng)的獎(jiǎng)勵(lì)，考慮動(dòng)作選擇和回報(bào)的馬爾科夫過程稱為馬爾科夫決策過程。強(qiáng)化學(xué)習(xí)的各種方法都是以馬爾科夫決策過程（mdp）為基礎(chǔ)的。s：表示系統(tǒng)環(huán)境狀態(tài)的集合;a：表示agent可采取的動(dòng)作集合;p（s|s，a）描述在當(dāng)前狀態(tài)ss下，agent采取動(dòng)作aa，轉(zhuǎn)移到ss的概率;r（s，a）表示在狀態(tài)s下agent執(zhí)行動(dòng)作a后獲得的獎(jiǎng)賞值;目標(biāo)就是求出累計(jì)

9、獎(jiǎng)勵(lì)最大的策略的期望。根據(jù)求解方法不同，強(qiáng)化學(xué)習(xí)的算法主要分為兩大類：基于值的算法（value-based）和基于策略的算法（policy-based）。四 試驗(yàn)驗(yàn)證（一）環(huán)境因素分析外界環(huán)境因素作為無(wú)人駕駛車輛的主要信息輸入，對(duì)無(wú)人駕駛過程中的環(huán)境感知、系統(tǒng)決策，路徑規(guī)劃和系統(tǒng)控制都有十分重要的影響。外界環(huán)境因素本身也是一個(gè)龐大而且復(fù)雜的系統(tǒng)，從廣義上講，外界環(huán)境因素主要包括靜態(tài)環(huán)境因素和動(dòng)態(tài)環(huán)境因素。其中靜態(tài)的環(huán)境因素有不同類型的道路和交通標(biāo)志、道路上和兩邊的場(chǎng)景以及靜態(tài)障礙物等;動(dòng)態(tài)的環(huán)境因素有車輛、行人、交通信號(hào)燈以及動(dòng)態(tài)障礙物等。1.結(jié)構(gòu)化道路影響無(wú)人駕駛車輛的主要靜態(tài)環(huán)境因素是道路

10、和靜態(tài)障礙物，道路兩旁的建筑和場(chǎng)景對(duì)于車輛路徑規(guī)劃的影響較小，故本文不做討論。其中道路又分為結(jié)構(gòu)化道路和非結(jié)構(gòu)化道路兩種，在結(jié)構(gòu)化道路中又有直道、彎道、十字路口、y型路口、環(huán)島、主干道的出口和入口以及這些要素的組合道路等，對(duì)于非結(jié)構(gòu)化道路本文不做討論。直道，作為結(jié)構(gòu)化道路中最簡(jiǎn)單的組成元素，是結(jié)構(gòu)化道路主要的存在形式，大多數(shù)的道路都是以盡量直道的原則建造。直道又分為單車道和多車道，直道的邊界都是直線，主要的參數(shù)是道路的長(zhǎng)度、寬度和邊界位置等信息。車輛在直道上行駛的方式較為固定，一般是直行、換道行駛，同時(shí)采取一些避障行為。彎道，通常作為道路的連接，彎道也是典型路況中的典型組成元素。由于其特殊性，

11、彎道是交通事故的多發(fā)地。所以在做無(wú)人駕駛車輛的局部路徑規(guī)劃時(shí)，要著重考慮車輛在彎道的曲率值下的行駛能力。車輛在彎道上行駛的類型一般是沿著彎道作轉(zhuǎn)向行駛。匯入和匯出道路，兩條或者多條道路的合并形成匯入道路。單條道路分成多條道路形成匯出道路。車輛在匯入?yún)R出道路上，一般會(huì)進(jìn)行變道和避障行駛。十字路口，兩條或者多條道路相會(huì)產(chǎn)生十字路口，無(wú)人駕駛車輛的路徑規(guī)劃主要考慮來(lái)往車輛和行人。車輛在十字路口上，一般有轉(zhuǎn)向、調(diào)頭和直行等行駛方式。u型路，u型路通常是曲率比較大的彎道，有可能出現(xiàn)在雙向直道上需要調(diào)頭的位置。和彎道相類似，車輛在u型路上，一般是沿著u型路作調(diào)頭行駛，和彎道不同時(shí)是，轉(zhuǎn)向角度更大，目標(biāo)點(diǎn)一

12、般在身后。2.行人行人在道路上行走一般具有很大的隨意性，是道路交通上的不確定因素，同時(shí)由于行人缺少相應(yīng)保護(hù)，往往在發(fā)生交通事故時(shí)會(huì)受到較大的傷害。行人在道路上行走一般可以分為兩類，一類是沿著道路行走，另一類是橫穿道路行走。由于行人具有隨意性，無(wú)人駕駛車輛如何檢測(cè)和避讓行人是研究的重點(diǎn)和難點(diǎn)之一。為了驗(yàn)證ddpgwd最終訓(xùn)練得到的模型泛化性，我們?cè)谖④涢_源仿真平臺(tái)測(cè)試軌道中進(jìn)行了測(cè)試，軌道形狀及場(chǎng)景如下圖所示，無(wú)人車能夠順利地完成整圈的駕駛。綜合上述仿真實(shí)驗(yàn)，我們提出的ddpgwd算法能夠合理地解決無(wú)人駕駛的決策控制問題，并且通過引入示教監(jiān)督數(shù)據(jù)，能夠在相同的獎(jiǎng)勵(lì)值函數(shù)下、在一定量的訓(xùn)練回合中獲得比原始ddpg算法更多的訓(xùn)練步數(shù)，可以更快地學(xué)到一個(gè)相對(duì)合理的策略。在弱化獎(jiǎng)勵(lì)值函數(shù)后，我們提出的算法效果雖有所下降，但相較于ddpg算法仍然能夠維持在一個(gè)較高的訓(xùn)練水平。五 結(jié)語(yǔ)本文介紹了基本深度強(qiáng)化算法原理，分析了ddpgwd算法作為無(wú)人駕駛車輛局部路徑規(guī)劃與決策算法的優(yōu)缺點(diǎn)。針對(duì)無(wú)人駕駛車輛使用ddpg算法進(jìn)行局部路徑規(guī)劃的缺點(diǎn)，提出了基于場(chǎng)景約束的d