交叉口智能信號(hào)控制

交叉口智能信號(hào)控制指導(dǎo)教師：徐良杰教授小組成員：安樹科、鄒權(quán)、韓冬成現(xiàn)代道路交通管理理論及應(yīng)用目前一頁\總數(shù)六十頁\編于十六點(diǎn)0引言01基于智能體的信號(hào)交叉口控制0302總結(jié)與展望04THEMAINCONTENTS交叉口智能信號(hào)控制單路口智能信號(hào)控制目前二頁\總數(shù)六十頁\編于十六點(diǎn)引言0

隨著經(jīng)濟(jì)的快速發(fā)展，人民生活水平的不斷提高，社會(huì)對(duì)城市交通提出了更高的要求，制約城市道路通行能力的瓶頸———道路交叉口，也越來越受到人們的重視。提高交叉口通行能力和降低延誤的最有效的方法之一就是交通信號(hào)控制。信號(hào)控制研究范圍涉及相位分配的確定、性能函數(shù)的選取、控制參數(shù)的確定和配時(shí)方案的生成及配套的硬件設(shè)備選取等多個(gè)領(lǐng)域。目前三頁\總數(shù)六十頁\編于十六點(diǎn)引言01）發(fā)展歷程早期最早只有紅綠兩色的交通信號(hào)燈，后來加入了黃色信號(hào)燈計(jì)算機(jī)出現(xiàn)出現(xiàn)信號(hào)控制機(jī)和車輛檢測(cè)器、電子控制器等，計(jì)算機(jī)的應(yīng)用受到重視1980年代隨著信息技術(shù)的發(fā)展，城市交通控制開始向信息化智能化方向發(fā)展1990年代開始出現(xiàn)智能交通控制系統(tǒng)2000年后世界各大城市開始采用計(jì)算機(jī)聯(lián)網(wǎng)控制，通過實(shí)時(shí)流量和交通模型實(shí)現(xiàn)整個(gè)交通路網(wǎng)的配時(shí)優(yōu)化。目前四頁\總數(shù)六十頁\編于十六點(diǎn)引言02）交通信號(hào)控制系統(tǒng)的分類定時(shí)式脫機(jī)系統(tǒng)自適應(yīng)控制系統(tǒng)智能控制系統(tǒng)點(diǎn)控方式線控方式面控方式目前五頁\總數(shù)六十頁\編于十六點(diǎn)引言03）信號(hào)控制方法應(yīng)用現(xiàn)狀目前，在全球范圍廣泛采用的交通信號(hào)控制系統(tǒng)包括澳大利亞的SCATS系統(tǒng)和英國的SCOOT系統(tǒng)。SCATS屬于方案選擇式控制系統(tǒng)，每個(gè)交叉口配時(shí)方案根據(jù)子系統(tǒng)的整體需要進(jìn)行選擇，現(xiàn)在上海運(yùn)行著該系統(tǒng)；SCOOT屬于方案生成式實(shí)時(shí)自適應(yīng)控制系統(tǒng)，采用小步長漸進(jìn)尋優(yōu)的方法，連續(xù)實(shí)時(shí)地調(diào)整綠信比、周期和時(shí)差3個(gè)參數(shù)，北京已引進(jìn)該系統(tǒng)。目前六頁\總數(shù)六十頁\編于十六點(diǎn)引言0國內(nèi)其他城市交通控制系統(tǒng)應(yīng)用情況目前七頁\總數(shù)六十頁\編于十六點(diǎn)1單路口智能信號(hào)控制目前八頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1定時(shí)控制：根據(jù)以往觀測(cè)到的交通需求，按預(yù)先設(shè)定的配時(shí)方案進(jìn)行控制，因此它對(duì)交通需求的隨機(jī)變化是無法響應(yīng)的。感應(yīng)控制方法缺陷：感應(yīng)控制只能檢測(cè)是否有車輛到達(dá)而不關(guān)心有多少輛車到達(dá)，因此，它無法真正響應(yīng)各相位的交通需求，也就不能使車輛的總延誤最小。例如：設(shè)某相位最短綠時(shí)為10s，最大綠時(shí)為40s，單位綠延時(shí)為5s，則在5s綠延時(shí)結(jié)束前，如果只有一輛車到達(dá)，仍須給出5s的單位綠延時(shí)，極端情況下重復(fù)上述過程直到最大綠時(shí)，共放行了11輛車，而在此期間，下一相位車道卻有15輛車等待綠燈，很顯然總的車輛延誤沒有達(dá)到最小。目前九頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制11）

單路口兩相位的模糊控制1977年，Pappis等人設(shè)計(jì)了一種單路口兩相位模糊邏輯控制器，計(jì)算機(jī)仿真結(jié)果證實(shí)了該方法的有效性。這是最早將模糊邏輯用于交通控制的例子。下面從延誤模型、模糊算法和模糊控制幾方面進(jìn)行介紹。目前十頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1（1）

延誤模型考慮兩相位控制的十字路口，東西向?yàn)橐粋€(gè)相位，南北向?yàn)橐粋€(gè)相位。假定各方向到達(dá)的車輛是隨機(jī)的，且到達(dá)的車輛數(shù)服從均勻分布。兩個(gè)方向的飽和流量均為3600veh/h，無轉(zhuǎn)向車流。設(shè)則紅燈相位開始后第n(s)內(nèi)的車輛排隊(duì)長度為式中，p表示前一個(gè)綠燈期間未清完的車輛數(shù)。則紅燈期間排隊(duì)車輛總的等待時(shí)間為如果在第n(s)內(nèi)有一輛車到達(dá)否則目前十一頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1令s為飽和流量，則綠燈相位開始后第n(s)內(nèi)，未清完的車輛排隊(duì)長度為式中為前一個(gè)紅燈期間等候的車輛數(shù)。上式括號(hào)里的數(shù)為正時(shí)，z取1，否則z為0。則綠燈期間車輛總的等待時(shí)間為因此，一個(gè)周期內(nèi)，一個(gè)方向上的車輛總延誤為－有效紅燈時(shí)間R(s)內(nèi)的延誤－有效綠燈時(shí)間R(s)內(nèi)的延誤平均每輛車的延誤模型為目前十二頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1（2）

模糊算法該算法主要控制綠燈的延時(shí)時(shí)間，分別在綠燈的第7s、17s、27s、37s和47s實(shí)施控制。在路口停車線前S(m)處設(shè)置車輛檢測(cè)器目前十三頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1若測(cè)得車輛的速度為,則其從檢測(cè)器到臨界點(diǎn)所花費(fèi)的時(shí)間為例如：南北方向綠燈持續(xù)到第17s準(zhǔn)備實(shí)施控制時(shí)，設(shè)在下一個(gè)10s中，相繼每一個(gè)時(shí)間單位1s橫穿臨界點(diǎn)（南北方向）的車輛數(shù)與等候的車輛數(shù)（東西方向）已由檢測(cè)器得到，分別為設(shè)準(zhǔn)備實(shí)施控制時(shí)已有5輛車等候（東西方向），則下一個(gè)10s開始后各秒到達(dá)和等候的車輛累積數(shù)分別為目前十四頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1引入以下模糊變量：T表示“時(shí)間”的模糊輸入變量，其取值為：“很短”、“短”、“中等”等。A表示“到達(dá)數(shù)”的模糊輸入變量，此處指到達(dá)正在通行的車道上的車輛數(shù)。其取值為：“很多”、“極少”等。Q表示“等候車輛數(shù)”的模糊輸入變量，其取值為：“任意”、“很少”等。E表示“延長時(shí)間”的模糊輸入變量。目前十五頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1時(shí)間A和延長時(shí)間E的賦值表目前十六頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1到達(dá)數(shù)A的賦值表目前十七頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1等候車輛數(shù)Q的賦值表目前十八頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1引入兩種新的運(yùn)算規(guī)則，設(shè)為實(shí)軸上的模糊子集，是其隸屬度函數(shù)且是使達(dá)到最大的中的元素，則和為定義在U上的模糊集，且有很明顯模糊集“任意（any）”，在整個(gè)論域上都為1目前十九頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1（3）

模糊控制

下面根據(jù)一些具體數(shù)據(jù)說明如何進(jìn)行模糊控制。以第2次控制（即在綠燈第27s時(shí)）為例，并設(shè)即考慮下一個(gè)10s的第8s；即在以后的8s中，如現(xiàn)在的信號(hào)燈不變，則有4輛車通過臨界點(diǎn)；即在即在以后的8s中，如現(xiàn)在的信號(hào)燈不變，則有5輛車等候；即信號(hào)燈的當(dāng)前狀態(tài)再保持8s。目前二十頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1根據(jù)第二次控制中的第1條規(guī)則，我們有目前二十一頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1類似地求得其余4條控制規(guī)則的隸屬度分別為目前二十二頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1按照上述方法，分別取，則可得到控制決策表，如下表所示。由于“延長10s”所對(duì)應(yīng)的隸屬度0.8為最大，故決定控制器應(yīng)保持當(dāng)前狀態(tài)10s不變。每次控制均按上述過程進(jìn)行。如果模糊決策后要延長的時(shí)間小于10s，則系統(tǒng)將在延時(shí)結(jié)束后進(jìn)行狀態(tài)轉(zhuǎn)換，然后在下一個(gè)相位進(jìn)行模糊推理。如果表最后一行所有的值均小于0.5，則不進(jìn)行延時(shí)，系統(tǒng)的狀態(tài)（即相位）要立刻轉(zhuǎn)換。如果表中的最后一行有兩個(gè)或兩個(gè)以上相同的最大值，則取更長的那個(gè)延長時(shí)間。目前二十三頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1目前二十四頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1模糊邏輯控制器與傳統(tǒng)控制器的性能比較目前二十五頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制12）

單路口的神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)控制模糊控制規(guī)則一經(jīng)確定就不再改變，即不具備實(shí)時(shí)學(xué)習(xí)功能。這樣一來，系統(tǒng)的信號(hào)控制效果完全依賴于控制規(guī)則的合理性和遍歷性，這對(duì)于交通狀況復(fù)雜的路口，特別是多相位路口，是很難做到的。針對(duì)單路口多相位信號(hào)控制方式，提出了一種具有實(shí)時(shí)學(xué)習(xí)功能的神經(jīng)網(wǎng)絡(luò)信號(hào)控制方法。目前二十六頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1（1）

單路口的神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)控制在車流量大和車流復(fù)雜的情況下，傳統(tǒng)信號(hào)控制方法很難實(shí)施有效的控制，但一個(gè)經(jīng)驗(yàn)豐富的交通警察卻能應(yīng)付自如。這說明可模擬交通警察思維的智能控制方法在復(fù)雜路口的信號(hào)控制方面有著廣泛的應(yīng)用前景。設(shè)所研究的平面交叉路口為一個(gè)十字形交叉路口。其中，東西南北4個(gè)進(jìn)口均具有左轉(zhuǎn)、直行和右轉(zhuǎn)條車道目前二十七頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1（2）

單路口的神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)控制目前二十八頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1交通警察交通指揮的過程：首先將通行權(quán)交給某一方向，在此期間他將不斷評(píng)價(jià)目前的交通狀況1）如果通行方向的大部分車輛已疏散，而另一個(gè)方向車輛數(shù)增多，他會(huì)把通行權(quán)交給另一個(gè)方向；2）如果各方向的車輛數(shù)均比較多，則通行時(shí)間較長；3）如果各方向的車輛數(shù)均比較少，則通行時(shí)間較短。目前二十九頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1

具有在線自學(xué)習(xí)功能的智能控制方案結(jié)構(gòu)圖目前三十頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1（3）

控制算法1）評(píng)價(jià)準(zhǔn)則·評(píng)價(jià)準(zhǔn)則環(huán)節(jié)的作用是評(píng)價(jià)一個(gè)評(píng)價(jià)周期內(nèi)（假設(shè)由6個(gè)信號(hào)周期組成）某一信號(hào)配時(shí)方法的控制效果，并由此評(píng)價(jià)準(zhǔn)則修正信號(hào)周期和各相位的綠信比。設(shè)

為第i個(gè)信號(hào)周期結(jié)束時(shí)的總排隊(duì)長度；為第i個(gè)信號(hào)周期內(nèi)第j個(gè)相位所有方向達(dá)到的車輛總數(shù)；為第i個(gè)信號(hào)周期內(nèi)第j個(gè)相位中所有方向放行的車輛總數(shù)；為第i個(gè)周期結(jié)束時(shí)第j個(gè)相位所有方向車流排隊(duì)長度之和；為一個(gè)評(píng)價(jià)周期內(nèi)，各信號(hào)周期結(jié)束時(shí)的總排隊(duì)長度的平均值；為一個(gè)評(píng)價(jià)周期內(nèi)，各信號(hào)周期結(jié)束時(shí)第j個(gè)相位中所有方向車流的排隊(duì)長度的平均值；目前三十一頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1則有式中，當(dāng)括號(hào)內(nèi)的數(shù)小于0時(shí)，z=0，否則z=1,且有定義將分為大、較大、中、小和很小5檔，對(duì)應(yīng)的周期增量分別為10s、7s、5s、0s和-5s，則為即為下一個(gè)評(píng)價(jià)周期內(nèi)將要采用的新信號(hào)周期長度目前三十二頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1然后計(jì)算最后計(jì)算

j=1,2,3,4目前三十三頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1（4）神經(jīng)網(wǎng)絡(luò)在該信號(hào)控制系統(tǒng)中，兩個(gè)神經(jīng)網(wǎng)絡(luò)作為控制器處于系統(tǒng)的底層。任何時(shí)刻只有一個(gè)在工作，而另一個(gè)則根據(jù)需要（由評(píng)價(jià)準(zhǔn)則確定）處于學(xué)習(xí)或空閑狀態(tài)。輸入：輸出：C和目前三十四頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1學(xué)習(xí)樣本和訓(xùn)練方式：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)樣本分兩個(gè)階段獲取。第一，在網(wǎng)絡(luò)運(yùn)行前，先將交警的指揮經(jīng)驗(yàn)用規(guī)則的形式表示出來，然后用這些準(zhǔn)則來訓(xùn)練兩個(gè)神經(jīng)網(wǎng)絡(luò)，訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)即可作為信號(hào)控制器投入運(yùn)行。由于控制信號(hào)是4相位的，信號(hào)控制規(guī)則的獲取比較困難，且控制規(guī)則也往往不具備遍歷性，因而此時(shí)的神經(jīng)網(wǎng)絡(luò)性能還不是最優(yōu)的，還需要在運(yùn)行過程中逐步進(jìn)行優(yōu)化。第二，在系統(tǒng)運(yùn)行過程中，每隔一個(gè)評(píng)價(jià)周期(6個(gè)信號(hào)周期）按照前面所述的方法計(jì)算一次輸入、輸出，訓(xùn)練處于空閑狀態(tài)的神經(jīng)網(wǎng)絡(luò)。如此重復(fù)，一個(gè)神經(jīng)網(wǎng)絡(luò)投入運(yùn)行，一個(gè)學(xué)習(xí)目前三十五頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1

隨著時(shí)間的推移，訓(xùn)練樣本將會(huì)越來越多，網(wǎng)絡(luò)訓(xùn)練也將會(huì)越來越困難。為避免出現(xiàn)“樣本爆炸”問題，采取了所謂的“樣本截?cái)唷狈词孪纫?guī)定訓(xùn)練樣本的規(guī)模（如300個(gè)，可根據(jù)需要任意設(shè)定），然后按照“順序移位”的方式用新樣本逐個(gè)淘汰舊樣本。目前三十六頁\總數(shù)六十頁\編于十六點(diǎn)單路口智能信號(hào)控制1神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)控制方法（簡稱方法1）神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)交警控制經(jīng)驗(yàn)方法（簡稱方法2）控制效果比較目前三十七頁\總數(shù)六十頁\編于十六點(diǎn)2基于智能體的信號(hào)交叉口控制

目前三十八頁\總數(shù)六十頁\編于十六點(diǎn)基于智能體的信號(hào)交叉口控制交通信號(hào)控制系統(tǒng)在物理位置和控制邏輯上分散于動(dòng)態(tài)變化的網(wǎng)絡(luò)交通環(huán)境，將每個(gè)路口的交通信號(hào)控制器看做一個(gè)異質(zhì)的智能體，非常適合采用“無模型、自學(xué)習(xí)、數(shù)據(jù)驅(qū)動(dòng)”的多智能體強(qiáng)化學(xué)習(xí)方法建模與描述。自Thorpe于1997年首次將強(qiáng)化學(xué)習(xí)（reinforcementlearning，RL）方法應(yīng)用于交通信號(hào)最優(yōu)化控制以來，多智能體強(qiáng)化學(xué)習(xí)（multi-agentreinforcementlearning，MARL）在區(qū)域交通自適應(yīng)控制領(lǐng)域迅速發(fā)展并已有實(shí)際應(yīng)用。多智能體強(qiáng)化學(xué)習(xí)：智能體它們單獨(dú)的和環(huán)境進(jìn)行交互。在一種情況下它們各自優(yōu)化自己的目標(biāo)，但這些目標(biāo)之間有約束；另一種情況下，它們聯(lián)合起來優(yōu)化一個(gè)主要的目標(biāo)方程。根據(jù)具體的情況會(huì)有不同的變化?；谥悄荏w的信號(hào)交叉口控制2目前三十九頁\總數(shù)六十頁\編于十六點(diǎn)

絕大多數(shù)研究以假設(shè)的靜態(tài)隨機(jī)環(huán)境為研究對(duì)象，采用完全孤立或部分狀態(tài)合作的協(xié)調(diào)機(jī)制進(jìn)行本地路口的最優(yōu)化控制，這制約了網(wǎng)絡(luò)交通控制系統(tǒng)的整體效益。近年來，基于動(dòng)作聯(lián)動(dòng)的MARL控制方法發(fā)展迅速，其以聯(lián)動(dòng)協(xié)同的方式逼近全局最優(yōu)的控制策略；同時(shí)，算法的驗(yàn)證也由假設(shè)的交通網(wǎng)絡(luò)向現(xiàn)實(shí)的交通網(wǎng)絡(luò)發(fā)展。MARL控制的演化發(fā)展基于智能體的信號(hào)交叉口控制2目前四十頁\總數(shù)六十頁\編于十六點(diǎn)1）MARL控制系統(tǒng)的優(yōu)勢(shì)從控制理論來看，MARL控制可根據(jù)控制效果的反饋信息自主學(xué)習(xí)并優(yōu)化策略知識(shí)，是一種真正的閉環(huán)反饋控制。從控制范圍來看，其可精確推理多個(gè)路口間的最優(yōu)聯(lián)合動(dòng)作，豐富了區(qū)域交通協(xié)調(diào)控制的內(nèi)容及形式。從控制實(shí)時(shí)性來看，它沒有復(fù)雜的模型優(yōu)化模塊，采用秒級(jí)的即時(shí)決策，可實(shí)時(shí)響應(yīng)時(shí)變交通流的變化。從系統(tǒng)可拓展性來看，分散式MARL控制具有統(tǒng)一的結(jié)構(gòu)模型，可針對(duì)特定路網(wǎng)結(jié)構(gòu)和交通流特性進(jìn)行相應(yīng)改造。從系統(tǒng)兼容性來看，MARL控制本身僅需要系統(tǒng)的輸入和輸出數(shù)據(jù)，對(duì)數(shù)據(jù)具體采集的技術(shù)和形式無要求?；谥悄荏w的信號(hào)交叉口控制2目前四十一頁\總數(shù)六十頁\編于十六點(diǎn)交通信號(hào)RL智能體的標(biāo)準(zhǔn)模型如圖1所示，每個(gè)路口的交通信號(hào)機(jī)被抽象為一個(gè)智能體，控制對(duì)象為道路交通網(wǎng)絡(luò)上時(shí)變交通流。RL智能體與被控對(duì)象在閉環(huán)系統(tǒng)中不斷進(jìn)行交互，通過觀察交通環(huán)境的實(shí)時(shí)狀態(tài)，提取信號(hào)控制所需的交通狀態(tài)信息和反饋獎(jiǎng)勵(lì)信息，選擇相應(yīng)的行為動(dòng)作并執(zhí)行；進(jìn)而跟蹤評(píng)測(cè)所選擇動(dòng)作的控制效果，以累積回報(bào)收益最大化為目標(biāo)，優(yōu)化控制策略直至收斂到“狀態(tài)和動(dòng)作”的最優(yōu)概率映射。因而，RL智能體將控制系統(tǒng)的優(yōu)化過程按照時(shí)間進(jìn)程劃分為狀態(tài)相互聯(lián)系的多個(gè)階段，并在每個(gè)階段根據(jù)當(dāng)前狀態(tài)進(jìn)行最優(yōu)決策，這是典型的馬爾可夫決策過程（Markovdecisionprocess,MDPs）?；谥悄荏w的信號(hào)交叉口控制22）RL控制標(biāo)準(zhǔn)模型目前四十二頁\總數(shù)六十頁\編于十六點(diǎn)根據(jù)RL智能體學(xué)習(xí)頻率及優(yōu)化參數(shù)的不同，交通信號(hào)RL優(yōu)化技術(shù)分為周期式和非周期式控制（CyclicorAcyclic）兩種類型，其主要技術(shù)特征如表1所示?；谥悄荏w的信號(hào)交叉口控制23）RL控制優(yōu)化技術(shù)目前四十三頁\總數(shù)六十頁\編于十六點(diǎn)在相位結(jié)構(gòu)和相位順序固定的前提下，周期式RL控制以“周期、綠信比和相位差”作為控制方案的配時(shí)參數(shù)，每隔當(dāng)前周期的整數(shù)倍時(shí)間間隔，采用RL算法對(duì)這些參數(shù)進(jìn)行優(yōu)化調(diào)整，以響應(yīng)路口交通需求波動(dòng)。這種優(yōu)化技術(shù)的控制方案結(jié)構(gòu)固定，配時(shí)參數(shù)更新具有滯后性，并通過相位差技術(shù)實(shí)現(xiàn)走廊方向的信號(hào)協(xié)調(diào)，是一種響應(yīng)式（responsive）自適應(yīng)交通控制?；谥悄荏w的信號(hào)交叉口控制2（1）固定周期式RL控制方法目前四十四頁\總數(shù)六十頁\編于十六點(diǎn)

非周期式RL控制遵循感應(yīng)信號(hào)控制的邏輯框架，在滿足交通控制基本約束的前提下，根據(jù)時(shí)變交通流的波動(dòng)，每隔單位延長時(shí)間，采用RL算法對(duì)相位結(jié)構(gòu)、相位順序或綠燈時(shí)長進(jìn)行優(yōu)化，以實(shí)時(shí)響應(yīng)交通需求的變化。這種優(yōu)化技術(shù)摒棄了傳統(tǒng)協(xié)調(diào)控制中周期和相位差的概念，由實(shí)際交通流即時(shí)決策相位方案及相位時(shí)長，并通過多個(gè)路口信號(hào)燈的聯(lián)動(dòng)實(shí)現(xiàn)區(qū)域交通協(xié)調(diào)控制，以盡可能保證車隊(duì)連續(xù)通行，是一種實(shí)時(shí)（real-time）自適應(yīng)交通控制?；谥悄荏w的信號(hào)交叉口控制2（2）非周期式RL控制方法目前四十五頁\總數(shù)六十頁\編于十六點(diǎn)

交通網(wǎng)絡(luò)MARL控制是單路口RL控制向隨機(jī)博弈（stochasticgame，SG）環(huán)境下區(qū)域交通網(wǎng)絡(luò)的擴(kuò)展，以期通過多個(gè)路口RL智能體間的聯(lián)動(dòng)協(xié)調(diào)，逼近網(wǎng)絡(luò)交通流的最優(yōu)均衡策略。由于區(qū)域內(nèi)全部RL智能體同時(shí)學(xué)習(xí)和同時(shí)決策，每一個(gè)RL智能體都面臨移動(dòng)目標(biāo)學(xué)習(xí)問題（moving-targetlearningproblem），即本地智能體的最優(yōu)策略將隨著區(qū)域內(nèi)其他智能體策略的變化而變化。

4）交通網(wǎng)絡(luò)MARL控制

通過構(gòu)建多路口間信號(hào)的聯(lián)動(dòng)協(xié)調(diào)機(jī)制，采用基于協(xié)調(diào)的MARL進(jìn)行系統(tǒng)的分散決策與優(yōu)化。根據(jù)智能體間交通狀態(tài)和信號(hào)動(dòng)作的協(xié)調(diào)水平，交通網(wǎng)絡(luò)MARL控制可分為三類：完全獨(dú)立的多智能體強(qiáng)化學(xué)習(xí)控制（totallyindependentMARL），部分狀態(tài)合作的多智能體強(qiáng)化學(xué)習(xí)控制（partiallystatecooperationMARL）和動(dòng)作聯(lián)動(dòng)的多智能體強(qiáng)化學(xué)習(xí)控制（joint-actionMARL）?；谥悄荏w的信號(hào)交叉口控制2目前四十六頁\總數(shù)六十頁\編于十六點(diǎn)

此方法假設(shè)路口處于靜態(tài)隨機(jī)的交通環(huán)境，即每個(gè)RL智能體的決策僅受路口本地狀態(tài)和本地動(dòng)作的影響，只須通過在式（1）的更新規(guī)則中增加智能體的索引下標(biāo)，將單智能體RL控制方法直接拓展并應(yīng)用到多個(gè)路口即可，其基本形式如下。（1）完全孤立的MARL控制基于智能體的信號(hào)交叉口控制2目前四十七頁\總數(shù)六十頁\編于十六點(diǎn)

部分狀態(tài)合作的MARL控制通過智能體間的點(diǎn)對(duì)點(diǎn)通信，獲得上/下游路口的交通數(shù)據(jù)，并以此拓展本地RL智能體的交通狀態(tài)的感知空間，構(gòu)造了部分狀態(tài)聯(lián)合的值函數(shù)，提高其對(duì)動(dòng)態(tài)隨機(jī)環(huán)境的觀察能力，其基本形式如下。（2）部分狀態(tài)合作的MARL控制基于智能體的信號(hào)交叉口控制2目前四十八頁\總數(shù)六十頁\編于十六點(diǎn)

為同時(shí)克服MARL控制的同時(shí)學(xué)習(xí)挑戰(zhàn)和決策挑戰(zhàn)，動(dòng)作聯(lián)動(dòng)的MARL控制將式（1）中單智能體的狀態(tài)和動(dòng)作分別替換為動(dòng)態(tài)隨機(jī)環(huán)境下的聯(lián)合狀態(tài)和聯(lián)合動(dòng)作，并在每一個(gè)博弈對(duì)策階段，估計(jì)均衡策略的值函數(shù)，實(shí)現(xiàn)多個(gè)智能體間的同時(shí)對(duì)策，如此反復(fù)迭代逼近最優(yōu)策略，以此尋找隨機(jī)環(huán)境下系統(tǒng)的唯一均衡。其基本形式如下。（3）動(dòng)作聯(lián)動(dòng)的MARL控制基于智能體的信號(hào)交叉口控制2目前四十九頁\總數(shù)六十頁\編于十六點(diǎn)基于智能體的信號(hào)交叉口控制25)基于智能體的信號(hào)交叉口控制研究現(xiàn)狀城市交通信號(hào)控制系統(tǒng)具有典型的分布式特征，且在時(shí)變的復(fù)雜交通網(wǎng)絡(luò)環(huán)境下，僅憑局部路口的優(yōu)化不能表征整體網(wǎng)絡(luò)的性能，在交換關(guān)聯(lián)路口信息的基礎(chǔ)上，仍需要設(shè)計(jì)路口間精細(xì)的協(xié)調(diào)機(jī)制，采用聯(lián)合的配時(shí)策略提升整體交通網(wǎng)絡(luò)的控制效益．智能體技術(shù)的自治性、協(xié)作性和交互性符合分布式交通信號(hào)自適應(yīng)控制的內(nèi)在需求．這體現(xiàn)在：智能體（路口信號(hào)控制器）可以感知周圍環(huán)境并及時(shí)響應(yīng)環(huán)境變化，且在沒有人或其他因素的直接干預(yù)下，智能體能夠自發(fā)的根據(jù)目標(biāo)和環(huán)境的要求主動(dòng)做出規(guī)劃，實(shí)現(xiàn)交通控制的自動(dòng)化；同時(shí)，通過各分布式路口智能體的相互協(xié)作，構(gòu)建多智能體控制系統(tǒng)（multiagentsystem，ＭＡＳ），以實(shí)現(xiàn)全局路網(wǎng)的控制目標(biāo)．本部分從兩方面綜述智能體技術(shù)在城市交通信號(hào)控制系統(tǒng)及其關(guān)聯(lián)領(lǐng)域中的應(yīng)用，包括：基于智能體的交通控制系統(tǒng)架構(gòu)研究、基于智能體的交通信號(hào)控制方法研究。目前五十頁\總數(shù)六十頁\編于十六點(diǎn)基于智能體的信號(hào)交叉口控制2(1)基于智能體的交通控制系統(tǒng)構(gòu)架及平臺(tái)

傳統(tǒng)的城市交通控制模型多采用集中式架構(gòu)－SCATS系統(tǒng)、TUC系統(tǒng)及SCOOT系統(tǒng)（子區(qū)內(nèi)部分集中），當(dāng)路口規(guī)模擴(kuò)大時(shí)，集中式的控制系統(tǒng)不能滿足大量交通數(shù)據(jù)的通信傳輸和控制策略的實(shí)時(shí)優(yōu)化，且系統(tǒng)維護(hù)難度大.PRODYN系統(tǒng)、OPAC系統(tǒng)和RHODES系統(tǒng)采用分散式架構(gòu)，有效均衡了集中式交通控制模型的通信需求和計(jì)算荷載，但這類系統(tǒng)采用交通模型預(yù)測(cè)路口環(huán)境演化，且不具備自學(xué)習(xí)能力，在高飽和度等復(fù)雜交通條件下控制效果差．多智能體系統(tǒng)（又稱分布式軟件平臺(tái)）支持和管理智能體的運(yùn)行．智能體可分為靜態(tài)智能體和移動(dòng)智能體，相應(yīng)地，多智能體系統(tǒng)分為靜態(tài)智能體系統(tǒng)和移動(dòng)智能體系統(tǒng)．各個(gè)智能體模塊作用于智能體網(wǎng)絡(luò)系統(tǒng)的每個(gè)節(jié)點(diǎn)，為使智能體和智能體系統(tǒng)可在異構(gòu)的管理平臺(tái)上相互操作，智能體的設(shè)計(jì)應(yīng)當(dāng)符合智能體的通用標(biāo)準(zhǔn)．近年來，應(yīng)用智能體技術(shù)實(shí)現(xiàn)全息交通數(shù)據(jù)環(huán)境下交通運(yùn)輸系統(tǒng)的優(yōu)化成為研究和應(yīng)用的熱點(diǎn)之一，但是，只是少數(shù)學(xué)者研究.目前五十一頁\總數(shù)六十頁\編于十六點(diǎn)基于智能體的信號(hào)交叉口控制2

采用智能體技術(shù)開發(fā)的控制系統(tǒng)構(gòu)架可分為分層式、網(wǎng)絡(luò)式和混合式３種．分層式結(jié)構(gòu)將整個(gè)系統(tǒng)分解成若干個(gè)子系統(tǒng)，各子系統(tǒng)彼此之間的交互較弱．網(wǎng)絡(luò)式結(jié)構(gòu)是一種完全分散的智能體系統(tǒng)，各智能體之間相互通信且獨(dú)立進(jìn)行決策；因而，各分布式的智能體僅考慮局部效益，不能從全局的角度預(yù)測(cè)整個(gè)網(wǎng)絡(luò)狀態(tài)．混合式結(jié)構(gòu)正是結(jié)合了分層式和網(wǎng)絡(luò)式的特征進(jìn)行設(shè)計(jì)。

INTRYS和TRYSA2系統(tǒng)Hernandez比較了城市智能交通管理系統(tǒng)的兩種結(jié)構(gòu)－集中分層式和分散網(wǎng)絡(luò)式，分別提出了INTRYS和TRYSA2兩個(gè)系統(tǒng)，并應(yīng)用于相同城市交通網(wǎng)絡(luò)的管理．

INTRYS通過分層式結(jié)構(gòu)對(duì)智能體進(jìn)行協(xié)調(diào)管理，而TRYSA2則采用網(wǎng)絡(luò)分散式協(xié)調(diào)．分析結(jié)果表明，網(wǎng)絡(luò)式結(jié)構(gòu)具有高同步、可重用及可拓展性好等特性，但對(duì)具有高復(fù)雜度的協(xié)調(diào)任務(wù)，分層式結(jié)構(gòu)則優(yōu)于網(wǎng)絡(luò)式，這是因?yàn)榉謱邮浇Y(jié)構(gòu)搜索關(guān)聯(lián)智能體進(jìn)行計(jì)算的速度更快.目前五十二頁\總數(shù)六十頁\編于十六點(diǎn)基于智能體的信號(hào)交叉口控制2多數(shù)基于智能體技術(shù)開發(fā)的應(yīng)用系統(tǒng)只關(guān)注由靜態(tài)智能體組成的分布式多智能體系統(tǒng)．為了驗(yàn)證移動(dòng)智能體技術(shù)在智能交通系統(tǒng)中應(yīng)用的潛力，Chen在提出的多智能體系統(tǒng)中集成了移動(dòng)智能體，用以提高既有系統(tǒng)大范圍交通控制與管理的靈活性及自適應(yīng)性，并開發(fā)了一個(gè)符合IEEE的FIPA標(biāo)準(zhǔn)的移動(dòng)智能體系統(tǒng)Mobile-C，將其應(yīng)用于交通的管理和檢檢．與靜態(tài)智能體相比，移動(dòng)智能體具有從網(wǎng)絡(luò)中一個(gè)系統(tǒng)轉(zhuǎn)移到另一個(gè)系統(tǒng)的能力，具有減小網(wǎng)絡(luò)負(fù)載，支持?jǐn)嚅_控制、支持異構(gòu)環(huán)境、動(dòng)態(tài)生成組件等功能．因而，系統(tǒng)可在運(yùn)行過程中實(shí)時(shí)地動(dòng)態(tài)更新任務(wù)的代碼及算法，并采用移動(dòng)智能體技術(shù)將其發(fā)送到目標(biāo)子系統(tǒng)中執(zhí)行．研究表明智能體的快速移動(dòng)特性為解決大范圍交通控制與管理的挑戰(zhàn)帶來了新的機(jī)遇，為實(shí)時(shí)遠(yuǎn)程交互、卸載數(shù)據(jù)荷載、跨平臺(tái)操作以及定制化服務(wù)等帶來了新的解決方案.移動(dòng)智能體系統(tǒng)Mobile-C目前五十三頁\總數(shù)六十頁\編于十六點(diǎn)基于智能體的信號(hào)交叉口控制2Wang等提出的一個(gè)基于智能體的網(wǎng)絡(luò)級(jí)交通管理系統(tǒng)ADAPTS．該系統(tǒng)將一個(gè)復(fù)雜的網(wǎng)絡(luò)控制算法分解成多個(gè)以任務(wù)為導(dǎo)向的控制智能體，實(shí)現(xiàn)網(wǎng)絡(luò)級(jí)的自適應(yīng)交通信號(hào)控制．ADAPTS采用了３級(jí)的分層式結(jié)構(gòu)，最高層負(fù)責(zé)規(guī)劃和推理控制智能體的任務(wù)序列，中間層負(fù)責(zé)協(xié)調(diào)和分派控制智能體，最底層則實(shí)現(xiàn)各控制智能體的運(yùn)行．系統(tǒng)采用移動(dòng)智能體技術(shù)實(shí)現(xiàn)各個(gè)控制智能體，實(shí)現(xiàn)控制智能體在遠(yuǎn)程交通控制中心至現(xiàn)場交通控制器以及現(xiàn)場控制器之間的靈活轉(zhuǎn)移，以響應(yīng)不同交通交件下交通需求變化，有效提升了智能交能控制系統(tǒng)的靈活性ADAPTS系統(tǒng)TBMCS系統(tǒng)Katwijk開發(fā)了一個(gè)面向道路交通管理的多智能體系統(tǒng)測(cè)試平臺(tái)TBMCS，其支持在不同策略及條件下對(duì)多智能體系統(tǒng)系統(tǒng)性能進(jìn)行測(cè)試和檢驗(yàn)，從而加快基于多智能體應(yīng)用系統(tǒng)的原型設(shè)計(jì)與開發(fā)．ＴＢＭＣＳ由智能體模型、環(huán)境模型以及通信模型組成，且通信模塊符合ＦＩＰＡ標(biāo)準(zhǔn)，分別模擬智能體的智能決策、環(huán)境狀態(tài)表達(dá)和協(xié)同交互.目前五十四頁\總數(shù)六十頁\編于十六點(diǎn)基于智能體的信號(hào)交叉口控制2城市化和機(jī)動(dòng)化進(jìn)程的加快，交通擁堵、交通安全和污染惡化等問題已成為世界各大城市共同面對(duì)的挑戰(zhàn)．傳統(tǒng)集中式交通控制系統(tǒng)依懶于預(yù)測(cè)模型的精度，且無法處理時(shí)變交通流的不確定性．國內(nèi)外許多學(xué)者開始應(yīng)用智能體技術(shù)探尋大范圍交通控制的智能解決方案，包括城市交通控制（urbantrafficcontrol,UTC）模型、交叉口信號(hào)控制

、路徑誘導(dǎo)與ＵＴＣ的集成系統(tǒng)以及分布式交通數(shù)據(jù)管理。下表中列出了智能體技術(shù)在道路交通信號(hào)控制中的代表性研究。(2)基于智能體的交通信號(hào)控制方法目前五十五頁\總數(shù)六十頁\編于十六點(diǎn)基于智能體的信號(hào)交叉口控制2研究團(tuán)隊(duì)研究內(nèi)容Ｃｈｏｙ等提出了一個(gè)三層分布式的多智能體交通信號(hào)控制架構(gòu)包括交叉口控制器智能體、子區(qū)控制智能體和區(qū)域控制智能體．智能體的學(xué)習(xí)推理均采用基于神經(jīng)網(wǎng)絡(luò)的模糊邏輯并以控制效果的實(shí)時(shí)回饋為準(zhǔn)則，采用強(qiáng)化學(xué)習(xí)在線學(xué)習(xí)控制規(guī)則，以響應(yīng)動(dòng)態(tài)變化的交通環(huán)境．

Srinivasan等為降低系統(tǒng)復(fù)雜度，提出一個(gè)單層分布式的多智能體交通信號(hào)控制系統(tǒng)，每一智能體負(fù)責(zé)網(wǎng)絡(luò)中每一路口的交通信號(hào)，且分屬于各自的協(xié)調(diào)子區(qū)，協(xié)調(diào)子區(qū)可根據(jù)路網(wǎng)交通條件進(jìn)行動(dòng)態(tài)更新和劃分，協(xié)調(diào)子區(qū)內(nèi)的智能體采用集體協(xié)同決策的方式優(yōu)化關(guān)聯(lián)路口的控制方案．Wang等提出了一種分散的交通信號(hào)協(xié)調(diào)控制結(jié)構(gòu)，各個(gè)交叉口均以自身最優(yōu)控制為目標(biāo)，同時(shí)考慮相鄰交叉口影響的二次優(yōu)化協(xié)調(diào)，在保障路網(wǎng)控制狀態(tài)穩(wěn)定有序的同時(shí)，避免陷入單點(diǎn)局部最優(yōu)．CHEN等提出了一個(gè)用于分散自適應(yīng)交通信號(hào)控制的協(xié)作式智能體模型．設(shè)計(jì)了一種采用學(xué)習(xí)智能體的交通信號(hào)燈控制器．Kosonen等提出了一種基于在線仿真的多智能體交通信號(hào)控制系統(tǒng)，但其需要實(shí)時(shí)檢測(cè)的交通數(shù)據(jù)模擬路網(wǎng)交通狀態(tài)。智能體技術(shù)在道路交通信號(hào)控制系統(tǒng)中應(yīng)用目前五十六頁\總數(shù)六十頁\編于十六點(diǎn)基于智能體的信號(hào)交叉口控制2研究團(tuán)隊(duì)研究內(nèi)容Ｃｈｏｙ等提出了一個(gè)三層分布式的多智能體交通信號(hào)控制架構(gòu)包括交叉口控制器智能體、子區(qū)控制智能體和區(qū)域控制智能體．智能體的學(xué)習(xí)推理均采用基于神經(jīng)網(wǎng)絡(luò)的模糊邏輯并以控制效果的實(shí)時(shí)回饋為準(zhǔn)則，采用強(qiáng)化學(xué)習(xí)在線學(xué)習(xí)控制規(guī)則，以響應(yīng)動(dòng)態(tài)變化的交通環(huán)境．

Srinivasan等為降低系統(tǒng)復(fù)雜度，提出一個(gè)單層分布式的多智能體交通信號(hào)控制系統(tǒng)，每一智能體負(fù)責(zé)網(wǎng)絡(luò)中每一路口的交通信號(hào)，且分屬于各自的協(xié)調(diào)子區(qū)，協(xié)調(diào)子區(qū)可根據(jù)路網(wǎng)交通條件進(jìn)行動(dòng)態(tài)更新和劃分，協(xié)調(diào)子區(qū)內(nèi)的智能體采用集體協(xié)同決策的方式優(yōu)化關(guān)聯(lián)路口的控制方案．Wang等提出了一種分散的交通信號(hào)協(xié)調(diào)控制結(jié)構(gòu)，各個(gè)交叉口均以自身最優(yōu)控制為目標(biāo)，同時(shí)考慮相鄰交叉口影響的二次優(yōu)化協(xié)調(diào)