基于非參數(shù)回歸的短時(shí)交通流預(yù)測(cè)模型

基于非參數(shù)回歸的短時(shí)交通流預(yù)測(cè)模型

0在線非參數(shù)訓(xùn)練根據(jù)研究方法，以前的長(zhǎng)期交通流預(yù)測(cè)算法可分為歷史平均值法、回歸預(yù)測(cè)法、神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法、時(shí)間序列法、卡爾曼濾波法、綜合預(yù)測(cè)算法等。其中歷史均值法、回歸預(yù)測(cè)法都較為簡(jiǎn)單,參數(shù)可采用最小二乘法估計(jì),計(jì)算簡(jiǎn)便,但它們都未能反映交通流過(guò)程的不確定性與非線性,尤其無(wú)法克服隨機(jī)干擾因素的影響。神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)法包括采用BP網(wǎng)絡(luò)、模糊神經(jīng)網(wǎng)絡(luò)和高階神經(jīng)網(wǎng)絡(luò)延時(shí)單元神經(jīng)網(wǎng)絡(luò),但總體來(lái)說(shuō),其參數(shù)訓(xùn)練非常復(fù)雜,計(jì)算時(shí)間也太長(zhǎng),不適合在線應(yīng)用?？柭鼮V波法和時(shí)間序列法是人們提出的精度較高、實(shí)時(shí)性較強(qiáng)的預(yù)測(cè)算法,但其初始參數(shù)調(diào)整太復(fù)雜。就拿SARIMA來(lái)說(shuō),僅調(diào)整一個(gè)單點(diǎn)的參數(shù)(p,d,q,P,D,Q)就需6d,60個(gè)點(diǎn)就需一年。另外,所有的上述方法都屬于參數(shù)模型,都需要復(fù)雜的參數(shù)估計(jì),而且計(jì)算出的這些參數(shù)僅僅適合某點(diǎn),不能移植。所以,研究一種參數(shù)估計(jì)簡(jiǎn)單、可移植性的預(yù)測(cè)算法非常必要。非參數(shù)回歸是近幾年興起的一種適合不確定性的、非線性的動(dòng)態(tài)系統(tǒng)的非參數(shù)建模方法。它本身脫胎于混沌理論。它所應(yīng)用的場(chǎng)合是:不需先驗(yàn)知識(shí),只需足夠的歷史數(shù)據(jù)。它尋找歷史數(shù)據(jù)中與當(dāng)前點(diǎn)相似的“近鄰”,并用那些“近鄰”預(yù)測(cè)下一個(gè)時(shí)刻的流量。該算法認(rèn)為系統(tǒng)所有的因素之間的內(nèi)在聯(lián)系都蘊(yùn)涵在歷史數(shù)據(jù)中,因此直接從歷史數(shù)據(jù)中得到信息而不是為歷史數(shù)據(jù)建立一個(gè)近似模型。也就是說(shuō)非參數(shù)建模沒(méi)有將歷史數(shù)據(jù)作平滑處理,因此,特別是在有特殊事件發(fā)生時(shí),預(yù)測(cè)效果要比參數(shù)建模精確。1995年SMITH將之應(yīng)用于單點(diǎn)短時(shí)交通流預(yù)測(cè),但因其搜索速度太慢和試湊的參數(shù)調(diào)整方法而沒(méi)有得到真正實(shí)用。隨后學(xué)者們又提出了很多的改進(jìn)辦法,比如通過(guò)重新組織歷史數(shù)據(jù)結(jié)構(gòu)或者采取不精確查找的方法。1在線數(shù)據(jù)分析預(yù)測(cè)算法圖1是基于K近鄰的交通流預(yù)測(cè)與事件檢測(cè)綜合算法框架。其流程是:首先由歷史數(shù)據(jù)庫(kù)經(jīng)數(shù)據(jù)修正及精簡(jiǎn)形成樣板數(shù)據(jù)庫(kù),即首先完成離線數(shù)據(jù)準(zhǔn)備工作。然后在線采集動(dòng)態(tài)數(shù)據(jù),經(jīng)過(guò)“數(shù)據(jù)過(guò)濾”和數(shù)據(jù)修正后,通過(guò)基于K近鄰的搜索匹配找到K個(gè)近鄰,而后采用預(yù)測(cè)算法預(yù)測(cè)下一個(gè)時(shí)刻的交通量。把下一個(gè)時(shí)刻的交通量與當(dāng)前預(yù)測(cè)的交通量相比較,如果距離大于一定范圍,則證明有異常情況發(fā)生。此算法共有五個(gè)關(guān)鍵步驟:歷史數(shù)據(jù)準(zhǔn)備及樣板數(shù)據(jù)庫(kù)的生成、數(shù)據(jù)過(guò)濾;狀態(tài)向量定義;K近鄰搜索;預(yù)測(cè)算法;事件檢測(cè)算法。2rtms數(shù)據(jù)采集現(xiàn)場(chǎng)試驗(yàn)的地點(diǎn)是北京市西三環(huán)紫竹橋路段,如圖2所示。前后連接北京的幾條重要普通干道,交通非常繁忙,這里可以觀察到所有交通狀況下的交通數(shù)據(jù)。數(shù)據(jù)采集方案如圖3所示。采用點(diǎn)對(duì)點(diǎn)的數(shù)據(jù)采集方案,即RTMS(遠(yuǎn)程微波交通傳感器)數(shù)據(jù)輸出串口與CDPDModem1連接,然后通過(guò)無(wú)線專(zhuān)用數(shù)據(jù)網(wǎng)CDPD將數(shù)據(jù)傳送給遠(yuǎn)端的另一臺(tái)CDPDModem2,然后CDPDModem2與遠(yuǎn)程的數(shù)據(jù)采集和預(yù)處理計(jì)算機(jī)通過(guò)串口相連收集由CDPD無(wú)線網(wǎng)傳送到的RTMS的數(shù)據(jù)。RTMS可以同時(shí)輸出一定統(tǒng)計(jì)周期內(nèi)的平均車(chē)速、流量、車(chē)輛占有率。設(shè)定RTMS的統(tǒng)計(jì)周期為5min,從2001年8月到2001年11月連續(xù)三個(gè)月收集交通數(shù)據(jù),共25920組數(shù)據(jù)。2.1平均生產(chǎn)率通常由于交通傳感器硬件故障、噪聲干擾和通訊故障所引發(fā)錯(cuò)誤數(shù)據(jù)的發(fā)生。所以必須對(duì)錯(cuò)誤數(shù)據(jù)進(jìn)行剔除。否則,這些錯(cuò)誤數(shù)據(jù)會(huì)大大降低預(yù)測(cè)的準(zhǔn)確度。筆者所采用的方法是:閥值法和基于采用多條規(guī)則的判斷。錯(cuò)誤數(shù)據(jù)的發(fā)生一般是由于硬件故障或噪聲干擾所引起,所以往往與正確數(shù)據(jù)的偏差非常大,基于這個(gè)特點(diǎn),首先采用閥值法去除明顯錯(cuò)誤的數(shù)據(jù)。比如:交通流量,5min內(nèi)4車(chē)道其最大車(chē)流量為600輛,換算成單車(chē)道的流量為1800veh/h,可以采用2000veh/h作為流量的閥值。平均占有率:0~100。顯然,如果數(shù)據(jù)在閥值之內(nèi),也未必是正確數(shù)據(jù),所以進(jìn)行下面基于多條規(guī)則的判斷。判斷規(guī)則如下:(1)如果平均占有率為0,而流量不為0。(2)如果流量為0,而平均占有率不為0。(3)平均車(chē)長(zhǎng)判斷法:如果采用交通機(jī)理公式由流量、速度、占有率得出平均車(chē)長(zhǎng),如果所得的車(chē)長(zhǎng)小于等于5m或者大于等于12m(此時(shí)重型車(chē)輛占居優(yōu)勢(shì)),那么這條記錄是正確的。通過(guò)數(shù)據(jù)過(guò)濾,得到了正確的歷史數(shù)據(jù)庫(kù),但是這個(gè)數(shù)據(jù)庫(kù)還不能作為樣板數(shù)據(jù)庫(kù),因?yàn)樗遣痪?jiǎn)的,在一種交通狀況下的同類(lèi)數(shù)據(jù)點(diǎn)非常多(這些數(shù)據(jù)非常的相近,距離小于10),這些點(diǎn)僅僅在浪費(fèi)存儲(chǔ)空間和搜索時(shí)間,所以必須把這些數(shù)據(jù)精簡(jiǎn)。作為將來(lái)進(jìn)行數(shù)據(jù)匹配的樣板歷史數(shù)據(jù)庫(kù),其內(nèi)含的“樣板”一定要足夠多而精。所謂多:它應(yīng)該包含該點(diǎn)在各種環(huán)境條件下的交通流數(shù)據(jù)。這一點(diǎn)可通過(guò)長(zhǎng)時(shí)間全天的采集數(shù)據(jù)得到保證。所謂精:出于實(shí)時(shí)性的考慮,歷史數(shù)據(jù)庫(kù)不能太龐大。所以可以適當(dāng)精簡(jiǎn)數(shù)據(jù)以提高算法的實(shí)時(shí)性。如何做到數(shù)據(jù)多而精呢?下面通過(guò)定義數(shù)據(jù)密集度這個(gè)指標(biāo)來(lái)評(píng)價(jià)歷史數(shù)據(jù)庫(kù)中數(shù)據(jù)的分布是否可以作為樣板數(shù)據(jù)庫(kù)。密集度M:對(duì)歷史數(shù)據(jù)庫(kù)中的所有點(diǎn)i的在以距離R為半徑的區(qū)域內(nèi)的近鄰ni的算術(shù)平均。對(duì)于邊緣的數(shù)據(jù)點(diǎn)為2ni。即M=(∑i=1Nni)/NΜ=(∑i=1Νni)/Ν,這里的半徑R根據(jù)需求而定,例如筆者取R=20,則此處的M為半徑為20以下的密集度。如果密集度大于10,即任何一點(diǎn)的在R范圍內(nèi)的最近鄰不小于10,則認(rèn)為此歷史數(shù)據(jù)庫(kù)的數(shù)據(jù)密集度滿(mǎn)足樣板數(shù)據(jù)庫(kù)的需求了。否則必須繼續(xù)收集數(shù)據(jù),直到密集度達(dá)到所需指標(biāo)。2.2狀態(tài)向量四部分影響流量的因素非常多,比如:速度、道路占有率、天氣情況(溫度、濕度、雨、雪、霧),為了計(jì)算簡(jiǎn)單,通常選擇與流量最為相關(guān)的因素。因此,通過(guò)計(jì)算其他各個(gè)變量與流量的相關(guān)系數(shù)來(lái)選擇相關(guān)變量,相關(guān)系數(shù)如表1所示。由上述相關(guān)系數(shù),可以選出相關(guān)變量:當(dāng)前流量、速度和占有率。X(t)向量的組成為[v(t),v(t-1),s(t),s(t-1),o(t),o(t-1),w(t),w(t-1),vh(t),vh-1(t),sh(t),sh(t-1),oh(t),oh(t-1)]式中:v(t)、v(t-1)分別為當(dāng)前時(shí)刻和前一時(shí)刻的流量值;vh(t)、vh(t-1)分別為歷史上這一時(shí)刻和前一時(shí)刻的流量平均值;s(t)、s(t-1)分別為當(dāng)前時(shí)刻和前一時(shí)刻的速度值;sh(t)、sh(t-1)分別為歷史上這一時(shí)刻和前一時(shí)刻的速度平均值;o(t)、o(t-1)分別為當(dāng)前時(shí)刻和前一時(shí)刻的平均占有率值;oh(t)、oh(t-1)分別為歷史上這一時(shí)刻和前一時(shí)刻的平均占有率的平均值?？梢钥闯鰻顟B(tài)向量中包含四部分信息:當(dāng)前時(shí)刻信息、前一時(shí)刻的信息、歷史上當(dāng)前時(shí)刻的平均值信息、歷史上前一時(shí)刻的平均值信息。其中歷史信息是決定該時(shí)刻系統(tǒng)狀態(tài)大體走勢(shì)的部分,而當(dāng)前時(shí)刻信息和前一時(shí)刻信息是由于系統(tǒng)的隨機(jī)性而導(dǎo)致的系統(tǒng)波動(dòng)的成分。即當(dāng)前點(diǎn)通過(guò)基本走勢(shì)和波動(dòng)兩部分信息在歷史數(shù)據(jù)庫(kù)中找尋近鄰。當(dāng)然,歷史數(shù)據(jù)庫(kù)的字段也需要做調(diào)整,它包含狀態(tài)向量中的14個(gè)元素。2.3建立嚴(yán)格的數(shù)學(xué)模型K近鄰法則是一種基于數(shù)據(jù)的非參數(shù)回歸方法,它并非建立一種數(shù)學(xué)預(yù)測(cè)模型,而是尋找與當(dāng)前變量值相匹配的K個(gè)最近鄰的數(shù)據(jù)并以該K個(gè)數(shù)據(jù)對(duì)變量下一個(gè)時(shí)刻的值進(jìn)行預(yù)測(cè)。在該方法中,建立嚴(yán)格的數(shù)學(xué)模型不再必須,因?yàn)楹茱@然豐富的數(shù)據(jù)中已經(jīng)包含了預(yù)測(cè)所必須的信息。但究竟K值取多大為最優(yōu)值?筆者在下面會(huì)有詳細(xì)的解釋,取K=5。2.4平均貢獻(xiàn)率筆者采用基于相關(guān)系數(shù)加權(quán)的歐式距離。從以上的各個(gè)變量與未來(lái)流量的相關(guān)系數(shù)中可以看到各個(gè)變量對(duì)于未來(lái)流量的影響是不同的。當(dāng)前流量對(duì)未來(lái)流量的影響最大,而占有率對(duì)未來(lái)流量的影響最小。所以在利用普通歐式距離尋找匹配點(diǎn)時(shí),就不能反映出各個(gè)變量對(duì)未來(lái)流量所做貢獻(xiàn)的差異。因此,筆者采用基于相關(guān)系數(shù)加權(quán)的歐式距離,公式如下d=rvv[v(t)?vi(t)]2+?+rvo[o(t?1)?oi(t?1)]2rvv+rvs+rvo????????????????????????√d=rvv[v(t)-vi(t)]2+?+rvo[o(t-1)-oi(t-1)]2rvv+rvs+rvo2.5didvit式筆者采用基于匹配距離倒數(shù)的加權(quán)平均法,用公式表達(dá)如下v(t+1)=∑i=1K1didvi(t)v(t+1)=∑i=1Κ1didvi(t)式中:d=∑i=1K1did=∑i=1Κ1di。匹配距離越小的點(diǎn),也就是越相似的點(diǎn)給予的加權(quán)越大。2.6采樣值與歷史平均值的關(guān)系筆者采用先預(yù)測(cè)后判斷的方法。如果預(yù)測(cè)結(jié)果與下一個(gè)時(shí)刻的交通流實(shí)測(cè)值相差非常大,那么可以斷定有事件發(fā)生,事件何時(shí)中止?把采樣周期縮短,并把采樣值與歷史平均值相比較,如果差異大于一定值,那么事件繼續(xù)存在,如果相差小于一定值,那么事件中止。2.7流量系數(shù)的計(jì)算采集的數(shù)據(jù)如圖4所示,出于便于觀察的考慮,用流量與占有率的兩維散點(diǎn)圖表示。由于錯(cuò)誤數(shù)據(jù)的存在,整個(gè)曲線的形狀似乎不符合交通規(guī)則,所以此時(shí)非常重要的工作就是剔出錯(cuò)誤數(shù)據(jù)。由于此處的道路通行能力已知,所以首先根據(jù)閥值法剔除錯(cuò)誤數(shù)據(jù)。流量數(shù)值的范圍(0~2000)剔出錯(cuò)誤數(shù)據(jù),然后采用規(guī)則判斷,結(jié)果如圖5所示?？梢钥闯?經(jīng)過(guò)錯(cuò)誤剔出,得到比較理想的數(shù)據(jù)曲線,它可以作為流量預(yù)測(cè)的歷史數(shù)據(jù)。2.8預(yù)測(cè)結(jié)果為了試驗(yàn)方便,直接采用了從RTMS輸出的原始數(shù)據(jù),即30s內(nèi)斷面通過(guò)的車(chē)輛數(shù)。圖6中也采用RTMS輸出的原始數(shù)據(jù)。2.9因子參數(shù)和平均配比誤差計(jì)算了在K=5時(shí)的平均絕對(duì)誤差A(yù)AE(AverageAbsoluteError)和平均百分比誤差A(yù)PE(AveragePercentError)。AAE=156,APE=7.91%。2.10k的最優(yōu)值的計(jì)算接下來(lái),逐漸增加K值,觀察K值的選取對(duì)預(yù)測(cè)精度的影響。當(dāng)然這是在歷史數(shù)據(jù)庫(kù)中樣本覆蓋全范圍而且足夠豐富的情況下才能做此比較。由圖7可知,隨著K值的增加,特別是從1增加到5時(shí),預(yù)測(cè)精度大幅度提高,而后從5到10,預(yù)測(cè)精度逐漸提高,最終到達(dá)最佳預(yù)測(cè)精度,此時(shí)平均絕對(duì)誤差為142veh/h。圖8是K從7到10的選取過(guò)程中流量預(yù)測(cè)曲線。隨著K值的增加,其預(yù)測(cè)精度逐漸下降。從K值的選取中可以看出,交通流量是一個(gè)累計(jì)量,它不會(huì)突變,所以K值不能太大。但是它的確受到人為因素等各種因素的影響,短時(shí)波動(dòng)還是比較大的,所以K值不能太小。但K的最優(yōu)值究竟由什么因素決定的呢?是樣板數(shù)據(jù)庫(kù)中的數(shù)據(jù)!因?yàn)榉菂?shù)回歸中所有的歷史經(jīng)驗(yàn)都蘊(yùn)涵在歷史數(shù)據(jù)中,如何利用這些歷史數(shù)據(jù)呢?也就是如何選擇K的大小是保證預(yù)測(cè)精度的關(guān)鍵,那么歷史數(shù)據(jù)與K的最優(yōu)值之間又是什么關(guān)系呢?通過(guò)2.1中定義的密集度來(lái)推出它們之間的關(guān)系。通過(guò)大量的試驗(yàn),得出如圖9所示的曲線。由圖9可以看出,K的最優(yōu)值在[1,12]之間與密集度為線性關(guān)系,在此區(qū)間內(nèi),K=M,而當(dāng)12<M<20時(shí),K的最優(yōu)值只有微小的增加,當(dāng)M>20,K值幾乎保持不變。由此得出結(jié)論:如果歷史數(shù)據(jù)庫(kù)的數(shù)據(jù)密集度M在[1,12],則取K=M,如果12<M<20,則取K=round(12M+6)(12Μ+6)。其中round(·)為取整函數(shù)。實(shí)際上,當(dāng)M>20時(shí),因?yàn)榇藬?shù)據(jù)庫(kù)中數(shù)據(jù)過(guò)于密集,考慮算法的實(shí)時(shí)性和計(jì)算機(jī)資源的問(wèn)題,這時(shí)首先要對(duì)該數(shù)據(jù)庫(kù)進(jìn)行精簡(jiǎn)工作。當(dāng)數(shù)據(jù)庫(kù)中的密集度小于10,也就是密集度太低時(shí),此時(shí)的預(yù)測(cè)精度不高,這時(shí)必須通過(guò)補(bǔ)充數(shù)據(jù)或在線學(xué)習(xí)的方法來(lái)提高數(shù)據(jù)庫(kù)的密集度。2.11基于散調(diào)查和散列函數(shù)的創(chuàng)建歷史網(wǎng)絡(luò)結(jié)構(gòu)盡管非參數(shù)法實(shí)現(xiàn)了盡量少的參數(shù),實(shí)現(xiàn)了可移植性,保證了較高的精度,但是距離實(shí)用還有一段距離。其實(shí)時(shí)性需要進(jìn)一步提高,其參數(shù)調(diào)整機(jī)制需進(jìn)一步改進(jìn)。為提高其實(shí)時(shí)性對(duì)該算法做了如下改進(jìn):2.11.1基于動(dòng)態(tài)聚類(lèi)算法的歷史數(shù)據(jù)的分類(lèi)采用K均值算法的動(dòng)態(tài)聚類(lèi)算法。將數(shù)據(jù)分為很多類(lèi)。然后當(dāng)前點(diǎn)只需與類(lèi)的中心相比較,找到最近的聚類(lèi)中心,然后在這個(gè)類(lèi)中尋找最近鄰。2.11.2基于散列表的歷史數(shù)據(jù)優(yōu)化結(jié)構(gòu)散列表,又稱(chēng)為哈希表,是線性表中一種重要的存儲(chǔ)方式和檢索方法。在散列表中,可以結(jié)點(diǎn)進(jìn)行快速檢索。散列表算法的基本思想是:由結(jié)點(diǎn)的關(guān)鍵碼值決定結(jié)點(diǎn)的存儲(chǔ)地址,即以關(guān)鍵碼值m為自變量,通過(guò)一定的函數(shù)關(guān)系h(稱(chēng)為散列函數(shù)),計(jì)算出對(duì)應(yīng)的函數(shù)值h(m),將這個(gè)值解釋為結(jié)點(diǎn)的存儲(chǔ)地址,將結(jié)點(diǎn)存入該地址內(nèi),檢索時(shí),根據(jù)要檢索的關(guān)鍵碼值,用同樣的散列函數(shù)計(jì)算出地址,然后,到相應(yīng)的地址中去獲取要尋找的結(jié)點(diǎn)數(shù)據(jù)。因此,散列表有一個(gè)重要的特征:平均檢索的長(zhǎng)度不直接依賴(lài)于表中元素的個(gè)數(shù)。將步驟1內(nèi)的聚類(lèi)中心的所有的流量字段與存儲(chǔ)地址L(L=1,2,…,n)做多元線性回歸分析,得到如下的散列函數(shù)L=a1v(t)+a2v(t-1)+a3vh(t)+a4vh(t-1)所以現(xiàn)在的歷史數(shù)據(jù)庫(kù)中數(shù)據(jù)的組織結(jié)構(gòu)如圖