智慧城市交通行業(yè)大數(shù)據(jù)平臺(tái)

1、智慧城市交通行業(yè)大數(shù)據(jù)平臺(tái)技術(shù)創(chuàng)新 變革未來(lái)2城市交通大數(shù)據(jù)技術(shù)應(yīng)用與發(fā)展09年開始建設(shè)交通行 業(yè)數(shù)據(jù)中心，2014啟 動(dòng)大數(shù)據(jù)基礎(chǔ)設(shè)施建 設(shè)基礎(chǔ)設(shè)施可視化數(shù)據(jù)應(yīng)用3基礎(chǔ)平臺(tái)Step1（十一五）Step2（十二五）Step3（十三五）數(shù)據(jù)采集和存儲(chǔ)數(shù)據(jù)管理與應(yīng)用平臺(tái)化數(shù)據(jù)服務(wù)09年北京探索建設(shè)交通行業(yè)數(shù) 據(jù)中心，實(shí)現(xiàn)從無(wú)到有突破以關(guān)系型數(shù)據(jù)庫(kù)為主數(shù)據(jù)接入與共享梳理信息資源元數(shù)據(jù)標(biāo)準(zhǔn)形成初步資源管理平臺(tái)升級(jí)行業(yè)數(shù)據(jù)中心為交通行業(yè)大數(shù)據(jù) 中心大數(shù)據(jù)存儲(chǔ)與計(jì)算智能動(dòng)態(tài)監(jiān)測(cè)與管理規(guī)范化管理體系（ISO20000）初步的數(shù)據(jù)服務(wù)和定制服務(wù)全面打造開放數(shù)據(jù)服務(wù)平臺(tái)，數(shù) 據(jù)開放共享不再以“搬家式”為 主，更

2、強(qiáng)調(diào)以服務(wù)的形式數(shù)據(jù)服務(wù)開放平臺(tái)定制可視化平臺(tái)3 . 信息服務(wù)資源平臺(tái)4交通行業(yè)大數(shù)據(jù)中心建設(shè)交通行業(yè)大數(shù)據(jù)中心高技術(shù)、強(qiáng)管理、重服務(wù)！以接入、管理和應(yīng)用大數(shù)據(jù)為主；存儲(chǔ)方式更多樣化；處理和存儲(chǔ)能力達(dá)到較高水平；更強(qiáng)調(diào)數(shù)據(jù)應(yīng)用與服務(wù)；數(shù)據(jù)中心發(fā)展的目標(biāo)以技術(shù)和管理為基礎(chǔ)，以服務(wù)為核心！5基礎(chǔ)平臺(tái)服務(wù)創(chuàng)新資源目錄定制化服務(wù)大數(shù)據(jù)處理平臺(tái)信息服務(wù)資源發(fā)布管理創(chuàng)新可視化管理與監(jiān)測(cè)全流程規(guī)范化管理技術(shù)創(chuàng)新集約化大數(shù)據(jù)中心整體框架、分布式數(shù)據(jù)存儲(chǔ)與處理平臺(tái)6基礎(chǔ)平臺(tái)-技術(shù)創(chuàng)新結(jié)合主流技術(shù)架構(gòu)打造交通行業(yè)大數(shù)據(jù)中心框架，構(gòu)建大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)計(jì)算、共享交換、應(yīng)用服務(wù)和管理支撐五大平臺(tái)。截止目前共接入業(yè)務(wù)系

3、統(tǒng)41個(gè)，數(shù)據(jù)量40T， 處理速度可達(dá)3.3億條/5分鐘，日接入量26G。7虛擬化平臺(tái)對(duì)前置器、中間庫(kù)、處理服務(wù)器進(jìn)行 虛擬化管理提高服 務(wù)器利用率和管理精細(xì)化水平；SAN存儲(chǔ)網(wǎng)絡(luò)安全管理域VCENTER互聯(lián)網(wǎng)域集群4 ESXI主機(jī)559G 內(nèi)存100GHz CPU外部應(yīng)用域集群4 ESXI主機(jī)575G 內(nèi)存165GHz CPU外部數(shù)據(jù)域集群3 ESXI主機(jī)487G 內(nèi)存108GHz CPU共享交換域集群2 ESXI主機(jī)127G 內(nèi)存50GHz CPU內(nèi)部應(yīng)用域集群5 ESXI主機(jī)319G 內(nèi)存159GHz CPU內(nèi)部數(shù)據(jù)域集群3 ESXI主機(jī) 190G 內(nèi)存 95GHz CPU8數(shù)據(jù)存儲(chǔ)EM

4、C-1（高速）6THDS（高速）25TEMC-2（低速）50T磁帶庫(kù)交互區(qū)存儲(chǔ)0-1年數(shù)據(jù)整合區(qū)存儲(chǔ)0-3年數(shù)據(jù)近線區(qū)存儲(chǔ)3-10年數(shù)據(jù)歸檔區(qū)存儲(chǔ)大于10年數(shù)據(jù)存 儲(chǔ) 池業(yè)務(wù)庫(kù)歷史庫(kù)備份庫(kù)數(shù)據(jù)生命周期創(chuàng)新數(shù)據(jù)存貯管理技術(shù)應(yīng) 用，一是歷史庫(kù)與業(yè)務(wù)庫(kù)二元 模式，對(duì)存儲(chǔ)進(jìn)行合理劃分和 功能定位；二是，實(shí)現(xiàn)數(shù)據(jù)的 分級(jí)及周期管理，實(shí)現(xiàn)存儲(chǔ)介 質(zhì)的池化管理，最大化利用空 間資源；三是實(shí)現(xiàn)對(duì)關(guān)系數(shù)據(jù) 庫(kù)數(shù)據(jù)和文件數(shù)據(jù)的統(tǒng)籌管理，根據(jù)數(shù)據(jù)應(yīng)用特點(diǎn)選擇合理的存儲(chǔ)方式。9技術(shù)創(chuàng)新之分布式處理平臺(tái)分布式處理技術(shù)創(chuàng)新，基于 開源平臺(tái)在數(shù)據(jù) 安全、故障恢復(fù)、性能優(yōu)化、中 間件和工具、平 臺(tái)化服務(wù)。10管理創(chuàng)新之可視化

5、監(jiān)測(cè)管理11管理創(chuàng)新之規(guī)范化全流程管理線下審批流程與運(yùn)維考核建立規(guī)范化流程,每年完成批辦50余項(xiàng)，形成巡檢報(bào) 告300余篇，平均處理故障125個(gè)！并于2014年4月通 過(guò)獲得ISO20000認(rèn)證，同年12月規(guī)范化管理軟件平臺(tái) 投入試運(yùn)行，實(shí)現(xiàn)線上線下全流程管理。線上規(guī)范化流程12基礎(chǔ)平臺(tái)-服務(wù)創(chuàng)新結(jié)構(gòu)定制權(quán)限發(fā)布資源識(shí)別智能檢索配置向?qū)畔⒄故緮?shù)據(jù)報(bào)表定制分析圖表定制在線分析定制科學(xué)數(shù)據(jù)下載服務(wù)頁(yè)面定制發(fā)布權(quán)限定制業(yè)務(wù)規(guī)則定制大數(shù)據(jù)綜合查詢流程實(shí)例介紹API二次開發(fā)數(shù)據(jù)處理集群環(huán)境管理信息服務(wù)管理權(quán)限配置服務(wù)發(fā)布AK 密鑰申請(qǐng)API 樣例說(shuō)明SDK 下載定制化服務(wù)大數(shù)據(jù)開放平臺(tái)數(shù)據(jù)資源目錄信息

6、服務(wù)發(fā)布13城市交通大數(shù)據(jù)技術(shù)應(yīng)用與發(fā)展圍繞交通監(jiān)測(cè)與 信息服務(wù)，致力 于大數(shù)據(jù)處理與 應(yīng)用技術(shù)研究基礎(chǔ)設(shè)施可視化數(shù)據(jù)應(yīng)用14處理應(yīng)用案例分享-出租車出租行業(yè)數(shù)據(jù)計(jì)算主要涉及GPS數(shù)據(jù)、交易數(shù)據(jù)、司機(jī)合同數(shù)據(jù)、審批數(shù)據(jù)、電召數(shù)據(jù)等，總數(shù)據(jù) 量1.11.2億條/天，存儲(chǔ)量約17-20G/天。這些數(shù)據(jù)主要用于計(jì)算運(yùn)營(yíng)指標(biāo)（50余項(xiàng)字段）、設(shè)備 完好率、小時(shí)出車率、重點(diǎn)區(qū)域小時(shí)出車數(shù)量、電召日均訂單數(shù)量等，主要服務(wù)于行業(yè)考核、監(jiān)管 與監(jiān)測(cè)。計(jì)算能力得到提升：計(jì)算33億條出租車數(shù)據(jù)，計(jì)算耗時(shí)由原來(lái)20小時(shí)縮短到20分鐘，提高 60倍。15處理應(yīng)用案例分享地面公交地面公交數(shù)據(jù)與地理信息數(shù)據(jù)在線匹配 實(shí)時(shí)

7、計(jì)算公交 走廊運(yùn)行速度、預(yù)測(cè)公交到站時(shí)間和預(yù)測(cè)公交客流分布；基于穩(wěn)態(tài)理論的信號(hào)交叉口均衡延誤模型、速度缺失 路段填補(bǔ)算法，實(shí)現(xiàn)對(duì)每個(gè)路口、路段的預(yù)測(cè)預(yù)報(bào)，提 高信息的準(zhǔn)確度。16處理應(yīng)用-移動(dòng)信令技術(shù)研究基于移動(dòng)終端定位數(shù)據(jù)的居民出行調(diào)查方法，處理每日數(shù)據(jù)總量100G的移動(dòng)信令 數(shù)據(jù)。完成居民出行OD、出行時(shí)空分布分析，實(shí)現(xiàn)居民出行行為的自動(dòng)、及時(shí)、準(zhǔn) 確獲取，為交通政策制定、交通規(guī)劃、設(shè)計(jì)和管理等提供數(shù)據(jù)支持和決策依據(jù)。17城市交通大數(shù)據(jù)技術(shù)應(yīng)用與發(fā)展依托交通行業(yè)大數(shù)據(jù)中心，打造交通映像平臺(tái)，讓數(shù)據(jù)會(huì)說(shuō)話基礎(chǔ)設(shè)施可視化數(shù)據(jù)應(yīng)用18數(shù)據(jù)可視化將大數(shù)據(jù)以圖形圖像形式表示，并利用數(shù)據(jù)分析和開發(fā)工具發(fā)現(xiàn)其中未知信息 的處理過(guò)程。直觀化：直觀形象地呈現(xiàn)數(shù)據(jù)關(guān)聯(lián)化：挖掘、突出呈現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián) 藝術(shù)化 : 增強(qiáng)數(shù)據(jù)呈現(xiàn)的藝術(shù)效果交互性：實(shí)現(xiàn)用戶與數(shù)據(jù)的交互，增強(qiáng)用戶對(duì)數(shù)據(jù)的控制19數(shù)據(jù)可視化D3.JS+R語(yǔ)言+Google Charts+ProcessingOD分布圖公交路網(wǎng)路況軌道換乘圖軌道客流分布出租汽車熱點(diǎn)圖在數(shù)據(jù)空間中描繪城市交通出租數(shù)據(jù)+地鐵客流分布數(shù)據(jù)+地面公交分布數(shù)據(jù)+手機(jī)信令與