智慧交通產(chǎn)品總體解決專業(yè)方案交通信息資源平臺

智慧交通產(chǎn)品處理方案交通信息資源平臺【面向城市交通】

目錄1.1. 概述 21.2. 交通信息資源平臺 41.2.1. 平臺概述 41.2.2. 平臺特點 41.2.3. 平臺結(jié)構(gòu) 51.2.4. 平臺功效 61.2.5. 基礎(chǔ)環(huán)境架構(gòu)設(shè)計 71.2.6. 平臺數(shù)據(jù)存放設(shè)計 171.2.7. 平臺接口設(shè)計 20

概述我企業(yè)在用戶需求基礎(chǔ)上，經(jīng)過對城市公安交通指揮系統(tǒng)各技術(shù)子系統(tǒng)功效進(jìn)行梳理、分類，依據(jù)GA/T445-《公安交通指揮系統(tǒng)建設(shè)技術(shù)規(guī)范》、GAT1146-《公安交通集成指揮平臺結(jié)構(gòu)和功效》要求功效和我企業(yè)自行拓展功效，將城市公安交通管理業(yè)務(wù)應(yīng)用劃分為五大關(guān)鍵平臺，即智能交通管控平臺、交通信息服務(wù)平臺、交通運維管理平臺、交通地理信息平臺和交通信息資源平臺，以下表所表示：表STYLEREF1\s4SEQ表\*ARABIC\s11關(guān)鍵業(yè)務(wù)平臺及功效序號功效業(yè)務(wù)平臺1監(jiān)視道路交通情況智能交通管控平臺日常組織和管控，指揮、協(xié)調(diào)交通安全保衛(wèi)工作2應(yīng)急指揮調(diào)度、組織協(xié)調(diào)、決議支持和實施監(jiān)督3城市內(nèi)多級公安交通指揮系統(tǒng)協(xié)調(diào)控制4GIS基礎(chǔ)顯示、GIS基礎(chǔ)操作、GIS基礎(chǔ)編輯和GIS地圖查詢功效交通地理信息平臺5地圖元素統(tǒng)計、地圖打印輸出、地圖定位、地圖切割等6將交通設(shè)備設(shè)施、交通狀態(tài)、交通路徑等在GIS地圖上進(jìn)行標(biāo)繪7采集公安交通管理信息交通信息服務(wù)平臺8公布道路交通管理信息9管理交通設(shè)備設(shè)施交通運維管理平臺10系統(tǒng)應(yīng)用運維監(jiān)測11配置警力資源，實施警務(wù)考評12用戶權(quán)限管理、數(shù)據(jù)字典及系統(tǒng)參數(shù)管理等13交通信息采集、存放、分析、交換交通信息資源平臺1）智能交通管控平臺作為公安交通指揮中心關(guān)鍵應(yīng)用平臺，以總隊、支隊、大隊、路面崗勤為主用戶群，以城市交通情況監(jiān)測、交通日常管控、突發(fā)事件處理為關(guān)鍵業(yè)務(wù)，經(jīng)過交通信息資源云中心對接交互，為指揮中心、科室、路面等各角色提供各類應(yīng)用業(yè)務(wù)平臺。2）交通地理信息平臺針對交管平臺專門打造地理信息應(yīng)用系統(tǒng)，以公安網(wǎng)為基礎(chǔ)，以警用電子地圖為關(guān)鍵，以地理信息技術(shù)為支撐，對空間地理數(shù)據(jù)進(jìn)行可視化展現(xiàn)及空間數(shù)據(jù)分析，為關(guān)鍵業(yè)務(wù)平臺提供基礎(chǔ)支撐。3）交通信息服務(wù)平臺為公安交管用戶提供面向公眾交通信息服務(wù)，實現(xiàn)交通信息采、編、審、發(fā)，經(jīng)過誘導(dǎo)屏、微信、微博等方法對外公布。4）交通運維管理平臺作為交通技術(shù)服務(wù)部門提供運維管理工具，經(jīng)過設(shè)備管理、設(shè)施管理、警力資源管理、應(yīng)用運行監(jiān)測和系統(tǒng)管理等手段有效管理交通設(shè)備、應(yīng)用系統(tǒng)和警力資源，提升智能交通系統(tǒng)整體運行效率。5）交通信息資源平臺交通信息資源平臺為應(yīng)用系統(tǒng)提供統(tǒng)一數(shù)據(jù)采集和傳輸服務(wù)，支撐跨單位間按需信息交換和共享。實現(xiàn)多個類型數(shù)據(jù)采集，可靠、快速、安全地數(shù)據(jù)傳輸，多個類型數(shù)據(jù)交換等一系列功效和非功效性需求，從而實現(xiàn)互連互通、數(shù)據(jù)共享。交通信息資源平臺平臺概述交通信息資源平臺是智慧交通管理系統(tǒng)關(guān)鍵支撐平臺，為其它應(yīng)用系統(tǒng)提供統(tǒng)一數(shù)據(jù)采集和傳輸服務(wù)，支撐跨單位間信息交換和共享。同時交通信息資源平臺也是服務(wù)共享統(tǒng)一支撐平臺，全部應(yīng)用業(yè)務(wù)功效和統(tǒng)一消息平臺等公共功效全部以標(biāo)準(zhǔn)化服務(wù)形式集成到云中心，供其它應(yīng)用共享使用并對交換平臺運行情況進(jìn)行監(jiān)控，對外提供標(biāo)準(zhǔn)數(shù)據(jù)規(guī)范和交換接口。平臺特點1．?dāng)?shù)據(jù)標(biāo)準(zhǔn)化平臺設(shè)計遵照相關(guān)國家標(biāo)準(zhǔn)、部頒標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)及企業(yè)標(biāo)準(zhǔn)，并對全部交通設(shè)備數(shù)據(jù)進(jìn)行了標(biāo)準(zhǔn)化定義，向下兼容多種格式數(shù)據(jù)，向上標(biāo)準(zhǔn)化輸出給應(yīng)用系統(tǒng)。2．設(shè)備訪問標(biāo)準(zhǔn)化平臺含有統(tǒng)一標(biāo)準(zhǔn)接口，屏蔽了不一樣廠家硬件差異和技術(shù)差異，經(jīng)過協(xié)議轉(zhuǎn)換方法，將設(shè)備訪問和控制標(biāo)準(zhǔn)化、透明化，降低技術(shù)門檻。3．資源訪問服務(wù)化平臺對數(shù)據(jù)資源和設(shè)備資源全部進(jìn)行了服務(wù)化，其它平臺和業(yè)務(wù)系統(tǒng)對設(shè)備和資源訪問一律采取服務(wù)調(diào)用方法，從而降低了耦合度和復(fù)雜度。4．海量數(shù)據(jù)處理和挖掘系統(tǒng)采取了大數(shù)據(jù)、云計算架構(gòu)，可支持百萬級并發(fā)訪問、秒級響應(yīng)及在線擴(kuò)容，內(nèi)置多種交通業(yè)務(wù)模型和算法，看借助平臺大數(shù)據(jù)分析能力進(jìn)行數(shù)據(jù)深入挖掘。5．?dāng)?shù)據(jù)高安全性平臺中全部數(shù)據(jù)采取冗余存放機(jī)制，可自動復(fù)制、分散存放，對其中關(guān)鍵數(shù)據(jù)實現(xiàn)了加密存放。平臺結(jié)構(gòu)邏輯結(jié)構(gòu)邏輯結(jié)構(gòu)圖物理結(jié)構(gòu)物理結(jié)構(gòu)圖平臺功效專題訪問服務(wù)專題訪問服務(wù)是對交通數(shù)據(jù)常規(guī)訪問場景通用訪問方法，屏蔽了數(shù)據(jù)存放位置、方法等底層信息，提供出通用服務(wù)接口形式，供業(yè)務(wù)系統(tǒng)調(diào)用。設(shè)備訪問服務(wù)設(shè)備訪問服務(wù)是對常見交通設(shè)備常規(guī)訪問場景進(jìn)行了概括和綜合，定義了統(tǒng)一訪問方法，屏蔽了設(shè)備型號、版本、廠家等硬件信息，提供出通用服務(wù)接口形式，供業(yè)務(wù)系統(tǒng)調(diào)用。安全審計服務(wù)安全審計服務(wù)提供了日志讀、寫、存放、統(tǒng)計分析等功效，統(tǒng)一管理業(yè)務(wù)系統(tǒng)業(yè)務(wù)日志信息。數(shù)據(jù)訪問服務(wù)數(shù)據(jù)訪問服務(wù)提供了通用關(guān)系數(shù)據(jù)、海量數(shù)據(jù)、內(nèi)存數(shù)據(jù)讀、寫服務(wù)接口，供業(yè)務(wù)系統(tǒng)調(diào)用。服務(wù)調(diào)度總線服務(wù)調(diào)度總線提供了服務(wù)注冊、管理、監(jiān)控、通訊機(jī)制，統(tǒng)一管理交通資源信息平臺和應(yīng)用系統(tǒng)服務(wù)。消息通訊總線消息通訊總線提供了統(tǒng)一消息格式、通訊機(jī)制，統(tǒng)一管理交通資源信息平臺和應(yīng)用系統(tǒng)之間消息通訊。數(shù)據(jù)和設(shè)備適配數(shù)據(jù)和設(shè)備適配模塊依據(jù)交通信息資源平臺接口定義針對不一樣廠家、不一樣硬件、數(shù)據(jù)進(jìn)行適配，轉(zhuǎn)化為標(biāo)準(zhǔn)設(shè)備、數(shù)據(jù)格式?；A(chǔ)環(huán)境架構(gòu)設(shè)計云計算基礎(chǔ)架構(gòu)對上述交通信息資源云中心總體邏輯架構(gòu)中云計算基礎(chǔ)層進(jìn)行分析，擴(kuò)展設(shè)計出以下“流式實時分布式—并行計算處理架構(gòu)”，以下圖所表示：交通信息資源平臺處理架構(gòu)圖依據(jù)現(xiàn)在城市交通業(yè)務(wù)管理需求，構(gòu)建分布式大數(shù)據(jù)存放和高并發(fā)流數(shù)據(jù)處理云中心，其平臺結(jié)構(gòu)如上述圖所表示。交通信息資源云平臺采取分布式大數(shù)據(jù)存放和高并發(fā)流數(shù)據(jù)處理，云平臺對海量交通業(yè)務(wù)數(shù)據(jù)進(jìn)行處理工作；數(shù)據(jù)處理分析平臺采取分布式架構(gòu)布署到對應(yīng)需求數(shù)量節(jié)點服務(wù)器集群上，綜合利用每臺服務(wù)器存放和計算資源，實現(xiàn)對海量數(shù)據(jù)管理和挖掘分析等功效。同時數(shù)據(jù)處理云中心擴(kuò)展能力很強大，當(dāng)應(yīng)用層需要更多資源時，能夠經(jīng)過增加物理機(jī)器和節(jié)點即能夠輕而易舉地實現(xiàn)在線熱擴(kuò)展功效。分布式大數(shù)據(jù)存放和高并發(fā)流數(shù)據(jù)處理云中心關(guān)鍵由分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、流式實時分布式計算框架、并行計算框架和集群管理組件組成。經(jīng)過分布式數(shù)據(jù)庫和分布式文件系統(tǒng)對交通數(shù)據(jù)數(shù)據(jù)庫存放系統(tǒng)導(dǎo)出文本數(shù)據(jù)進(jìn)行全量存放；分布式文件系統(tǒng)通常是由基于用戶機(jī)/服務(wù)器模式組成；服務(wù)器端由主管理服務(wù)器（主管理節(jié)點）、備用管理服務(wù)器（備用節(jié)點）和多個計算節(jié)點服務(wù)器組成計算資源池組成。其中，主管理服務(wù)器提供元數(shù)據(jù)存取、備用管理服務(wù)器為主管理服務(wù)器提供冗余保護(hù)、計算節(jié)點服務(wù)器存放數(shù)據(jù)塊，用于具體文件塊存取。依據(jù)上圖分析其中主管理服務(wù)器節(jié)點關(guān)鍵功效以下：1）元數(shù)據(jù)管理管理整個集群文件系統(tǒng)命名空間、全部文件和目錄元數(shù)據(jù)，這些信息以圖片和文本文件方法存放于節(jié)點當(dāng)?shù)卮疟P中，在集群運行時，主管理節(jié)點加載這兩個文件，在內(nèi)存中構(gòu)建一個完整文件樹；當(dāng)元數(shù)據(jù)更新時，主管理節(jié)點將更新數(shù)據(jù)寫入磁盤中。2）文件塊管理管理并保留每個文件數(shù)據(jù)塊分布情況，這些信息關(guān)鍵是在主管理節(jié)點開啟后，依據(jù)計算節(jié)點數(shù)據(jù)塊匯報匯總生成。3）故障管理分布式文件系統(tǒng)經(jīng)過定時接收計算節(jié)點心跳信號和數(shù)據(jù)塊匯報，監(jiān)測節(jié)點可用性，確保計算節(jié)點失效后，仍能確保數(shù)據(jù)可用性。4）交互管理關(guān)鍵包含：故障切換、信息歸并和信息同時等。5）容錯能力依據(jù)系統(tǒng)故障發(fā)生頻率不一樣，故障大致有下面多個：硬盤故障、服務(wù)器故障、網(wǎng)絡(luò)故障、存放中心故障（大面積停電、空調(diào)事故、斷網(wǎng)、自然災(zāi)難等）。硬盤故障比較頻繁發(fā)生，服務(wù)器故障其次，網(wǎng)絡(luò)故障再次。分布式文件系統(tǒng)要能經(jīng)過下列3種方法來規(guī)避故障和確保數(shù)據(jù)完整性：數(shù)據(jù)在寫入時被同時復(fù)制多份，而且能夠經(jīng)過用戶自定義復(fù)制策略分布到不一樣機(jī)架服務(wù)器上，確保了在單臺甚至單機(jī)架服務(wù)器故障時，數(shù)據(jù)也不丟失；數(shù)據(jù)在讀寫時將自動進(jìn)行數(shù)據(jù)校驗，一旦發(fā)覺數(shù)據(jù)校驗錯誤將重新進(jìn)行復(fù)制；系統(tǒng)在后臺自動連續(xù)檢測數(shù)據(jù)一致性，并維持?jǐn)?shù)據(jù)副本數(shù)量在指定復(fù)制水平上。6）擴(kuò)展能力系統(tǒng)存放和計算能力能夠動態(tài)擴(kuò)充。在數(shù)據(jù)處理云中心內(nèi)部，能夠簡單地經(jīng)過增加服務(wù)器，在該服務(wù)器上安裝數(shù)據(jù)處理云中心軟件，然后配置成加入該平臺服務(wù)器集群即可。而其它服務(wù)器配置不去做任何改動。依據(jù)上圖分析計算節(jié)點服務(wù)器關(guān)鍵功效以下：1）數(shù)據(jù)存取接收主管理節(jié)點指令，實施文件數(shù)據(jù)塊存放、讀取、復(fù)制，并在當(dāng)?shù)囟〞r創(chuàng)建子目錄以愈加好地管理各文件數(shù)據(jù)塊，同時將處理結(jié)果回寫給傳統(tǒng)存放環(huán)境和交通信息資源云中心存放環(huán)境中。2）定時上報以心跳方法周期性地向主管理節(jié)點匯報本身狀態(tài)，在計算節(jié)點開啟時，全自動掃描并生成全部文件塊信息，并上報至主管理節(jié)點服務(wù)器即是數(shù)據(jù)塊匯報。3）數(shù)據(jù)交互經(jīng)過網(wǎng)絡(luò)通信協(xié)議TCP/IP和應(yīng)用統(tǒng)一接口向終端展示數(shù)據(jù)處理結(jié)果，在和終端交換時，需要分布式文件系統(tǒng)和分布式數(shù)據(jù)庫搭建分布式云中心含有豐富對外接口。分布式特征是能夠利用集群龐大存放能力，對PB級數(shù)據(jù)提供便捷有效存放管理手段、且適適用于對大文件處理；經(jīng)過在不一樣機(jī)器上對同一份數(shù)據(jù)進(jìn)行冗余備份來實現(xiàn)可靠性，計算節(jié)點之間經(jīng)過相互通信來轉(zhuǎn)移數(shù)據(jù)從而使數(shù)據(jù)分布均衡。流式實時分布式——并行計算框架是一個用于在城市交通管理海量數(shù)據(jù)集上處理可分布式——并行化問題計算框架，利用多臺服務(wù)器計算資源來并行地完成對特定問題快速處理分析，其關(guān)鍵包含兩個功效：1）由負(fù)責(zé)統(tǒng)一分配調(diào)度主節(jié)點即主管理服務(wù)器將輸入數(shù)據(jù)分成若干份并分發(fā)到不一樣計算節(jié)點上并發(fā)處理全局問題中它所負(fù)責(zé)子問題；2）利用主管理服務(wù)器以特定方法將各計算節(jié)點返回數(shù)據(jù)處理結(jié)果合并得到全局問題結(jié)果，并將結(jié)果回寫到交通信息數(shù)據(jù)存放系統(tǒng)中緝查布控數(shù)據(jù)庫中進(jìn)行存放；同時經(jīng)過相關(guān)接口展示給業(yè)務(wù)終端。服務(wù)調(diào)度總線服務(wù)調(diào)度總線圖是一個分布式服務(wù)框架，提供高性能和透明化RPC遠(yuǎn)程服務(wù)調(diào)用方案，和SOA服務(wù)治理方案。

其關(guān)鍵部分包含:遠(yuǎn)程通訊:提供對多個基于長連接NIO框架抽象封裝，包含多個線程模型，序列化，和“請求-響應(yīng)”模式信息交換方法。集群容錯:提供基于接口方法透明遠(yuǎn)程過程調(diào)用，包含多協(xié)議支持，和軟負(fù)載均衡，失敗容錯，地址路由，動態(tài)配置等集群支持。自動發(fā)覺:基于注冊中心目錄服務(wù)，使服務(wù)消費方能動態(tài)查找服務(wù)提供方，使地址透明，使服務(wù)提供方能夠平滑增加或降低機(jī)器。分布式內(nèi)存數(shù)據(jù)庫是一個key-value存放系統(tǒng)，支持存放value類型相廣泛，包含string(字符串)、list(鏈表)、set(集合)、zset(sortedset--有序集合)和hash（哈希類型）。這些數(shù)據(jù)類型全部支持push/pop、add/remove及取交集并集和差集及更豐富操作，而且這些操作全部是原子性。在此基礎(chǔ)上，支持多種不一樣方法排序。為了確保效率，數(shù)據(jù)全部是緩存在內(nèi)存中。周期性把更新數(shù)據(jù)寫入磁盤或把修改操作寫入追加統(tǒng)計文件，在此基礎(chǔ)上實現(xiàn)了master-slave(主從)同時。是一個高性能key-value數(shù)據(jù)庫，專為頻繁訪問熱數(shù)據(jù)而設(shè)計，提供了多個開發(fā)語言支持，現(xiàn)在能夠使用有Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby，Erlang等用戶端。支持主從同時。數(shù)據(jù)能夠從主服務(wù)器向任意數(shù)量從服務(wù)器上同時，從服務(wù)器能夠是關(guān)聯(lián)其它從服務(wù)器主服務(wù)器。可實施單層樹復(fù)制。存盤能夠有意無意對數(shù)據(jù)進(jìn)行寫操作。因為完全實現(xiàn)了公布/訂閱機(jī)制，使得從數(shù)據(jù)庫在任何地方同時樹時，可訂閱一個頻道并接收主服務(wù)器完整消息公布統(tǒng)計。同時對讀取操作可擴(kuò)展性和數(shù)據(jù)冗余很有幫助。消息通訊總線訂閱分發(fā)式消息隊列該消息系統(tǒng)關(guān)鍵作用是三點：解耦，異步和并行。這種模式有個專業(yè)名詞，就叫最終一致。關(guān)鍵原理Notify在設(shè)計思緒上和傳統(tǒng)MQ有一定不一樣，關(guān)鍵設(shè)計理念是1.為了消息堆積而設(shè)計系統(tǒng)2.無單點，可自由擴(kuò)展設(shè)計為了消息堆積而設(shè)計系統(tǒng)在市面上大部分MQ產(chǎn)品，大部分關(guān)鍵場景就是點對點消息傳輸通道，然后很激進(jìn)使用內(nèi)存來提升整體系統(tǒng)性能，這么做即使標(biāo)稱tps全部能達(dá)成很高，但這種設(shè)計思緒是極難符合大規(guī)模分布式場景實際需要。

在實際分布式場景中，這么系統(tǒng)會存在著較大應(yīng)用場景瓶頸，在后端有大量消費者前提下，消費者出現(xiàn)問題是個很常見情況，而消息系統(tǒng)則必需能夠在后端消費不穩(wěn)定情況下，仍然能夠確保用戶寫入正常而且TPS不降，是個很考驗消息系統(tǒng)能力實際場景。

也因為如此，在Notify整體設(shè)計中，我們最優(yōu)先考慮就是消息堆積問題，在現(xiàn)在設(shè)計中我們使用了持久化磁盤方法，在每次用戶發(fā)消息到Notify時候全部將消息先落盤，然后再異步進(jìn)行消息投遞，而沒有采取激進(jìn)使用內(nèi)存方案來加緊投遞速度。

這種方法，作為整個業(yè)務(wù)邏輯關(guān)鍵單元，穩(wěn)定，安全可靠是系統(tǒng)關(guān)鍵訴求。無單點，可自由擴(kuò)展設(shè)計Notify系統(tǒng)組成結(jié)構(gòu)上圖展示了組成Notify整個生態(tài)體系有五個關(guān)鍵部分。發(fā)送消息集群這關(guān)鍵是業(yè)務(wù)方機(jī)器，這些APP機(jī)器上是沒有任何狀態(tài)信息，能夠伴隨用戶請求量增加而隨時增加或降低業(yè)務(wù)發(fā)送方機(jī)器數(shù)量，從而擴(kuò)大或縮小集群能力。配置服務(wù)器集群(Configserver)這個集群關(guān)鍵目標(biāo)是動態(tài)感知應(yīng)用集群，消息集群機(jī)器上線和下線過程，并立即廣播給其它集群。如當(dāng)業(yè)務(wù)接收消息機(jī)器下線時，configserver會感知到機(jī)器下線，從而將該機(jī)器從目標(biāo)用戶組內(nèi)踢出，并通知給notifyserver，notifyserver在獲取通知后，就能夠?qū)⒁呀?jīng)下線機(jī)器從自己投遞目標(biāo)列表中刪除，這么就能夠?qū)崿F(xiàn)機(jī)器自動上下線擴(kuò)容了。消息服務(wù)器(NotifyServer)消息服務(wù)器，也就是真正承載消息發(fā)送和消息接收服務(wù)器，也是一個集群，應(yīng)用發(fā)送消息時能夠隨機(jī)選擇一臺機(jī)器進(jìn)行消息發(fā)送，任意一臺server掛掉，系統(tǒng)全部能夠正常運行。當(dāng)需要增加處理能力時，只需要簡單地增加notifyServer就能夠了存放(Storage)Notify存放集群有多個不一樣實現(xiàn)方法，以滿足不一樣應(yīng)用實際存放需求。針對消息安全性要求高應(yīng)用，我們會選擇使用多份落盤方法存放消息數(shù)據(jù)，而對于要求吞吐量而不要求消息安全場景，我們則能夠使用內(nèi)存存放模型存放。自然，全部存放也被設(shè)計成了隨機(jī)無狀態(tài)寫入存放模型以保障能夠自由擴(kuò)展。消息接搜集群業(yè)務(wù)方用于處理消息服務(wù)器組，上下線機(jī)器時候也能夠動態(tài)由configserver感知機(jī)器上下線時機(jī)，從而能夠?qū)崿F(xiàn)機(jī)器自動擴(kuò)展。次序讀取式消息隊列完全隊列模型消息中間件，服務(wù)器使用Java語言編寫，可在多個軟硬件平臺上布署。用戶端支持Java、C++編程語言。結(jié)合應(yīng)用場景對性能要求，對數(shù)據(jù)存放結(jié)構(gòu)進(jìn)行了全新設(shè)計。在功效層面，增加了更適合海量消息交互功效點。整體結(jié)構(gòu)如上圖所表示，對外提供是一個隊列服務(wù)，內(nèi)部實現(xiàn)也是完全隊列模型，這里隊列是持久化磁盤隊列，含有很高可靠性，而且充足利用了操作系統(tǒng)cache來提升性能。是一個隊列模型消息中間件，含有高性能、高可靠、高實時、分布式特點。Producer、Consumer、隊列全部能夠分布式。Producer向部分隊列輪番發(fā)送消息，隊列集合稱為Topic，Consumer假如做廣播消費，則一個consumer實例消費這個Topic對應(yīng)全部隊列，假如做集群消費，則多個Consumer實例平均消費這個topic對應(yīng)隊列集合。能夠確保嚴(yán)格消息次序提供豐富消息拉取模式高效訂閱者水平擴(kuò)展能力實時消息訂閱機(jī)制億級消息堆積能力消息隊列存放結(jié)構(gòu)存放結(jié)構(gòu)是依據(jù)海量消息交互應(yīng)用需求，完全重新設(shè)計一套存放結(jié)構(gòu)，使用這套存放結(jié)構(gòu)能夠支持上萬隊列模型，而且能夠支持消息查詢、分布式事務(wù)、定時隊列等功效，以下圖所表示。MetaQ存放體系單機(jī)上萬隊列內(nèi)部大部分功效全部靠隊列來驅(qū)動，那么必需支持足夠多隊列，才能愈加好滿足業(yè)務(wù)需求，圖所表示，能夠在單機(jī)支持上萬隊列，這里隊列全部為持久化磁盤方法，從而對IO性能提出了挑戰(zhàn)。Message全部寫入到一個獨立隊列，完全次序?qū)慚essage在文件位置信息寫入到另外文件，串行方法寫。經(jīng)過以上方法，既做到數(shù)據(jù)可靠，又能夠支持更多隊列，以下圖所表示。圖單機(jī)上萬隊列平臺數(shù)據(jù)存放設(shè)計不一樣系統(tǒng)數(shù)據(jù)上傳頻率、數(shù)據(jù)量、數(shù)據(jù)增加量、數(shù)據(jù)形式全部是不一樣，如數(shù)據(jù)存放和數(shù)據(jù)計算環(huán)境采取一個方法，則肯定會出現(xiàn)系統(tǒng)瓶頸，構(gòu)建數(shù)據(jù)中心采取單一技術(shù)路線無法滿足業(yè)務(wù)需求，所以針對不一樣數(shù)據(jù)情況采取傳統(tǒng)存放環(huán)境和云計算、云存放環(huán)境相結(jié)合方法。傳統(tǒng)存放環(huán)境設(shè)計傳統(tǒng)存放環(huán)境，關(guān)鍵以PC服務(wù)器+SAN存放方法為主，其中SAN存放經(jīng)過光纖和服務(wù)器進(jìn)行存放資源關(guān)聯(lián)，數(shù)據(jù)服務(wù)器采取HBA卡，實現(xiàn)共享SAN存放高速讀寫性能。Oracle關(guān)系型數(shù)據(jù)庫存放數(shù)據(jù)量在千萬級以下結(jié)構(gòu)化數(shù)據(jù)存放在關(guān)系數(shù)據(jù)庫中，設(shè)計使用一般X86PC服務(wù)器搭建即可，關(guān)鍵業(yè)務(wù)數(shù)據(jù)能夠考慮放在小型機(jī)上，地市級全市業(yè)務(wù)數(shù)據(jù)提議存放在關(guān)系數(shù)據(jù)數(shù)據(jù)庫；考慮系統(tǒng)可用性，提議使用雙機(jī)熱備方法實現(xiàn)系統(tǒng)單點故障時實時切換。1、交通靜態(tài)數(shù)據(jù)容量設(shè)計交通靜態(tài)數(shù)據(jù)容量設(shè)計表數(shù)據(jù)項單項數(shù)據(jù)（KB）目標(biāo)數(shù)量

（個）數(shù)據(jù)量（GB）說明路網(wǎng)數(shù)據(jù)1500000.05設(shè)備數(shù)據(jù)1100000.01設(shè)施數(shù)據(jù)2400000.08人員、機(jī)構(gòu)數(shù)據(jù)2100000.02預(yù)案數(shù)據(jù)510000.005累計0.162、交通動態(tài)數(shù)據(jù)及歷史數(shù)據(jù)交通動態(tài)數(shù)據(jù)及歷史數(shù)據(jù)表數(shù)據(jù)類周期數(shù)據(jù)量(K）天天數(shù)據(jù)量(M）總數(shù)據(jù)量（G）數(shù)據(jù)計算說明路況數(shù)據(jù)488.28686.651,206.99全市5000個路段每1分鐘存放一次道路通行狀態(tài)警情數(shù)據(jù)156.253.666.44全市每小時平均報警量為200起指揮調(diào)度數(shù)據(jù)585.9413.7324.14每起警情全部有對應(yīng)出警統(tǒng)計數(shù)據(jù)警力定位數(shù)據(jù)585.94823.97289.68根據(jù)全市1000輛警車、手臺定位終端，每30秒上傳一次數(shù)據(jù)交通違法統(tǒng)計數(shù)據(jù)2,734.382.674.69根據(jù)全市天天違法4000起計算勤務(wù)數(shù)據(jù)6,835.946.6811.73執(zhí)勤狀態(tài)描述、執(zhí)勤排版信息等設(shè)備狀態(tài)數(shù)據(jù)100,000.0097.6668.665000個設(shè)備平均天天20條累計16351,612.34云計算和云存放環(huán)境對于符合大數(shù)據(jù)4V特征數(shù)據(jù)，通常為非結(jié)構(gòu)化、半結(jié)構(gòu)化數(shù)據(jù)或數(shù)據(jù)增加較大業(yè)務(wù)數(shù)據(jù)，均需要存放在大數(shù)據(jù)系統(tǒng)中，使用X86服務(wù)器構(gòu)建服務(wù)器群，利用PC服務(wù)器廉價存放構(gòu)建云存放架構(gòu)，使用Hadoop技術(shù)實現(xiàn)數(shù)據(jù)分布式存放及云計算功效。大數(shù)據(jù)云計算存放物理架構(gòu)設(shè)計大數(shù)據(jù)云計算存放物理架構(gòu)示意圖大數(shù)據(jù)存放大表結(jié)構(gòu)設(shè)計HBase數(shù)據(jù)表數(shù)據(jù)依據(jù)行主鍵被自動切分成多個塊(Region)，塊由數(shù)據(jù)中心內(nèi)部服務(wù)器自動分發(fā)管理，每個服務(wù)器可管理多個塊（數(shù)百或數(shù)千）。HBase用戶端自動和數(shù)據(jù)中心通訊，查找ROOT表從而找到分塊信息表(META表)存放位置。META表統(tǒng)計了行主鍵區(qū)間范圍(startk