城市建設(shè)方案4-【智能】交通建設(shè)方案云創(chuàng)大數(shù)據(jù)

1系統(tǒng)總體設(shè)計(jì).................................................................1

1.1云計(jì)算系統(tǒng)設(shè)計(jì)方案概述..............................................1

1.1.1系統(tǒng)基本功能....................................................1

1.1.2主要設(shè)計(jì)思想和設(shè)計(jì)目標(biāo)、設(shè)計(jì)原則...............................2

1.1.3智慧交通云平臺(tái)的云計(jì)算解決方案.................................3

1.1.4系統(tǒng)的主要技術(shù)特點(diǎn).............................................4

1.2系統(tǒng)總體構(gòu)架........................................................6

1.2.1系統(tǒng)基本組成與構(gòu)架.............................................6

1.2.2系統(tǒng)功能構(gòu)架....................................................6

1.2.3系統(tǒng)總體構(gòu)架與功能模塊........................................11

1.3系統(tǒng)基本功能與處理方案............................................14

13.1交管數(shù)據(jù)入庫功能與處理方案....................................14

13.2數(shù)據(jù)存儲(chǔ)功能與處理方案........................................16

13.3查詢分析功能與處理方案........................................18

1.4系統(tǒng)互聯(lián)與WS......................................................................................................................20

1.4.1組網(wǎng)方案.......................................................20

1.4.2網(wǎng)絡(luò)管理.......................................................22

1.4.3系統(tǒng)安全.......................................................24

1.5系統(tǒng)可靠性與擴(kuò)展性................................................25

1.5.1系統(tǒng)可靠性.....................................................25

1.5.2系統(tǒng)擴(kuò)展性.....................................................29

1.6系統(tǒng)謝十性能.......................................................30

1.6.1交管數(shù)據(jù)流量處理能力..........................................30

1.6.2數(shù)據(jù)存儲(chǔ)能力...................................................31

1.6.3查詢分析計(jì)算性能..............................................33

1.7定制開發(fā)方案.......................................................33

2系統(tǒng)設(shè)計(jì)實(shí)施與關(guān)鍵技術(shù)方法................................................38

2.1系統(tǒng)平臺(tái)...........................................................38

2.2系統(tǒng)規(guī)格...........................................................42

2.3數(shù)據(jù)處理;襦.......................................................44

2.4數(shù)據(jù)存儲(chǔ)系統(tǒng).......................................................46

2.4.1海量數(shù)據(jù)分布式數(shù)據(jù)存儲(chǔ)構(gòu)架...................................46

2.4.2適應(yīng)應(yīng)用需求的混合存儲(chǔ)策略....................................50

2.4.3HDFS數(shù)據(jù)存儲(chǔ).................................................51

2.4.4HBase數(shù)據(jù)存儲(chǔ)................................................55

2.4.5Database糠存儲(chǔ).............................................59

2.4.6數(shù)據(jù)存儲(chǔ)的可靠性..............................................62

2.4.7數(shù)據(jù)壓縮.......................................................64

2.5數(shù)據(jù)實(shí)時(shí)處理、實(shí)時(shí)查詢系統(tǒng)........................................66

2.5.1數(shù)據(jù)立方(DataCube)...........................................................................................66

2.5.2任務(wù)調(diào)度器(JobKeeper).................................................................................67

2.5.3eProc數(shù)題理.................................................72

2.5.4交管數(shù)據(jù)處理，瓶呈..............................................74

2.5.5交管轆處理步驟..............................................75

2.6交管數(shù)據(jù)處理集群的可靠性與負(fù)載均衡設(shè)計(jì)...........................76

2.6.1負(fù)載均衡處理機(jī)的單點(diǎn)失效容錯(cuò)處理..............................76

2.6.2查詢處理機(jī)的單點(diǎn)失效容錯(cuò)處理.................................80

2.7計(jì)算與存儲(chǔ)集群的可靠性與負(fù)載均衡設(shè)計(jì).............................81

2.7.1計(jì)算與存儲(chǔ)集群Master單點(diǎn)失效容錯(cuò)處理........................81

2.7.2計(jì)算與存儲(chǔ)集群的負(fù)載均衡處理..................................90

2.7.3HDFS的可靠性設(shè)計(jì).............................................94

2.7.4HBase可靠性設(shè)計(jì)..............................................96

2.7.5MapReduce計(jì)算可靠性.....................................99

2.8查詢統(tǒng)計(jì)計(jì)算可靠性與負(fù)載均衡設(shè)計(jì)................................103

2.8.1基于Zookeeper的單點(diǎn)失效和負(fù)載均衡設(shè)計(jì).....................103

2.9系統(tǒng)安全性設(shè)計(jì)...................................................106

2.9.1安全保障體系框架.............................................106

2.9.2云計(jì)算平臺(tái)的多級(jí)信任保護(hù).....................................108

2.9.3基于多級(jí)信任保護(hù)的訪問控制...................................115

2.9.4云平臺(tái)安全審計(jì)...............................................118

2.9.5云計(jì)算綜合安全網(wǎng)關(guān)...........................................123

3詳細(xì)設(shè)備配置清單...........................................錯(cuò)誤!未定義書簽。

圖表1智慧交通云平臺(tái)云計(jì)算解決方案.......................................4

圖表3智慧交通云平臺(tái)總體構(gòu)架與功能模塊圖.................................11

圖表4智慧交通云平臺(tái)架構(gòu).................................................15

圖表5數(shù)據(jù)存儲(chǔ)處理架構(gòu)...................................................17

圖表6交管數(shù)據(jù)接入........................................................19

圖表7組網(wǎng)方案............................................................21

圖表8分布式文件存儲(chǔ)系統(tǒng)吞吐量指標(biāo).......................................32

圖表10數(shù)據(jù)匯總上報(bào)處理流程..............................................45

圖表11實(shí)時(shí)數(shù)據(jù)入庫流程.................................................46

圖表12分布式計(jì)算流程....................................................48

圖表13Hadoop結(jié)構(gòu)......................................................49

圖表14Hdfs結(jié)構(gòu)..........................................................53

圖表15HDFSNamenode、DataNode和客戶端們之間的交互................55

圖表16HDFS數(shù)據(jù)壓縮與組織...............................................65

圖表21負(fù)載均衡機(jī)分布圖..................................................77

圖表22負(fù)載均衡機(jī)宕機(jī)預(yù)案................................................78

圖表23Master節(jié)點(diǎn)宕機(jī)預(yù)案...............................................79

圖表24查詢處理單點(diǎn)失效容錯(cuò)處理..........................................80

圖表25Master單點(diǎn)失效容錯(cuò)處理......................................82

圖表26AvatarNodeO以Pimary啟動(dòng)過程................................84

圖表27AvatarNodel以Standby啟動(dòng)過程...............................85

圖表28DataNode啟動(dòng)過程........................................86

圖表29AvatarNodeO宕機(jī)后的狀態(tài)....................................87

圖表30AvatarNodel切換為Primary過程...............................87

圖表31AvatarNodeO重啟過程......................................88

圖表32AvatarNode啟動(dòng)切換流程圖....................................89

圖表33Avatar體系架構(gòu)圖.........................................94

圖表34HBase系統(tǒng)架構(gòu)..........................................97

圖表35作蛇是交.........................................................101

圖表36JobTrackerO宕機(jī)......................................102

圖表37作業(yè)注銷.........................................................102

圖表38Zookeeper基本工作結(jié)構(gòu)圖...................................103

圖表39基于Zookeeper的查詢分析計(jì)算單點(diǎn)失效和........................105

圖表40基于深度防護(hù)戰(zhàn)略的IATF模型.....................................106

圖表41云部署模型的實(shí)現(xiàn).................................................108

圖表42多級(jí)信任保護(hù).....................................................109

圖表43基于可信第三方的平臺(tái)認(rèn)證........................................110

圖表44主要因素平臺(tái)證書.................................................111

圖表45云存儲(chǔ)安全子系統(tǒng)接口關(guān)系圖......................................116

圖表46基于多級(jí)信任保護(hù)的多級(jí)訪問控制流程..............................117

圖表47數(shù)據(jù)安全交換平臺(tái)................................................117

圖表48云存儲(chǔ)安全審計(jì)體系結(jié)構(gòu).........................................119

圖表49安全日志審計(jì)系統(tǒng)結(jié)構(gòu)圖..........................................122

圖表50Cloud-USG三種部署模式..........................................126

旗開得勝

1系統(tǒng)總體設(shè)計(jì)

1.1云計(jì)算系統(tǒng)設(shè)計(jì)方案概述

1.1.1系統(tǒng)基本功能

按照全省公安機(jī)關(guān)信息化建設(shè)總體規(guī)劃，為實(shí)現(xiàn)對(duì)重點(diǎn)車輛的自動(dòng)比對(duì)和動(dòng)

態(tài)管控、對(duì)異常車輛行蹤的自動(dòng)研判預(yù)警、對(duì)特定車輛行車軌跡的自動(dòng)生成、對(duì)

重要節(jié)點(diǎn)道路交通信息的遠(yuǎn)程再現(xiàn)、對(duì)基層單位和執(zhí)勤民警的勤務(wù)實(shí)施管理等建

設(shè)目標(biāo)，為交通管理、治安管控、偵查破案、巡邏防范、反恐處突等各項(xiàng)公安工

作提供服務(wù)保障。

系統(tǒng)的基本功能和性能如下：

海量數(shù)據(jù)存儲(chǔ)

能夠?qū)Π賰|級(jí)的海量交通監(jiān)控?cái)?shù)據(jù)進(jìn)行存儲(chǔ)，保存時(shí)間為2年。

海量數(shù)據(jù)實(shí)時(shí)處理、實(shí)時(shí)入庫、生成索引

能夠?qū)Π賰|級(jí)的海量交通監(jiān)控?cái)?shù)據(jù)進(jìn)行實(shí)時(shí)處理，能夠處理每天500萬條

記錄，能夠?qū)崟r(shí)處理約60條/秒的實(shí)時(shí)數(shù)據(jù)流量。

百億級(jí)數(shù)據(jù)秒級(jí)蟄詢能力、秒級(jí)實(shí)時(shí)業(yè)務(wù)響應(yīng)

1

讀萬卷書行萬里路

旗開得勝

高效實(shí)時(shí)數(shù)據(jù)查詢架構(gòu)，提供秒級(jí)響應(yīng)時(shí)間，1天的記錄能在5秒鐘內(nèi)查詢

出來，一周記錄能在15秒內(nèi)查詢出來。

1.1.2主要設(shè)計(jì)思想和設(shè)計(jì)目標(biāo)、設(shè)計(jì)原則

設(shè)計(jì)思想：將海量數(shù)據(jù)分解到由大量X86架構(gòu)計(jì)算機(jī)構(gòu)成的低成本云計(jì)算

平臺(tái)上進(jìn)行實(shí)時(shí)處理，依靠分布式云計(jì)算軟件進(jìn)行容錯(cuò)，從而提升智慧交通云平

臺(tái)海量數(shù)據(jù)分析的實(shí)時(shí)性和性價(jià)比。

設(shè)計(jì)目標(biāo)：利用大量性價(jià)比高的計(jì)算機(jī)，建立云計(jì)算平臺(tái)，能夠?qū)α髁砍^

500w條/天的原始交通監(jiān)控?cái)?shù)據(jù)流進(jìn)行實(shí)時(shí)處理。系統(tǒng)具有可動(dòng)態(tài)可伸縮性、

高度容錯(cuò)性和響應(yīng)實(shí)時(shí)性,達(dá)到較之傳統(tǒng)方案有一個(gè)數(shù)據(jù)量級(jí)的性能價(jià)格比提升。

設(shè)計(jì)原則：

(1)前瞻性技術(shù)與實(shí)際應(yīng)用環(huán)境相結(jié)合

本項(xiàng)目是既是先進(jìn)技術(shù)應(yīng)用示范項(xiàng)目，又是工程實(shí)施型項(xiàng)目。把握技術(shù)正確

性和先進(jìn)性是前提，但是前瞻性技術(shù)實(shí)施必須在云計(jì)算平臺(tái)的實(shí)際應(yīng)用環(huán)境和實(shí)

際監(jiān)控流量的基礎(chǔ)上進(jìn)行，必須結(jié)合云計(jì)算平臺(tái)的實(shí)際情況進(jìn)行研究和開發(fā)，只

有與實(shí)際應(yīng)用環(huán)境相結(jié)合才有實(shí)際應(yīng)用價(jià)值。

2

讀萬卷書行萬里路

旗開得勝

(2)學(xué)習(xí)借鑒國外先進(jìn)技術(shù)與自主創(chuàng)新相結(jié)合

在云計(jì)算平臺(tái)用于超大規(guī)模數(shù)據(jù)處理方面，國內(nèi)外幾乎是在一個(gè)起跑線上；

但在關(guān)鍵技術(shù)研究及既往的技術(shù)積累方面，國外一些大公司有著明顯的優(yōu)勢(shì)。同

時(shí)，智慧交通云平臺(tái)所將要面對(duì)的交通監(jiān)控?cái)?shù)據(jù)流高達(dá)500w條/天，是一個(gè)世

界級(jí)的云計(jì)算應(yīng)用。我們將積極學(xué)習(xí)借鑒國外先進(jìn)的云計(jì)算技術(shù)，同時(shí)與自主創(chuàng)

新相結(jié)合，形成功能強(qiáng)大、性能卓越的能夠滿足實(shí)際應(yīng)用環(huán)境需求的云計(jì)算數(shù)據(jù)

處理和分析平臺(tái)。

(3)遵循公安320工程相關(guān)標(biāo)準(zhǔn)規(guī)范

本項(xiàng)目的設(shè)計(jì)將嚴(yán)格遵循公安320工程相關(guān)標(biāo)準(zhǔn)規(guī)范。

1.1.3智慧交通云平臺(tái)的云計(jì)算解決方案

在公安網(wǎng)內(nèi)部，構(gòu)建若干X86架構(gòu)計(jì)算/存儲(chǔ)節(jié)點(diǎn)，虛擬出海量存儲(chǔ)空間、

處理能力和數(shù)據(jù)管理能力。同時(shí)研制面向應(yīng)用的分布式數(shù)據(jù)處理軟件，滿足數(shù)據(jù)

匯總、數(shù)據(jù)上報(bào)、數(shù)據(jù)入庫、數(shù)據(jù)查詢、數(shù)據(jù)計(jì)算和數(shù)據(jù)管理等應(yīng)用需求。

3

讀萬卷書行萬里路

旗開得勝

-「(

教

數(shù)

數(shù)

實(shí)

據(jù)

據(jù)

據(jù)

時(shí)ZooKeeper

存

索

入

報(bào)查分

儲(chǔ)

庫

警詢析

I181

MapReduce

HBase

Master

HDFS

Masterbackup

計(jì)算/存儲(chǔ)節(jié)點(diǎn)

圖表1智慧交通云平臺(tái)云計(jì)算解決方案

1.1.4系統(tǒng)的主要技術(shù)特點(diǎn)

實(shí)時(shí)性：平臺(tái)在高效率并行分布式軟件的支撐下，可以實(shí)時(shí)完成交管數(shù)據(jù)入

庫、分析和管理工作，如數(shù)據(jù)匯總、數(shù)據(jù)上報(bào)、數(shù)據(jù)入庫、數(shù)據(jù)查詢、數(shù)據(jù)計(jì)算

和數(shù)據(jù)管理等。海量數(shù)據(jù)入庫不會(huì)出現(xiàn)數(shù)據(jù)堆積現(xiàn)象，各類分析和查詢工作基本

都在秒級(jí)完成，具有前所未有的高效性。

高可靠性：基于對(duì)云計(jì)算可靠性深厚的研究積累，徹底解決了當(dāng)前分布式計(jì)

算平臺(tái)易出現(xiàn)的單點(diǎn)故障問題。任何一個(gè)節(jié)點(diǎn)出現(xiàn)故障，系統(tǒng)將自動(dòng)屏蔽，而且

不會(huì)出現(xiàn)丟失數(shù)據(jù)的現(xiàn)象。包括查詢?nèi)蝿?wù)分配節(jié)點(diǎn)、計(jì)算任務(wù)分配節(jié)點(diǎn)、HDFS

元數(shù)據(jù)節(jié)點(diǎn)、HDFS數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)、MapReduceJobTracker節(jié)點(diǎn)、MapReduce

4

讀萬卷書行萬里路

旗開得勝

Worker節(jié)點(diǎn)、HBase管理節(jié)點(diǎn)、HBaseRegion節(jié)點(diǎn)等。

可伸縮性：在不停機(jī)的情況下，增加節(jié)點(diǎn)，平臺(tái)的處理能力自動(dòng)增加；減少

節(jié)點(diǎn)，平臺(tái)的處理能力自動(dòng)縮減。這樣，可以做到與云計(jì)算平臺(tái)的無縫對(duì)接，根

據(jù)計(jì)算和存儲(chǔ)任務(wù)動(dòng)態(tài)地申請(qǐng)或釋放資源，最大限度地提高資源利用率。

高性價(jià)比：采用X86架構(gòu)廉價(jià)計(jì)算機(jī)構(gòu)建云計(jì)算平臺(tái)，用軟件容錯(cuò)替代硬

件容錯(cuò)，大大節(jié)省成本。在目標(biāo)性能和可靠性條件下，可比傳統(tǒng)的小型機(jī)加商用

數(shù)據(jù)庫方案節(jié)省10倍左右的成本。

全業(yè)務(wù)支持：采用分布式數(shù)據(jù)庫模式，絕大部分海量數(shù)據(jù)存放于分布式平臺(tái)

并進(jìn)行分布式處理，少量實(shí)時(shí)性要求很高的數(shù)據(jù)存放于關(guān)系數(shù)據(jù)庫中，可支撐各

種類型的業(yè)務(wù)。不僅支撐查詢、統(tǒng)計(jì)、分析業(yè)務(wù)，還可支撐深度數(shù)據(jù)挖掘和商業(yè)

智能分析業(yè)務(wù)。

5

讀萬卷書行萬里路

旗開得勝

1.2系統(tǒng)總體構(gòu)架

1.2.1系統(tǒng)基本組成與構(gòu)架

智慧交通云平臺(tái)是一個(gè)處于交管數(shù)據(jù)采集與交管數(shù)據(jù)監(jiān)測(cè)應(yīng)用之間的系統(tǒng)。

從系統(tǒng)基本組成與構(gòu)架上來看，該共享平臺(tái)由7個(gè)主要部分組成：歷史數(shù)據(jù)匯總

處理系統(tǒng)，上報(bào)數(shù)據(jù)上報(bào)系統(tǒng)，實(shí)時(shí)數(shù)據(jù)入庫系統(tǒng)，交管數(shù)據(jù)存儲(chǔ)系統(tǒng)，交管數(shù)

據(jù)查詢分析應(yīng)用系統(tǒng)，數(shù)據(jù)管理系統(tǒng)以及系統(tǒng)管理。

1.2.2系統(tǒng)功能構(gòu)架

智慧交通云平臺(tái)需要提供的7大主要功能描述如下。

(1)歷史數(shù)據(jù)匯總處理系統(tǒng)

歷史數(shù)據(jù)匯總處理主要負(fù)責(zé)把南京市6個(gè)分散的數(shù)據(jù)中心的歷史數(shù)據(jù)進(jìn)行

讀取解析處理，并將處理后的歷史數(shù)據(jù)匯入一個(gè)統(tǒng)一的數(shù)據(jù)中心。

在內(nèi)部處理模塊上，歷史數(shù)據(jù)匯總系統(tǒng)主要包括三個(gè)模塊：讀取模塊、解析

模塊和匯總模塊。讀取模塊主要負(fù)責(zé)各個(gè)數(shù)據(jù)中心歷史數(shù)據(jù)的讀取處理，解析模

塊主要負(fù)責(zé)把讀取到的歷史數(shù)據(jù)解析成合理的數(shù)據(jù)格式，而匯總模塊主要負(fù)責(zé)把

解析好的歷史數(shù)據(jù)上傳到統(tǒng)一的數(shù)據(jù)中心。

6

讀萬卷書行萬里路

旗開得勝

在系統(tǒng)構(gòu)架上，為了滿足6個(gè)分散的數(shù)據(jù)中心處理需要，需要在每一個(gè)數(shù)據(jù)

中心處安裝一個(gè)數(shù)據(jù)匯總程序。

(2)上報(bào)數(shù)據(jù)上報(bào)處理信系統(tǒng)

上報(bào)數(shù)據(jù)上報(bào)處理負(fù)責(zé)把市數(shù)據(jù)中心的數(shù)據(jù)，按照一定的需求(按時(shí)間段或

一定的數(shù)據(jù)量)，上報(bào)給省廳數(shù)據(jù)中心。

在內(nèi)部處理模塊上，上報(bào)數(shù)據(jù)上報(bào)系統(tǒng)主要包括三個(gè)模塊：讀取模塊、解析

模塊和上報(bào)模塊。讀取模塊主要負(fù)責(zé)市數(shù)據(jù)中心需要上報(bào)數(shù)據(jù)的讀取處理，解析

模塊主要負(fù)責(zé)把讀取到的數(shù)據(jù)解析成合理的數(shù)據(jù)格式，而上報(bào)模塊主要負(fù)責(zé)把解

析好的數(shù)據(jù)上傳到的省廳數(shù)據(jù)中心。

在系統(tǒng)構(gòu)架上，為了滿足市數(shù)據(jù)中心處理需要，需要在市數(shù)據(jù)中心處安裝一

個(gè)數(shù)據(jù)上報(bào)程序。而省廳數(shù)據(jù)中心需要提供數(shù)據(jù)上報(bào)的接口。

(3)實(shí)時(shí)數(shù)據(jù)入庫系統(tǒng)

實(shí)時(shí)數(shù)據(jù)入庫系統(tǒng)主要負(fù)責(zé)全市每個(gè)卡口產(chǎn)生的數(shù)據(jù)實(shí)時(shí)入庫。

在內(nèi)部處理模塊上，實(shí)時(shí)數(shù)據(jù)入庫系統(tǒng)主要包括三個(gè)模塊：接受模塊、解析

模塊和數(shù)據(jù)入庫模塊。接受模塊主要負(fù)責(zé)接收每個(gè)卡口產(chǎn)生的數(shù)據(jù)流，解析模塊

a7

4讀萬卷書行萬里路

旗開得勝

主要負(fù)責(zé)把接受到的數(shù)據(jù)流解析成合理的數(shù)據(jù)格式，而數(shù)據(jù)入庫模塊負(fù)責(zé)把解析

好的數(shù)據(jù)加入到市數(shù)據(jù)中心。

在系統(tǒng)架構(gòu)上，為了使每個(gè)卡口的數(shù)據(jù)能實(shí)時(shí)入庫市數(shù)據(jù)中心，需要在每一

個(gè)負(fù)責(zé)接受卡口數(shù)據(jù)的工控機(jī)上安裝一個(gè)實(shí)時(shí)數(shù)據(jù)入庫系統(tǒng)。

(4)交管數(shù)據(jù)存儲(chǔ)系統(tǒng)

原始交管數(shù)據(jù)，將全部存儲(chǔ)在智慧交通云平臺(tái)的云存儲(chǔ)資源中。資源池提供

兩種存儲(chǔ)資源：一種是結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)資源，用于存儲(chǔ)少量的接口中間數(shù)據(jù)；另

一種是分布式文件系統(tǒng)，用于存儲(chǔ)海量的非結(jié)構(gòu)化數(shù)據(jù)。為了滿足和適應(yīng)數(shù)據(jù)量、

數(shù)據(jù)特征和查詢處理的不同需求，將采用一種混搭式的數(shù)據(jù)存儲(chǔ)方案。

對(duì)容量巨大、常規(guī)數(shù)據(jù)庫難以處理的數(shù)據(jù)，如交管數(shù)據(jù)，將主要存儲(chǔ)在基于

HDFS的分布式文件系統(tǒng)中；這些數(shù)據(jù)將通過HDFS接口進(jìn)行訪問和計(jì)算處理。

而對(duì)于部分?jǐn)?shù)據(jù)量不大、且查詢響應(yīng)性能要求很高的數(shù)據(jù)，如用于報(bào)警比對(duì)的中

間數(shù)據(jù)，將被存放在關(guān)系數(shù)據(jù)庫中。關(guān)系數(shù)據(jù)庫將采用SybaseASE版本。這些

數(shù)據(jù)將通過結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)訪問接口(如JDBC)進(jìn)行訪問。

在存儲(chǔ)構(gòu)架上，若以存儲(chǔ)3年的原始交管數(shù)據(jù)、報(bào)警信息數(shù)據(jù)和針對(duì)快速查

詢建立的索引數(shù)據(jù)，在10000條/s的交管數(shù)據(jù)流量下，將大約需要512TB的存

儲(chǔ)容量，按照每個(gè)存儲(chǔ)節(jié)點(diǎn)16TB的存儲(chǔ)容量，加上少量的冗余節(jié)點(diǎn)，將需要

32個(gè)存儲(chǔ)節(jié)點(diǎn)。

8

讀萬卷書行萬里路

旗開得勝

(5)交管數(shù)據(jù)蟄詢分析應(yīng)用系統(tǒng)

交管數(shù)據(jù)查詢分析應(yīng)用主要提供包括實(shí)時(shí)監(jiān)控、報(bào)警監(jiān)控、車輛軌跡與回放、

電子地圖、報(bào)警管理、布控管理、設(shè)備管理、事件檢測(cè)報(bào)警、流量統(tǒng)計(jì)和分析等

功能。

車輛軌跡查詢處理時(shí)，由于交管數(shù)據(jù)量巨大，難以存儲(chǔ)在常規(guī)的關(guān)系數(shù)據(jù)庫

中，而如果直接存儲(chǔ)在HDFS或HBase中又難以保證查詢效率。為此，需要考

慮對(duì)交管數(shù)據(jù)進(jìn)行索引處理，并將索引數(shù)據(jù)存儲(chǔ)在HDFS或Hbase中。為了建

立交管數(shù)據(jù)索弓I,需要在交管數(shù)據(jù)傳送到云存儲(chǔ)系統(tǒng)中時(shí)，進(jìn)行實(shí)時(shí)的索引處理。

但由于交管數(shù)據(jù)流量巨大，需要調(diào)度使用多臺(tái)服務(wù)器節(jié)點(diǎn)進(jìn)行并行處理。此外，

用戶從客戶端發(fā)起以上各種數(shù)據(jù)查詢分析任務(wù)時(shí)，也會(huì)產(chǎn)生大量并發(fā)的查詢?nèi)蝿?wù)。

以上各種杳詢分析計(jì)算任務(wù)的處理將需要考慮在計(jì)算集群上進(jìn)行并行化任務(wù)調(diào)

度和負(fù)載均衡處理。這些并行計(jì)算任務(wù)及負(fù)載均衡處理將使用Zookeeper基于

計(jì)算集群完成統(tǒng)一的控制和實(shí)現(xiàn)。

在系統(tǒng)構(gòu)架上，以上查詢分析計(jì)算任務(wù)將需要使用一個(gè)大規(guī)模數(shù)據(jù)并行計(jì)算

集群。在編程實(shí)現(xiàn)上，存儲(chǔ)在數(shù)據(jù)庫中的數(shù)據(jù)將使用常規(guī)的數(shù)據(jù)庫查詢語言實(shí)現(xiàn)；

對(duì)存儲(chǔ)在分布式文件系統(tǒng)中的交管數(shù)據(jù)，針對(duì)不同的處理要求，在數(shù)據(jù)量極大而

處理實(shí)時(shí)性要求不是特別高的情況下，為了方便對(duì)海量數(shù)據(jù)的并行處理，將采用

MapReduce編程方式實(shí)現(xiàn)；而對(duì)于那些實(shí)時(shí)性要求很高的查詢分析計(jì)算，由于

MapReduce啟動(dòng)作業(yè)需要較長的時(shí)間開銷，將不適合采用M叩Reduce編程

9

讀萬卷書行萬里路

旗開得勝

實(shí)現(xiàn)，而需要用非MapReduce編程方式實(shí)現(xiàn)。

(6)數(shù)據(jù)管理系統(tǒng)

在實(shí)際使用中，可能用戶會(huì)對(duì)某一時(shí)間段或者類型的數(shù)據(jù)特別關(guān)心，就可以

通過數(shù)據(jù)管理系統(tǒng)查詢并導(dǎo)出這部分?jǐn)?shù)據(jù)以供使用。

包括數(shù)據(jù)查詢和數(shù)據(jù)導(dǎo)出兩大部分。數(shù)據(jù)查詢讓用戶以自定義的條件查詢出

數(shù)據(jù)，而數(shù)據(jù)導(dǎo)出就是將這些數(shù)據(jù)以合理的格式導(dǎo)出到數(shù)據(jù)中心以外。

(7)系統(tǒng)管理

系統(tǒng)管理主要包括智慧交通云平臺(tái)的配置管理、系統(tǒng)安全管理、系統(tǒng)用戶管

理，以及數(shù)據(jù)備份、系統(tǒng)故障監(jiān)測(cè)復(fù)等管理維護(hù)功能。

配置管理是其中最主要的部分，是系統(tǒng)各個(gè)模塊正常運(yùn)行的基礎(chǔ)。系統(tǒng)應(yīng)能

夠?qū)W(wǎng)絡(luò)地址、設(shè)備地址等進(jìn)行配置；能夠?qū)τ脩糇鰴?quán)限管理，以防止數(shù)據(jù)外泄；

并能及時(shí)有效的對(duì)數(shù)據(jù)進(jìn)行備份和故障檢測(cè)等工作，防止數(shù)據(jù)的意外丟失。系統(tǒng)

應(yīng)支持樹圖、數(shù)據(jù)表格、網(wǎng)絡(luò)拓?fù)鋱D形式展示配置數(shù)據(jù)。

10

讀萬卷書行萬里路

旗開得勝

1.2.3系統(tǒng)總體構(gòu)架與功能模塊

基于以上基本的系統(tǒng)組成和功能構(gòu)架，系統(tǒng)的詳細(xì)總體構(gòu)架和功能模塊設(shè)計(jì)

如圖所示。

客翦

戶

實(shí)時(shí)跟查詢系統(tǒng)管

端

蹤界面界面理界面

實(shí)時(shí)機(jī)警交管數(shù)據(jù)廣詢分析系統(tǒng)芹理

交

管，eb服務(wù)程序拓?fù)涔芾砼渲霉芾?/p>

數(shù)并行查詢?nèi)蝿?wù)分發(fā)

告警預(yù)警

據(jù)安全管理

交管數(shù)據(jù)車輛軌跡軌跡查詢流?線甘管理

處分析對(duì)比幽旬［查詢］車輛］加.工1T

理網(wǎng)絡(luò)指標(biāo)

■用戶管理

基于zookeeper索引、計(jì)算,查詢并行

軟監(jiān)視

、計(jì)算任務(wù)負(fù)敦均衡謂度與單點(diǎn)容錯(cuò)控制，

件［其他計(jì)算［流量統(tǒng)計(jì)］查器引［自系統(tǒng)其他系統(tǒng)

層網(wǎng)管管理

數(shù)

據(jù)

查詢

層索引

系

統(tǒng)

軟

件

層

硬

件

平接口與管理服務(wù)器

臺(tái)

層

圖表2智慧交通云平臺(tái)總體構(gòu)架與功能模塊圖

上圖中，自底向上分為五個(gè)層面。最下層是硬件平臺(tái)層，將使用南京市公安

11

C讀萬卷書行萬里路

旗開得勝

局云計(jì)算中心所提供的計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源。從系統(tǒng)處理系統(tǒng)的角度看，這一

層主要包括云存儲(chǔ)計(jì)算集群，此外還包括接口和管理服務(wù)器、包括用于實(shí)現(xiàn)客戶

端訪問的Web服務(wù)器。

第二層是系統(tǒng)軟件層，包括移動(dòng)的云存儲(chǔ)系統(tǒng)軟件，綜合分析云計(jì)算軟件平

臺(tái)，以及Web服務(wù)軟件等。云存儲(chǔ)系統(tǒng)將提供基于SybaseASE關(guān)系數(shù)據(jù)庫的

結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)訪問能力，以及基于HDFS的分布式文件系統(tǒng)存儲(chǔ)訪問能力，

分別提供基于JDBC/SQL的數(shù)據(jù)庫訪問接口以及HDFS訪問接口。綜合分析云

計(jì)算軟件平臺(tái)可提供對(duì)HDFS、Hbase數(shù)據(jù)的訪問，并提供MapReduce編程

模型和接口、以及非M叩Reduce模型的編程接口，以及用于實(shí)現(xiàn)并行計(jì)算任

務(wù)負(fù)載均衡和服務(wù)器單點(diǎn)失效恢復(fù)的Zookeeper。

第三層是智慧交通云平臺(tái)中的數(shù)據(jù)層，包括原始交管數(shù)據(jù)、索引數(shù)據(jù)、用于

分析的中間數(shù)據(jù)、以及系統(tǒng)配置數(shù)據(jù)等。其中，原始交管數(shù)據(jù)、索引數(shù)據(jù)等海量

數(shù)據(jù)將存儲(chǔ)在南京公安局云存儲(chǔ)系統(tǒng)的HDFS分布式文件系統(tǒng)中,用HDFS接

口進(jìn)行存儲(chǔ)和訪問處理；而其它用于分析的中間數(shù)據(jù)等數(shù)據(jù)量不大、但處理響應(yīng)

性能要求較高的數(shù)據(jù)，將存儲(chǔ)在云存儲(chǔ)系統(tǒng)的關(guān)系數(shù)據(jù)庫系統(tǒng)中，用JDBC/SQL

進(jìn)行存儲(chǔ)和訪問處理。

第四層是交管數(shù)據(jù)處理軟件層，主要完成智慧交通云平臺(tái)所需要提供的諸多

功能，包括實(shí)時(shí)監(jiān)控、報(bào)警監(jiān)控、車輛軌跡查詢與回放、電子地圖、報(bào)警管理、

布控管理、設(shè)備管理、事件檢測(cè)報(bào)警、流量統(tǒng)計(jì)和分析、系統(tǒng)管理等功能。

最上層是客戶端用戶界面軟件，主要供用戶查詢和監(jiān)視相關(guān)的數(shù)據(jù)信息，除

12

讀萬卷書行萬里路

旗開得勝

了事件檢測(cè)報(bào)警不需要用戶界面外，其它部分都需要實(shí)現(xiàn)對(duì)應(yīng)的用戶界面。

13

讀萬卷書行萬里路

旗開得勝

1.3系統(tǒng)基本功能與處理方案

13.1交管數(shù)據(jù)入庫功能與處理方案

交管數(shù)據(jù)入庫系統(tǒng)總架構(gòu)如圖：

14

讀萬卷書行萬里路

旗開得勝

應(yīng)用層

應(yīng)用層其他增值應(yīng)用

軟件架構(gòu)層

存儲(chǔ)與管理子系統(tǒng)

.警數(shù)據(jù)查詢模塊

分布式存儲(chǔ)系統(tǒng)

報(bào)警信息存儲(chǔ)模塊

交管數(shù)據(jù)查詢模塊

拓?fù)涔芾硭饕鎯?chǔ)模塊

實(shí)時(shí)報(bào)瞥模塊

告警管埋

實(shí)時(shí)報(bào)警分析

建立索引

用戶管理

數(shù)據(jù)推送數(shù)據(jù)推送數(shù)據(jù)推送

交管數(shù)據(jù)解析交管數(shù)據(jù)解析交管數(shù)據(jù)解析

負(fù)載均衡模塊

圖表3智慧交通云平臺(tái)架構(gòu)

智慧交通云平臺(tái)通過實(shí)時(shí)數(shù)據(jù)入庫系統(tǒng)接入采集層的交管數(shù)據(jù)，數(shù)據(jù)分

配進(jìn)入負(fù)載均衡機(jī)，負(fù)載均衡機(jī)根據(jù)集群各節(jié)點(diǎn)負(fù)載情況，動(dòng)態(tài)分配交管數(shù)據(jù)到

各存儲(chǔ)處理機(jī)，進(jìn)行報(bào)警檢測(cè)、建立索引等處理，同時(shí)將交管數(shù)據(jù)存入分步式

存儲(chǔ)系統(tǒng)。

15

登讀萬卷書行萬里路

旗開得勝

負(fù)載均衡機(jī)功能

監(jiān)控所集群機(jī)器負(fù)載情況，動(dòng)態(tài)分配交管數(shù)據(jù)。監(jiān)控所有集群機(jī)器，如果發(fā)

現(xiàn)問題，那么就把分配給這臺(tái)機(jī)器的交管數(shù)據(jù)重新分配到其他機(jī)器，去除單點(diǎn)故

障，提高系統(tǒng)可靠性。

負(fù)載均衡機(jī)采用Paxos算法解決一致性問題，集群在某一時(shí)刻只有一個(gè)

Master負(fù)責(zé)均衡能力，當(dāng)Master宕機(jī)后，其他節(jié)點(diǎn)重新選舉Master。保證負(fù)

載均衡機(jī)不會(huì)存在單點(diǎn)問題，集群機(jī)器一致性。

實(shí)時(shí)業(yè)務(wù)

對(duì)于實(shí)時(shí)性要求高的業(yè)務(wù)應(yīng)用，如：實(shí)時(shí)監(jiān)控、實(shí)時(shí)報(bào)警，走實(shí)時(shí)專道。

1.3.2數(shù)據(jù)存儲(chǔ)功能與處理方案

數(shù)據(jù)存儲(chǔ)處理總架如圖：

16

讀萬卷書行萬里路

旗開得勝

圖表4數(shù)據(jù)存儲(chǔ)處理架構(gòu)

數(shù)據(jù)存儲(chǔ)系統(tǒng)提供如下功能：

交管數(shù)據(jù)處理：接收來自數(shù)據(jù)匯總和數(shù)據(jù)入庫系統(tǒng)的交管數(shù)據(jù)，索引模塊

實(shí)時(shí)生成索引，以提高杳詢速度。生成的索引存儲(chǔ)到HDFS中，以供查詢交管

數(shù)據(jù)使用。

專題業(yè)務(wù)分析，通過MapReduce并行計(jì)算，同期提取業(yè)務(wù)數(shù)據(jù)，將結(jié)果

17

“讀萬卷書行萬里路

旗開得勝

分存兩路，一路存入Hbase或日志詳單存儲(chǔ)，一路存入關(guān)系型數(shù)據(jù)庫。

報(bào)警數(shù)據(jù)處理

智慧交通云平臺(tái)對(duì)接收到的實(shí)時(shí)交管數(shù)據(jù)進(jìn)行計(jì)算，以判斷這輛車有沒有符

合報(bào)警條件。如果符合，會(huì)對(duì)報(bào)警信息入庫，并同時(shí)通過對(duì)外實(shí)時(shí)報(bào)警的接口，

將報(bào)警信息迅速展示到用戶界面上。

13.3直詢分析功能與處理方案

交管數(shù)據(jù)查詢構(gòu)架如圖：

18

讀萬卷書行萬里路

旗開得勝

圖表5交管數(shù)據(jù)接入

當(dāng)客戶發(fā)起請(qǐng)求后，客戶端把請(qǐng)求發(fā)向查詢接口服務(wù)器，查詢接口服務(wù)器

解析查詢請(qǐng)求，后向Master任務(wù)調(diào)度機(jī)發(fā)送查詢?nèi)蝿?wù)執(zhí)行命令；Master回應(yīng)

執(zhí)行命令節(jié)點(diǎn)信息，查詢服務(wù)器根據(jù)節(jié)點(diǎn)信息將查詢命令發(fā)向查詢計(jì)算模塊，進(jìn)

行具體查詢操作，將查詢結(jié)果返回給客戶端，呈現(xiàn)給用戶。

19

讀萬卷書行萬里路

旗開得勝

1.4系統(tǒng)互聯(lián)與管理

1.4.1組網(wǎng)方案

組網(wǎng)方案如圖：

20

讀萬卷書行萬里路

旗開得勝

前端

HEPSE0石"

.一工一jSE0f

.BE^MRf9=0HE一>

云存儲(chǔ)機(jī)群

交換機(jī)

圖表6組網(wǎng)方案

我司可向公安數(shù)據(jù)中心申請(qǐng)VPN或公網(wǎng)IP服務(wù)，如果系統(tǒng)出故障，可以保

21

讀萬卷書行萬里路