道路交通管控大數(shù)據(jù)分析研判系統(tǒng)方案

1、38/38交通管控大數(shù)據(jù)分析研判系統(tǒng)設(shè)計方案目 錄 TOC o 1-3 h z u HYPERLINK l _Toc445563815 1 系統(tǒng)概述 PAGEREF _Toc445563815 h 5 HYPERLINK l _Toc445563816 1.1 系統(tǒng)背景 PAGEREF _Toc445563816 h 5 HYPERLINK l _Toc445563817 1.2 系統(tǒng)意義 PAGEREF _Toc445563817 h 5 HYPERLINK l _Toc445563818 1.3 研發(fā)原則 PAGEREF _Toc445563818 h 6 HYPERLINK l _Toc

2、445563819 1.4 系統(tǒng)容 PAGEREF _Toc445563819 h 7 HYPERLINK l _Toc445563820 2 需求分析 PAGEREF _Toc445563820 h 8 HYPERLINK l _Toc445563821 2.1 業(yè)務(wù)需求 PAGEREF _Toc445563821 h 8 HYPERLINK l _Toc445563822 2.1.1 面向交通管理的大數(shù)據(jù)業(yè)務(wù)需求 PAGEREF _Toc445563822 h 8 HYPERLINK l _Toc445563823 2.1.2 面向交通安全的大數(shù)據(jù)業(yè)務(wù)需求 PAGEREF _Toc4455

3、63823 h 8 HYPERLINK l _Toc445563824 2.2 功能需求 PAGEREF _Toc445563824 h 8 HYPERLINK l _Toc445563825 2.2.1 基于大數(shù)據(jù)的在線統(tǒng)計和離線分析需求 PAGEREF _Toc445563825 h 8 HYPERLINK l _Toc445563826 2.2.2 基于大數(shù)據(jù)的車輛特征分析需求 PAGEREF _Toc445563826 h 8 HYPERLINK l _Toc445563827 2.2.3 基于大數(shù)據(jù)的事故分析需求 PAGEREF _Toc445563827 h 9 HYPERLINK

4、 l _Toc445563828 2.2.4 基于大數(shù)據(jù)的勤務(wù)快速處置需求 PAGEREF _Toc445563828 h 9 HYPERLINK l _Toc445563829 2.2.5 基于大數(shù)據(jù)平臺的車輛特征二次識別需求 PAGEREF _Toc445563829 h 9 HYPERLINK l _Toc445563830 2.2.6 基于大數(shù)據(jù)平臺的技戰(zhàn)法需求 PAGEREF _Toc445563830 h 9 HYPERLINK l _Toc445563831 2.3 性能需求 PAGEREF _Toc445563831 h 10 HYPERLINK l _Toc445563832

5、 2.3.1 高并發(fā)實時數(shù)據(jù)采集需求 PAGEREF _Toc445563832 h 10 HYPERLINK l _Toc445563833 2.3.2 海量數(shù)據(jù)存儲需求 PAGEREF _Toc445563833 h 10 HYPERLINK l _Toc445563834 2.3.3 分布式流處理需求 PAGEREF _Toc445563834 h 10 HYPERLINK l _Toc445563835 2.3.4 車輛二次識別需求 PAGEREF _Toc445563835 h 10 HYPERLINK l _Toc445563836 3 架構(gòu)設(shè)計 PAGEREF _Toc44556

6、3836 h 10 HYPERLINK l _Toc445563837 3.1 總體應(yīng)用架構(gòu) PAGEREF _Toc445563837 h 10 HYPERLINK l _Toc445563838 3.2 軟件框架結(jié)構(gòu) PAGEREF _Toc445563838 h 11 HYPERLINK l _Toc445563839 3.3 網(wǎng)絡(luò)部署架構(gòu) PAGEREF _Toc445563839 h 12 HYPERLINK l _Toc445563840 3.4 數(shù)據(jù)流結(jié)構(gòu) PAGEREF _Toc445563840 h 12 HYPERLINK l _Toc445563841 3.5 關(guān)鍵技術(shù)路

7、線 PAGEREF _Toc445563841 h 13 HYPERLINK l _Toc445563842 3.5.1 Hadoop技術(shù) PAGEREF _Toc445563842 h 13 HYPERLINK l _Toc445563843 3.5.2 Spark技術(shù) PAGEREF _Toc445563843 h 14 HYPERLINK l _Toc445563844 3.5.3 車輛特征二次識別技術(shù) PAGEREF _Toc445563844 h 15 HYPERLINK l _Toc445563845 4 功能設(shè)計 PAGEREF _Toc445563845 h 15 HYPERL

8、INK l _Toc445563846 4.1 功能結(jié)構(gòu)圖 PAGEREF _Toc445563846 h 15 HYPERLINK l _Toc445563847 4.2 功能模塊 PAGEREF _Toc445563847 h 15 HYPERLINK l _Toc445563848 4.2.1 首頁 PAGEREF _Toc445563848 h 16 HYPERLINK l _Toc445563849 4.2.2 實時預(yù)警 PAGEREF _Toc445563849 h 18 HYPERLINK l _Toc445563850 4.2.3 信息查詢 PAGEREF _Toc445563

9、850 h 19 HYPERLINK l _Toc445563851 4.2.4 統(tǒng)計分析 PAGEREF _Toc445563851 h 24 HYPERLINK l _Toc445563852 4.2.5 技戰(zhàn)法 PAGEREF _Toc445563852 h 27 HYPERLINK l _Toc445563853 4.2.6 車輛布控 PAGEREF _Toc445563853 h 29 HYPERLINK l _Toc445563854 4.2.7 系統(tǒng)設(shè)置 PAGEREF _Toc445563854 h 30 HYPERLINK l _Toc445563855 4.2.8 運維管理

10、 PAGEREF _Toc445563855 h 31 HYPERLINK l _Toc445563856 5 數(shù)據(jù)庫設(shè)計 PAGEREF _Toc445563856 h 31 HYPERLINK l _Toc445563857 5.1 數(shù)據(jù)庫ER模型 PAGEREF _Toc445563857 h 31 HYPERLINK l _Toc445563858 5.2 數(shù)據(jù)庫表 PAGEREF _Toc445563858 h 31 HYPERLINK l _Toc445563859 6 接口設(shè)計 PAGEREF _Toc445563859 h 31 HYPERLINK l _Toc44556386

11、0 6.1 接口分布圖（接口關(guān)聯(lián)圖） PAGEREF _Toc445563860 h 31 HYPERLINK l _Toc445563861 6.2 接口詳細說明 PAGEREF _Toc445563861 h 31 HYPERLINK l _Toc445563862 7 系統(tǒng)特色 PAGEREF _Toc445563862 h 32 HYPERLINK l _Toc445563863 7.1 優(yōu)化交通大數(shù)據(jù)集中存儲能力 PAGEREF _Toc445563863 h 32 HYPERLINK l _Toc445563864 7.2 提升交通大數(shù)據(jù)分析研判能力 PAGEREF _Toc445

12、563864 h 32 HYPERLINK l _Toc445563865 7.3 提升交通案件偵破能力 PAGEREF _Toc445563865 h 32 HYPERLINK l _Toc445563866 7.4 提升交通監(jiān)管能力 PAGEREF _Toc445563866 h 321 系統(tǒng)概述1.1 系統(tǒng)背景隨著經(jīng)濟迅猛發(fā)展，機動車輛不斷增加，道路交通擁堵、交通肇事現(xiàn)象也越來越嚴重。交通管理部門部署了大量交通監(jiān)控設(shè)備對道路交通情況進行監(jiān)控，這些設(shè)備24小時不間斷捕獲過車數(shù)據(jù)和圖像數(shù)據(jù)，產(chǎn)生了海量的歷史記錄。在此情況下，如何利用先進的技術(shù)手段，對交通監(jiān)控設(shè)備采集的海量的、格式多樣的數(shù)據(jù)進

13、行深度分析應(yīng)用，對海量數(shù)據(jù)進行查找、關(guān)聯(lián)、比對等處理，實時發(fā)現(xiàn)其中潛在的問題并預(yù)警,成為當(dāng)前迫切需要解決的問題。主要體現(xiàn)在以下兩個方面：一是交通管理部門的現(xiàn)有系統(tǒng)還處于結(jié)構(gòu)化數(shù)據(jù)處理模式架構(gòu)體系中，要實現(xiàn)對城市道路交通的整體運行狀況、車輛出行規(guī)律等方面以日、月甚至年為時間粒度進行數(shù)據(jù)分析還存在不足。二是交通管理部門的現(xiàn)有系統(tǒng)在對這些具有邏輯關(guān)聯(lián)的海量多源異構(gòu)數(shù)據(jù)處理過程中，數(shù)據(jù)存儲結(jié)構(gòu)、處理種類、處理效率等方面仍存在不足，不能滿足持續(xù)擴大的交通管理數(shù)據(jù)規(guī)模以與對數(shù)據(jù)深度快速挖掘和應(yīng)用需求。交通管控大數(shù)據(jù)平臺構(gòu)建了一個支持橫向擴展，具有分布、并行、高效特點的大數(shù)據(jù)處理平臺的體系架構(gòu)。綜合運用云計

14、算、云存儲、并行數(shù)據(jù)挖掘、圖像識別等技術(shù)，開展數(shù)據(jù)的存儲、挖掘、聯(lián)動、分析。通過將電子監(jiān)控設(shè)備的數(shù)據(jù)、圖像等異構(gòu)的數(shù)據(jù)資源接入大數(shù)據(jù)處理平臺，通過分布式存儲和并行數(shù)據(jù)挖掘，提供在線實時分析模式和離線統(tǒng)計分析模式兩種應(yīng)用模式，對交通管理的各類大數(shù)據(jù)全方位地進行實時和離線分析處理?？梢詫㈦[藏于海量數(shù)據(jù)中的信息挖掘出來，可全面掌握道路通行情況，為策略制定、分析研判、行動部署提供依據(jù)，大大提升綜合管理的集約化程度。1.2 系統(tǒng)意義（1）信息查詢和預(yù)警分析借助在線實時分析、離線統(tǒng)計分析和數(shù)據(jù)共享等手段，通過接口與集成指揮平臺等各個業(yè)務(wù)系統(tǒng)關(guān)聯(lián)，高效開展交通管理工作。例如通過分析一段時間的過車信息進行查詢

15、分析對比，確定該時期造成交通擁堵的主要原因和發(fā)展趨勢，對交通擁堵的發(fā)生進行一定的預(yù)測和判斷，并采取相應(yīng)的管控措施控制誘發(fā)交通擁堵的原因，科學(xué)預(yù)防交通擁堵。（2）多維度布控打擊犯罪通過車輛特征二次識別比對，可對特定車輛的局部特征進行提取分析和建模，在車輛號牌信息缺失（套牌、遮擋號牌或無牌）情況下，按照車輛品牌、型號、顏色、類別以與局部特征等自定義組合布控報警，準確快速地實現(xiàn)特定車輛追蹤與鎖定，獲取車輛真實行蹤，將有價值的圖片數(shù)據(jù)提供給公安刑偵部門，為偵破交通肇事逃逸案、利用機動車作為犯罪工具的刑事案、以與搶劫出租車等惡性案件提供線索和證據(jù)，為刑偵部門確定線索偵查破案提供支持。（3）大粒度的數(shù)據(jù)分

16、析為決策提供支持通過交通流大數(shù)據(jù)采集存儲、流量查詢分析，車輛特征研判、車輛軌跡分析等深度應(yīng)用，系統(tǒng)不僅僅可以實現(xiàn)對車輛和人員的分析研判，通過大量數(shù)據(jù)的積累和變化規(guī)律進行深度的信息挖掘，幫助決策者和管理者提供有價值的線索信息，同時結(jié)合車駕管數(shù)據(jù)庫，開展交通信息綜合分析研判。1.3 研發(fā)原則項目建設(shè)總體上堅持“結(jié)構(gòu)上的整體性、技術(shù)上的先進性、使用上的穩(wěn)定性、經(jīng)濟上的合理性、實施上的安全性、操作上的友好性、升級上的可拓展性”原則，建設(shè)綜合信息的統(tǒng)一管理、展示、控制平臺，制定安全可靠的集成規(guī)，完成各業(yè)務(wù)系統(tǒng)的智能協(xié)調(diào)聯(lián)動功能，實現(xiàn)資源集成、數(shù)據(jù)集成、業(yè)務(wù)集成、控制集成和展現(xiàn)集成。1、實用性原則項目采用

17、技術(shù)和解決方案應(yīng)該具有很強的實用性，系統(tǒng)建設(shè)應(yīng)始終貫徹面向應(yīng)用、注重實效的方針，堅持實用、經(jīng)濟的原則。2、先進性原則采用先進、成熟的方法和技術(shù)，各種先進方法和手段應(yīng)該充分考慮市社會可行性、法律可行性、管理可行性、技術(shù)可行性。既注意概念、技術(shù)和方法的先進性，又要注意成熟性。使項目能反映當(dāng)今的先進水平，并具有一定的發(fā)展?jié)摿Α?、資源共享信息資源共享是本項目的主要項目目標之一，需要注意本項目與業(yè)主方已建智能交通信息化成果之間的信息互聯(lián)與資源共享。4、可持續(xù)性系統(tǒng)設(shè)計采用合理的、有彈性的架構(gòu)，并預(yù)留有一定的接口，保證系統(tǒng)能進行不斷的完美和擴展。5、開放性和標準性注意遵循相關(guān)的技術(shù)標準和行業(yè)標準，并采用

18、合理的系統(tǒng)架構(gòu)，不采用壟斷技術(shù)，保證系統(tǒng)的開放性和標準性。6、可靠性和穩(wěn)定性從系統(tǒng)結(jié)構(gòu)、技術(shù)措施、設(shè)備性能、系統(tǒng)管理、廠商技術(shù)支持與維護能力等方面著手，確保系統(tǒng)運行的可靠性和穩(wěn)定性，達到設(shè)計的最大平均無故障時間。7、安全性和性在考慮信息資源的充分共享的同時，注意對信息的保護和隔離，采用系統(tǒng)安全機制、數(shù)據(jù)存取的權(quán)限控制等方案解決系統(tǒng)安全性問題。8、擴展性和易維護性采用先進的軟件工程理論、良好的系統(tǒng)設(shè)計，以與分層和代理的方法等方法，保證實現(xiàn)的系統(tǒng)層次清晰、模塊合理，接口協(xié)議開放，保證系統(tǒng)的擴展性和易維護性。1.4 系統(tǒng)容交通管控大數(shù)據(jù)平臺由5類服務(wù)器組成，包括：數(shù)據(jù)接入服務(wù)器、數(shù)據(jù)庫服務(wù)器、流處理

19、服務(wù)器、二次識別服務(wù)器、應(yīng)用服務(wù)器。（1）數(shù)據(jù)接入服務(wù)器：統(tǒng)一接入卡口、電警過車數(shù)據(jù)和過車圖片，并按大數(shù)據(jù)架構(gòu)統(tǒng)一轉(zhuǎn)換管理。（2）數(shù)據(jù)庫服務(wù)器：管理節(jié)點作為主服務(wù)器，管理Hadoop文件系統(tǒng)的命名空間和客戶端對文件系統(tǒng)的訪問操作。可進行節(jié)點安裝、配置、服務(wù)配置等，對Hadoop服務(wù)器進行實時狀態(tài)檢測。數(shù)據(jù)節(jié)點管理存儲的數(shù)據(jù)，支持PB級數(shù)據(jù)和圖片存儲和數(shù)據(jù)索引管理。（3）流處理服務(wù)器：基于Spark的大數(shù)據(jù)云計算技術(shù)，支持高速查詢和低延時的統(tǒng)計能力，實現(xiàn)億以上的過車記錄大數(shù)據(jù)量秒級檢索能力。（4）二次識別服務(wù)器：于大數(shù)據(jù)下深度學(xué)習(xí)的圖像識別技術(shù)，支持車輛號牌、品牌型號、車身顏色、車輛型號等信息關(guān)

20、聯(lián)比對。（5）應(yīng)用服務(wù)器：部署交通管控大數(shù)據(jù)平臺系統(tǒng)軟件和數(shù)據(jù)發(fā)布軟件。2 需求分析2.1 業(yè)務(wù)需求2.1.1面向交通管理的大數(shù)據(jù)業(yè)務(wù)需求隨著城市交通擁堵問題頑固化、復(fù)雜化和多樣化，交通管理工作面臨著從事后分析向事前研判預(yù)警拓展、從歷史統(tǒng)計向在線分析挖掘拓展、從簡單應(yīng)用向綜合服務(wù)評價拓展的在需求發(fā)展方向。并對管轄圍的車輛出行規(guī)律等方面以日、月年為時間粒度進行實時和歷史統(tǒng)計分析，并對現(xiàn)有信息開展任意圍的快速檢索和實時統(tǒng)計分析，并將結(jié)果可視化顯示。2.1.2面向交通安全的大數(shù)據(jù)業(yè)務(wù)需求管理路面、假/套牌、肇事車輛、黑車等重點布控車輛、維護交通安全和事故處理是交管部門的另一項行政管理職能?；诖髷?shù)據(jù)

21、系統(tǒng)，通過大量歷史數(shù)據(jù)對涉案車開展比對，形成對涉案車輛行為的分析與涉案車輛的匹配分析，為精確打擊行為提供證據(jù)，按照車輛特征進行布控，有效提升現(xiàn)有查處的精準打擊和查緝布控能力。2.2 功能需求2.2.1基于大數(shù)據(jù)的在線統(tǒng)計和離線分析需求以總量統(tǒng)計、信息查詢等業(yè)務(wù)數(shù)據(jù)檢索的后臺軟件模塊為支持，通過大數(shù)據(jù)系統(tǒng)備份或抽取歷史數(shù)據(jù)資源，重構(gòu)數(shù)據(jù)結(jié)構(gòu)，并為每一種應(yīng)用添加算法模塊，實現(xiàn)對大批量信息檢索與統(tǒng)計分析的實時處理。2.2.2基于大數(shù)據(jù)的車輛特征分析需求以基于海量卡口數(shù)據(jù)獲取車輛出行OD，挖掘車輛通勤出行行為，分析車輛通勤行為特征與交通擁堵相關(guān)性分析，研究擁堵路段車流集散、車輛屬地屬性發(fā)展變化規(guī)律。準

22、確統(tǒng)計道路交通、卡點進出車輛流動情況，為合理調(diào)配警力、提高車輛管理水平提供科學(xué)依據(jù)。2.2.3基于大數(shù)據(jù)的事故分析需求基于大數(shù)據(jù)系統(tǒng)進行和事故數(shù)據(jù)的關(guān)聯(lián)分析，從不同視角研究和事故成因，定期將交通、事故的相關(guān)駕駛?cè)颂卣髋c車輛特征進行分析，按類掌握、事故中高發(fā)、易發(fā)的駕駛?cè)伺c車輛，為重點管理的群體提供數(shù)據(jù)支撐。通過大數(shù)據(jù)平臺對交通、事故數(shù)據(jù)與屬性開展關(guān)聯(lián)分析，定期將、事故與駕駛?cè)颂卣鳎ㄅ嘤?xùn)考試過程、工作單位、家庭背景等因素，與車輛特征，包括品牌、車型、營運性質(zhì)、號牌屬地、車身顏色、車輛保養(yǎng)等因素，與道路特征，包括道路類型、線性、天氣、時間、環(huán)境、設(shè)施等相關(guān)聯(lián)的，集中分析掌握、事故中高發(fā)、易發(fā)的

23、駕駛?cè)?、車輛和道路，為管控提供最為真實的資料和依據(jù)。2.2.4基于大數(shù)據(jù)的勤務(wù)快速處置需求在崗執(zhí)勤民警通常負責(zé)的是一個區(qū)域的交通管理工作，很難掌握管轄區(qū)域所有路口路段的實時交通狀況?；趯^車流量特性的大數(shù)據(jù)分析，可為交管人員分析管轄區(qū)域交通流量情況，為在崗執(zhí)勤民警提供更加準確的擁堵點，有助于交管人員日常勤務(wù)安排和以與上下游與時聯(lián)動和快速反應(yīng)。2.2.5基于大數(shù)據(jù)平臺的車輛特征二次識別需求過車圖片里面包含了很多信息，這些信息是卡口設(shè)備本身無法有效識別出來的信息，例如車輛品牌、車輛型號等?；诖髷?shù)據(jù)系統(tǒng)的車輛特征二次識別技術(shù)從根本上克服了傳統(tǒng)車輛檢索只能按照號牌進行單一查詢的功能缺陷，實現(xiàn)了按照

24、車輛品牌、型號、顏色、類別以與局部特征等自定義組合查詢和模糊查詢強大功能。在不改變現(xiàn)有卡口設(shè)備的情況下，就能夠挖掘出更多的車輛特征，便于實現(xiàn)更多應(yīng)用，有效利用了現(xiàn)有卡口設(shè)備，降低不必要的卡口重建投入。2.2.6 基于大數(shù)據(jù)平臺的技戰(zhàn)法需求通過過車圖片、行駛行為特征分析和人員、車輛檔案關(guān)聯(lián)分析，確定各類涉案人員/車輛的詳細信息。以全庫精細搜索和模糊查詢，實現(xiàn)一定時間經(jīng)過各采集點特定車輛行車軌跡分析，記錄軌跡路線信息并在GIS地圖中進行可視化展示和報警，形成行駛軌跡數(shù)據(jù)的高速檢索。對同一輛車在多個監(jiān)控點出現(xiàn)的軌跡進行時空分析，實現(xiàn)對任意時間和地區(qū)圍重點車輛行駛規(guī)律的分析研判，并預(yù)測一定時間高概率出

25、現(xiàn)的區(qū)域。2.3 性能需求2.3.1 高并發(fā)實時數(shù)據(jù)采集需求采用Kafka消息隊列，良好兼容Hadoop系統(tǒng)，可通過SQL訪問，延遲在2秒。2.3.2 海量數(shù)據(jù)存儲需求采用Hadoop和HDFS文件系統(tǒng)，具備PB數(shù)據(jù)級別的在線存儲能力，數(shù)據(jù)容量可動態(tài)擴展。2.3.3 分布式流處理需求采用Spark Streaming，支持分布式數(shù)據(jù)集上的迭代作業(yè)，每一個批次的數(shù)據(jù)的時間間隔在100ms。2.3.4 車輛二次識別需求可檢測200萬、300萬、500像素的圖片，單圖片處理速度平均為0.1S，單臺日處理最多為80萬，檢測正確率85%。3 架構(gòu)設(shè)計3.1 總體應(yīng)用架構(gòu)交通管控大數(shù)據(jù)分析研判平臺分為數(shù)據(jù)

26、層、采集層、處理層、存儲層、應(yīng)用層等層次架構(gòu)。系統(tǒng)總體結(jié)構(gòu)如下：采集層：通過設(shè)備系統(tǒng)接口或稽查布控系統(tǒng)接口，通過kafka消息總線接入所轄圍的設(shè)備上報的車輛通行文本信息、圖像信息、設(shè)備狀態(tài)信息。處理層：系統(tǒng)通過Spark流計算模塊，對海量過車數(shù)據(jù)進行二次比對分析，流計算模塊根據(jù)系統(tǒng)設(shè)置的報警條件，可實時進行多種比對計算。存儲層：包括Hadoop數(shù)據(jù)庫，用于存儲海量結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)?？赏ㄟ^動態(tài)增加節(jié)點，提升吞吐能力，擴展存儲、查詢、分析性能。應(yīng)用層：包含實時預(yù)警、信息檢索、信息查詢、統(tǒng)計分析、技戰(zhàn)法分析、車輛布控等功能。3.2 軟件框架結(jié)構(gòu)3.3 網(wǎng)絡(luò)部署架構(gòu)平臺部署在公安網(wǎng)，設(shè)備專網(wǎng)數(shù)

27、據(jù)通過邊界交換平臺進入公安網(wǎng)，數(shù)據(jù)庫服務(wù)器、流處理服務(wù)器、二次識別服務(wù)器可根據(jù)數(shù)據(jù)量規(guī)模動態(tài)調(diào)整。如下圖所示：3.4 數(shù)據(jù)流結(jié)構(gòu)平臺通過Kafka消息總線匯聚各類道路交通信息、通過Spark進行實時流計算，通過HBASE/HDFS進行分布式存儲，通過MapReduce進行分布式計算，通過應(yīng)用服務(wù)器的數(shù)據(jù)接口，將結(jié)果分發(fā)給集成平臺和各類基礎(chǔ)應(yīng)用系統(tǒng)，進行信息檢索和分析研判。如下圖所示：3.5 關(guān)鍵技術(shù)路線平臺采用X86架構(gòu)通用服務(wù)器、“云計算-分布式”架構(gòu)，實現(xiàn)實時流式計算、分布式數(shù)據(jù)存儲、高性能并發(fā)讀寫以與分布式計算機分析挖掘。與六合一、PGIS、等平臺有機結(jié)合、一體化應(yīng)用。流數(shù)據(jù)處理軟件支持

28、Kafka消息隊列，良好兼容Hadoop系統(tǒng)，可通過SQL訪問，延遲在2秒；高可靠、高容錯、高擴展、高吞吐、充分利用系統(tǒng)資源。支持小批量處理模式，每一個批次的數(shù)據(jù)的時間間隔可以短至500毫秒。系統(tǒng)數(shù)據(jù)庫服務(wù)器操作系統(tǒng)可選用UNIX、WINDOWS，數(shù)據(jù)庫采用Oracle，要求10g以上版本。應(yīng)用服務(wù)器操作系統(tǒng)可選用WINDOWS、UNIX、LINUX，應(yīng)用中間件采用Tomcat或WebSphere，Tomcat要求版本6.0以上，WebSphere要求6.1以上版本。系統(tǒng)技術(shù)實現(xiàn)架構(gòu)采用JAVA；具體應(yīng)用上采用以B/S多層架構(gòu)的分布式應(yīng)用架構(gòu)。3.5.1 Hadoop技術(shù)Hadoop實現(xiàn)了一個

29、 HYPERLINK :/baike.so /doc/6591749-6805528.html t _blank 分布式文件系統(tǒng)(Hadoop Distributed File System)，簡稱HDFS。HDFS有高 HYPERLINK :/baike.so /doc/2621824-2768385.html t _blank 容錯性的特點，并且設(shè)計用來部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)來訪問 HYPERLINK :/baike.so /doc/3417785-3597266.html t _blank 應(yīng)用程序的數(shù)據(jù)，適合那些有著

30、超大數(shù)據(jù)集(large data set)的應(yīng)用程序。HDFS放寬了(relax)POSIX的要求，可以以流的形式訪問(streaming access)文件系統(tǒng)中的數(shù)據(jù)。優(yōu)點如下：Hadoop是一個能夠?qū)Υ罅繑?shù)據(jù)進行 HYPERLINK :/baike.so /doc/6591676-6805455.html t _blank 分布式處理的軟件框架。 Hadoop 以一種可靠、高效、可伸縮的方式進行數(shù)據(jù)處理。Hadoop 是可靠的，因為它假設(shè)計算元素和存儲會失敗，因此它維護多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理。Hadoop 是高效的，因為它以并行的方式工作，通過 HYPERL

31、INK :/baike.so /doc/5288847-5523237.html t _blank 并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 HYPERLINK :/baike.so /doc/5393061-5629983.html t _blank PB級數(shù)據(jù)。此外，Hadoop 依賴于社區(qū)服務(wù)，因此它的成本比較低，任何人都可以使用。Hadoop是一個能夠讓用戶輕松架構(gòu)和使用的 HYPERLINK :/baike.so /doc/6591953-6805732.html t _blank 分布式計算平臺。用戶可以輕松地在Hadoop上開發(fā)和運行處理海量數(shù)據(jù)的 HYPERL

32、INK :/baike.so /doc/3417785-3597266.html t _blank 應(yīng)用程序。它主要有以下幾個優(yōu)點:Hadoop帶有用Java語言編寫的框架，因此運行在 Linux 生產(chǎn)平臺上是非常理想的。Hadoop 上的 HYPERLINK :/baike.so /doc/3417785-3597266.html t _blank 應(yīng)用程序也可以使用其他語言編寫，比如 C+。3.5.2 Spark技術(shù)Spark是一個基于存計算的開源的集群計算系統(tǒng)，目的是讓數(shù)據(jù)分析更加快速。Spark非常小巧玲瓏，由加州伯克利大學(xué)AMP實驗室的Matei為主的小團隊所開發(fā)。使用的語言是Sca

33、la，項目的core部分的代碼只有63個Scala文件，非常短小精悍。Spark 是一種與 Hadoop 相似的開源集群計算環(huán)境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負載方面表現(xiàn)得更加優(yōu)越，換句話說，Spark 啟用了存分布數(shù)據(jù)集，除了能夠提供交互式查詢外，它還可以優(yōu)化迭代工作負載。Spark 是在 Scala 語言中實現(xiàn)的，它將 Scala 用作其應(yīng)用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對象一樣輕松地操作分布式數(shù)據(jù)集。盡管創(chuàng)建 Spark 是為了支持分布式數(shù)據(jù)集上的迭代作業(yè)，

34、但是實際上它是對 Hadoop 的補充，可以在 Hadoop 文件系統(tǒng)中并行運行。通過名為Mesos的第三方集群框架可以支持此行為。Spark 由加州大學(xué)伯克利分校 AMP 實驗室 (Algorithms, Machines, and People Lab) 開發(fā)，可用來構(gòu)建大型的、低延遲的數(shù)據(jù)分析應(yīng)用程序。Spark 集群計算架構(gòu)：雖然 Spark 與 Hadoop 有相似之處，但它提供了具有有用差異的一個新的集群計算框架。首先，Spark 是為集群計算中的特定類型的工作負載而設(shè)計，即那些在并行操作之間重用工作數(shù)據(jù)集（比如機器學(xué)習(xí)算法）的工作負載。為了優(yōu)化這些類型的工作負載，Spark 引進

35、了存集群計算的概念，可在存集群計算中將數(shù)據(jù)集緩存在存中，以縮短訪問延遲。Spark 還引進了名為彈性分布式數(shù)據(jù)集(RDD) 的抽象。RDD 是分布在一組節(jié)點中的只讀對象集合。這些集合是彈性的，如果數(shù)據(jù)集一部分丟失，則可以對它們進行重建。重建部分數(shù)據(jù)集的過程依賴于容錯機制，該機制可以維護 血統(tǒng)（即允許基于數(shù)據(jù)衍生過程重建部分數(shù)據(jù)集的信息）。RDD 被表示為一個 Scala 對象，并且可以從文件中創(chuàng)建它；一個并行化的切片（遍布于節(jié)點之間）；另一個 RDD 的轉(zhuǎn)換形式；并且最終會徹底改變現(xiàn)有 RDD 的持久性，比如請求緩存在存中。Spark 中的應(yīng)用程序稱為驅(qū)動程序，這些驅(qū)動程序可實現(xiàn)在單一節(jié)點上執(zhí)

36、行的操作或在一組節(jié)點上并行執(zhí)行的操作。與 Hadoop 類似，Spark 支持單節(jié)點集群或多節(jié)點集群。對于多節(jié)點操作，Spark 依賴于 Mesos 集群管理器。Mesos 為分布式應(yīng)用程序的資源共享和隔離提供了一個有效平臺。該設(shè)置充許 Spark 與 Hadoop 共存于節(jié)點的一個共享池中。3.5.3 車輛特征二次識別技術(shù)運用車輛特征識別技術(shù)對公路電子監(jiān)控（卡口）和電子警察圖片進行二次識別，采集車輛號牌、品牌型號、車身顏色、車輛型號等信息，通過后臺實時比對，準確發(fā)現(xiàn)假牌、套牌等嫌疑車輛，通過提取車輛特征信息準確定位唯一車輛。4 功能設(shè)計4.1 功能結(jié)構(gòu)圖4.2 功能模塊4.2.1首頁4.2.

37、1.1 過車總量（1）功能描述在首頁顯示當(dāng)日過車和最近7天過車總量并在地圖標注卡口點位。（2）功能界面（3）程序邏輯餅圖：展示當(dāng)天卡口過車總數(shù)，并按照車輛類型分類進行統(tǒng)計。曲線圖：顯示全市卡口最近7天/30天的過車總量過車曲線圖。地圖：與餅圖聯(lián)動，點擊餅圖區(qū)域，地圖高亮標示，所有涉與的卡點。更多：點擊進入車輛查詢界面。4.2.1.2車型車系（1）功能描述用圖表顯示當(dāng)日所有監(jiān)測點的車型、車系分類。按照總量倒序排列。（2）功能界面（3）程序邏輯車輛類型維護：在系統(tǒng)維護模塊，可以對六合一的車輛類型進行合并，多個六合一車輛類型，對一種本系統(tǒng)的車輛類型。車系維護：在系統(tǒng)維護模塊，可以對人工采集的車輛品牌

38、，車輛型號，通用名稱，進行維護。車輛類型更多：點擊進入車型統(tǒng)計界面。車系類別更多：點擊進入車系統(tǒng)計界面。4.2.1.3過車流量（1）功能描述顯示全市7天過車和當(dāng)日各點位過車記錄。 （2）功能界面（3）程序邏輯過車量曲線圖-更多：點擊進入全市流量統(tǒng)計界面。過車地點曲線圖-更多：點擊進入卡點流量統(tǒng)計界面。4.2.1.4套牌預(yù)警（1）功能描述實時顯示當(dāng)日車牌識別的報警信息，用表格顯示。按時間倒序排列。（2）功能界面（3）程序邏輯只顯示異常過車，正常過車不顯示，顯示最新的20條，實時刷新。語音報警：喇叭圖標控制是否語音報警。當(dāng)前播報的條目行黃色標注。更多：到假/套牌過車統(tǒng)計。4.2.1.5布控報警（1

39、）功能描述顯示當(dāng)日已經(jīng)布控的車輛，經(jīng)過卡口時的記錄信息。（2）功能界面（3）程序邏輯布控車輛經(jīng)過是，顯示報警信息，顯示最新的20條，實時刷新。包含2類數(shù)據(jù)：外界導(dǎo)入系統(tǒng)的數(shù)據(jù)（黑，盜搶車輛庫，在逃人員庫）和系統(tǒng)部布控的數(shù)據(jù)，需要審核過的才能報警，也可以布控時候勾選免審核選項。語音報警：喇叭圖標控制是否語音報警。當(dāng)前播報的條目行黃色標注。4.2.1.5布控統(tǒng)計（1）功能描述顯示截止當(dāng)前有效的，正在布控的類別和布控的條數(shù)。（2）功能界面（3）程序邏輯布控數(shù)量更多：到布控數(shù)量統(tǒng)計布控類型更多：到布控類型統(tǒng)計4.2.2 實時預(yù)警4.2.2.1 套牌、布控報警（1）功能描述實時預(yù)警主要是用于監(jiān)控套牌車輛

40、信息，布控車輛信息并提供報警功能。（2）功能界面（3）程序邏輯側(cè)邊欄：顯示套牌預(yù)警布控報警。假/套牌預(yù)警更多：到假/套牌過車統(tǒng)計界面。布控報警更多：到報警查詢界面。語音報警：喇叭圖標控制是否語音報警。當(dāng)前播報的條目行黃色標注。走馬燈:在任務(wù)欄走馬燈顯示最新條目，雙擊播報并地圖居中定位過車卡口。對于盜搶和在逃等車輛經(jīng)過時，該記錄以紅色背景顯示顯示并自動語音播報。詳細信息：可到機動車信息查詢、機動車查詢、駕駛?cè)诵畔⒉樵?、駕駛員關(guān)聯(lián)信息查詢、當(dāng)日軌跡。刪除按鈕：從界面移除誤報或不需要報的車輛。4.2.3 信息查詢4.2.3.1 機動車公告信息查詢（1）功能描述搜索不同品牌不同車系的車輛公告信息，包括

41、圖片和文字信息（2）功能界面（3）程序邏輯可根據(jù)給定的查詢條件查詢車輛信息。更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.3.2 機動車基本信息查詢（1）功能描述查詢機動車基本信息，包括圖片和文字信息。（2）功能界面（3）程序邏輯車輛登記圖片：需調(diào)用車輛登記圖片查詢接口是否關(guān)聯(lián)事故 是否關(guān)聯(lián)：到事故查詢和查詢界面。更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.3.3 駕駛?cè)嘶拘畔⒉樵儯?）功能描述查詢駕駛?cè)嘶拘畔ⅲ▓D片和文字信息。（2）功能界面（3）程序邏輯駕駛?cè)藞D片：需調(diào)用公安人員查詢接口。是否關(guān)聯(lián)事故 是否關(guān)聯(lián)：到事故查詢和查詢界面。更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面

42、。4.2.3.4 駕駛員關(guān)聯(lián)信息查詢（1）功能描述根據(jù)編號查詢公安接口，查詢是否在逃人員，是否前科人員，是否重點人員，并顯示詳細信息。（2）功能界面（3）程序邏輯更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。問題人員對其擁有的車輛，可以加入黑布控。4.2.3.5 機動車信息查詢（1）功能描述查詢機動車信息，包括圖片和文字信息。（2）功能界面（3）程序邏輯有行為的車輛，可根據(jù)其類型加入黑布控。更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.3.6 駕駛?cè)诵畔⒉樵儯?）功能描述查詢駕駛?cè)诵畔?，包括圖片和文字信息。（2）功能界面（3）程序邏輯更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.3.7 機

43、動車軌跡查詢（1）功能描述在地圖上標注車輛出行經(jīng)過卡口的時間、地點等信息。（2）功能界面（3）程序邏輯多軌跡：可多次查詢軌跡信息，在地圖疊加顯示。布控：對于問題車輛可以直接布控4.2.3.8 車系搜車（1）功能描述根據(jù)（車型、車系、顏色、年款）等特征信息，對全市圍的卡口查詢過車信息和圖片信息。（2）功能界面（3）程序邏輯布控：對于問題車輛可以直接布控。軌跡： 機動車軌跡查詢界面。4.2.3.9 以圖搜車（1）功能描述根據(jù)過車圖片，對全市圍的卡口查詢過車信息。（2）功能界面（3）程序邏輯圖片：可通過上傳方式或者通過系統(tǒng)其他頁面跳轉(zhuǎn)方式提交。布控：對于問題車輛可以直接布控。軌跡： 機動車軌跡查詢界

44、面。4.2.3.10 交通事故信息查詢（1）功能描述查詢車輛、人員是否涉與事故，以與具體的事故信息。（2）功能界面（3）程序邏輯查詢條件：事故信息主表、事故信息人員表。更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.3.11 被盜搶車輛信息查詢（1）功能描述根據(jù)號牌、號牌種類、發(fā)動機號、車架號查詢車輛盜搶信息。（2）功能界面（3）程序邏輯更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.3.12 機動車保險記錄查詢（1）功能描述根據(jù)號牌、號牌種類、發(fā)動機號、車架號查詢車輛保險信息（2）功能界面（3）程序邏輯更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.3.13 重點/在逃人員查詢（1）功

45、能描述根據(jù)號查詢是否在逃人員、重點人員信息。（2）功能界面（3）程序邏輯接口：調(diào)用公安查詢接口。更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.3.14 危險品車輛查詢（1）功能描述用于查詢車輛是否危險品運輸車輛，并顯示相關(guān)信息（2）功能界面（3）程序邏輯更多：可跳轉(zhuǎn)到人員車輛信息等相關(guān)查詢界面。4.2.4 統(tǒng)計分析4.2.4.1 過車總量統(tǒng)計（1）功能描述統(tǒng)計轄區(qū)圍過車數(shù)量，用表格/折線圖/柱狀圖顯示。（2）功能界面（3）程序邏輯統(tǒng)計粒度：天。結(jié)果：包括同比，環(huán)比和占百分比。4.2.4.2 過車車型統(tǒng)計（1）功能描述統(tǒng)計轄區(qū)圍過車車型分類數(shù)量，用表格/折線圖/柱狀圖顯示。（2）功能界面（3

46、）程序邏輯統(tǒng)計粒度：天。結(jié)果：包括同比，環(huán)比和占百分比。4.2.4.3 過車車系統(tǒng)計（1）功能描述統(tǒng)計轄區(qū)圍過車車系分類數(shù)量，用表格/折線圖/柱狀圖顯示。（2）功能界面（3）程序邏輯統(tǒng)計粒度：天。結(jié)果：包括同比，環(huán)比和占百分比。4.2.4.4 轄區(qū)流量統(tǒng)計（1）功能描述統(tǒng)計轄區(qū)圍時間段過車流量數(shù)量，用表格/折線圖/柱狀圖顯示。（2）功能界面（3）程序邏輯統(tǒng)計粒度：天。結(jié)果：包括同比，環(huán)比和占百分比。統(tǒng)計條件包括：早高峰（開始時間，結(jié)束時間）晚高峰（開始時間，結(jié)束時間）。4.2.4.5 卡點流量統(tǒng)計（1）功能描述統(tǒng)計選定時間段過車流量，用表格/折線圖/柱狀圖顯示。（2）功能界面（3）程序邏輯統(tǒng)計

47、粒度：天。結(jié)果：包括同比，環(huán)比和占百分比。統(tǒng)計條件包括：早高峰（開始時間，結(jié)束時間）晚高峰（開始時間，結(jié)束時間）。4.2.4.6 布控數(shù)量統(tǒng)計（1）功能描述統(tǒng)計轄區(qū)圍指定時間段布控數(shù)量合計。（2）功能界面（3）程序邏輯統(tǒng)計粒度：天。結(jié)果：包括同比，環(huán)比和占百分比。4.2.4.7 布控類型統(tǒng)計（1）功能描述統(tǒng)計轄區(qū)圍指定時間段布控類型的數(shù)量。（2）功能界面（3）程序邏輯統(tǒng)計粒度：天。布控類型：黑布控和系統(tǒng)自定義布控的數(shù)量。4.2.4.8 假/套牌過車統(tǒng)計（1）功能描述統(tǒng)計轄區(qū)圍給定時間段的過車中假/套牌車的數(shù)量。（2）功能界面（3）程序邏輯統(tǒng)計粒度：天。結(jié)果：包括同比，環(huán)比和占百分比。布控：結(jié)果

48、可批量加入布控模塊，但須人工審核。4.2.4.9 年檢逾期統(tǒng)計（1）功能描述統(tǒng)計轄區(qū)圍給定時間段的過車中年檢逾期的數(shù)量。（2）功能界面（3）程序邏輯時段：條件中逾期天數(shù)可按日進行設(shè)置。統(tǒng)計粒度：天。結(jié)果：包括同比，環(huán)比和占百分比。地圖顯示數(shù)量最多的過車卡口。布控：結(jié)果可批量加入布控模塊?？擅鈱徍瞬伎亍?.2.4.10 未處理統(tǒng)計（1）功能描述統(tǒng)計轄區(qū)圍給定時間段的過車中未處理車的數(shù)量。（2）功能界面（3）程序邏輯時段：分值可進行設(shè)置。統(tǒng)計粒度：天。結(jié)果：包括同比，環(huán)比和占百分比。地圖顯示數(shù)量最多的過車卡口。布控：結(jié)果可批量加入布控模塊?？擅鈱徍瞬伎亍?.2.5 技戰(zhàn)法4.2.5.1 套牌時空分析（1）功能描述分析車輛最近的兩條過車記錄以與卡口間的距離分析是否套牌。（2）功能界面（3）程序邏輯4.2.5.2 隱蔽車輛分析