南京市公安局-智慧運(yùn)維大數(shù)據(jù)平臺(tái)

[鍵入文字][鍵入文字][鍵入文字]南京市公安局智慧運(yùn)維大數(shù)據(jù)平臺(tái)2017年3月目錄1 項(xiàng)目背景 22 智慧運(yùn)維大數(shù)據(jù)平臺(tái)設(shè)計(jì) 32.1 平臺(tái)架構(gòu) 32.2 云平臺(tái)設(shè)計(jì) 42.3 大數(shù)據(jù)平臺(tái)設(shè)計(jì) 62.4 多媒體展現(xiàn)平臺(tái)設(shè)計(jì) 73 平臺(tái)部署環(huán)境設(shè)計(jì) 8

項(xiàng)目概述1）項(xiàng)目背景隨著公安信息化建設(shè)的深入推進(jìn)，如何高效完成傳統(tǒng)警務(wù)向現(xiàn)代警務(wù)的轉(zhuǎn)變，深入推進(jìn)立體化社會(huì)治安防控體系建設(shè)，全面提升公安機(jī)關(guān)維護(hù)社會(huì)和諧穩(wěn)定的能力和水平，對(duì)上述需要進(jìn)行IT支撐逐漸成為公安信息化建設(shè)的核心任務(wù)。云計(jì)算、大數(shù)據(jù)技術(shù)的出現(xiàn)，為傳統(tǒng)公安信息化的建設(shè)模式、方法、技術(shù)等方面帶來(lái)了變革。公安系統(tǒng)通過(guò)云計(jì)算技術(shù)、大數(shù)據(jù)技術(shù)的應(yīng)用和推廣使用，使各級(jí)公安機(jī)關(guān)能夠真正實(shí)現(xiàn)以業(yè)務(wù)驅(qū)動(dòng)為最終導(dǎo)向，以基礎(chǔ)設(shè)施建設(shè)為關(guān)鍵支撐，以大數(shù)據(jù)應(yīng)用為發(fā)展抓手，以自主創(chuàng)新為重要途徑，以信息安全為必要保障，穩(wěn)步、深入、切實(shí)的開(kāi)展現(xiàn)代公安信息化平臺(tái)的建設(shè)工作。為保證平臺(tái)整體建設(shè)的業(yè)務(wù)可行性、可用性、安全性，我中心以成熟先行、急用先行作為建設(shè)的基本原則，“智慧運(yùn)維大數(shù)據(jù)平臺(tái)”基于云計(jì)算架構(gòu)、大數(shù)據(jù)架構(gòu)先行接入“IT監(jiān)控系統(tǒng)”的數(shù)據(jù)，進(jìn)行智能的、關(guān)聯(lián)性的分析及展現(xiàn)，提高運(yùn)維工作效率及能力，并為進(jìn)一步進(jìn)行公安信息系統(tǒng)全業(yè)務(wù)接入、分析、展現(xiàn)奠定基礎(chǔ)。2）項(xiàng)目目標(biāo)（1）實(shí)現(xiàn)云計(jì)算技術(shù)對(duì)智慧運(yùn)維的支撐，快速開(kāi)通、調(diào)整、回收資源，滿(mǎn)足重點(diǎn)保障及應(yīng)急處理時(shí)海量運(yùn)維數(shù)據(jù)分析所需的突發(fā)性資源需求，并能實(shí)現(xiàn)突發(fā)需求之后的資源回收，回收到資源池的資源可用于其他運(yùn)維數(shù)據(jù)分析的需要。2）實(shí)現(xiàn)大數(shù)據(jù)技術(shù)對(duì)運(yùn)維數(shù)據(jù)分析的智能化。傳統(tǒng)的分析方法主要是基于正則匹配特征庫(kù)；大數(shù)據(jù)分析方法則最大可能收集和關(guān)聯(lián)各種來(lái)源的數(shù)據(jù)，采用樸素貝葉斯算法、設(shè)備畫(huà)像法，基于設(shè)備運(yùn)行行為進(jìn)行分析，同時(shí)配合傳統(tǒng)檢測(cè)方式，優(yōu)點(diǎn)是：（1）可以發(fā)現(xiàn)傳統(tǒng)方式下設(shè)備的已故障、性能瓶頸，還可以檢測(cè)出未知故障，并定位故障根源；（2）基于設(shè)備運(yùn)行進(jìn)行行為分析，故障檢測(cè)結(jié)果更加精確、全面。智慧運(yùn)維大數(shù)據(jù)平臺(tái)設(shè)計(jì)平臺(tái)架構(gòu)本項(xiàng)目建設(shè)的智慧運(yùn)維大數(shù)據(jù)平臺(tái)是一個(gè)具有企業(yè)級(jí)統(tǒng)一數(shù)據(jù)處理的信息化平臺(tái)，將全面采集、處理、展現(xiàn)南京市公安局IT運(yùn)維管理系統(tǒng)的源數(shù)據(jù)，并按照統(tǒng)一完整的數(shù)據(jù)模型進(jìn)行數(shù)據(jù)的集中加工和存儲(chǔ)（包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)交換、統(tǒng)一數(shù)據(jù)模型和數(shù)據(jù)處理邏輯等），以支持南京公安IT運(yùn)維工作的各類(lèi)日常事務(wù)型、重點(diǎn)保障型、應(yīng)急指揮型、測(cè)試或演習(xí)型等應(yīng)用專(zhuān)題。為了實(shí)現(xiàn)邏輯架構(gòu)中各項(xiàng)數(shù)據(jù)區(qū)的應(yīng)用功能，大數(shù)據(jù)平臺(tái)建設(shè)必要的數(shù)據(jù)治理平臺(tái)和調(diào)度平臺(tái)，數(shù)據(jù)治理平臺(tái)包括元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)等建設(shè)，調(diào)度平臺(tái)統(tǒng)一調(diào)度監(jiān)控整個(gè)基礎(chǔ)數(shù)據(jù)平臺(tái)所有數(shù)據(jù)加工、傳輸任務(wù)的統(tǒng)一調(diào)度和監(jiān)控，包括統(tǒng)一數(shù)據(jù)交換的作業(yè)、數(shù)據(jù)集市的作業(yè)等，均由統(tǒng)一調(diào)度監(jiān)控進(jìn)行統(tǒng)一管理。該邏輯架構(gòu)在功能上把數(shù)據(jù)集市作為結(jié)構(gòu)化數(shù)據(jù)的整合數(shù)據(jù)分析平臺(tái)，以PivotalHD、HAWQ、GreenplumDB為代表的大數(shù)據(jù)存儲(chǔ)和分析作為包含結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)和分析應(yīng)用的基礎(chǔ)平臺(tái)，并以這兩個(gè)平臺(tái)作為大數(shù)據(jù)平臺(tái)各類(lèi)數(shù)據(jù)分析應(yīng)用的基礎(chǔ)平臺(tái)，支撐未來(lái)新華保險(xiǎn)的數(shù)據(jù)分析和應(yīng)用。其中在PivotalHD上安裝使用Hbase\Hive\ZooKeeper\Solar\Searc\Sqoop\Mahout\Flume\Spark\Oozie\Nutch\Kafka\Storm\Spark\Storm\PIG等Hadoop生態(tài)圈組件，HAWQ實(shí)現(xiàn)SQLonHadoop功能，配置GreenplumDB實(shí)現(xiàn)數(shù)據(jù)集市功能。在基礎(chǔ)架構(gòu)上采用基于Openstack的云計(jì)算平臺(tái)，可根據(jù)業(yè)務(wù)數(shù)據(jù)的需要，靈活配置或回收數(shù)據(jù)采集、處理、存儲(chǔ)、展現(xiàn)資源，既保證業(yè)務(wù)數(shù)據(jù)處理的及時(shí)性，又做到資源的有效利用，做到資源使用的綠色環(huán)保。云平臺(tái)設(shè)計(jì)云智慧運(yùn)維大數(shù)據(jù)平臺(tái)云平臺(tái)是基于主流的云計(jì)算開(kāi)放平臺(tái)Openstack進(jìn)行開(kāi)發(fā)優(yōu)化的企業(yè)級(jí)云計(jì)算資源池管理系統(tǒng)，整合了東華軟件多年在市場(chǎng)上積累的云計(jì)算技術(shù)方案和IT運(yùn)維經(jīng)驗(yàn)，目標(biāo)是提供給企業(yè)級(jí)客戶(hù)一個(gè)穩(wěn)定，安全，高效，靈活，可靠及開(kāi)放的云解決方案。虛擬化層云平臺(tái)可以納管主流的云主機(jī)管理技術(shù)(Hypervisor)KVM。網(wǎng)絡(luò)虛擬化采用SDN/NFV等軟件定義網(wǎng)絡(luò)技術(shù)，存儲(chǔ)虛擬化使用云平臺(tái)分布式存儲(chǔ)系統(tǒng)作為智能存儲(chǔ)引擎。云引擎（IaaS層）云平臺(tái)基于OpenStack架構(gòu)，并采用Nova、Cinder、Swift、Neutron、Glance、Ironic、Keystone、Heat、Celiometer、Saltstack等核心組件組成IaaS的架構(gòu)。云引擎（PaaS層）PaaS層作用于IaaS之上，可以提供多種服務(wù)，如操作系統(tǒng)即服務(wù)、大數(shù)據(jù)即服務(wù)、中間件即服務(wù)、數(shù)據(jù)庫(kù)即服務(wù)，滿(mǎn)足不同場(chǎng)景下市局業(yè)務(wù)對(duì)云平臺(tái)的使用需求云安全云平臺(tái)支持各個(gè)系統(tǒng)級(jí)別的安全設(shè)置，保障用戶(hù)使用安全和數(shù)據(jù)安全、從物理層面到訪(fǎng)問(wèn)安全層面，為用戶(hù)提供多重云安全機(jī)制。云管理在使用云平臺(tái)對(duì)IT資源進(jìn)行管理時(shí)，管理人員可以根據(jù)不同的用戶(hù)角色分配資源使用權(quán)限，生成資源使用報(bào)表，并對(duì)云平臺(tái)上的物理及虛擬資源進(jìn)行全局監(jiān)控和管理。大數(shù)據(jù)平臺(tái)設(shè)計(jì)1）運(yùn)維數(shù)據(jù)采集數(shù)據(jù)采集就是從數(shù)據(jù)源（東華IT運(yùn)維管理系統(tǒng)）采集出所需的數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)清洗、轉(zhuǎn)換，最終按照預(yù)先定義好的數(shù)據(jù)模型，將數(shù)據(jù)加載到數(shù)據(jù)存儲(chǔ)中去。（1）數(shù)據(jù)采集必須能夠滿(mǎn)足數(shù)據(jù)平臺(tái)的需要，又能保證不影響業(yè)務(wù)系統(tǒng)的性能，所以進(jìn)行數(shù)據(jù)采集時(shí)需要制定相應(yīng)的策略，包括采集方式、采集時(shí)機(jī)、采集周期等內(nèi)容。（2）數(shù)據(jù)采集方式包括增量采集、完全采集等。（3）數(shù)據(jù)采集接口包括數(shù)據(jù)庫(kù)接口和文件接口等形式，對(duì)于不同數(shù)據(jù)平臺(tái)、不同源數(shù)據(jù)形式、不同性能要求和業(yè)務(wù)量的業(yè)務(wù)系統(tǒng)以及不同數(shù)據(jù)量的源數(shù)據(jù)，采取不同的數(shù)據(jù)采集接口。在數(shù)據(jù)采集時(shí)需要重點(diǎn)考慮數(shù)據(jù)采集的效率，以及對(duì)現(xiàn)有業(yè)務(wù)系統(tǒng)性能及安全的影響。（4）為保證運(yùn)維工作中故障處理的及時(shí)性，數(shù)據(jù)采集的時(shí)機(jī)應(yīng)采取實(shí)時(shí)采集。（5）采集頻率不高于IT運(yùn)維管理系統(tǒng)的性能數(shù)據(jù)采集頻率，但也不建議過(guò)低，采集頻率相同為宜。2）建立模型數(shù)據(jù)模型是抽象描述被管理IT對(duì)象的一種工具和方法，是通過(guò)抽象的實(shí)體及實(shí)體之間聯(lián)系的形式，來(lái)表示現(xiàn)實(shí)中事務(wù)的相互關(guān)系的一種映射。在這里，數(shù)據(jù)模型表現(xiàn)的抽象的是設(shè)備和設(shè)備之間的關(guān)系、設(shè)備與應(yīng)用之間的關(guān)系、應(yīng)用于業(yè)務(wù)之間的關(guān)系，通過(guò)對(duì)相應(yīng)關(guān)系的定義和描述，來(lái)表達(dá)各業(yè)務(wù)系統(tǒng)實(shí)際運(yùn)行過(guò)程中具體的業(yè)務(wù)影響。（1）應(yīng)用樸素貝葉斯法進(jìn)行故障及性能影響分析貝葉斯定理：已知某條件概率，如何得到兩個(gè)事件交換后的概率，也就是在已知P(A|B)的情況下如何求得P(B|A)。P條件概率：

表示事件B已經(jīng)發(fā)生的前提下，事件A發(fā)生的概率，叫做事件B發(fā)生下事件A的條件概率?；厩蠼夤綖椋篜計(jì)算各個(gè)劃分的條件概率P(A|Y)是樸素貝葉斯分類(lèi)的關(guān)鍵性步驟，當(dāng)特征屬性為連續(xù)值時(shí)，通常假定其值服從高斯分布（也稱(chēng)正態(tài)分布）。g(x,η,σ則各個(gè)劃分的條件概率為：P(（2）應(yīng)用設(shè)備畫(huà)像法發(fā)現(xiàn)傳統(tǒng)方法遺漏的故障基于設(shè)備畫(huà)像可以按需衍生出多種故障分析用途，如異常分析、故障回溯等。分析設(shè)備的特征，以過(guò)去6個(gè)月甚至更長(zhǎng)的數(shù)據(jù)進(jìn)行分析，每天運(yùn)行狀態(tài)（如流量趨勢(shì)圖、CPU趨勢(shì)圖等），形成正常的設(shè)備運(yùn)行基準(zhǔn)，通過(guò)此類(lèi)標(biāo)準(zhǔn)核準(zhǔn)同類(lèi)設(shè)備的狀態(tài)?；谠O(shè)備畫(huà)像和當(dāng)前活動(dòng)情況，進(jìn)行異常數(shù)據(jù)（性能、流量、狀態(tài)）的判斷和分析，可以發(fā)現(xiàn)與歷史規(guī)律的差異，及時(shí)發(fā)現(xiàn)隱藏的風(fēng)險(xiǎn)?；诋?huà)像的設(shè)備運(yùn)行態(tài)勢(shì)分析的方法主要是建模對(duì)比的過(guò)程，選擇合適的分布對(duì)歷史記錄進(jìn)行參數(shù)擬合，確定分布參數(shù)后，根據(jù)具體分布檢驗(yàn)當(dāng)前記錄，顯著偏離分布的記錄即發(fā)生異常的記錄。3）預(yù)測(cè)潛在風(fēng)險(xiǎn)和自動(dòng)化處理利用海量運(yùn)維信息數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，從業(yè)務(wù)用戶(hù)的角度、業(yè)務(wù)應(yīng)用的角度、系統(tǒng)設(shè)備的角度分別感知故障、分析性能瓶頸，為運(yùn)維人員提供及時(shí)的分析數(shù)據(jù)，預(yù)警潛在風(fēng)險(xiǎn)，保障基礎(chǔ)設(shè)施、業(yè)務(wù)應(yīng)用運(yùn)行的健康與質(zhì)量。與配置管理數(shù)據(jù)協(xié)同，借助數(shù)據(jù)分析引擎建立故障智能預(yù)測(cè)模型，通過(guò)大數(shù)據(jù)技術(shù)從歷史數(shù)據(jù)中樹(shù)立挖掘具有規(guī)律性的事件模型，客觀準(zhǔn)確地捕獲故障征兆，進(jìn)而預(yù)測(cè)未來(lái)潛在故障。多媒體展現(xiàn)平臺(tái)設(shè)計(jì)1）展現(xiàn)平臺(tái)的主要作用（1）實(shí)現(xiàn)統(tǒng)一入口、頁(yè)面/數(shù)據(jù)集成（2）儀表板儀表板通過(guò)靈活的布局管理，豐富的內(nèi)置組件，可以實(shí)現(xiàn)頁(yè)面級(jí)、代碼級(jí)、數(shù)據(jù)級(jí)的集成。（3）提供豐富的內(nèi)置數(shù)據(jù)表現(xiàn)力這主要體現(xiàn)在內(nèi)置的標(biāo)準(zhǔn)組件上。系統(tǒng)默認(rèn)提供常見(jiàn)的數(shù)據(jù)可視化組件，包括：百分比、里程計(jì)、狀態(tài)燈、餅線(xiàn)柱等統(tǒng)計(jì)圖形，用于構(gòu)建豐富、美觀的數(shù)據(jù)呈現(xiàn)界面。（4）可作為二次開(kāi)發(fā)平臺(tái)這里主要表現(xiàn)為，項(xiàng)目中可以使用門(mén)戶(hù)提供的實(shí)時(shí)通信能力、布局規(guī)劃能力，數(shù)據(jù)源管理等能力，進(jìn)行特定業(yè)務(wù)功能的開(kāi)發(fā)。（5）提供用戶(hù)、角色、權(quán)限、系統(tǒng)參數(shù)、配色等方面的管理功能。2）展現(xiàn)專(zhuān)題例舉（1）日常運(yùn)維按工作崗位組織數(shù)據(jù)，對(duì)該崗位用戶(hù)關(guān)心的指標(biāo)進(jìn)行集中展現(xiàn)。(2)重點(diǎn)保障在有重要活動(dòng)或重要任務(wù)時(shí)，對(duì)相關(guān)的業(yè)務(wù)、系統(tǒng)、設(shè)備進(jìn)行重點(diǎn)關(guān)注。（3）應(yīng)急處理應(yīng)對(duì)系統(tǒng)故障，對(duì)該系統(tǒng)相關(guān)的業(yè)務(wù)、應(yīng)用、設(shè)備進(jìn)行統(tǒng)一的分析、診斷。平臺(tái)部署環(huán)境設(shè)計(jì)1）精簡(jiǎn)配置：智慧運(yùn)維大數(shù)據(jù)平臺(tái)部署環(huán)境總計(jì)4臺(tái)X86物理服務(wù)器，采用千兆網(wǎng)絡(luò)交換機(jī)2臺(tái)。4臺(tái)X86服務(wù)器節(jié)點(diǎn)分為兩大部分，控制節(jié)點(diǎn)1臺(tái)，（計(jì)算+網(wǎng)絡(luò)+存儲(chǔ)）節(jié)點(diǎn)3臺(tái)。2）標(biāo)準(zhǔn)配置：智慧運(yùn)維大數(shù)據(jù)平臺(tái)部署環(huán)境總計(jì)10臺(tái)X86物理服務(wù)器，采用萬(wàn)兆網(wǎng)絡(luò)交換機(jī)2臺(tái)。10臺(tái)X86服務(wù)器節(jié)點(diǎn)分為三大部分，控制節(jié)點(diǎn)3臺(tái)，（計(jì)算+網(wǎng)絡(luò)）節(jié)點(diǎn)4臺(tái)，存儲(chǔ)節(jié)點(diǎn)3臺(tái)。3）共劃分5個(gè)主