城市大腦：新型智慧城市運(yùn)營(yíng)指揮中心建設(shè)方案

圖X中應(yīng)用支撐層的內(nèi)容。3、城市信息服務(wù)門戶將城市針對(duì)企業(yè)和居民的服務(wù)進(jìn)行匯聚，以WEB門戶、移動(dòng)APP、政務(wù)大廳、熱線服務(wù)、自助終端方式對(duì)外提供。4、城市運(yùn)營(yíng)管理門戶一般以大屏展現(xiàn)和終端展現(xiàn)方式提供給城市管理者，來監(jiān)視城市運(yùn)營(yíng)狀況，支持靜態(tài)挖掘分析和動(dòng)態(tài)運(yùn)行監(jiān)視。建設(shè)內(nèi)容建設(shè)大數(shù)據(jù)交換平臺(tái)、大數(shù)據(jù)挖掘分析平臺(tái)、中間件能力平臺(tái)、城市信息服務(wù)門戶、城市運(yùn)營(yíng)管理門戶。1、大數(shù)據(jù)交換平臺(tái)（1）數(shù)據(jù)共享交換平臺(tái)對(duì)于視頻類數(shù)據(jù)和非視頻類數(shù)據(jù)，共享交換平臺(tái)的處理方式有所差異。對(duì)于非視頻類的數(shù)據(jù)共享交換平臺(tái)包括中心服務(wù)器系統(tǒng)和前置機(jī)系統(tǒng)。對(duì)于視頻的共享和交換有視頻共享交換平臺(tái)提供。1）前置機(jī)前置機(jī)是部署在各委辦局?jǐn)?shù)據(jù)庫(kù)側(cè)，用于連接各委辦局?jǐn)?shù)據(jù)庫(kù)。前置系統(tǒng)主要負(fù)責(zé)數(shù)據(jù)的采集、清洗、轉(zhuǎn)換、裝載、規(guī)則管理和傳輸?shù)裙δ?，它決定了整個(gè)系統(tǒng)的數(shù)據(jù)質(zhì)量?jī)?yōu)劣和價(jià)值大小。圖X2前置機(jī)的組成——前置交換模塊由交換前置服務(wù)器、交換信息庫(kù)和交換適配器等組成。前置交換模塊與應(yīng)用單位業(yè)務(wù)應(yīng)用系統(tǒng)之間隔離，保證應(yīng)用單位業(yè)務(wù)信息庫(kù)和業(yè)務(wù)應(yīng)用系統(tǒng)的獨(dú)立性。交換信息庫(kù)是為實(shí)現(xiàn)信息交換而建立的中間存儲(chǔ)信息庫(kù)，交換信息庫(kù)中包括提供和接收的交換信息。交換服務(wù)：支持多個(gè)交換服務(wù)并發(fā)運(yùn)行，通過提供圖形化的交換服務(wù)配置工具，進(jìn)行配置、測(cè)試、部署交換服務(wù)，提供遠(yuǎn)程部署功能。前置交換系統(tǒng)是交換域的邊界，實(shí)現(xiàn)交換域與應(yīng)用單位業(yè)務(wù)系統(tǒng)的隔離。前置交換環(huán)境由傳輸適配器、管理監(jiān)控接口、安全加密模塊等部分組成，是交換服務(wù)的運(yùn)行容器。安全加密服務(wù)提供基本的數(shù)據(jù)加密功能，保證信息傳輸過程中的安全。交換前置環(huán)境提供管理監(jiān)控接口，交換管理監(jiān)控系統(tǒng)通過管理監(jiān)控接口對(duì)交換前置環(huán)境進(jìn)行監(jiān)控。前置交換功能包含：支持交換信息庫(kù)與交換傳輸系統(tǒng)間的雙向信息交換。交換傳輸系統(tǒng)能夠從交換信息庫(kù)中提取數(shù)據(jù)交給交換傳輸系統(tǒng)傳遞，也能夠從交換傳輸系統(tǒng)中獲取數(shù)據(jù)存儲(chǔ)到交換信息庫(kù)；支持各種主流操作系統(tǒng)；支持國(guó)內(nèi)外主流數(shù)據(jù)庫(kù)；采用傳輸適配器接入到交換傳輸系統(tǒng)；傳輸適配器應(yīng)支持HTTP和HTTPS信息傳送協(xié)議；采用適配器訪問交換信息庫(kù)，實(shí)現(xiàn)對(duì)交換信息庫(kù)中數(shù)據(jù)的獲取與存儲(chǔ)；提供圖形化的交換服務(wù)配置工具，配置、測(cè)試、部署交換服務(wù)，應(yīng)提供遠(yuǎn)程部署功能；支持多個(gè)交換服務(wù)并發(fā)運(yùn)行；提供管理與監(jiān)控接口，支持遠(yuǎn)程管理與監(jiān)控的功能?！粨Q橋接模塊應(yīng)用單位業(yè)務(wù)信息庫(kù)與前置交換信息庫(kù)之間的信息交換接口，以實(shí)現(xiàn)兩個(gè)信息庫(kù)之間的實(shí)時(shí)同步。該模塊牽涉業(yè)務(wù)系統(tǒng)，需要原業(yè)務(wù)系統(tǒng)開發(fā)商配合提供交換系統(tǒng)所需要通用格式數(shù)據(jù)，供交換系統(tǒng)處理。橋接服務(wù)：是利用橋接服務(wù)配置工具，組裝適配器組件，以完成一個(gè)應(yīng)用單位數(shù)據(jù)采集并存儲(chǔ)至交換共享庫(kù)的服務(wù)程序。提供增量數(shù)據(jù)自動(dòng)識(shí)別的功能。在不修改業(yè)務(wù)信息庫(kù)結(jié)構(gòu)的情況下，系統(tǒng)應(yīng)能夠自動(dòng)識(shí)別出需要交換的信息，包括新增、被修改或被刪除的信息。橋接系統(tǒng)由橋接服務(wù)運(yùn)行環(huán)境、橋接配置工具、橋接管理、應(yīng)用適配器等部分組成。橋接服務(wù)運(yùn)行環(huán)境是橋接服務(wù)的容器，橋接服務(wù)是利用橋接服務(wù)配置工具組裝應(yīng)用適配器組件以完成一個(gè)數(shù)據(jù)橋接流程的服務(wù)程序。橋接服務(wù)運(yùn)行環(huán)境提供日志管理、安全管理、適配器管理等基本功能。橋接服務(wù)配置工具提供圖形化的配置系統(tǒng)，通過配置業(yè)務(wù)信息庫(kù)或共享信息庫(kù)與交換信息庫(kù)之間橋接內(nèi)容映射規(guī)則生成橋接服務(wù)描述信息。主要功能包括：支持兩個(gè)橋接對(duì)象之間的雙向信息同步，即支持應(yīng)用單位業(yè)務(wù)信息庫(kù)或共享信息庫(kù)與交換信息庫(kù)之間的雙向信息同步；支持各種主流操作系統(tǒng)；支持國(guó)內(nèi)外主流數(shù)據(jù)庫(kù)；支持結(jié)構(gòu)化文件、非結(jié)構(gòu)化文件；采用適配器組件訪問橋接對(duì)象，實(shí)現(xiàn)數(shù)據(jù)的獲取與存儲(chǔ)；提供增量數(shù)據(jù)自動(dòng)識(shí)別的功能。在不修改業(yè)務(wù)信息庫(kù)結(jié)構(gòu)的情況下，系統(tǒng)應(yīng)能夠自動(dòng)識(shí)別出需要交換的信息，包括新增、被修改或被刪除的信息；提供圖形化的信息交換橋接配置及管理工具，支持橋接指標(biāo)定義、處理、橋接管理等功能；支持多個(gè)橋接任務(wù)或服務(wù)的同時(shí)運(yùn)行，應(yīng)支持橋接服務(wù)的動(dòng)態(tài)和遠(yuǎn)程部署；應(yīng)提供系統(tǒng)管理與監(jiān)控、日志管理功能。2）中心服務(wù)器中心服務(wù)器是數(shù)據(jù)共享交換平臺(tái)的主要部分，其部署在數(shù)據(jù)中心里。其提供包括交換管理、目錄管理、組件開發(fā)環(huán)境、統(tǒng)一部署、監(jiān)控管理、安全管理等平臺(tái)公共應(yīng)用支撐服務(wù)?！粨Q傳輸模塊根據(jù)部署的交換流程，實(shí)現(xiàn)應(yīng)用單位前置交換信息庫(kù)之間的信息處理和穩(wěn)定可靠、不間斷的信息傳遞。該模塊可支持現(xiàn)有多種交換中間件產(chǎn)品的集成，也可選擇內(nèi)置傳輸模式完成數(shù)據(jù)傳輸。交換傳輸系統(tǒng)是用來構(gòu)建前置交換系統(tǒng)之間安全、可靠、穩(wěn)定、高效的信息交換通道，實(shí)現(xiàn)信息的打包、轉(zhuǎn)換、傳遞、路由、解包等功能?！狤TL管理當(dāng)資源提供者是中心，中心發(fā)布目錄后，資源數(shù)據(jù)在中心需要落地。系統(tǒng)提供一套數(shù)據(jù)采集系統(tǒng)將各委辦局的數(shù)據(jù)進(jìn)行過濾、轉(zhuǎn)換并存入中心的共享信息庫(kù)中。是一套標(biāo)準(zhǔn)的ETL流程。ETL（Extract-Transform-Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程）。數(shù)據(jù)采集的對(duì)象分為兩大類：結(jié)構(gòu)化的數(shù)據(jù)和非結(jié)構(gòu)化的數(shù)據(jù)。結(jié)構(gòu)化數(shù)據(jù)根據(jù)來源又分為兩類：來源于委辦局?jǐn)?shù)據(jù)庫(kù)結(jié)構(gòu)獲取的數(shù)據(jù)，委辦局提供的結(jié)構(gòu)化文件，這類數(shù)據(jù)需要經(jīng)過標(biāo)準(zhǔn)的ETL過程入中心庫(kù)。非結(jié)構(gòu)化數(shù)據(jù)的ETL過程相對(duì)比較簡(jiǎn)單，目前只需要從委辦局下載到中心指定位置。按照處理數(shù)據(jù)的格式，分為兩類任務(wù)：非結(jié)構(gòu)化數(shù)據(jù)采集任務(wù)、結(jié)構(gòu)化數(shù)據(jù)采集任務(wù)。結(jié)構(gòu)化數(shù)據(jù)采集任務(wù)流程：中心發(fā)布目錄，目錄對(duì)應(yīng)的資源數(shù)據(jù)存儲(chǔ)在中心的資源共享庫(kù)、主題庫(kù)。中心定時(shí)或者用戶觸發(fā)ETL流程，將數(shù)據(jù)經(jīng)過采集、下載、解壓、清洗、轉(zhuǎn)換、比對(duì)、入庫(kù)的步驟，完成從委辦局?jǐn)?shù)據(jù)源->前置采集機(jī)->中心數(shù)據(jù)庫(kù)表的數(shù)據(jù)采集流程。任務(wù)采集粒度為一張中心表對(duì)應(yīng)一個(gè)結(jié)構(gòu)化采集任務(wù)。非結(jié)構(gòu)化數(shù)據(jù)采集任務(wù)流程：中心發(fā)布目錄，目錄對(duì)應(yīng)的資源數(shù)據(jù)存儲(chǔ)在中心指定位置。中心定時(shí)或者用戶觸發(fā)ETL流程，將數(shù)據(jù)經(jīng)過采集、下載的步驟，完成從委辦局?jǐn)?shù)據(jù)源->前置采集機(jī)->中心的數(shù)據(jù)采集流程。任務(wù)采集粒度為一個(gè)指定位置對(duì)應(yīng)一個(gè)非結(jié)構(gòu)化采集任務(wù)。圖X3ETL任務(wù)——元數(shù)據(jù)管理基于信息資源目錄管理的元數(shù)據(jù)維護(hù)在清晰描述信息自身含義的基礎(chǔ)上，還清楚的描述了信息的存取方法，為后期的數(shù)據(jù)抽取做好準(zhǔn)備。3）視頻共享交換平臺(tái)視頻資源是城市動(dòng)態(tài)監(jiān)管的重要手段，運(yùn)營(yíng)指揮中心必須獲取視頻數(shù)據(jù)。視頻監(jiān)控是現(xiàn)代城市管理的重要手段，公安、城管、旅游、農(nóng)業(yè)、林業(yè)等部門都希望能夠擁有和使用視頻資源；現(xiàn)在公安、交通、以致社會(huì)上的學(xué)校、銀行等單位也有視頻資源，公安在社會(huì)治理等方面也需要這些視頻資源。視頻共享是解決這個(gè)問題的最佳也是成本最低的方案?！尤敕桨附尤敕绞接腥N，和已有視頻平臺(tái)對(duì)接、模擬視頻對(duì)接、DVR視頻對(duì)接。已有視頻平臺(tái)對(duì)接方案如下圖所示：圖X4網(wǎng)關(guān)接入已有視頻平臺(tái)模式原有社會(huì)第三方數(shù)字監(jiān)控平臺(tái)，通過信令網(wǎng)關(guān)與媒體網(wǎng)關(guān)的形式接入到視頻監(jiān)控共享平臺(tái)，達(dá)到對(duì)已建數(shù)字監(jiān)控平臺(tái)的控制和圖像資源聯(lián)網(wǎng)整合。在接入數(shù)字視頻監(jiān)控平臺(tái)時(shí)，需要第三方平臺(tái)廠家進(jìn)行配合，進(jìn)行信令網(wǎng)關(guān)和媒體網(wǎng)關(guān)的簡(jiǎn)單開發(fā)工作。這種方式的優(yōu)勢(shì)主要在于靈活，由于信令和視頻都集中到服務(wù)器（群）上處理，可以進(jìn)行靈活控制，可以方便的實(shí)現(xiàn)私網(wǎng)穿越，平臺(tái)集中轉(zhuǎn)碼，以及網(wǎng)絡(luò)優(yōu)化等。——接入標(biāo)準(zhǔn)聯(lián)網(wǎng)方式與規(guī)范——統(tǒng)一編碼標(biāo)準(zhǔn)應(yīng)遵循國(guó)家標(biāo)準(zhǔn)GB/T28181或國(guó)際標(biāo)準(zhǔn)ONVIF統(tǒng)一的編碼標(biāo)準(zhǔn)要求。——統(tǒng)一聯(lián)網(wǎng)協(xié)議局聯(lián)網(wǎng)系統(tǒng)內(nèi)部進(jìn)行視頻、音頻、數(shù)據(jù)等信息傳輸、交換、控制時(shí)，應(yīng)遵循國(guó)家標(biāo)準(zhǔn)GB/T28181統(tǒng)一的通信協(xié)議要求?！O(shè)備接入統(tǒng)一規(guī)范視頻監(jiān)控系統(tǒng)建設(shè)嚴(yán)格按照GB/T28181或ONVIF標(biāo)準(zhǔn)來進(jìn)行設(shè)計(jì)、建設(shè)。為了便于對(duì)不同廠家的監(jiān)控產(chǎn)品的兼容，系統(tǒng)需滿足GB/T28181或ONVIF的控制基本要求?！换スδ茉O(shè)計(jì)區(qū)域視頻監(jiān)控網(wǎng)絡(luò)系統(tǒng)是指其中的監(jiān)控資源、用戶終端、監(jiān)控中心等通過聯(lián)網(wǎng)單元進(jìn)行SIP協(xié)議轉(zhuǎn)換，實(shí)現(xiàn)視頻監(jiān)控網(wǎng)絡(luò)系統(tǒng)之間的互聯(lián)互通、資源共享，主要實(shí)現(xiàn)以下幾個(gè)基本功能：——實(shí)時(shí)圖像獲取瀏覽：源聯(lián)網(wǎng)單元能獲取目的聯(lián)網(wǎng)單元經(jīng)授權(quán)的實(shí)時(shí)圖像并進(jìn)行播放，實(shí)時(shí)流應(yīng)采用聯(lián)網(wǎng)單元的逐級(jí)轉(zhuǎn)發(fā)；——?dú)v史圖像獲取查詢：目的聯(lián)網(wǎng)單元能按指定攝像機(jī)和時(shí)間段向源聯(lián)網(wǎng)單元查詢所管轄的歷史圖像索引。點(diǎn)播：目的聯(lián)網(wǎng)單元應(yīng)能通過查詢得到的歷史圖像索引點(diǎn)播源聯(lián)網(wǎng)單元的歷史圖像，對(duì)歷史圖像的回放過程進(jìn)行控制，包括開始、停止、暫停、快速和慢速播放、拖動(dòng)等，采用聯(lián)網(wǎng)單元的逐級(jí)轉(zhuǎn)發(fā)。下載：目的聯(lián)網(wǎng)單元能通過查詢得到的歷史圖像索引下載所需要的源聯(lián)網(wǎng)單元的歷史圖像。——事件管理支持報(bào)警等事件預(yù)訂功能。支持報(bào)警等預(yù)訂事件的通告功能。支持報(bào)警等事件的處理功能?！獣r(shí)鐘同步聯(lián)網(wǎng)單元支持NTP網(wǎng)絡(luò)時(shí)鐘協(xié)議，實(shí)現(xiàn)時(shí)鐘同步功能?！襟w傳輸基本要求媒體流在聯(lián)網(wǎng)系統(tǒng)IP網(wǎng)絡(luò)上傳輸時(shí)可以支持RTP傳輸，RTP的負(fù)載應(yīng)采用如下兩種格式之一：基于PS封裝的視音頻數(shù)據(jù)或視音頻基本流數(shù)據(jù)。媒體流的傳輸應(yīng)采用RFC3550規(guī)定的RTP協(xié)議，提供實(shí)時(shí)數(shù)據(jù)傳輸中的時(shí)間戳信息及各數(shù)據(jù)流的同步；應(yīng)采用RFC3550規(guī)定的RTCP協(xié)議，為按序傳輸數(shù)據(jù)包提供可靠保證，提供流量控制和擁塞控制?！踩砸笤诘桶踩?jí)別應(yīng)用情況下，應(yīng)采用基于口令的數(shù)字摘要認(rèn)證方式對(duì)設(shè)備進(jìn)行身份認(rèn)證；在高安全級(jí)別應(yīng)用情況下，應(yīng)采用基于數(shù)字證書的認(rèn)證方式對(duì)設(shè)備進(jìn)行身份認(rèn)證?！鞒毯徒涌谝?guī)范范圍涉及平臺(tái)各網(wǎng)元在實(shí)現(xiàn)主要業(yè)務(wù)功能時(shí)的流程和接口，主要業(yè)務(wù)功能包括實(shí)時(shí)媒體訪問、前端/平臺(tái)錄像的存儲(chǔ)/查詢/回放/下載?！襟w流封裝格式媒體流在IP網(wǎng)絡(luò)上傳輸時(shí)須支持RTP協(xié)議，媒體流須采用PS格式或直接RTP負(fù)載方式封裝。——視頻編解碼格式聯(lián)網(wǎng)系統(tǒng)中視頻編碼格式應(yīng)采用H.264、SVAC或MPEG-4視頻編碼標(biāo)準(zhǔn)，不準(zhǔn)添加編碼標(biāo)準(zhǔn)規(guī)范格式之外的私有數(shù)據(jù)。視頻解碼必須同時(shí)支持H.264、SVAC或MPEG-4標(biāo)準(zhǔn)。——音頻編解碼格式在聯(lián)網(wǎng)系統(tǒng)中，音頻編碼須采用ITU-TRec.G.711編碼格式，也可同時(shí)支持G.722.1或G.723.1或G.729等音頻編碼標(biāo)準(zhǔn)；音頻解碼必須同時(shí)支持ITU-TRec.G.711、G.723.1和G.729音頻解碼標(biāo)準(zhǔn)，可擴(kuò)展支持ITU-TRec.G.722.1音頻解碼標(biāo)準(zhǔn)，見國(guó)標(biāo)GB/T28181-2011附錄E?！帕盍鞒毯蛥f(xié)議接口聯(lián)網(wǎng)系統(tǒng)中各級(jí)聯(lián)網(wǎng)平臺(tái)必須具備注冊(cè)/注銷、實(shí)時(shí)視音頻點(diǎn)播、設(shè)備控制、網(wǎng)絡(luò)設(shè)備信息查詢、狀態(tài)信息報(bào)送、設(shè)備視音頻文件檢索、歷史視音頻回放、歷史視音頻文件下載、校時(shí)等信令?！曨l共享交換功能共享平臺(tái)提供的主要視頻共享及管理功能如下圖所示：圖X5視頻共享交換平臺(tái)功能功能分為：管理功能、業(yè)務(wù)功能、其它功能。管理功能主要是：用戶&權(quán)限管理、認(rèn)證、設(shè)備管理功能。業(yè)務(wù)功能主要是：實(shí)時(shí)圖像監(jiān)控、多畫面監(jiān)視、多畫面輪巡等功能。其它功能主要是：結(jié)合電子地圖、對(duì)視頻進(jìn)行智能分析等。2、數(shù)據(jù)挖掘分析平臺(tái)數(shù)據(jù)挖掘分析平臺(tái)包含大數(shù)據(jù)存儲(chǔ)子系統(tǒng)和數(shù)據(jù)挖掘分析子系統(tǒng)兩部分，其中兩部分是松耦合，沒有統(tǒng)一的架構(gòu)。具體功能點(diǎn)由兩部分分別介紹。（1）大數(shù)據(jù)存儲(chǔ)子系統(tǒng)大數(shù)據(jù)存儲(chǔ)子系統(tǒng)的軟件架構(gòu)如下，圖中藍(lán)色標(biāo)的為大數(shù)據(jù)存儲(chǔ)子系統(tǒng)。圖X6大數(shù)據(jù)存儲(chǔ)子系統(tǒng)框架平臺(tái)主要包括以下幾部分：計(jì)算存儲(chǔ)層：作為數(shù)據(jù)的載體，提供穩(wěn)定高效的海量數(shù)據(jù)存儲(chǔ)以及供上層訪問的數(shù)據(jù)接口，數(shù)據(jù)包括實(shí)時(shí)數(shù)據(jù)和非實(shí)時(shí)數(shù)據(jù)。公共管理：對(duì)平臺(tái)中的各組件進(jìn)行統(tǒng)一管理，包括安全管理、日志管理、告警管理、平臺(tái)監(jiān)控、服務(wù)管理、主機(jī)（節(jié)點(diǎn)）管理等。外部系統(tǒng)有兩個(gè)，分別為：數(shù)據(jù)采集層：負(fù)責(zé)從多個(gè)數(shù)據(jù)源采集數(shù)據(jù)，可對(duì)數(shù)據(jù)進(jìn)行清洗和轉(zhuǎn)換，把外部系統(tǒng)的數(shù)據(jù)轉(zhuǎn)換成適合本系統(tǒng)存儲(chǔ)和分析的格式，并裝載到存儲(chǔ)層。分析挖掘?qū)庸ぞ撸焊鶕?jù)業(yè)務(wù)需求，對(duì)數(shù)據(jù)進(jìn)行分析和處理，挖掘數(shù)據(jù)背后的價(jià)值。

1）計(jì)算&存儲(chǔ)層大數(shù)據(jù)平臺(tái)計(jì)算存儲(chǔ)層主要包括HDFS、MR、Yarn、HBase、Hive、Zookeeper、Impala、CEP、Spark、Hue等組件，各組件功能詳細(xì)介紹如下。HDFS是構(gòu)建在廉價(jià)的PC機(jī)器上的分布式文件系統(tǒng)，提供高吞吐量的應(yīng)用程序數(shù)據(jù)訪問，對(duì)外部客戶機(jī)而言，HDFS就像一個(gè)傳統(tǒng)的分級(jí)文件系統(tǒng)?？梢詣?chuàng)建、刪除、移動(dòng)或重命名文件等等。MapReduce是構(gòu)建在廉價(jià)機(jī)器上的分布式處理模型和運(yùn)行環(huán)境。用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。MapReduce是一個(gè)新的抽象模型，使我們只要執(zhí)行簡(jiǎn)單計(jì)算，而將并行化、容錯(cuò)、數(shù)據(jù)分布、負(fù)載均衡的等雜亂細(xì)節(jié)放在一個(gè)計(jì)算框架里，在做并行編程時(shí)不必關(guān)心它們。Yarn是下一代MapReduce框架MRv2，是一個(gè)通用的運(yùn)行時(shí)框架，用戶可以編寫自己的計(jì)算框架，在該運(yùn)行環(huán)境中運(yùn)行。Hive是一個(gè)建立在Hadoop上的數(shù)據(jù)倉(cāng)庫(kù)框架，提供了一個(gè)方便的數(shù)據(jù)集成、特殊查詢以及建立在Hadoop文件上的大規(guī)模數(shù)據(jù)分析。可以將結(jié)構(gòu)化的數(shù)據(jù)映射成數(shù)據(jù)庫(kù)中的表，同時(shí)提供類似SQL的操作語句用來對(duì)數(shù)據(jù)進(jìn)行操作，Hive的類SQL語句會(huì)映射為Hadoop的MapReduce任務(wù)進(jìn)行運(yùn)行，性能相對(duì)數(shù)據(jù)庫(kù)性能要低。Hive處理的數(shù)據(jù)一般都是TB、PB級(jí)別。HBase是分布式面向列的數(shù)據(jù)庫(kù)，是一個(gè)高可靠性、高性能、面向列、可伸縮的分布式存儲(chǔ)系統(tǒng)，HBase使用HDFS作為底層存儲(chǔ)，同時(shí)使用MapReduce支持批處理模式的計(jì)算和隨機(jī)查詢。利用HBase技術(shù)可在廉價(jià)PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲(chǔ)集群。Zookeeper提供分布式高效的協(xié)作服務(wù)以及分布式鎖這樣的原子操作，可以用來構(gòu)建分布式應(yīng)用。是Hadoop系統(tǒng)中的一個(gè)主要組件，它能為HDFS、HBase、MapReduce、Yarn、Hive等組件提供重要的功能支撐。在分布式應(yīng)用中，通常需要Zookeeper來提供可靠的、可擴(kuò)展的、分布式的、可配置的協(xié)調(diào)機(jī)制來統(tǒng)一各系統(tǒng)的狀態(tài)。Impala是一個(gè)實(shí)時(shí)交互SQL大數(shù)據(jù)查詢工具，通過使用與關(guān)系數(shù)據(jù)庫(kù)中類似的分布式查詢引擎，可以直接從HDFS或者HBase中用Select，Join和統(tǒng)計(jì)函數(shù)查詢數(shù)據(jù)，降低延遲。Hue是方便用戶和Hadoop集群進(jìn)行交互的Web應(yīng)用ComplexEventProcessing(復(fù)雜事件處理)是一種基于事件流的技術(shù)，主要是企業(yè)面對(duì)大量業(yè)務(wù)時(shí)間需要快速響應(yīng)的要求而推動(dòng)的新興領(lǐng)域，它將系統(tǒng)數(shù)據(jù)看作不同類型的事件，通過分析事件間的關(guān)系，建立不同的事件關(guān)系序列庫(kù)，利用過濾、關(guān)聯(lián)、聚合等技術(shù)，最終由簡(jiǎn)單事件產(chǎn)生高級(jí)事件或商業(yè)流程，主要特點(diǎn)是大吞吐量的流式數(shù)據(jù)實(shí)時(shí)處理。Spark是UCBerkeleyAMPlab所開源的類HadoopMapReduce的通用的并行計(jì)算框架，Spark基于mapreduce算法實(shí)現(xiàn)的分布式計(jì)算，擁有HadoopMapReduce所具有的優(yōu)點(diǎn)；但不同于MapReduce的是Job中間輸出和結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫HDFS，因此Spark能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的mapreduce的算法。2）系統(tǒng)監(jiān)控管理系統(tǒng)監(jiān)控管理提供豐富的圖形化工具對(duì)HDFS、hbase、hive、mapreduce、oozie、impala、zookeeper各組件運(yùn)行狀態(tài)進(jìn)行監(jiān)控，通過對(duì)CPU、空間、任務(wù)狀態(tài)等的監(jiān)控了解系統(tǒng)運(yùn)行狀況，支持通過設(shè)置門限，進(jìn)行狀態(tài)告警。（2）數(shù)據(jù)挖掘分析子系統(tǒng)數(shù)據(jù)挖掘分析具備特點(diǎn)如下。——組件化、工具化數(shù)據(jù)挖掘設(shè)計(jì)的目標(biāo)之一就是要適應(yīng)不同的、復(fù)雜的應(yīng)用和部署場(chǎng)景。作為一個(gè)基礎(chǔ)、通用的支撐功能，要與使用方盡量減少耦合性。數(shù)據(jù)挖掘內(nèi)部的各類功能作為一個(gè)組件存在，外部系統(tǒng)以服務(wù)接口的方式使用其功能。而不要求上層應(yīng)用與數(shù)據(jù)挖掘功能使用同一個(gè)基礎(chǔ)平臺(tái)。——場(chǎng)景應(yīng)用為導(dǎo)向數(shù)據(jù)挖掘給上層的應(yīng)用提供算法，同時(shí)更高層次的面向主題的分析套件。這些面向主題的分析套件是本數(shù)據(jù)挖掘套件的一個(gè)核心競(jìng)爭(zhēng)力?！M件和工具兼容除面向主題的分析套件種類外。當(dāng)客戶面對(duì)一個(gè)新的領(lǐng)域問題時(shí)，通過可視化的工具快速幫助客戶從大量數(shù)據(jù)中分析問題、發(fā)現(xiàn)價(jià)值。通過一個(gè)能使用靈活、快速反饋的工具進(jìn)行支撐。這時(shí)需要需要使用細(xì)粒度的算法支撐?！_放性本分析套件，通過接口可與其他商業(yè)的數(shù)據(jù)分析工具通過消息中間件配合使用，譬如：使用SAS的高級(jí)文本聚類分析功能，分析結(jié)果通過適配器發(fā)送到中間件上，進(jìn)行下一步的分析工作。數(shù)據(jù)挖掘分析子系統(tǒng)的軟件架構(gòu)如下，圖中藍(lán)色標(biāo)的為數(shù)據(jù)挖掘分析子系統(tǒng)。圖X7數(shù)據(jù)挖掘分析子系統(tǒng)框架1）挖掘建模數(shù)據(jù)挖掘建模八步法指：業(yè)務(wù)理解、指標(biāo)設(shè)計(jì)、數(shù)據(jù)提叏、數(shù)據(jù)探索、算法選擇、模型評(píng)估、模型収布、模型優(yōu)化。圖X8數(shù)據(jù)挖掘建模流程圖2）OLAP多維分析組件OLAP多維分析針對(duì)特定的分析主題，設(shè)計(jì)多種可能的觀察形式，設(shè)計(jì)相應(yīng)的分析主題結(jié)構(gòu)，使管理決策人員在多維數(shù)據(jù)模型的基礎(chǔ)上進(jìn)行快速、穩(wěn)定和交互性的訪問，并進(jìn)行各種復(fù)雜的分析和預(yù)測(cè)工作。通過OLAP組件，能夠?qū)崿F(xiàn)數(shù)據(jù)的直觀、易于導(dǎo)航的多維視圖，提供多維視圖的數(shù)據(jù)組織、管理與多維分析。能夠鉆取詳細(xì)數(shù)據(jù)，也能進(jìn)行多維數(shù)據(jù)和詳細(xì)數(shù)據(jù)的混合分析。能夠?qū)⒎治鼋Y(jié)果輸出為Excel、HTML、文本文件等多種類型的文件，也能為脫機(jī)的獨(dú)立分析人員建立分析數(shù)據(jù)子集；支持圖形化界面，可提供面向服務(wù)的工作流編排；提供豐富的函數(shù)，可自由擴(kuò)展，便于二次開發(fā)。模型管理包含立方體管理和模型管理兩個(gè)功能，立方體管理提供立方體模型數(shù)據(jù)的定義，模型管理提供模型文件的導(dǎo)入、刪除功能。在Olap分析中支持切片、鉆取、Topn圖形顯示等功能。3）自定義報(bào)表組件生成和操作報(bào)表的分析服務(wù)組件，它通過報(bào)表生成器生成模板，并根據(jù)模板對(duì)抽取的數(shù)據(jù)進(jìn)行加工渲染，主要用于生成固定格式的報(bào)表和數(shù)據(jù)結(jié)果集，通常通過Web方式在線展現(xiàn)給分析人員，是數(shù)據(jù)分析展現(xiàn)常用的工具。該組件能夠提供數(shù)據(jù)排序、數(shù)據(jù)過濾、報(bào)表間數(shù)據(jù)鉆取、潛入/引用其他資源、支持鏈接等報(bào)表操作功能，同時(shí)也提供直觀的管理界面、快速開發(fā)環(huán)境、報(bào)表定制、拖放、函數(shù)計(jì)算等報(bào)表設(shè)計(jì)功能。4）挖掘算法分類：分類是一種重要的數(shù)據(jù)分析形式，將一組數(shù)據(jù)輸入分類器，分類器能夠判斷該數(shù)據(jù)所屬的類別。聚類：聚類是對(duì)記錄分組，把相似的記錄在一個(gè)聚集里。聚類和分類的區(qū)別是聚集不依賴于預(yù)先定義好的類，不需要訓(xùn)練集。聚類訓(xùn)練的核心思路是“物以類聚”，聚類算法的核心是要定義一個(gè)相似性計(jì)算方法，通過相似性計(jì)算方法計(jì)算任意兩個(gè)樣本間的相似性，然后根據(jù)相似性值大小將相似性高的調(diào)整到一個(gè)類別中，而將相似性低的調(diào)整到不同的類別中。主題模型：主題模型常應(yīng)用在自然語言處理領(lǐng)域的統(tǒng)計(jì)模型，用來從一系列文檔中發(fā)現(xiàn)文檔的主題。主題模型的核心是計(jì)算不同的關(guān)鍵詞在同一篇文章中“同現(xiàn)”的概率，在不同文章中“同現(xiàn)”概率高且穩(wěn)定的關(guān)鍵詞組合背后往往隱藏著一定的抽象主題。預(yù)測(cè)：預(yù)測(cè)是通過分類或估值起作用的，也就是說，通過分類或估值得出模型，該模型用于對(duì)未知變量的預(yù)言。關(guān)聯(lián)規(guī)則：關(guān)聯(lián)分析又稱關(guān)聯(lián)挖掘，就是在交易數(shù)據(jù)、關(guān)系數(shù)據(jù)或其他信息載體中，查找存在于項(xiàng)目集合或?qū)ο蠹现g的頻繁模式、關(guān)聯(lián)、相關(guān)性或因果結(jié)構(gòu)。5）文本分析文本分析分析框架，選擇遵循OASISUIMA標(biāo)準(zhǔn)的開源框架ApacheUIMA作為IE框架，整個(gè)信息抽取的過程就是不斷對(duì)原始文本進(jìn)行分析增加標(biāo)注的過程，標(biāo)注的增加代表了從原始非結(jié)構(gòu)化的自然語言文本中不斷抽取出結(jié)構(gòu)化/半結(jié)構(gòu)化信息的過程。ApacheUIMA（UnstructuredInformationManagementArchitecture下面統(tǒng)一簡(jiǎn)稱為UIMA）是一個(gè)組件式的自然語言處理框架，支持多種形式的自然語言處理流程（包括常用的Pipeline），這個(gè)框架的目的是為非結(jié)構(gòu)化分析提供一個(gè)通用的平臺(tái)，可以根據(jù)不同的應(yīng)用需求，開發(fā)不同的分析組件（UIMA稱為AnalysisEngine，簡(jiǎn)稱AE），通過UIMA框架可以將不同的分析組件串聯(lián)起來，對(duì)給定的文本進(jìn)行標(biāo)注，構(gòu)成一個(gè)完整的分析流程。3、中間件能力平臺(tái)（1）業(yè)務(wù)協(xié)同組件業(yè)務(wù)協(xié)同組件是整合ESB企業(yè)服務(wù)總線和BPM流程管理軟件平臺(tái)，主要應(yīng)用于系統(tǒng)流程管理、數(shù)據(jù)共享等場(chǎng)景。通過ESB實(shí)現(xiàn)不同系統(tǒng)互聯(lián)互通，通過BPM流程實(shí)現(xiàn)跨系統(tǒng)的流程定制管理，以適應(yīng)快速變化的管理需求，節(jié)約資源。業(yè)務(wù)協(xié)同組件架構(gòu)如下圖所示，主要由協(xié)同支撐中心（ICT）、流程協(xié)同中心、服務(wù)協(xié)同中心、協(xié)同管理中心、協(xié)同監(jiān)控中心、界面協(xié)同中心、可視化協(xié)同開發(fā)部署等7個(gè)大的協(xié)同中心構(gòu)成。協(xié)同支撐中心：為業(yè)務(wù)協(xié)同提供基礎(chǔ)支撐，提供服務(wù)器框架、WEB容器、界面組件、安裝升級(jí)、分發(fā)框架、界面框架方面的功能。流程協(xié)同中心：由過程倉(cāng)庫(kù)、規(guī)則引擎、過程實(shí)例、流程歷史、模型倉(cāng)庫(kù)、任務(wù)實(shí)例等組成，主要負(fù)責(zé)業(yè)務(wù)流程的存儲(chǔ)、調(diào)度、執(zhí)行，為協(xié)同管理中心和協(xié)同監(jiān)控中心提供管理和監(jiān)控的服務(wù)，還可為基于業(yè)務(wù)協(xié)同組件開發(fā)的應(yīng)用模塊提供流程相關(guān)的服務(wù)。服務(wù)協(xié)同中心：由服務(wù)路由、事物管理、消息轉(zhuǎn)換、適配框架、消息代理、消息傳輸、MQ消息隊(duì)列、訂閱框架等模塊組成。是現(xiàn)有業(yè)務(wù)系統(tǒng)對(duì)外提供服務(wù)的關(guān)鍵，業(yè)務(wù)系統(tǒng)可將需要提供的服務(wù)在服務(wù)協(xié)同中心進(jìn)行注冊(cè)后供服務(wù)使用者使用。協(xié)同管理中心：協(xié)同管理中心是對(duì)流程協(xié)同中心和服務(wù)協(xié)同中心中運(yùn)行的流程、任務(wù)、服務(wù)的管理，包括表單管理、模型管理、業(yè)務(wù)規(guī)則、任務(wù)管理、流程追溯、授權(quán)管理、審批管理、特殊流程、部署管理、服務(wù)管理等模塊組成。協(xié)同監(jiān)控中心：協(xié)同監(jiān)控中心是對(duì)基于業(yè)務(wù)協(xié)同組件開發(fā)的應(yīng)用系統(tǒng)、流程協(xié)同中心、服務(wù)協(xié)同中心中運(yùn)行的流程、任務(wù)、服務(wù)的狀態(tài)、效率、異常事件、日常日志的監(jiān)控與管理。由性能監(jiān)控、告警監(jiān)控、系統(tǒng)監(jiān)控、日志管理、流程監(jiān)控、服務(wù)監(jiān)控、流程探針、狀態(tài)監(jiān)控等模塊組成?？梢暬瘏f(xié)同開發(fā)部署：即workbench工作臺(tái)，是一個(gè)針對(duì)工程、開發(fā)人員的IDE開發(fā)環(huán)境，工程、開發(fā)人員可基于workbench進(jìn)行業(yè)務(wù)流程的定制、流程中使用的業(yè)務(wù)規(guī)則定制、業(yè)務(wù)協(xié)同的服務(wù)定制、服務(wù)的路由與轉(zhuǎn)換定制，同時(shí)還可以將定制結(jié)果進(jìn)行調(diào)試、打包和部署。界面協(xié)同中心：即portal，是將各業(yè)務(wù)系統(tǒng)的界面進(jìn)行整合，避免業(yè)務(wù)流程審批過程中在不同業(yè)務(wù)系統(tǒng)間來回切換導(dǎo)致用戶體驗(yàn)下降的功能。界面協(xié)同中心應(yīng)具備單點(diǎn)登錄的功能。（2）基礎(chǔ)業(yè)務(wù)組件基礎(chǔ)業(yè)務(wù)組件提供方便應(yīng)用開發(fā)的能力組件，包括但不限于：GIS能力組件、統(tǒng)計(jì)分析組件、報(bào)表組件、通訊能力組件等。利用這些組件可以方便上層應(yīng)用的開發(fā)，這些業(yè)務(wù)組件也為業(yè)務(wù)編排和調(diào)度管理、應(yīng)急通信等提供了基本能力。這些基礎(chǔ)業(yè)務(wù)組件都能被業(yè)務(wù)協(xié)同組件和能力開放組件所使用。（3）能力開放組件能力開放組件依托運(yùn)營(yíng)指揮中心中的大數(shù)據(jù)計(jì)算存儲(chǔ)平臺(tái)、數(shù)據(jù)共享交換平臺(tái)、大數(shù)據(jù)分析挖掘平臺(tái)的基礎(chǔ)