大數(shù)據(jù)平臺(tái)方案設(shè)計(jì)

大數(shù)據(jù)平臺(tái)方案設(shè)計(jì)

1.1需求分析

1.1.1采購(gòu)范圍與基本要求

建設(shè)XX高新區(qū)開發(fā)區(qū)智慧園區(qū)的人口庫(kù)（12萬居民）、法人庫(kù)（1200家企業(yè)）、

地理信息庫(kù)（已建設(shè)區(qū)域35平方公里的3維電子地圖、未建設(shè)區(qū)域80平方公里的航

拍電子地圖）、視頻庫(kù)（1000個(gè)攝像點(diǎn)）、大數(shù)據(jù)處理平臺(tái)、數(shù)據(jù)管理服務(wù)平臺(tái)。

1.1.2建設(shè)內(nèi)容要求

人口庫(kù)

人口庫(kù)的基本信息以公安部門戶籍和暫住人口信息為基礎(chǔ)，整合人社、計(jì)生、

民政、教育等多個(gè)部門信息資源，建設(shè)統(tǒng)一規(guī)范的人口庫(kù)和人口信息服務(wù)平臺(tái)。

（1）人口庫(kù)的內(nèi)容目錄

序號(hào)信息目錄（一級(jí)）信息目錄（二級(jí)）可能的信息源單位

1人員信息（常駐）

2人員信息（暫住）

人口基本信息公安局

3戶籍成員信息

4死亡信息

5駕駛?cè)藛T信息

6人員車輛信息機(jī)動(dòng)車信息公安局（交警系統(tǒng)）

7電動(dòng)車信息

8房主信息

社居民區(qū)服務(wù)信息房管局、村（居）委會(huì)

9房屋變動(dòng)信息

10黨員信息

11培養(yǎng)黨員信息

組織人社局、

社區(qū)黨建信息

12黨員流入信息村（居）委會(huì)

13黨員流出信息

14準(zhǔn)生證信息

15婚前檢查信息

16孕前檢查信息

社居民區(qū)服務(wù)信息社會(huì)發(fā)展局

17婚育證信息

18節(jié)育手術(shù)信息

19計(jì)生處罰信息

20衛(wèi)生信息社區(qū)衛(wèi)生服務(wù)機(jī)構(gòu)信息社會(huì)發(fā)展局

1

序號(hào)信息目錄（一級(jí)）信息目錄（二級(jí)）可能的信息源單位

21醫(yī)療機(jī)構(gòu)信息

22醫(yī)療資源信息

23衛(wèi)生許可信息

24社會(huì)組織信息

25區(qū)域地名信息社會(huì)發(fā)展局

民政信息

26最低保障收入人員信息

27精準(zhǔn)扶貧對(duì)象信息村居管理委員會(huì)

28單位信息

社保基本信息

29參保人員信息

30退休待遇信息

養(yǎng)老保險(xiǎn)信息

31轉(zhuǎn)移人員信息

32失業(yè)信息失業(yè)登記和失業(yè)保險(xiǎn)信息

城鎮(zhèn)職工基本醫(yī)療保險(xiǎn)賬戶信

33

息組織人社局

34醫(yī)療信息門慢信息

定點(diǎn)醫(yī)療機(jī)構(gòu)和定點(diǎn)零售藥店

35

信息

36傷殘認(rèn)定信息

37工傷信息勞動(dòng)能力鑒定信息

38工傷待遇信息

（2）人口信息服務(wù)平臺(tái)功能需求

數(shù)據(jù)庫(kù)層：能夠安全存儲(chǔ)人口庫(kù)的內(nèi)容目錄中列出的信息內(nèi)容，對(duì)居民、企業(yè)、

政府提供安全的人口信息服務(wù)，為人口大數(shù)據(jù)分析提供基本數(shù)據(jù)源。

應(yīng)用支撐層：包括門戶框架、數(shù)據(jù)庫(kù)維護(hù)、報(bào)表組件、數(shù)據(jù)挖掘等，用于為應(yīng)

用層提供應(yīng)用支撐。數(shù)據(jù)挖掘提供常見的數(shù)據(jù)分析/挖掘工具、通用算法，利用大數(shù)

據(jù)平臺(tái)的計(jì)算能力進(jìn)行分析，對(duì)人口庫(kù)數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘與發(fā)現(xiàn)，提供有價(jià)值的分

析結(jié)果。

應(yīng)用層：包括人口信息服務(wù)、人口專題分析、公共服務(wù)等。

法人庫(kù)

法人庫(kù)以工商部門的企業(yè)信息為基礎(chǔ)，整合各參建部門系統(tǒng)中的法人信息，如

機(jī)構(gòu)代碼、機(jī)構(gòu)名稱、機(jī)構(gòu)類型、經(jīng)濟(jì)行業(yè)、業(yè)務(wù)經(jīng)營(yíng)范圍、機(jī)構(gòu)地址、法定代表

人等字段信息，建成標(biāo)識(shí)統(tǒng)一、結(jié)構(gòu)科學(xué)、查詢快捷、動(dòng)態(tài)管理的法人信息庫(kù)。制

定與交換平臺(tái)對(duì)應(yīng)的相關(guān)標(biāo)準(zhǔn)、制度和規(guī)范管理體系，實(shí)現(xiàn)工商局、地稅局、國(guó)稅

局、質(zhì)量技術(shù)監(jiān)督局等法人數(shù)據(jù)相關(guān)業(yè)務(wù)部門之間的網(wǎng)絡(luò)互聯(lián)和業(yè)務(wù)數(shù)據(jù)的實(shí)時(shí)交

2

換與應(yīng)用。

（1）法人庫(kù)的內(nèi)容目錄

序號(hào)信息目錄（一級(jí)）信息目錄（二級(jí)）可能的信息源單位

1股東（投資者）信息

2企業(yè)基本信息法人信息工商質(zhì)監(jiān)局，企業(yè)

3地址與聯(lián)系信息

4工商登記信息

5工商變更信息

工商注冊(cè)信息工商質(zhì)監(jiān)局

6工商注銷信息

7工商吊銷信息

8稅務(wù)登記信息

9稅務(wù)注銷信息

稅務(wù)信息稅務(wù)局

10稅務(wù)登記驗(yàn)換證信息

11企業(yè)發(fā)票信息

12組織架構(gòu)

13發(fā)展戰(zhàn)略

14品牌

15產(chǎn)品與服務(wù)信息

16人力資源信息

17高端技術(shù)和設(shè)備

企業(yè)經(jīng)營(yíng)信息企業(yè)

18財(cái)務(wù)報(bào)表

19資質(zhì)信息

20信用信息

21榮譽(yù)信息

22文化

23違規(guī)處罰等不良信息

（2）法人信息服務(wù)平臺(tái)功能需求

數(shù)據(jù)庫(kù)層：能夠安全存儲(chǔ)法人庫(kù)的內(nèi)容目錄中列出的信息內(nèi)容，對(duì)居民、企業(yè)、

政府提供安全的法人信息服務(wù)，為法人大數(shù)據(jù)分析提供基本數(shù)據(jù)源。

應(yīng)用支撐層：包括門戶框架、數(shù)據(jù)庫(kù)維護(hù)、統(tǒng)計(jì)與報(bào)表組件、數(shù)據(jù)挖掘等，用

于為應(yīng)用層提供應(yīng)用支撐。數(shù)據(jù)挖掘提供常見的數(shù)據(jù)分析/挖掘工具、通用算法，利

用大數(shù)據(jù)平臺(tái)的計(jì)算能力進(jìn)行分析，對(duì)法人庫(kù)數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘與發(fā)現(xiàn)，提供有價(jià)

值的分析結(jié)果。

應(yīng)用層：包括法人信息服務(wù)、法人專題分析、公共服務(wù)等。

地理信息庫(kù)

以國(guó)土資源部空間地理數(shù)據(jù)框架作為基礎(chǔ)，采用分布式存儲(chǔ)并行計(jì)算的技術(shù)思

3

路統(tǒng)一搭建地理信息庫(kù)，再與智慧園區(qū)建設(shè)涉及的各類專題圖層進(jìn)行融合、關(guān)聯(lián)，

實(shí)現(xiàn)統(tǒng)一共享，逐漸形成XX高新區(qū)權(quán)威、豐富的地理信息數(shù)據(jù)庫(kù)。要求根據(jù)不同信

息資源類別，提供數(shù)據(jù)庫(kù)表結(jié)構(gòu)設(shè)計(jì)。

地理信息庫(kù)維護(hù)文件主要提供地圖基本操作、地圖測(cè)量、圖層控制、空間分析

等信息服務(wù)功能。

地理信息庫(kù)配置一套高性能GIS工具軟件，基于高性能云GIS平臺(tái)搭建，實(shí)現(xiàn)

空間數(shù)據(jù)的統(tǒng)一管理，完成空間數(shù)據(jù)檢查、轉(zhuǎn)換、入庫(kù)、管理、制圖顯示、服務(wù)發(fā)

布等一系列空間數(shù)據(jù)分析處理功能。

（1）地理信息庫(kù)的內(nèi)容目錄

序號(hào)信息目錄（一級(jí)）信息目錄（二級(jí)）可能的信息源單位

三維電子地圖：已建設(shè)區(qū)域30平方公里國(guó)土資源部、中標(biāo)單位

1電子地圖數(shù)據(jù)

航拍電子地圖：未建設(shè)區(qū)域60平方公里測(cè)量

國(guó)土資源部、中標(biāo)單位

2地理實(shí)體數(shù)據(jù)建筑、道路、水系、綠地、農(nóng)田等

測(cè)量

已建設(shè)區(qū)域30平方公里，分等級(jí)實(shí)現(xiàn)重點(diǎn)城區(qū)

3三維模型數(shù)據(jù)中標(biāo)單位測(cè)量、建設(shè)

精細(xì)三維模型數(shù)據(jù)和其它地區(qū)簡(jiǎn)易模型數(shù)據(jù)

路燈、交通燈、屏顯、導(dǎo)示牌、標(biāo)志性行道樹、

4城市部件數(shù)據(jù)城管等部門

線纜、地下管網(wǎng)等

5規(guī)劃數(shù)據(jù)規(guī)劃用地?cái)?shù)據(jù)規(guī)劃局

6POI數(shù)據(jù)企業(yè)（項(xiàng)目）數(shù)據(jù)規(guī)劃局、辦公室等

（2）地理信息庫(kù)管理平臺(tái)功能需求

數(shù)據(jù)處理：格式轉(zhuǎn)換、坐標(biāo)轉(zhuǎn)換、屬性編輯、數(shù)據(jù)裁切。

數(shù)據(jù)質(zhì)檢：矢量數(shù)據(jù)檢查、柵格數(shù)據(jù)檢查、三維模型數(shù)據(jù)檢查、元數(shù)據(jù)檢查。

入庫(kù)更新：矢量數(shù)據(jù)入庫(kù)、影像數(shù)據(jù)入庫(kù)、三維模型數(shù)據(jù)入庫(kù)、元數(shù)據(jù)入庫(kù)。

數(shù)據(jù)輸出：矢量數(shù)據(jù)提取、柵格數(shù)據(jù)提取。

查詢?yōu)g覽：地圖瀏覽、數(shù)據(jù)加載、SQL查詢、空間查詢、數(shù)據(jù)對(duì)比瀏覽、元數(shù)據(jù)

查詢。

歷史數(shù)據(jù)管理：歷史版本數(shù)據(jù)比較、版本數(shù)據(jù)提取。

系統(tǒng)管理：權(quán)限管理、日志管理、備份恢復(fù)。

視頻庫(kù)

（D視頻庫(kù)的內(nèi)容目錄

序號(hào)信息目錄（一級(jí)）信息目錄（二級(jí)）可能的信息源單位

4

視頻目錄視頻監(jiān)控系統(tǒng)

1視頻

視頻文件數(shù)字?jǐn)z像裝置

2視頻特征視頻特征文件

(2)視頻庫(kù)管理平臺(tái)功能需求

與視頻監(jiān)控系統(tǒng)的接口、視頻入庫(kù)、視頻目錄管理、視頻文件管理、視頻特征

文件生成、視頻檢索、視頻異常發(fā)現(xiàn)等。

大數(shù)據(jù)處理平臺(tái)

(1)大數(shù)據(jù)基礎(chǔ)平臺(tái)

提供基礎(chǔ)管控、基礎(chǔ)服務(wù)的大數(shù)據(jù)基礎(chǔ)支撐功能。大數(shù)據(jù)基礎(chǔ)平臺(tái)要充分利用

目前先進(jìn)的大數(shù)據(jù)處理技術(shù)，保證系統(tǒng)技術(shù)的前瞻性和先進(jìn)性。大數(shù)據(jù)基礎(chǔ)平臺(tái)要

求提供海量數(shù)據(jù)的采集、存儲(chǔ)、計(jì)算、接口服務(wù)能力；需要滿足海量、異構(gòu)的大數(shù)

據(jù)的存儲(chǔ)、共享、開放及分析挖掘方面的要求；需要采用主流的大數(shù)據(jù)的技術(shù)架構(gòu)，

全面滿足結(jié)構(gòu)化數(shù)據(jù)、半構(gòu)化數(shù)據(jù)及非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)、處理及計(jì)算要求；提供

多種數(shù)據(jù)采集工具，支持多種格式數(shù)據(jù)采集；提供接口服務(wù)，供二次開發(fā)應(yīng)用等。

大數(shù)據(jù)基礎(chǔ)平臺(tái)要求能夠管理大數(shù)據(jù)中心集群的物理服務(wù)器資源，控制分布式

程序運(yùn)行，隱藏下層故障恢復(fù)和數(shù)據(jù)冗余等細(xì)節(jié)，為大數(shù)據(jù)處理平臺(tái)提供統(tǒng)一的管

理、監(jiān)控、維護(hù)等日常管理功能。主要包括：資源管理、安全管理、運(yùn)維管理、集

群部署及監(jiān)控、任務(wù)調(diào)度等功能，同時(shí)配備友好的管理界面。

①數(shù)據(jù)采集要求

大數(shù)據(jù)處理平臺(tái)數(shù)據(jù)主要來自數(shù)據(jù)資源中心，包括基礎(chǔ)庫(kù)(人口庫(kù)、法人庫(kù)、地

理信息庫(kù)、視頻庫(kù))數(shù)據(jù)、主題庫(kù)(業(yè)務(wù)數(shù)據(jù)庫(kù))數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)，同時(shí)也支持其他

外部系統(tǒng)數(shù)據(jù)來源。數(shù)據(jù)采集系統(tǒng)要求提供多種數(shù)據(jù)采集工具，支持多種格式數(shù)據(jù)

采集。對(duì)于結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及網(wǎng)絡(luò)數(shù)據(jù)采用不同的采集工具進(jìn)行數(shù)據(jù)

導(dǎo)入。支持多種數(shù)據(jù)采集方式，比如ETL、FTP、文件導(dǎo)入導(dǎo)出、關(guān)系數(shù)據(jù)庫(kù)數(shù)據(jù)等。

②分布式存儲(chǔ)要求

平臺(tái)能夠根據(jù)結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)數(shù)據(jù)的不同特點(diǎn)，分別提供數(shù)據(jù)倉(cāng)庫(kù)和分布

式列式數(shù)據(jù)庫(kù)存儲(chǔ)服務(wù)，底層支撐技術(shù)支持分布式文件系統(tǒng)，所有的數(shù)據(jù)可以形成

多份副本均勻分布存儲(chǔ)在各個(gè)服務(wù)節(jié)點(diǎn)的存儲(chǔ)上，保證數(shù)據(jù)可靠性和提高讀寫效率。

③大數(shù)據(jù)計(jì)算引擎要求

離線計(jì)算引擎(Mapreduce)：離線分布式計(jì)算作為一個(gè)海量結(jié)構(gòu)化數(shù)據(jù)離線處

5

理與分析服務(wù)，著力于實(shí)時(shí)性要求不高的海量數(shù)據(jù)（TB/PB級(jí)別）離線處理。支持并

行化、容錯(cuò)、數(shù)據(jù)分布、負(fù)載均衡。離線計(jì)算引擎需要具有PB級(jí)的存儲(chǔ)處理能力和

計(jì)算吞吐能力，支持多應(yīng)用多實(shí)例并發(fā)同時(shí)計(jì)算并隔離應(yīng)用數(shù)據(jù)和程序的能力。

支持Mapreduce等批量數(shù)據(jù)分布式計(jì)算框架。

支持分布式內(nèi)存計(jì)算框架。

支持作業(yè)查詢預(yù)處理調(diào)度算法，可根據(jù)業(yè)務(wù)屬性對(duì)指定的多個(gè)隊(duì)列按照優(yōu)先級(jí)

的配置進(jìn)行任務(wù)的提交。

具備高可靠性，支持主控節(jié)點(diǎn)雙機(jī)，避免單點(diǎn)故障不可恢復(fù)。

具備高度可擴(kuò)展，可動(dòng)態(tài)增加/削減計(jì)算節(jié)點(diǎn)，真正實(shí)現(xiàn)彈性計(jì)算。

支持離線計(jì)算組件界面配置化，可以對(duì)配置進(jìn)行查看和修改，并立刻生效。

支持離線計(jì)算組件性能指標(biāo)界面可視化，通過界面實(shí)時(shí)監(jiān)控組件性能指標(biāo)。

支持多租戶權(quán)限管理能力，支持不同用戶之間的資源隔離。

支持多應(yīng)用多實(shí)例并發(fā)同時(shí)計(jì)算并隔離應(yīng)用數(shù)據(jù)和程序的能力。

內(nèi)存計(jì)算引擎（Spark）：基于內(nèi)存的迭代計(jì)算框架，適用于需要多次操作特定

數(shù)據(jù)集的應(yīng)用場(chǎng)合。由于中間輸出和結(jié)果可以保存在內(nèi)存中，從而不再需要讀寫分

布式文件系統(tǒng)，能更好地適用于數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等需要迭代的算法。

支持作業(yè)查詢預(yù)處理調(diào)度算法，可以根據(jù)業(yè)務(wù)屬性對(duì)指定的多個(gè)隊(duì)列按照優(yōu)先

級(jí)的配置進(jìn)行任務(wù)的提交。

支持審計(jì)日志可查詢，在管理運(yùn)維的界面中可以進(jìn)行內(nèi)存計(jì)算引擎日志的查詢。

支持相關(guān)存儲(chǔ)目錄規(guī)整，對(duì)內(nèi)存計(jì)算引擎的數(shù)據(jù)目錄進(jìn)行規(guī)整，修改默認(rèn)配置，

并提供界面上的修改配置的地方。

支持配置界面化，能夠在管理運(yùn)維界面上對(duì)內(nèi)存計(jì)算引擎的配置進(jìn)行查看和修

改，并能夠同步到前臺(tái)立刻生效。

支持通過界面展示性能指標(biāo)，能夠在界面上查看內(nèi)存計(jì)算引擎的性能指標(biāo)數(shù)據(jù)。

支持onYarn等方式，在管理運(yùn)維界面上安裝服務(wù)，可以在安裝的時(shí)候，選擇

OnYarn等的方式安裝。

支持內(nèi)存計(jì)算引擎的Master的HA等，可以對(duì)內(nèi)存計(jì)算引擎的master角色進(jìn)行

HA等部署，以保證該節(jié)點(diǎn)的高可用性。

實(shí)時(shí)計(jì)算引擎（例如sparkstreaming、Storm）：實(shí)時(shí)分布式計(jì)算需要提供大吞

6

吐量的實(shí)時(shí)流式數(shù)據(jù)處理。要求保證高可靠性的前提下讓數(shù)據(jù)處理更加實(shí)時(shí)，具備

低延時(shí)、容錯(cuò)和分布計(jì)算特性。采用分布式計(jì)算框架提供實(shí)時(shí)計(jì)算服務(wù)，可按需擴(kuò)

容。支持高并發(fā)低延時(shí)的數(shù)據(jù)處理。

計(jì)算引擎：支持SPARKSTREAMING等實(shí)時(shí)計(jì)算框架、STORM分布式流式計(jì)算框架

兩種計(jì)算框架功能。

支持對(duì)流數(shù)據(jù)的處理，數(shù)據(jù)可以建立關(guān)聯(lián)處理。

高效處理數(shù)據(jù)：支持消息的分流、合流、聚合的消息處理。

數(shù)據(jù)按業(yè)務(wù)分析，可支持不同的應(yīng)用接入，并對(duì)應(yīng)不同的應(yīng)用輸出計(jì)算結(jié)果。

事件監(jiān)測(cè)：對(duì)數(shù)據(jù)處理低延時(shí)，滿足事件監(jiān)控等實(shí)時(shí)性要求很高的場(chǎng)景。

具備高可靠性，支持主控節(jié)點(diǎn)雙機(jī)，具備自動(dòng)容錯(cuò)能力，避免單點(diǎn)故障不可恢

復(fù)。

支持實(shí)時(shí)計(jì)算組件界面配置化，可以對(duì)配置進(jìn)行查看和修改，配置修改立刻生

效。

支持實(shí)時(shí)計(jì)算組件性能指標(biāo)界面可視化，通過界面實(shí)時(shí)監(jiān)控實(shí)時(shí)計(jì)算組件性能

指標(biāo)。

④全文搜索引擎（例如solr）

提供豐富的查詢語言，同時(shí)實(shí)現(xiàn)可配置、可擴(kuò)展并對(duì)查詢性能進(jìn)行優(yōu)化，提供

一個(gè)完善的功能管理界面?？梢詫?shí)現(xiàn)集中式的配置信息、自動(dòng)容錯(cuò)、查詢時(shí)自動(dòng)負(fù)

載均衡、自動(dòng)分發(fā)的索引和索引分片和事務(wù)日志等多種特色功能。

可以對(duì)搜索引擎集合進(jìn)行快照，可以周期、定時(shí)創(chuàng)建集合快照，對(duì)索引數(shù)據(jù)進(jìn)

行備份。

提供搜索引擎數(shù)據(jù)切換自動(dòng)化工具，一鍵式操作實(shí)現(xiàn)搜索引擎數(shù)據(jù)從一個(gè)集群

切換到另外一個(gè)集群，安全可靠。

提供搜索引擎節(jié)點(diǎn)擴(kuò)容數(shù)據(jù)重分布自動(dòng)化工具，搜索引擎節(jié)點(diǎn)擴(kuò)容后數(shù)據(jù)均勻

的重分布到新增節(jié)點(diǎn)上，負(fù)載均勻的分擔(dān)到各節(jié)點(diǎn)上。

支持搜索引擎服務(wù)自動(dòng)拉起功能，提高可靠性。除管理平臺(tái)界面手工停止服務(wù)

之外的異常服務(wù)停止后都會(huì)自動(dòng)拉起，保證服務(wù)連續(xù)可用。

⑤資源管理（例如yarn）

資源管理要求能夠?qū)崿F(xiàn)調(diào)度和分配集群的內(nèi)存和計(jì)算等資源給上層應(yīng)用和服務(wù),

7

能夠管理運(yùn)行在集群節(jié)點(diǎn)上的任務(wù)的生命周期和資源使用，提供靜態(tài)資源池和動(dòng)態(tài)

資源池功能。在多用戶運(yùn)行環(huán)境中，能夠支持計(jì)算額度和訪問控制，作業(yè)優(yōu)先級(jí)和

資源搶占，達(dá)到在保障公平的前提下，有效地共享集群資源。支持VIP隊(duì)列管理，

支持根據(jù)業(yè)務(wù)需要指定作業(yè)在指定的計(jì)算節(jié)點(diǎn)上運(yùn)行，隔離重點(diǎn)任務(wù)和普通任務(wù)，

保障重點(diǎn)任務(wù)的物理資源。要求給出詳細(xì)的設(shè)計(jì)方案。資源管理能夠面向海量數(shù)據(jù)

處理和大規(guī)模計(jì)算類型的復(fù)雜應(yīng)用提供統(tǒng)一的資源管理和調(diào)度。提供通用的并行計(jì)

算框架，要求兼容批量分布式計(jì)算、內(nèi)存分布式計(jì)算、流式計(jì)算等多種編程模式。

具備高可擴(kuò)展性，支持作業(yè)定點(diǎn)調(diào)度，支持優(yōu)先級(jí)高的作業(yè)優(yōu)先分配到資源。能夠

自動(dòng)檢測(cè)故障和系統(tǒng)熱點(diǎn)，重試失敗任務(wù)，保證作業(yè)穩(wěn)定可靠運(yùn)行完成。

支持作業(yè)定點(diǎn)調(diào)度，指定作業(yè)在哪些主機(jī)上運(yùn)行，隔離重點(diǎn)任務(wù)和普通任務(wù)。

支持隊(duì)列增加優(yōu)先級(jí)屬性，優(yōu)先級(jí)高的作業(yè)優(yōu)先分配到資源。

支持白名單功能，限制客戶端向集群的resourcemanager提交作業(yè)。

支持提交權(quán)限，限制無權(quán)用戶提交作業(yè)并運(yùn)行。

支持隊(duì)列屬性修改圖形化，在圖形化界面中配置新增、修改、刪除隊(duì)列屬性。

支持隊(duì)列屬性增加“最大作業(yè)提交數(shù)”屬性，在圖形化界面中新增“最大作業(yè)

提交數(shù)”屬性可配置

⑥分布式協(xié)作服務(wù)（例如Zookeeper）

分布式協(xié)作服務(wù)提供分布式、高可用的協(xié)作服務(wù)，可以用來構(gòu)建分布式應(yīng)用。

它能為分布式文件系統(tǒng)、分布式列式數(shù)據(jù)庫(kù)、離線計(jì)算、資源管理與調(diào)度、數(shù)據(jù)倉(cāng)

庫(kù)等大數(shù)據(jù)組件提供重要的功能支撐。在分布式應(yīng)用中，通常需要分布式協(xié)作服務(wù)

來提供可靠的、可擴(kuò)展的、分布式的、可配置的協(xié)調(diào)機(jī)制來統(tǒng)一各系統(tǒng)的狀態(tài)。

幫助系統(tǒng)避免單點(diǎn)故障，建立可靠的應(yīng)用程序。

提供分布式協(xié)作服務(wù)和維護(hù)配置信息。

⑦安全管理

安全管理能夠提供以用戶為單位的身份認(rèn)證和授權(quán)，能夠?qū)簲?shù)據(jù)資源和服

務(wù)進(jìn)行訪問控制，包括系統(tǒng)用戶、應(yīng)用用戶的身份和權(quán)限管理，日志管理等。

⑧運(yùn)維管理

主機(jī)管理：可以對(duì)已經(jīng)添加的主機(jī)及其運(yùn)行狀態(tài)進(jìn)行查詢，可以對(duì)單臺(tái)主機(jī)進(jìn)

行全面監(jiān)控。通過在已添加主機(jī)安裝代理，支持通過代理訪問計(jì)算集群提供相關(guān)組

8

件服務(wù)和操作。要求給出詳細(xì)的設(shè)計(jì)方案。

服務(wù)管理：對(duì)大數(shù)據(jù)平臺(tái)包含的各個(gè)組件服務(wù)提供的管理界面，可對(duì)各組件運(yùn)

行狀態(tài)進(jìn)行監(jiān)控，可執(zhí)行啟、停操作；除手動(dòng)停止服務(wù)外，系統(tǒng)監(jiān)測(cè)到服務(wù)異常終

止時(shí)可以自動(dòng)拉起服務(wù)，并可以根據(jù)需要打開或關(guān)閉自動(dòng)拉起開關(guān)?？蓪?duì)具體角色

實(shí)例進(jìn)行管理。為避免應(yīng)用之間在申請(qǐng)組件服務(wù)時(shí)相互干擾，提升應(yīng)用的健壯性和

可靠性，應(yīng)支持相同組件的服務(wù)既共享物理資源，又相互獨(dú)立。要求給出詳細(xì)的設(shè)

計(jì)方案。

告警管理：告警管理功能包括告警查看、閥值設(shè)置。監(jiān)控系統(tǒng)各類異常，在管

理界面上實(shí)時(shí)呈現(xiàn)。支持集群內(nèi)不同節(jié)點(diǎn)差異化告警閾值設(shè)置。

系統(tǒng)管理：包括系統(tǒng)配置、巡檢、備份。其中，系統(tǒng)配置包含版本設(shè)置和SNMP

設(shè)置。巡檢功能需要支持自動(dòng)巡檢和手動(dòng)巡檢兩種方式。提供備份功能，包含快照

和集群間備份。支持服務(wù)日志級(jí)別動(dòng)態(tài)調(diào)整，支持組件配置項(xiàng)快速查找功能，并且

用戶可以根據(jù)需要新增自定義組件配置項(xiàng)。

⑨展現(xiàn)界面設(shè)計(jì)

詳細(xì)展示大數(shù)據(jù)平臺(tái)的運(yùn)行情況。界面展示內(nèi)容包括主頁(yè)界面、集群界面、主

機(jī)管理界面、告警管理界面、安裝界面、系統(tǒng)管理界面、日志界面、安全界面等。

主頁(yè)界面：可以整體查看集群的整體運(yùn)行狀況，包括主機(jī)、服務(wù)等資源的數(shù)量、

在線情況；運(yùn)行負(fù)載情況；以及告警信息。

集群界面：包含服務(wù)管理、靜態(tài)資源池、動(dòng)態(tài)資源池等；其中，服務(wù)管理界面

提供對(duì)大數(shù)據(jù)平臺(tái)各組件運(yùn)行狀態(tài)進(jìn)行監(jiān)控，可執(zhí)行啟、停操作；靜態(tài)資源池界面

和動(dòng)態(tài)資源池界面可對(duì)根據(jù)服務(wù)狀態(tài)對(duì)資源進(jìn)行靜態(tài)和動(dòng)態(tài)調(diào)整。

主機(jī)界面：可以查詢已添加的主機(jī)及其運(yùn)行狀態(tài)，也可對(duì)單臺(tái)主機(jī)進(jìn)行全面監(jiān)

控。

告警界面：主要包含告警查看和閥值設(shè)置。

安裝界面：包括安裝集群、安裝主機(jī)、安裝服務(wù)、機(jī)架管理、升級(jí)服務(wù)、升級(jí)

主機(jī)。

系統(tǒng)管理界面：包含巡檢報(bào)告、開關(guān)設(shè)置、版本設(shè)置等內(nèi)容。

日志界面：分為操作日志、系統(tǒng)日志、安全日志?？梢园凑詹樵儣l件對(duì)日志進(jìn)

行查詢操作，并可對(duì)日志可以進(jìn)行分類、刪除、過濾、導(dǎo)出。

9

安全界面：包含部門管理、用戶管理、角色管理等。

⑩集群部署及監(jiān)控

集群部署與監(jiān)控能夠提供整個(gè)云操作系統(tǒng)以及上層應(yīng)用服務(wù)的部署、配置管理

以及服務(wù)的自檢和自舉。

集群部署：支持自動(dòng)化的安裝部署，使用工具進(jìn)行自動(dòng)安裝，簡(jiǎn)單快捷。主要

功能包括：集群安裝、主機(jī)安裝、服務(wù)安裝、服務(wù)升級(jí)、主機(jī)升級(jí)、機(jī)架管理。

運(yùn)行監(jiān)控：可以整體查看大數(shù)據(jù)集群的整體運(yùn)行狀況。包括主機(jī)、服務(wù)等資源

的數(shù)量、在線情況；運(yùn)行負(fù)載情況；以及告警信息。同時(shí)監(jiān)控大數(shù)據(jù)平臺(tái)各組件運(yùn)

行狀態(tài)、硬件資源占用情況（硬盤、CPU、內(nèi)存等）等，如果被監(jiān)控對(duì)象出現(xiàn)異常情

況，監(jiān)控系統(tǒng)就會(huì)在相關(guān)管理告警頁(yè)面發(fā)出告警通知。

（2）大數(shù)據(jù)多維分析查詢系統(tǒng)

①總體要求

大數(shù)據(jù)多維查詢系統(tǒng)要求提供超大數(shù)據(jù)規(guī)模數(shù)據(jù)查詢，支持PB級(jí)數(shù)據(jù)量。針對(duì)

海量數(shù)據(jù)可以進(jìn)行任意維度的密集計(jì)算與檢索，支持建立OLAPCube,提供MOLAP能

力。支持高并發(fā)、低延時(shí)的在線數(shù)據(jù)應(yīng)用系統(tǒng)，能夠提供高并發(fā)的實(shí)時(shí)計(jì)算查詢服

務(wù)，對(duì)于百億行級(jí)別的數(shù)據(jù)可在亞秒級(jí)時(shí)間返回查詢結(jié)果。大數(shù)據(jù)多維查詢系統(tǒng)主

要面向傳統(tǒng)架構(gòu)中OLAP（聯(lián)機(jī)分析處理）數(shù)據(jù)訪問場(chǎng)景，利用多維分析技術(shù)，針對(duì)

特定分析主題，設(shè)計(jì)多種可能的觀察方式，設(shè)計(jì)相應(yīng)的分析主題結(jié)構(gòu)，使用戶在多

維模型基礎(chǔ)上進(jìn)行快速、穩(wěn)定、交互式訪問，以達(dá)到復(fù)雜分析和數(shù)據(jù)預(yù)測(cè)的作用，

實(shí)現(xiàn)實(shí)時(shí)聯(lián)機(jī)分析處理的效果，面向高并發(fā)、海量、低延時(shí)的業(yè)務(wù)場(chǎng)景。

②創(chuàng)建數(shù)據(jù)模型

系統(tǒng)能夠根據(jù)維度和指標(biāo)的要求，從現(xiàn)有的數(shù)據(jù)表中選擇可對(duì)應(yīng)維度或指標(biāo)的

字段，將這些字段的信息分別保存在維度表和度量表中。支持層級(jí)維度、聯(lián)合維度、

可推導(dǎo)維度等維度降維優(yōu)化技術(shù)。根據(jù)業(yè)務(wù)的聚合需求，支持定義度量的聚合形式，

包括SUM、MIN、MAX、COUNT、COUNT_DISTINCT等?？啥x分區(qū)類型、分區(qū)列和開始

日期等，以支持采用增量構(gòu)建方式對(duì)Cube進(jìn)行構(gòu)建。

③分析查詢處理

系統(tǒng)能夠根據(jù)維度指標(biāo)定義及關(guān)聯(lián)關(guān)系，提供多維數(shù)據(jù)的分析查詢處理，在查

詢過程中能夠分別根據(jù)上鉆、下鉆、切片、切塊、旋轉(zhuǎn)、TOPN等操作進(jìn)行相應(yīng)的處

10

理。

支持web頁(yè)面向?qū)侥Ｐ蜆?gòu)建及任務(wù)監(jiān)控。支持ANSISQL查詢標(biāo)準(zhǔn)，對(duì)外提供

標(biāo)準(zhǔn)的ODBC、JDBC驅(qū)動(dòng)及RESTAPI接口。

(3)大數(shù)據(jù)智能分析系統(tǒng)

①總體要求

大數(shù)據(jù)智能分析系統(tǒng)提供各類數(shù)據(jù)的融合與共享服務(wù)，要求集成豐富的數(shù)據(jù)挖

掘算法，能夠?qū)Ａ繑?shù)據(jù)提供高效的分析和計(jì)算。數(shù)據(jù)分析挖掘引擎支持并行化統(tǒng)

計(jì)算法和機(jī)器學(xué)習(xí)基礎(chǔ)算法庫(kù)，支持的并行化基礎(chǔ)算法，能夠處理大數(shù)據(jù)集。

②算法庫(kù)

大數(shù)據(jù)智能分析平臺(tái)，需集成豐富的機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘算法，包括但不限于

分類、預(yù)測(cè)與回歸、聚類、降維、推薦/協(xié)同過濾、相似度等算法，支持對(duì)海量數(shù)據(jù)

進(jìn)行高效的分析和計(jì)算，支持圖計(jì)算和圖挖掘，支持用戶擴(kuò)展算法庫(kù)。

聚類分析：集成常用的聚類分析算法對(duì)數(shù)據(jù)進(jìn)行抽象的分組分類。

分類分析：在設(shè)定好的分類之中，對(duì)數(shù)據(jù)進(jìn)行歸類。

關(guān)聯(lián)分析：集成常用關(guān)聯(lián)分析算法，對(duì)數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系進(jìn)行分析，得出不

同數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系。

回歸分析：集成常用回歸分析算法。

特征分析：集成常用特征分析算法，挖掘數(shù)據(jù)潛在的特征。

圖挖掘：基于圖和圖并行計(jì)算框架提供圖挖掘工具，主要包含：連通圖、最短

路徑、三角關(guān)系計(jì)數(shù)、社區(qū)關(guān)系。

③智能分析系統(tǒng)

數(shù)據(jù)準(zhǔn)備：通過對(duì)業(yè)務(wù)需求分析，搜索所有與業(yè)務(wù)對(duì)象有關(guān)的內(nèi)部和外部數(shù)據(jù)

信息，從中選擇出適用于數(shù)據(jù)挖掘應(yīng)用的數(shù)據(jù)，并進(jìn)行數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理可

以加快分析過程，提高分析結(jié)果的精度，針對(duì)不同的數(shù)據(jù)類型缺失值的處理各不相

同，需要結(jié)合業(yè)務(wù)場(chǎng)景。

數(shù)據(jù)探索：通過統(tǒng)計(jì)分析和關(guān)聯(lián)分析等手段，能夠深入挖掘多源多維數(shù)據(jù)之間

的關(guān)聯(lián)性，從不同的維度分析數(shù)據(jù)，加深對(duì)數(shù)據(jù)的理解，提取可能對(duì)業(yè)務(wù)結(jié)果相關(guān)

的影響因子，探索發(fā)掘數(shù)據(jù)的內(nèi)在規(guī)律特征，為分析模型對(duì)業(yè)務(wù)進(jìn)行定量與定性的

結(jié)合分析。

11

數(shù)據(jù)構(gòu)建：根據(jù)數(shù)據(jù)源類型、業(yè)務(wù)要求建立對(duì)應(yīng)的數(shù)據(jù)模型。通過分類、聚類、

關(guān)聯(lián)、回歸、特征分析等機(jī)器學(xué)習(xí)算法和分析方法，對(duì)海量多樣化數(shù)據(jù)進(jìn)行進(jìn)行模

型構(gòu)建和數(shù)據(jù)分析挖掘。數(shù)據(jù)模型的設(shè)計(jì)包括設(shè)計(jì)和準(zhǔn)備數(shù)據(jù)源，數(shù)據(jù)的處理，選

取和設(shè)計(jì)數(shù)據(jù)算法。數(shù)據(jù)模型的建立是一個(gè)預(yù)定義、評(píng)估、優(yōu)化的過程。

模型評(píng)估：利用評(píng)估算法對(duì)模型進(jìn)行評(píng)估，評(píng)估數(shù)據(jù)分析結(jié)果的合理性、合法

性，評(píng)價(jià)模型的優(yōu)劣。根據(jù)分析結(jié)果及時(shí)調(diào)整和優(yōu)化數(shù)據(jù)模型，如果結(jié)果不符合預(yù)

期，需要調(diào)整參數(shù)進(jìn)行機(jī)器學(xué)習(xí)，重新估算。

可視化智能分析工具：要求提供可視化智能分析工具，加速數(shù)據(jù)分析模型設(shè)計(jì)。

可視化智能分析套件為數(shù)據(jù)分析提供直觀的圖形化用戶界面，用于設(shè)計(jì)分析流程。

實(shí)現(xiàn)完整的建模步驟，從數(shù)據(jù)加載、匯集、到轉(zhuǎn)化和準(zhǔn)備階段，再到數(shù)據(jù)分析和產(chǎn)

生預(yù)測(cè)階段。

數(shù)據(jù)管理服務(wù)平臺(tái)

數(shù)據(jù)管理服務(wù)平臺(tái)是一個(gè)管理、展現(xiàn)平臺(tái)，主要包括：數(shù)據(jù)治理與監(jiān)控系統(tǒng)、

數(shù)據(jù)服務(wù)集成管理系統(tǒng)和大數(shù)據(jù)展現(xiàn)門戶等。

(1)數(shù)據(jù)治理與監(jiān)控系統(tǒng)

數(shù)據(jù)治理與監(jiān)控系統(tǒng)是一個(gè)數(shù)據(jù)治理和數(shù)據(jù)監(jiān)控的綜合管理系統(tǒng)，對(duì)數(shù)據(jù)資源

中心和大數(shù)據(jù)處理平臺(tái)兩大部分?jǐn)?shù)據(jù)進(jìn)行治理和管控。數(shù)據(jù)治理按照數(shù)據(jù)全生命周

期來管理，要求包含：數(shù)據(jù)源管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)地圖管理、數(shù)據(jù)血緣管理、

數(shù)據(jù)安全管理和元數(shù)據(jù)管理等；數(shù)據(jù)監(jiān)控與數(shù)據(jù)治理相輔相成，實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的

全程監(jiān)控，包括：全局?jǐn)?shù)據(jù)監(jiān)控、部門數(shù)據(jù)監(jiān)控、數(shù)據(jù)存儲(chǔ)使用監(jiān)控和數(shù)據(jù)異常監(jiān)

控等內(nèi)容。

①數(shù)據(jù)標(biāo)準(zhǔn)管理

術(shù)語標(biāo)準(zhǔn)管理：包括限定詞、同義詞、術(shù)語等信息庫(kù)的管理。

元數(shù)據(jù)管理：元數(shù)據(jù)記錄了數(shù)據(jù)源的結(jié)構(gòu)信息，有了元數(shù)據(jù)才能對(duì)數(shù)據(jù)源進(jìn)行

各種操作，元數(shù)據(jù)管理需要提供對(duì)各數(shù)據(jù)源的元數(shù)據(jù)進(jìn)行注冊(cè)，加載，查看等功能。

數(shù)據(jù)源管理：數(shù)據(jù)源管理包括：基礎(chǔ)環(huán)境的管理、標(biāo)準(zhǔn)編碼管理等。

基礎(chǔ)環(huán)境管理：基礎(chǔ)環(huán)境配置管理用于進(jìn)行一些基礎(chǔ)信息的配置，包括：源、

目標(biāo)數(shù)據(jù)源的配置、標(biāo)準(zhǔn)數(shù)據(jù)庫(kù)表結(jié)構(gòu)配置及其編碼表的配置等。

②標(biāo)準(zhǔn)編碼表管理

12

用于對(duì)數(shù)據(jù)中心數(shù)據(jù)涉及的編碼表及其編碼項(xiàng)進(jìn)行定義。

③數(shù)據(jù)處理管理

提供完善的數(shù)據(jù)處理功能，如數(shù)據(jù)清洗、數(shù)據(jù)比對(duì)、數(shù)據(jù)加載、數(shù)據(jù)轉(zhuǎn)換、數(shù)

據(jù)共享等功能。

④數(shù)據(jù)規(guī)則與質(zhì)量管理

數(shù)據(jù)質(zhì)量監(jiān)控是根據(jù)預(yù)設(shè)的規(guī)則來檢測(cè)數(shù)據(jù)中的質(zhì)量問題，檢測(cè)規(guī)則可自主配

置，也可以自主編寫規(guī)則表達(dá)式。數(shù)據(jù)質(zhì)量監(jiān)控與系統(tǒng)調(diào)度關(guān)聯(lián)使用，發(fā)現(xiàn)臟數(shù)據(jù)，

避免錯(cuò)誤的數(shù)據(jù)流入下游應(yīng)用。

⑤數(shù)據(jù)地圖

數(shù)據(jù)全局視圖：展示從外部源到內(nèi)部庫(kù)，到輸出數(shù)據(jù)庫(kù)的數(shù)據(jù)整體流向，展示

類別數(shù)目、庫(kù)數(shù)目、表數(shù)目、分別統(tǒng)計(jì)庫(kù)、表、字段、作業(yè)、任務(wù)等數(shù)量。從表數(shù)

目和數(shù)據(jù)存儲(chǔ)量的角度展示數(shù)據(jù)庫(kù)中按月度變化的動(dòng)態(tài)信息，以直觀的圖形化進(jìn)行

動(dòng)態(tài)展示。并且可以區(qū)分不同部門進(jìn)行統(tǒng)計(jì)。

數(shù)據(jù)動(dòng)態(tài)分布：從表數(shù)目和數(shù)據(jù)存儲(chǔ)量的角度展示數(shù)據(jù)倉(cāng)庫(kù)中按月度變化的動(dòng)

態(tài)信息，以直觀的圖形化進(jìn)行動(dòng)態(tài)展示。并且可以區(qū)分不同部門或者租戶進(jìn)行統(tǒng)計(jì)。

數(shù)據(jù)血緣：數(shù)據(jù)血緣以歷史事實(shí)的方式記錄每項(xiàng)數(shù)據(jù)的來源，處理過程，應(yīng)用

對(duì)接情況等，記錄了數(shù)據(jù)表在治理過程中的全鏈血緣關(guān)系。數(shù)據(jù)血緣就是通過對(duì)數(shù)

據(jù)處理的全過程追蹤，找到以某個(gè)數(shù)據(jù)對(duì)象為起點(diǎn)的所有與該對(duì)象相關(guān)的元數(shù)據(jù)和

它們之間關(guān)系的一種技術(shù)手段。

（2）數(shù)據(jù)服務(wù)集成管理系統(tǒng)

搭建基于企業(yè)服務(wù)總線（ESB）的服務(wù)集成管理系統(tǒng)，構(gòu)建數(shù)據(jù)服務(wù)的統(tǒng)一通信

通道，即使在協(xié)議不同、格式不同、標(biāo)準(zhǔn)不同的情況下，服務(wù)與對(duì)接服務(wù)之間都可

以實(shí)現(xiàn)交互通信，傳遞消息，以便實(shí)現(xiàn)服務(wù)集成管理目標(biāo)，從而實(shí)現(xiàn)各類數(shù)據(jù)服務(wù)

的統(tǒng)一管理，面向政府用于、企業(yè)、公眾、開發(fā)者，提供便捷的數(shù)據(jù)服務(wù)。具體包

括：

①服務(wù)注冊(cè)與發(fā)布

提供服務(wù)定義、注冊(cè)、審核和發(fā)布功能，發(fā)布前可以對(duì)服務(wù)的配置參數(shù)進(jìn)行審

核與修改，配置通道，發(fā)布后，自動(dòng)生成/更新對(duì)應(yīng)服務(wù)的配置文件（如WSDL）,連

同服務(wù)參數(shù)配置，更新至服務(wù)目錄中；提供對(duì)注冊(cè)/發(fā)布服務(wù)的連通性測(cè)試；

②服務(wù)生命周期管理

13

提供服務(wù)的注冊(cè)、變更、下線的申請(qǐng)、審核、復(fù)核功能，檢查和確認(rèn)服務(wù)狀態(tài)

以執(zhí)行變更、下線；根據(jù)服務(wù)優(yōu)化管理中的服務(wù)拓?fù)浞治?，調(diào)整服務(wù)層級(jí)分類或整

合服務(wù)，以實(shí)現(xiàn)優(yōu)化；提供服務(wù)版本的管理；

③流程管理

支持服務(wù)申請(qǐng)、服務(wù)變更、服務(wù)下線等服務(wù)生命周期管理中相關(guān)流程的管理功

能；

④服務(wù)目錄管理

提供服務(wù)目錄的瀏覽和檢索；提供服務(wù)目錄/服務(wù)定義/服務(wù)狀態(tài)的查詢和管理,

包括權(quán)限的過濾和管理；

⑤接入系統(tǒng)管理

設(shè)置和管理服務(wù)請(qǐng)求方和接入請(qǐng)求系統(tǒng)的映射關(guān)系；設(shè)置和管理服務(wù)提供方和

接入服務(wù)系統(tǒng)的映射關(guān)系；設(shè)置和管理服務(wù)請(qǐng)求方、服務(wù)提供方在服務(wù)治理系統(tǒng)的

用戶映射關(guān)系；

⑥接口數(shù)據(jù)管理

提供數(shù)據(jù)字典的定義和管理，提供服務(wù)方法接口和數(shù)據(jù)字典字段的映射關(guān)系設(shè)

置。

（3）大數(shù)據(jù)展現(xiàn)門戶

大數(shù)據(jù)展現(xiàn)門戶是智慧園區(qū)大數(shù)據(jù)中心對(duì)外服務(wù)窗口，門戶包括兩個(gè)方面：政

務(wù)數(shù)據(jù)資源門戶（內(nèi)部數(shù)據(jù)門戶）和公眾數(shù)據(jù)門戶（外部數(shù)據(jù)門戶）。

政務(wù)數(shù)據(jù)資源門戶作為大數(shù)據(jù)管理部門信息發(fā)布和資源服務(wù)的總管理入口，為

各級(jí)政府部門提供信息資源展示、在線信息服務(wù)、信息檢索、系統(tǒng)集成訪問等功能。

另外，針對(duì)系統(tǒng)管理員、各級(jí)領(lǐng)導(dǎo)、政務(wù)用戶的不同應(yīng)用需求，提供個(gè)性化工作臺(tái)。

公眾數(shù)據(jù)門戶提供政務(wù)部門可公開各類數(shù)據(jù)的下載與服務(wù)，為企業(yè)和個(gè)人開展

政務(wù)信息資源的社會(huì)化開發(fā)利用提供數(shù)據(jù)支撐，推動(dòng)信息資源增值服務(wù)業(yè)的發(fā)展以

及相關(guān)數(shù)據(jù)分析與研究工作的開展。

①政務(wù)數(shù)據(jù)資源門戶

門戶基本管理：政務(wù)數(shù)據(jù)資源門戶主要是提供政務(wù)大數(shù)據(jù)中心數(shù)據(jù)成果的展示

和應(yīng)用訪問入口的應(yīng)用集成。提供單點(diǎn)登錄、訪問權(quán)限管理，后臺(tái)內(nèi)容管理等功能。

在線查詢服務(wù):針對(duì)政務(wù)數(shù)據(jù)中心，開發(fā)高效率的在線查詢服務(wù)。人口信息、法

14

人信息、宏觀經(jīng)濟(jì)、信用信息等面向政府部門提供信息服務(wù)，空間地理信息服務(wù)包

括地圖基本操作、地圖測(cè)量、圖層控制、空間分析以及相關(guān)數(shù)據(jù)融合等信息服務(wù)功

能。

信息資源綜合展示：能通過可視化的方式展示區(qū)域內(nèi)信息資源的全景，即：部

門信息資源的分布情況，需求情況、使用情況，需要按照不同視角進(jìn)行呈現(xiàn)，要求

包含但不限于：資產(chǎn)總體視圖、組織機(jī)構(gòu)視角、服務(wù)對(duì)象視角、信息資源視角、協(xié)

同主題視角。

用戶交流模塊：為用戶提供交流的手段，每個(gè)授權(quán)用戶都可以在交流板塊上提

出問題、見解或者是進(jìn)行討論，針對(duì)交流的問題可以選擇是否公開。

用戶幫助模塊：為用戶提供平臺(tái)功能及其操作方法的介紹和幫助說明，使各級(jí)

用戶盡快掌握使用方法。

②公眾數(shù)據(jù)門戶

為了實(shí)現(xiàn)政務(wù)數(shù)據(jù)對(duì)社會(huì)的開放，帶動(dòng)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展，利用政務(wù)大數(shù)據(jù)促進(jìn)

信息產(chǎn)業(yè)創(chuàng)業(yè)創(chuàng)新，建設(shè)數(shù)據(jù)對(duì)外開放的門戶，實(shí)現(xiàn)政務(wù)大數(shù)據(jù)的對(duì)外開放。針對(duì)

公眾數(shù)據(jù)門戶將要充分利用政府門戶網(wǎng)站，在現(xiàn)有的門戶網(wǎng)站上開辟一個(gè)政務(wù)數(shù)據(jù)

開放的入口，點(diǎn)擊后即可進(jìn)入公眾數(shù)據(jù)門戶。公眾數(shù)據(jù)門戶的主要功能有：資源目

錄、數(shù)據(jù)開放接口、APP應(yīng)用、互動(dòng)交流等。

資源目錄：社會(huì)公眾可以通過資源目錄查找到需要的數(shù)據(jù)，找到相應(yīng)數(shù)據(jù)的獲

取方式，數(shù)據(jù)可以是通過下載方式獲取也可以通過數(shù)據(jù)接口的方式獲取，無論哪種

方式都需要用戶注冊(cè)認(rèn)證后才可以獲取。用戶可以通過數(shù)據(jù)資源主題的方式查找，

也可以用戶數(shù)據(jù)來源各部門的方式查找。

數(shù)據(jù)開放接口：用戶可以通過此功能查找到可以調(diào)用的數(shù)據(jù)接口，并可以查找

到數(shù)據(jù)接口的調(diào)用方式、說明文檔、代碼示例等相關(guān)內(nèi)容，通過功能應(yīng)用開發(fā)人員

可以方便的通過數(shù)據(jù)接口獲取所需要的數(shù)據(jù)。

互動(dòng)交流：互動(dòng)交流功能是網(wǎng)站用戶與網(wǎng)站管理人員進(jìn)行互動(dòng)交流的模塊，在

這里網(wǎng)站管理人員可以將網(wǎng)站的使用說明和一些常遇到的問題及解決方法公布出來,

網(wǎng)站管理人員也可以在此公布調(diào)查問卷，征求普通用戶的意見。同時(shí)，普通用戶也

可以在這里提出自己的疑問，讓管理人員進(jìn)行解答。

15

1.2設(shè)計(jì)方案

1.2.1總體平臺(tái)設(shè)計(jì)

1.2.1.1總體架構(gòu)

智慧園區(qū)大數(shù)據(jù)平臺(tái)的核心是建立面向宏觀經(jīng)濟(jì)發(fā)展、社會(huì)公共服務(wù)的數(shù)據(jù)庫(kù)

和數(shù)據(jù)服務(wù)?？傮w架構(gòu)由支撐體系（標(biāo)準(zhǔn)規(guī)范支撐體系、管理運(yùn)行維護(hù)支撐體系、

安全支撐體系）、網(wǎng)絡(luò)系統(tǒng)、信息共享平臺(tái)軟硬件系統(tǒng)環(huán)境、數(shù)據(jù)庫(kù)體系（中心交換

庫(kù)、基礎(chǔ)數(shù)據(jù)庫(kù)、主題庫(kù)、發(fā)布庫(kù)、宏觀經(jīng)濟(jì)數(shù)據(jù)庫(kù)管理系統(tǒng)、元數(shù)據(jù)庫(kù)系統(tǒng)）、應(yīng)

用系統(tǒng)（數(shù)據(jù)交換處理系統(tǒng)、應(yīng)用支撐系統(tǒng)、數(shù)據(jù)綜合分析系統(tǒng)）組成。

黨政領(lǐng)導(dǎo)機(jī)構(gòu)項(xiàng)目共建單位發(fā)改委社會(huì)公眾

祠數(shù)據(jù)綜合分析系統(tǒng)應(yīng)用支撐系統(tǒng)

a孤

應(yīng)用系統(tǒng)

w數(shù)據(jù)交換處理系統(tǒng)心

割

期

口

刊

觥?

為?

刊

M履

參

幔

」,「「「信息!'”「一?訓(xùn)"I；；;斗

標(biāo)準(zhǔn)規(guī)范支撐體系

圖大數(shù)據(jù)平臺(tái)總體架構(gòu)圖

信息共享平臺(tái)通過網(wǎng)絡(luò)收集統(tǒng)計(jì)系統(tǒng)和各共建部門的信息資源，并有效地將這

些信息資源進(jìn)行分類整理，實(shí)現(xiàn)跨部門、跨行業(yè)的宏觀經(jīng)濟(jì)管理信息共享，并向用

戶提供數(shù)據(jù)服務(wù)；

數(shù)據(jù)庫(kù)體系：由元數(shù)據(jù)控制，實(shí)現(xiàn)數(shù)據(jù)的交換、存儲(chǔ)和發(fā)布，整合共建單位現(xiàn)

有信息資源，構(gòu)建主題庫(kù)和發(fā)布庫(kù)，為數(shù)據(jù)服務(wù)提供支持。

16

1.2.1.2體系結(jié)構(gòu)圖

智慧園區(qū)公共基礎(chǔ)數(shù)據(jù)庫(kù)信息共享平臺(tái)劃分為工作（生產(chǎn)）區(qū)、發(fā)布（共享）

區(qū)和互聯(lián)網(wǎng)信息發(fā)布區(qū)。在工作（生產(chǎn)）區(qū)構(gòu)建宏觀經(jīng)濟(jì)數(shù)據(jù)的采集、整合、處理

和存儲(chǔ)系統(tǒng)；在發(fā)布（共享）區(qū)構(gòu)建宏觀經(jīng)濟(jì)數(shù)據(jù)的發(fā)布與共享、存儲(chǔ)與備份和專

網(wǎng)門戶系統(tǒng)等環(huán)境支撐系統(tǒng)；在互聯(lián)網(wǎng)信息發(fā)布區(qū)構(gòu)建互聯(lián)網(wǎng)門戶系統(tǒng)，為社會(huì)公

眾提供宏觀經(jīng)濟(jì)信息服務(wù)。如下圖表所示：

互1網(wǎng)發(fā)布區(qū)宏觀輝敗據(jù)共8x宏觀輝數(shù)好生產(chǎn):工作）X-----國(guó)家發(fā)it同

外M門戶行同門尸―同門戶

信息共享平臺(tái)信且共享平臺(tái)

外科網(wǎng)用.政

0

政務(wù)及成計(jì)岸付W岸

分

儕從發(fā)布w埋氟

公眾互動(dòng)Aft

致界揮體條數(shù)據(jù)軍體系

K它功?

式筆數(shù)鬃庫(kù)

兀數(shù)據(jù)??PC

發(fā)茹岸即I數(shù)據(jù)川父晨輝

外同為索祥

發(fā)布輝

圖園區(qū)大數(shù)據(jù)平臺(tái)體系結(jié)構(gòu)圖

1.2.1.3總體流程圖

智慧園區(qū)大數(shù)據(jù)平臺(tái)采用在線填報(bào)、數(shù)據(jù)庫(kù)對(duì)接和基于消息的數(shù)據(jù)交換三種采

集方式，集中采集、整合、存儲(chǔ)各共建部門指標(biāo)數(shù)據(jù)。中心交換數(shù)據(jù)庫(kù)存儲(chǔ)各共建

部門交換來的原貌數(shù)據(jù)，基礎(chǔ)數(shù)據(jù)庫(kù)是對(duì)原貌數(shù)據(jù)進(jìn)行審核轉(zhuǎn)換和加工而成，是主

題數(shù)據(jù)庫(kù)和發(fā)布庫(kù)構(gòu)成的基礎(chǔ)。元數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)的采集交換、整合、存儲(chǔ)、分析和

發(fā)布全過程進(jìn)行定義和約束。專網(wǎng)和互聯(lián)網(wǎng)的用戶可通過門戶系統(tǒng)，分別對(duì)發(fā)布（共

享）區(qū)和互聯(lián)網(wǎng)信息發(fā)布區(qū)的數(shù)據(jù)進(jìn)行訪問。

智慧園區(qū)大數(shù)據(jù)平臺(tái)總體流程圖如下：

17

悔用支撐梟統(tǒng)

”服務(wù)調(diào)用

使用

甘

域

體

系

圖園區(qū)大數(shù)據(jù)平臺(tái)總體流程圖

1.2.2人口基礎(chǔ)數(shù)據(jù)庫(kù)設(shè)計(jì)

在沒有數(shù)據(jù)標(biāo)準(zhǔn)的情況下，人口基礎(chǔ)數(shù)據(jù)庫(kù)數(shù)據(jù)中心對(duì)同一個(gè)數(shù)據(jù)字段可以從

多個(gè)數(shù)據(jù)來源采集數(shù)據(jù)。如：婚姻狀態(tài)字段可以從計(jì)生部門和公安部門采集。對(duì)于

同一個(gè)數(shù)據(jù)字段，中心對(duì)于該數(shù)據(jù)字段保存多個(gè)來源的版本。人口基礎(chǔ)數(shù)據(jù)管理系

統(tǒng)提供工具、服務(wù)來展現(xiàn)數(shù)據(jù)的不一致性，數(shù)據(jù)管理員根據(jù)工作制度，對(duì)數(shù)據(jù)字段

進(jìn)行電話等多種手段核實(shí)字段的真實(shí)數(shù)值。中心通過數(shù)據(jù)交換系統(tǒng)以數(shù)據(jù)服務(wù)的方

式從各業(yè)務(wù)部門采集數(shù)據(jù)，保存到公共數(shù)據(jù)緩存庫(kù)，使用人口基礎(chǔ)數(shù)據(jù)管理維護(hù)系

統(tǒng)進(jìn)行數(shù)據(jù)比對(duì)、沖突檢查、數(shù)據(jù)審核、數(shù)據(jù)轉(zhuǎn)換。當(dāng)數(shù)據(jù)達(dá)到一致性、完整性要

求時(shí)，數(shù)據(jù)將由公共數(shù)據(jù)緩存庫(kù)轉(zhuǎn)存到人口基礎(chǔ)數(shù)據(jù)發(fā)布庫(kù)中，并通過數(shù)據(jù)交換系

18

統(tǒng)以訂閱/發(fā)布的方式提供給各業(yè)務(wù)部門使用。

人口基礎(chǔ)數(shù)據(jù)管理系統(tǒng)維護(hù)一個(gè)面向?qū)ο蟮墓矓?shù)據(jù)模型，公共數(shù)據(jù)模型是公

共數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范的實(shí)現(xiàn)。公共數(shù)據(jù)維護(hù)系統(tǒng)控制著公共數(shù)據(jù)的輸入和輸出，為數(shù)據(jù)

質(zhì)量把關(guān)。人口基礎(chǔ)信息綜合查詢系統(tǒng)采用B/S結(jié)構(gòu)，客戶端采用瀏覽器，用戶界

面是實(shí)現(xiàn)不同功能的網(wǎng)頁(yè)。

綜合查詢系統(tǒng)的操作頁(yè)面要求易于使用，使用戶能夠方便快捷的對(duì)網(wǎng)頁(yè)提供的

各項(xiàng)功能進(jìn)行操作。采用菜單樹的方式展開系統(tǒng)的功能。

人口基礎(chǔ)信息綜合查詢系統(tǒng)可以有針對(duì)性地，按照用戶授權(quán)的不同，為不同用

戶提供不同層次的人口資源公共查詢服務(wù)。

人口基礎(chǔ)信息功能如下圖所示。

人口基礎(chǔ)信息庫(kù)系統(tǒng)

接

系

信

信

信

比

清

授

統(tǒng)

收

息

息

息

對(duì)

洗

權(quán)

管

服

查

服

統(tǒng)

服

服

服

理

詢

務(wù)

務(wù)

計(jì)

務(wù)

務(wù)

務(wù)

人口基礎(chǔ)數(shù)據(jù)庫(kù)管理應(yīng)用系統(tǒng)功能模塊列表:

編號(hào)一級(jí)模塊二級(jí)模塊三模塊

1系統(tǒng)帳戶管理

用戶角色管理

2角色信息管理

3公安帳戶管理

4社保帳戶管理

5部門帳戶管理衛(wèi)生帳戶管理

系統(tǒng)管理

6計(jì)生帳戶管理

7民政帳戶管理

8系統(tǒng)日志管理

9系統(tǒng)監(jiān)控管理系統(tǒng)網(wǎng)絡(luò)布局

10部門交換頻率

11接收處理接收數(shù)據(jù)查看接收公安數(shù)據(jù)

19

編號(hào)一級(jí)模塊二級(jí)模塊三模塊

12接收社保數(shù)據(jù)

13接收衛(wèi)生數(shù)據(jù)

14接收計(jì)生數(shù)據(jù)

15接收民政信息

16清洗規(guī)則管理

清洗比對(duì)管理

17比對(duì)規(guī)則管理

18清洗結(jié)果查看

19清洗比對(duì)結(jié)果比對(duì)結(jié)果查看

20手工比對(duì)歷史

21手工比對(duì)信息

手工比對(duì)管理

22手工比對(duì)歷史

23反饋信息查看反饋信息列表

24申請(qǐng)查看授權(quán)

數(shù)據(jù)授權(quán)管理

25查看授權(quán)申請(qǐng)

26授權(quán)管理數(shù)據(jù)交換申請(qǐng)

27數(shù)據(jù)交換申請(qǐng)交換申請(qǐng)列表

28交換審批列表

29人口信息服務(wù)人口信息查詢

30信息服務(wù)人口碼表信息人口碼表信息

31人口共享指標(biāo)可共享指標(biāo)

32人口性別統(tǒng)計(jì)

33人口年齡統(tǒng)計(jì)

基礎(chǔ)信息統(tǒng)計(jì)

34人口文化程度

35人口民族統(tǒng)計(jì)

統(tǒng)計(jì)分析

36地區(qū)分布統(tǒng)計(jì)地區(qū)人口統(tǒng)計(jì)

37社保人員情況

人員參保分析

38參合人員情況

39計(jì)劃生育分析地區(qū)育齡分布

20

編號(hào)一級(jí)模塊二級(jí)模塊三模塊

40育齡婦女比例

1.2.2.1數(shù)據(jù)接收服務(wù)

接收數(shù)據(jù)的查詢是針對(duì)各部門交換匯總的信息，進(jìn)行以部門為單位的信息查詢。

通過查詢工作，可以了解各部門實(shí)際提交的信息情況，并實(shí)現(xiàn)信息詳查和統(tǒng)計(jì)工作。

系統(tǒng)提供了按部門查詢的查詢方式。