數(shù)據(jù)管理平臺實施方案

數(shù)據(jù)管理平臺實施方案

(V1.0)

項目編號：項目名稱：

編寫人：XX編寫日期：2020.05.10

審核人：審核日期：2020.05.15

批準人：批準日期：

1

文檔修訂記錄

日期版本說明作者審批人

2020.05.101.0第一稿XXXXX

2

目錄

第1章.編寫說明................................................................................5

1.1編寫目的..................................................................................5

1.2術語定義..................................................................................5

第2章.項目實施總述............................................................................6

2.1數(shù)據(jù)管理平臺項目建設目標與任務.....................................................6

2.1.1.數(shù)據(jù)管理平臺項目建設總體目標....................................................6

2.1.2.數(shù)據(jù)管理平臺項目分階段目標....................................................6

2.2數(shù)據(jù)管理平臺項目建設內(nèi)容.............................................................7

2.2.1.數(shù)據(jù)管理平臺項目總體架構(gòu)........................................................彳

.總體架構(gòu)..........................................................................7

.系統(tǒng)定位..........................................................................7

2.2.2.數(shù)據(jù)管理平臺項目軟硬件系統(tǒng)建設內(nèi)容................................................8

.元數(shù)據(jù)管理系統(tǒng)....................................................................8

22.2.2.數(shù)據(jù)集成系統(tǒng)......................................................................12

,統(tǒng)一安全系統(tǒng).....................................................................15

,一體化運維監(jiān)控系統(tǒng)................................................................24

2.2.3.項目實施工作內(nèi)容...................................................................27

2.2.4.項目實施進度規(guī)劃...................................................................28

2.2.5.實施風險與關鍵點...................................................................29

第3章.里程碑計劃.............................................................................32

第4章.2020年詳細工作計劃...................................................................34

3

文檔格式約定：:

一級標題：左對齊黑體字二號字加粗

二級標題：左對齊黑體字小二號字加粗

三級標題：左對齊黑體字三號字加粗

四級標題：左對齊黑體字四號字加粗

正文：正文首行縮進2字符1.5倍行距宋體小四號字

圖片：居中

表格：居中表格文字左對齊宋字五號字

4

第1章.編寫說明

1.1編寫目的

本方案不僅從實施目標、任務、執(zhí)行計劃和組織分工等方面對滄州大數(shù)據(jù)中心

項目數(shù)據(jù)中心項目（以下簡稱“本項目”）的實施工作進行了宏觀定義，并對具體

的基礎設施建設、系統(tǒng)設計方案、標準規(guī)范及培訓實施方案、系統(tǒng)實施、實施與保

障等專項工作也做較為詳細的定義，以指導后續(xù)的實施工作。

1.2術語定義

1.共建單位：配合滄州大數(shù)據(jù)中心工程建設的政府機構(gòu)、公共事業(yè)部門和企

業(yè)。

2.承建單位：九次方大數(shù)據(jù)信息集團有限公司

5

第2章.項目實施總述

2.1數(shù)據(jù)管理平臺項目建設目標與任務

2.1.1.數(shù)據(jù)管理平臺項目建設總體目標

數(shù)據(jù)管理平臺提供數(shù)據(jù)梳理、數(shù)據(jù)管理、服務監(jiān)控、政務數(shù)據(jù)協(xié)同、數(shù)據(jù)服務

集成、運行支撐、IT運維功能。

2.1.2.數(shù)據(jù)管理平臺項目分階段目標

1.第一階段目標

2020年5月15日工作目標

（1）完成平臺基礎功能建設，部署開放數(shù)據(jù)、云接口、云服務以及用戶中心

頻道部署、測試與運行。

（2）完成與省“互聯(lián)網(wǎng)+政務服務”平臺對接。

2.第二階段目標

2020年7月工作目標

（1）完成數(shù)據(jù)共享交換平臺功能完善、部署、測試與運行。

（2）完成數(shù)據(jù)管理系統(tǒng)功能完善、部署、測試功能建設。

3.第三階段目標

2020年10月工作目標

（1）完成與省共享交換平臺對接、與市直部門信息系統(tǒng)對接、與一體化在線

服務平臺等對接。

（2）完成數(shù)據(jù)管理平臺初驗、試運行和終驗。

6

2.2數(shù)據(jù)管理平臺項目建設內(nèi)容

2.2.1.數(shù)據(jù)管理平臺項目總體架構(gòu)

2.2.1.1.總體架構(gòu)

數(shù)據(jù)管理平臺從總體架構(gòu)設計上保證了平臺在系統(tǒng)規(guī)模與業(yè)務場景上的先進

性和可擴展性。全平臺采用基于X86硬件的全分布式架構(gòu)，可按需方便地進行水平

擴展（ScaleOut）和彈性伸縮。平臺由多個可插拔的獨立系統(tǒng)組成，系統(tǒng)間松耦合，

采用標準服務化接口進行互通。除必選系統(tǒng)外，其它系統(tǒng)可根據(jù)需要靈活選擇和獨

立安裝部署。

數(shù)據(jù)管理平臺總體架構(gòu)如下圖所示：

就監(jiān)控筑TUB

M0C安全

inHiaI住《■?im倉庫景貌

■fht?引?

IB?V9百日日由口

MySQLHiveH8d$eHOFSES

mI底加iftt?M

故據(jù)采集、MT洗.幡換

2.2.1.2.系統(tǒng)定位

數(shù)據(jù)管理平臺提供數(shù)據(jù)梳理、數(shù)據(jù)管理、服務監(jiān)控、政務數(shù)據(jù)協(xié)同、數(shù)據(jù)服務

集成、運行支撐、IT運維功能。

數(shù)據(jù)梳理功能提供政府部門的組織結(jié)構(gòu)、業(yè)務角色、信息資源類別、信息化系

統(tǒng)等的管理和維護。能夠?qū)I(yè)務流程圖和數(shù)據(jù)流程圖進行管理，能夠識別協(xié)同關系

和信息共享需求，能夠明確職責、整理和挖掘數(shù)據(jù)資源、規(guī)范數(shù)據(jù)表示；能夠?qū)?shù)

7

據(jù)庫的主題庫、邏輯實體、實體關系圖、數(shù)據(jù)映射圖、數(shù)據(jù)元標準、信息分類編碼

進行管理。

數(shù)據(jù)管理功能提供制定詳細的加工規(guī)則及流程及質(zhì)量監(jiān)控，保障基礎數(shù)據(jù)庫能

夠存儲較高質(zhì)量與細顆粒度的數(shù)據(jù)資源。主要包括數(shù)據(jù)采集抽取、數(shù)據(jù)過濾清洗、

數(shù)據(jù)映射轉(zhuǎn)換、數(shù)據(jù)比對、加工規(guī)則定義、數(shù)據(jù)維護管理等功能。

服務監(jiān)控功能即對數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、比對、入庫等過程進行監(jiān)控，并將

結(jié)果展示給內(nèi)部用戶查閱；提供網(wǎng)絡檢測與服務器檢測，使內(nèi)部用戶能夠及時了解

數(shù)據(jù)處理時網(wǎng)絡和硬件的開銷；提供數(shù)據(jù)處理過程及歷史情況查詢和錯誤、異常的

定位工具。

政務數(shù)據(jù)協(xié)同功能通過建立委辦局間的資源共享交換機制，促進信息更新和公

開，提升信息資源的利用水平，實現(xiàn)跨部門信息資源的整合與共享。

數(shù)據(jù)服務集成功能通過搭建基于數(shù)據(jù)服務總線（ESB）的服務集成管理平臺，

構(gòu)建數(shù)據(jù)服務的統(tǒng)一通信通道，提供在協(xié)議不同、格式不同、標準不同的情況下，

服務與對接服務之間的交互通信，傳遞消息。

運行支撐功能通過構(gòu)建覆蓋全市各部門的多級政務數(shù)據(jù)資源目錄體系架構(gòu)，采

用元數(shù)據(jù)對共享政務數(shù)據(jù)資源特征進行描述，形成統(tǒng)一規(guī)范的目錄內(nèi)容，通過對目

錄內(nèi)容的有效組織和管理，形成部門間政務數(shù)據(jù)資源物理分散、邏輯集中的信息共

享模式，提供政務數(shù)據(jù)資源的發(fā)現(xiàn)定位服務，支持全市范圍內(nèi)跨部門、跨地區(qū)的普

遍信息共享。

IT運維功能包括IT基礎環(huán)境運維、應用運行環(huán)境運維、數(shù)據(jù)處理監(jiān)控管理、

委辦局支撐服務管理、運維服務報表統(tǒng)計、后臺管理功能、角色管理。

2.2.2.數(shù)據(jù)管理平臺項目軟硬件系統(tǒng)建設內(nèi)容

2.2.2.1.元數(shù)據(jù)管理系統(tǒng)

元數(shù)據(jù)是對數(shù)據(jù)的描述，可以分為業(yè)務元數(shù)據(jù)、技術元數(shù)據(jù)和管理元數(shù)據(jù)。最

重要的是業(yè)務元數(shù)據(jù)。元數(shù)據(jù)管理通過一系列手段采集所需的各種外部數(shù)據(jù)系統(tǒng)、

數(shù)據(jù)倉庫、數(shù)據(jù)集市的元數(shù)據(jù)定義信息，并集中存儲在平臺中，這個過程是采集過

8

9

程。元數(shù)據(jù)采集以后可以進行四大類的操作與功能：

1通過一定的方法解析出數(shù)據(jù)之間的關聯(lián)映射關系，映射關系的上下游連在一

起形成數(shù)據(jù)地圖。通過數(shù)據(jù)地圖可以進行數(shù)據(jù)的血緣分析（向上游查詢）和影響分

析（向下游查詢）；

2保證元數(shù)據(jù)定義與實際情況的一致性。通過每天的元數(shù)據(jù)采集比對;可以知

道發(fā)生變化或異常的表，及時提醒相關人員關注，同時可以保留多個元數(shù)據(jù)歷史版

本供查閱；

3通過可視化界面，可以多層級，多角度地查詢、展現(xiàn)元數(shù)據(jù)信息；

4支撐數(shù)據(jù)質(zhì)量與數(shù)據(jù)標準模塊，提供接口調(diào)用。

?元數(shù)據(jù)業(yè)務架構(gòu)：

數(shù)

據(jù)

管

理LH蚊蟲座IgJMte

系

統(tǒng)

6*冗斂K

[元HB"]TtMfwn

10

血統(tǒng)分析

系統(tǒng)設置

主要提供資源管理、數(shù)據(jù)系統(tǒng)注冊。

?資源管理

分前置機和平臺兩種，前置機是客戶的數(shù)據(jù)庫機器連接信息、，平臺展

示從一體化運維監(jiān)控系統(tǒng)自動獲取的平臺內(nèi)的各種數(shù)據(jù)庫的信息

當需要從客戶機器采集的數(shù)據(jù)的話，就需要在前置機處設置這個連接

信息。目前支持Oracle,MYSQ敏據(jù)庫

?數(shù)據(jù)系統(tǒng)注冊

可新建前置機、平臺內(nèi)的新數(shù)據(jù)庫，也可以注冊前置機上已存在的數(shù)

據(jù)庫信息。

新建SFTP服務需要使用的SFTP用戶登錄信息

元數(shù)據(jù)定義

?數(shù)據(jù)表類

可在前置機、平臺內(nèi)的生成實體表，也可以僅采集已注冊的前置機數(shù)

11

據(jù)庫上的表結(jié)構(gòu)。

?文件目錄類

創(chuàng)建真正的HDFS文件目錄，并指定目錄所屬用戶，及目錄的公開等級

等

?ES索引

創(chuàng)建所屬的ES索引，供數(shù)據(jù)分析查詢時使用。

數(shù)據(jù)地圖

以可視化地圖方式展示由ETL任務產(chǎn)生的數(shù)據(jù)關系的血緣分析（即數(shù)據(jù)如何得

來）、影響分析（即數(shù)據(jù)改變后，對下游數(shù)據(jù)的影響），及手工創(chuàng)建的數(shù)據(jù)關系

可展示的層級有：數(shù)據(jù)庫、表、字段、文件類、各種屬性

形成一個展現(xiàn)數(shù)據(jù)全貌的數(shù)據(jù)地圖，清晰完整地揭示各種數(shù)據(jù)的來龍去脈

數(shù)據(jù)關系管理

此處主要用于手工創(chuàng)建數(shù)據(jù)關系所用

數(shù)據(jù)關系包含以下幾類：

?表與文件目錄的關系

?表與表之間的關系，

細分為以下類：

生成關系--表示一張表是由另一張表生成而來，例如，在ETL過程

中表與表之間的生成關系或由多張表生成寬表。生成關系屬于強關聯(lián)。

對于表與表之間的生成關系，在配置元數(shù)據(jù)時或ETL時可以自動生成

關系記錄，也可以手工創(chuàng)建。

引用關系一-表示兩張表間在業(yè)務上有關聯(lián)，但又不是生成關系。例如，

在地市-GDP統(tǒng)計表中，現(xiàn)在要統(tǒng)計每個地區(qū)（粵東、粵西、粵北）的GDP

即地區(qū)-GDP表，需要有地區(qū)-地市的關系查找表。在本例中地市-GDP表

與地區(qū)-GDP表是生成關系，而地區(qū)-GDP統(tǒng)計表與地區(qū)-地市查找表是

引用關系。當然也可以說地市-GDP統(tǒng)計表與地區(qū)-地市查找表是引用關

系，其實兩者選一就可以了。引用關系只能手工進行創(chuàng)建。

12

13

?文件與文件的關系

數(shù)據(jù)標準管理

數(shù)據(jù)標準管理主要為數(shù)據(jù)標準文檔提供一個存儲空間，租戶內(nèi)的各部門用戶

都可以按條件搜索、下載各種數(shù)據(jù)標準文檔

2.2.2.2,數(shù)據(jù)集成系統(tǒng)

數(shù)據(jù)集成系統(tǒng)為多源、多種類、多格式數(shù)據(jù)提供高速海量數(shù)據(jù)采集、清洗、轉(zhuǎn)

換、與加載能力，全程免代碼編寫。

整個數(shù)據(jù)集成系統(tǒng)主要包括云化數(shù)據(jù)集成系統(tǒng)（CloudETL）和前置機系統(tǒng)。

云化數(shù)據(jù)集成系統(tǒng)（CloudETL）承擔數(shù)據(jù)集成的任務調(diào)度、流程配置、任務分

發(fā)和執(zhí)行、過程監(jiān)控、異常處理等工作；

前置機系統(tǒng)主要承擔用戶側(cè)和數(shù)據(jù)源側(cè)的數(shù)據(jù)緩存、接口對接、采集控制等工

作，前置機系統(tǒng)主要用在推模式的數(shù)據(jù)集成時。

數(shù)據(jù)集成系統(tǒng)架構(gòu)

數(shù)據(jù)集成系統(tǒng)架構(gòu)如下圖所示:

14

云化數(shù)據(jù)集成系統(tǒng)

云化數(shù)據(jù)集成系統(tǒng)（CloudETL）是大數(shù)據(jù)平臺中負責數(shù)據(jù)集成的子系統(tǒng)，支持

多源、多種類、多格式、多傳輸方式數(shù)據(jù)的高性能統(tǒng)一集成。

?實現(xiàn)ETL全流程Web化（任務配置、監(jiān)控、調(diào)度）

?完整實現(xiàn)通用的ETL功能（支持各種數(shù)據(jù)采集、清洗、轉(zhuǎn)換、加載場景）

?實現(xiàn)基于HDFS的Spark計算引擎

?全面支持Hadoop插件（HDFS/HIVE/HBAS等）

?支持SFTPBridge直連HDFS在小文件傳輸和安全性等方面進行優(yōu)化和改

進

?支持故障監(jiān)控，告警，異?；謴秃蛿帱c續(xù)傳

?高可靠性（HA）改進，支持集群服務器間任務遷移

?支持基于多種采集技術（Flume/Kafka/Sqoop）的ETL任務統(tǒng)一調(diào)度

?支持各種結(jié)構(gòu)數(shù)據(jù)庫：MYSQUDRACLH）B2SQLSERVERCCESSSQLSERVER

SyBase等

?支持分布式部署

?支持ETL任務分析，把數(shù)據(jù)關系展示到數(shù)據(jù)地圖中

云化數(shù)據(jù)集成系統(tǒng)亦可作為獨立產(chǎn)品進行部署，適用于大規(guī)模數(shù)據(jù)采集、同步

遷移、異地備份、數(shù)據(jù)清洗、融合、交換等業(yè)務場景。

1.資源中心

數(shù)據(jù)源管理：CloudETL資源中心進行數(shù)據(jù)源管理，從元數(shù)據(jù)系統(tǒng)中根據(jù)

用戶同步數(shù)據(jù)源配置信息，CloudET流程的數(shù)據(jù)源連接配置都從統(tǒng)一維護的元

數(shù)據(jù)中導入；

服務器管理：CloudETL資源中心進行平臺服務器、集群、前置機等的管理，

從一體化運維監(jiān)控系統(tǒng)根據(jù)用戶同步配置信息，保證用戶只能使用經(jīng)元數(shù)

據(jù)系統(tǒng)授權(quán)的服務器上的資源；

2.任務設計

用戶可通過圖形界面創(chuàng)建轉(zhuǎn)換任務，轉(zhuǎn)換任務以Ktr文件保存轉(zhuǎn)換任務；

也可創(chuàng)建調(diào)度任務，實現(xiàn)轉(zhuǎn)換任務的定時執(zhí)行，以ktj文件保存調(diào)度任務。

13

任務組件有：輸入、輸出、大數(shù)據(jù)、腳本、轉(zhuǎn)換步驟、作業(yè)、查詢、連接、

流程、統(tǒng)計、檢驗等

1）支持結(jié)構(gòu)類文件、非結(jié)構(gòu)類文件的輸入、輸出：文本文件、EXCEL

CSVXLSACCES等結(jié)構(gòu)類文件，非結(jié)構(gòu)類PDFWOR摩。

2）支持各種數(shù)據(jù)庫輸入、輸出：Oracle、MYSQLHBASEHIVE.Sybase.

DB2、ACCESSSQLServer等。

3）通過計算、清洗、查詢、連接、統(tǒng)計、腳本等轉(zhuǎn)換算子對源數(shù)據(jù)進行

規(guī)則轉(zhuǎn)換，以得到想要的輸出結(jié)果。

3.任務管理

1）支持本地服務器、遠程服務器、集群服務器、Spark引擎運行任務；

2）Ktr/Kjb文件輸出，管理ETL流程中的轉(zhuǎn)換和任務文件，可導入和導出

Ktr/Kjb文件；

3）異常告警輸出，調(diào)用一體化運維監(jiān)控系統(tǒng)的接口，輸出CloudETL子系

統(tǒng)的異常和告警信息、；

4）集群管理，根據(jù)采集機配置集群，分配轉(zhuǎn)換步驟到集群中執(zhí)行，收集

集群各子服務器的日志和監(jiān)控信息，監(jiān)控集群執(zhí)行過程；

5）可視化的執(zhí)行監(jiān)控管理，分配采集機執(zhí)行轉(zhuǎn)換和任務，收集采集機的

執(zhí)行日志和監(jiān)控信息，在客戶端以可視化的方式呈現(xiàn)ETL的完整執(zhí)行過程和狀

態(tài)，并可以查詢歷史執(zhí)行日志；

6）容錯管理，任務重跑，通過設計任務（Job）流程及參數(shù)配置實現(xiàn)ETL

全流程重跑；斷點續(xù)跑，對轉(zhuǎn)換（Ktr）中的某一步驟因某服務器原因中斷，

實現(xiàn)重啟服務器后，斷點續(xù)跑；

7）支持多任務并發(fā)執(zhí)行，支持多個任務、或全部任務一鍵并發(fā)執(zhí)行；

8）支持調(diào)度任務，支持調(diào)度任務，可以設置定時執(zhí)行任務，并可客戶端以

可視化的方式呈現(xiàn)ETL的完整執(zhí)行過程和狀態(tài)；

9）CloudETL任務流程分析，數(shù)據(jù)血緣分析，通過對CloudETL任務流程進

行分析，梳理出數(shù)據(jù)實體（包括表、字段、文件等）之間的血緣關系，最終展

示到元數(shù)據(jù)系統(tǒng)的數(shù)據(jù)地圖中；

10）關聯(lián)關系分析，通過分析數(shù)據(jù)源的表結(jié)構(gòu)、主外鍵等信息，自動獲

14

取數(shù)據(jù)來源的關聯(lián)關系，最終展示到元數(shù)據(jù)系統(tǒng)的數(shù)據(jù)地圖中。

前置機

前置機是指用于現(xiàn)場的中間設備，大數(shù)據(jù)平臺通過前置機采集從客戶端的數(shù)據(jù)；

前置機這個概念一般在銀行、券商、政府、電信運營商那里用的比較多。這些

地方都有很多后臺核心處理系統(tǒng)，對外提供各種接口服務。如果我有某種業(yè)務接口

需要跟他們的后臺系統(tǒng)打交道，要從我們的外部網(wǎng)絡訪問他們的后臺系統(tǒng)，這些單

位是絕對不允許的。這個時候，他們要求你或者他們自己開發(fā)一個軟件，運行在他

們的內(nèi)網(wǎng)，然后通過專線或硬件隔離技術將運行這個軟件的計算機連接到你的外網(wǎng)

系統(tǒng)上，那么運行這個軟件的計算機，從功能上稱呼為前置機。置機的作用包括以

下兩方面：

1）從網(wǎng)絡和安全角度來看，它有隔離主機的作用（一種放在內(nèi)網(wǎng)以外，分

離內(nèi)網(wǎng)外網(wǎng)的應用），保證外部的應用不能直接訪問核心服務，比如銀行的各類

外部接口（電信代收費、銀證通）。

2）從業(yè)務角度來看，前置機提供了業(yè)務渠道與核心服務的主機交流的一

個橋梁。它一般起著管理和調(diào)度業(yè)務渠道發(fā)起的交易的作用，經(jīng)過前置機的調(diào)

用可以減輕核心后臺服務器的負擔，當然了它也有非核心業(yè)務的處理功能。

3）位于應用系統(tǒng)服務器端與客戶端之間的獨立處理機系統(tǒng)，擔負數(shù)據(jù)格

式轉(zhuǎn)換、連接管理、業(yè)務流管理外圍調(diào)度、外圍處理，并把業(yè)務數(shù)據(jù)交后臺應

用服務系統(tǒng)處理等任務。

4）內(nèi)外網(wǎng)兩端的業(yè)務系統(tǒng)需要數(shù)據(jù)交換，在各自業(yè)務系統(tǒng)前布置前置機，

實現(xiàn)數(shù)據(jù)交換。

目前前置機支持sFTP、HTTPRestfulAPI、WebService＞人工文件導入等方

式，流式數(shù)據(jù)采集（Flume/Kafka等）。

.統(tǒng)一安全系統(tǒng)

服務監(jiān)控功能即對數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、比對、入庫等過程進行監(jiān)控，并將

結(jié)果展示給內(nèi)部用戶查閱；提供網(wǎng)絡檢測與服務器檢測，使內(nèi)部用戶能夠及時了解

數(shù)據(jù)處理時網(wǎng)絡和硬件的開銷；提供數(shù)據(jù)處理過程及歷史情況查詢和錯誤、異常的

15

定位工具。

權(quán)限管理

對于Hadoop集群而言，必須進行權(quán)限管理，其中最重要的是實現(xiàn)

Authentication（身份鑒別）和Authorization（授權(quán)）這兩點：

（1）Authorization,是指正確識別一個用戶的真實身份。

（2）Authentication,是指為某個用戶做某件事賦予某種權(quán)力。

Hadoop本身原生并不具備任何身份鑒別的能力，需要進行相關安全配置，保

證數(shù)據(jù)和集群的安全，Hadoop權(quán)限管理包括以下幾個模塊：

（1）用戶分組管理。用于按組為單位組織管理，某個用戶只能向固定分組中

提交作業(yè)，只能使用固定分組中配置的資源；同時可以限制每個用戶提交的作業(yè)數(shù)，

使用的資源量等。

（2）作業(yè)管理。包括作業(yè)提交權(quán)限控制，作業(yè)運行狀態(tài)查看權(quán)限控制等。

帳號認證和授權(quán)

帳號、認證和授權(quán)作為4A體系的管理樞紐也是整個平臺的核心業(yè)務。帳號管理

用于在業(yè)務支撐環(huán)境中，集中維護包括主帳號（自然人）和從帳號（資源）在內(nèi)的

全部帳號以及和帳號相關的可在4A平臺中管理的帳號屬性。4A認證管理的主要

目的是提供對資源訪問的統(tǒng)一安全認證服務，實現(xiàn)資源的認證集中控制，保障資源

的訪問安全性。認證管理具體實現(xiàn)內(nèi)容包括主帳號的認證服務、應用資源和系統(tǒng)資

源的從帳號單點登錄認證服務。授權(quán)管理主要是指集中對用戶能夠在被管資源中行使

的權(quán)限進行分配，實現(xiàn)用戶對資源的訪問控制。

功能大致包話詳細描述了帳號管理、認證管理、授權(quán)管理、資源及配置管理、

繞行控制及管理流程。主要實現(xiàn)認證、自助終端帳號管理、專用設備或系統(tǒng)接入帳

號管理和認證、安全人員主帳號管理、智能終端接入認證、角色級授權(quán)與細粒度授

權(quán)、虛擬資源管理、帳號和認證安全性控制、資源接入流程等功能要求。

功能名稱功能描述

主帳號生命周期管理具備從現(xiàn)存帳號數(shù)據(jù)庫導入或映射業(yè)務支撐系統(tǒng)現(xiàn)存帳號的可

選功能

具備將4A平臺中的主帳號導出到外部帳號庫中的可選功能

16

主帳號類型按照人員崗位給主帳號合理分類，包括部門領導、室主任/主管、

應用管理員、網(wǎng)絡管理員、系統(tǒng)管理員、數(shù)據(jù)庫管理員、安全管

理員、安全審計員、安全維護員等

安全人員主帳號類型標識提供對安全人員主帳號的類型標識、互斥校驗。安全管理、安全

與互斥校驗審計與安全維護的各工作崗位原則上要求“專人專崗”，同一崗

位可由多人擔任，在安全崗位人員設置時應按照“職責互斥”的

原則，充分考慮到職責平衡和有效制約。安全審計員與系統(tǒng)管理

員分開設置。應用系統(tǒng)管理員與數(shù)據(jù)庫管理員、主機管理員分開

設置。

虛擬資源帳號管理虛擬資源從帳號納入4A統(tǒng)一管理

4A同步帳號程序帳號管理范圍擴充，增加4A同步帳號管理能力

從帳號自動發(fā)現(xiàn)和收集在資源新接入或定期自動從資源側(cè)發(fā)現(xiàn)、收集從帳號功能

從帳號自動創(chuàng)建與綁定支持在基于電子流程完成從帳號申請、審批后自動進行從帳號創(chuàng)

建、主帳號綁定

應用資源從帳號密碼禁止除自助終端帳號、應用系統(tǒng)程序帳號外，其他已經(jīng)接入4A平臺

自修改的各種應用資源不得開啟從帳號密碼自修改功能，必須通過4A

統(tǒng)一按照策略要求進行密碼變更。

應用資源從帳號變更時間4A平臺、應用資源應保持從帳號變更（創(chuàng)建、變更和刪除）的時

一致性間一致性，以4A的從帳號變更時間為準記錄應用系統(tǒng)的從帳號

變更日志。

程序帳號管理針對采用人工方式進行修改密碼的情況，需要支持記錄變更日志

和提醒日志

可使用“程序帳號自動管理”或“程序帳號指令通道”方案，實

現(xiàn)程序帳號的管理能力

自助終端帳號管理4A平臺應支持對自助終端帳號的標識，并支持將自助終端帳號綁

定到責任人主帳號。自助終端上產(chǎn)生的登錄鑒權(quán)、業(yè)務辦理等日

志應發(fā)送給4A平臺進行統(tǒng)一審計?，并由4A平臺進行主帳號補全。

17

特權(quán)帳號密碼自管4A平臺應提供特權(quán)帳號密碼自管功能，即特權(quán)帳號密碼由管理人

員自己進行變更維護。該方式下4A平臺不對特權(quán)帳號的密碼進

行定期自動變更，但是需要支持過期提醒。

特權(quán)帳號密碼托管在4A平臺上實現(xiàn)特權(quán)帳號密碼的自動修改功能

專用設備或系統(tǒng)帳號管理針對中間件、系統(tǒng)流量審計、應用安全流量審計、抗DDoS、IDS、

IPS、防繞行設備、配置基線、漏洞掃描、終端管理、防病毒、

DLP等專用系統(tǒng)或設備，應納入4A進行帳號管理。

帳號弱密碼稽核弱密碼字典管理：包括對弱密碼字典進行添加、刪除、查詢等，

應支持根據(jù)實際檢測需要進行定期更新

弱密碼分析與稽核功能：4A平臺應支持基于4A同步帳號和標準

協(xié)議接口（如SSH、Telnet）獲得未直接修改密碼的系統(tǒng)從帳號密

碼密文（如shadow文件），并根據(jù)弱密碼字典進行弱密碼稽核

分析，以發(fā)現(xiàn)存在的發(fā)現(xiàn)弱密碼帳號

弱密碼稽核報表或視圖：4A平臺應能根據(jù)弱密碼稽核結(jié)果提供在

線查詢和稽核報表導出功能

配合SMP帳號弱密碼展現(xiàn)：4A平臺應支持發(fā)送弱密碼稽核結(jié)果給

SMP平臺，提供展示弱密碼稽核結(jié)果

孤立帳號稽核4A平臺應支持定期稽核接入資源孤立帳號數(shù)量，并對孤立帳號所

屬應用系統(tǒng)、資源信息、孤立帳號個數(shù)進行記錄，并提供展示界

面支持

未經(jīng)審批私自開通的帳號4A平臺應支持定期稽核接入資源從帳號未經(jīng)審批私自開通數(shù)量，

稽核并對該數(shù)量進行記錄，并提供展示界面支持“未經(jīng)審批私自開通

的帳號數(shù)量占比”詳細信息時回調(diào)查看

主從帳號使用率稽核4A平臺應支持定期稽核主從帳號的使用率，并對該數(shù)量進行統(tǒng)一

記錄，并提供展示界面視圖支持查看“主帳號使用率”或“從帳

號使用率”的詳細信息時回調(diào)杳看.

主從帳號共享控制4A平臺應支持同一主帳號在不同終端同時在線的登錄提醒功能，

并主持iP錄同時在線音錄R走.

18

4A平臺應支持主帳號登錄與終端綁定的可選功能，同一主帳號只

允許在固定的PC終端（IP或MAC上進行4A平臺的登錄訪問

應用互訪接入認證4A平臺應提供被管應用資源之間互相訪問的集中認證功能。4A

平臺為應用互訪提供接入認證服務的前提是被嵌套訪問的應用

資源接入到了4A平臺，并且歸屬于不同一業(yè)務支撐應用系統(tǒng)帳號

體系。

認證安全控制措施登錄信息及身份憑證應加密后傳輸。合理設置會話存活時間，超

過該時間后銷毀會話，清除會話的信息。

帳號異常登錄稽核4A平臺應支持定期稽核主帳號異常登錄數(shù)量，并對該數(shù)量進行記

錄，并提供展示界面支持查看“帳號異常登錄（多非工作時

間段、異地）占比”詳細信息時回調(diào)查看

敏感數(shù)據(jù)導出審批率稽核4A平臺應支持定期稽核敏感數(shù)據(jù)導出操作與審批的不一致數(shù)量，

并對該數(shù)量進行統(tǒng)一記錄，并提供展示界面視圖支持查看“敏感

數(shù)據(jù)導出審批率”詳細信息時回調(diào)查看

授權(quán)管理4A平臺必須至少實現(xiàn)對三大主要應用系統(tǒng)和平臺的實體級、角色

級兩種授權(quán)方式，并且必須實現(xiàn)平臺細粒度授權(quán)；

角色變更時間一致性4A平臺、應用資源應保持角色變更（創(chuàng)建、變更和刪除）的時間

一致性，以4A平臺的角色變更時間為準記錄應用系統(tǒng)的角色變

更日志。

角色級授權(quán)時間一致性4A平臺、應用資源應保持角色級授權(quán)的時間一致性，以4A平臺

的角色級授權(quán)時間為準記錄應用系統(tǒng)的角色級授權(quán)日志。

細粒度授權(quán)時間一致性4A平臺、應用資源應保持細粒度授權(quán)的時間一致性，以4A平臺

的細粒度授權(quán)時間為準記錄應用系統(tǒng)的細粒度授權(quán)日志。

資源接入流程面向用戶帳號權(quán)限管理的流程系統(tǒng)應能覆蓋所有人員的申請、審

批等管理過程，提供易用、可用的申請審批功能

實現(xiàn)由資源管理員進行流程的發(fā)起，發(fā)起時填寫資源基礎信息，

由資源管理員所在部門主管領導以及4A安全管理員進行審批，

審批通過后，4A平臺自動或人工接入該資源，并針對資源管理員

發(fā)更流程時填寫的浴源信息自行收集從帳號.

19

安全機制

采用密碼技術和網(wǎng)絡防御技術來提升Hadoop的安全性能

0）基于公鑰體制的身份認證：針對KDC瓶頸問題，文中放棄采用基于

Kerberos的對稱密碼加密的身份認證方式，轉(zhuǎn)而采用基于PKI的身份認證機制。

認證過程分為兩步：首先，CA核實申請者身份并為各個合法節(jié)點頒發(fā)數(shù)字證書；

然后，示證方向驗證方發(fā)送數(shù)字證書，驗證身份。在基于公鑰密碼體制的身份認證

方案中，節(jié)點一旦獲得CA頒發(fā)的數(shù)字證書，在隨后向服務器申請身份認證的過程將

不會有PKI管理實體的參與。這樣便避免了在面對大業(yè)務量時系統(tǒng)瓶頸的問題。

。網(wǎng)絡防御預防單點失效：Hadoop所采用的對主服務器Master備份的

做法，只能解決Master的普通故障問題，不能應對來自網(wǎng)絡的惡意攻擊。為了保

證Master服務器以及整個系統(tǒng)的安全，需要加強網(wǎng)絡的防御措施，使其免遭病毒、

木馬以及拒絕服務等來自網(wǎng)絡的攻擊。應該對Hadoop中的服務器設置訪問控制、

對操作系統(tǒng)進行安全配置、安裝防火墻和殺毒軟件、及時修補安全漏洞并啟動入侵

檢測實時監(jiān)測服務器的TCP連接和數(shù)據(jù)流量。對于某些安全需求高的私有云，還

可以采取物理隔離的方式，最大限度減少被攻擊的可能。

0傳輸加密：采用數(shù)字信封的技術對將要傳輸?shù)臄?shù)據(jù)進行加密，并增加相

應的密碼設備或模塊實現(xiàn)算法的硬件加密，在該過程中將使用到公私鑰密碼對和會

話密鑰。使用會話密鑰對傳輸數(shù)據(jù)進行對稱加密，保證了加解密的速度，降低了系

統(tǒng)的消耗。使用公私鑰密碼對加密保護會話密鑰，保證了會話密鑰的機密性，同時

也解決了對稱加密中龐大的密鑰管理問題。

@存儲加密：在數(shù)據(jù)中心采用密碼算法對數(shù)據(jù)加以保護，并通過密鑰管理、

算法參數(shù)管理、強認證等密碼技術保證特殊用戶所使用的資源僅受其自身管理。

安全體系架構(gòu)

20

21

4A安全體系

面對復雜的大數(shù)據(jù)安全環(huán)境，需要從四個層面綜合考慮以建立全方位的大數(shù)據(jù)

安全體系：邊界安全、訪問控制和授權(quán)、數(shù)據(jù)保護、審計和監(jiān)控。

?邊界安全：主要包含網(wǎng)絡安全和身份認證。防護對系統(tǒng)及其數(shù)據(jù)和服務的訪

問，身份認證確保用戶的真實性及有效性。Hadoop及其生態(tài)系統(tǒng)中的其它組件都

支持使用Kerberos進行用戶身份驗證。

?訪問控制和授權(quán)：通過對用戶的授權(quán)實現(xiàn)對數(shù)據(jù)、資源和服務的訪問管理及權(quán)

限控制。Hadoop和HBase都支持ACL同時也實現(xiàn)了RBAC(基于角色的訪問控

制)模型，更細粒度的ABAC(AttibuteBasedAccessControl)在HBase較新的

版本中也可通過訪問控制標簽和可見性標簽的形式實現(xiàn)。

?數(shù)據(jù)保護：通過數(shù)據(jù)加密和脫敏兩種主要方式從數(shù)據(jù)層面保護敏感信息不被泄

露。數(shù)據(jù)加密包括在傳輸過程中的加密和存儲加密。傳輸過程中的加密依賴于網(wǎng)

絡安全協(xié)議而存儲加密可通過相關加密算法和密鑰對數(shù)據(jù)進行加密存儲。數(shù)據(jù)脫敏

是比加密較為折中的辦法，對于大數(shù)據(jù)時代，該方法將更被更為廣泛的采用。因為

收集的海量數(shù)據(jù)需要相對開放的共享給內(nèi)部不同團隊或外部機構(gòu)使用，才能發(fā)揮大

數(shù)據(jù)的價值。對于敏感信息部分可通過脫敏的方式進行處理以保障信息安全。

?審計和監(jiān)控：實時地監(jiān)控和審計可管理數(shù)據(jù)安全合規(guī)性和安全回溯、安全取

證等。

22

基于以上四層的安全體系，結(jié)合大數(shù)據(jù)平臺的特性，企業(yè)在實踐大數(shù)據(jù)平臺安

全化時，需要有更詳細的架構(gòu)設計，四層安全體系對應在實際環(huán)境中，應是以數(shù)據(jù)

為中心，建立完善的管理制度，先治理好大數(shù)據(jù)，再從訪問控制和數(shù)據(jù)保護層面加

強對數(shù)據(jù)使用的安全防護，最后從網(wǎng)絡和基礎層加固平臺的安全部署。因此，大數(shù)

據(jù)安全框架需包含以下5個核心模塊：數(shù)據(jù)管理、身份和訪問管理、數(shù)據(jù)保護、網(wǎng)絡

安全、基礎安全。

（-）數(shù)據(jù)管理

企業(yè)實施數(shù)據(jù)安全的首要任務是先管理好數(shù)據(jù)，根據(jù)業(yè)務要求、合規(guī)性、安全

策略及數(shù)據(jù)的敏感性，關鍵性和關聯(lián)風險對數(shù)據(jù)進行分類分級管理，有助于對數(shù)據(jù)

保護的基準安全控制做出合理的決策。從大數(shù)據(jù)特性層面對數(shù)據(jù)進行標記（例如分

析類型、處理方式、數(shù)據(jù)時效性、數(shù)據(jù)類型、數(shù)據(jù)格式、數(shù)據(jù)源等維度），就知道

數(shù)據(jù)是如何進出大數(shù)據(jù)平臺，將會被如何使用，會被誰使用，數(shù)據(jù)是如何存儲的等

等，這些都有助于數(shù)據(jù)發(fā)現(xiàn)的管理和對數(shù)據(jù)訪問控制制定相應的策略。最后，如果

缺乏掌握敏感數(shù)據(jù)在大數(shù)據(jù)平臺中存在于哪里的意識，這將無疑是把數(shù)據(jù)暴露于風

險之下。所以，掌握敏感數(shù)據(jù)在大數(shù)據(jù)平臺中分布情況，并能自動地增量式地發(fā)現(xiàn)找

到敏感數(shù)據(jù)，并監(jiān)控其使用情況，是否受到保護是能否做到全面保護數(shù)據(jù)安全的關鍵。

（二）身份認證和訪問控制

身份認證是防護數(shù)據(jù)安全的第一道關卡，通過身份認證確保訪問大數(shù)據(jù)平臺中

的數(shù)據(jù)、資源和服務的用戶是安全的，大數(shù)據(jù)生態(tài)系統(tǒng)中從Hadoop到HBase、Hive、

Pig、Impala、Spark等幾乎都支持利用Kerberos進行身份認證。Kerberos也可以

和企業(yè)的AD/LDAP結(jié)合以快速建立密鑰分發(fā)中心，而無需大數(shù)據(jù)平臺用戶重新建立

用戶組、角色和密鑰等。用戶通過身份認證后可獲得訪問大數(shù)據(jù)平臺的資格，為進

一步控制用戶對資源的訪問權(quán)限，需要通過授權(quán)機制來管理不同用戶對不同資源的訪

問許可。Hadoop和HBase及其它組件都在一定程度上支持對訪問的控制，RBAC

和ABAC是兩個不同粒度的訪問控制模型，前者是基于角色來進行訪問控制，后者

是更為細粒度的控制，可控制到被訪問對象的字段級別。在制定訪問控制策略時，

應依據(jù)合規(guī)要求，結(jié)合敏感數(shù)據(jù)保護策略、數(shù)據(jù)使用場景等針對不同數(shù)據(jù)、不同業(yè)

務需求制定相應的訪問限制規(guī)則，高效利用數(shù)據(jù)，發(fā)揮大數(shù)據(jù)價值是企業(yè)的最終目

22

的。

（三）數(shù)據(jù)保護

如果說身份認證、授權(quán)和訪問控制是確保了對數(shù)據(jù)訪問的對象的防護和控制，

數(shù)據(jù)保護技術則是從根源層保護信息安全的最重要和最有效的手段。通過數(shù)據(jù)保護

技術，對大數(shù)據(jù)的開放共享、發(fā)布、最大化利用等都會有著最直接的積極作用。數(shù)

據(jù)保護技術的作用不僅局限于企業(yè)內(nèi)部，它是確保整個大數(shù)據(jù)產(chǎn)業(yè)快速發(fā)展的最重

要保證。數(shù)據(jù)保護技術通過對數(shù)據(jù)利用脫敏、失真、匿名化限制發(fā)布等技術處理后，

可讓處理后的數(shù)據(jù)到達安全交易、開放共享的目的。而對于企業(yè)內(nèi)部，針對脫敏后

的數(shù)據(jù)，不需再設定復雜的訪問控制限制，可讓更多的分析應用更高效地實施并優(yōu)

化開發(fā)項目，讓大數(shù)據(jù)得到更充分的利用同時，也確保遵從行業(yè)/監(jiān)管數(shù)據(jù)隱私法

令和法規(guī)。

（四）網(wǎng)絡安全

大數(shù)據(jù)的網(wǎng)絡安全通常是指通過客戶端訪問大數(shù)據(jù)平臺的連接和大數(shù)據(jù)平臺

中服務器節(jié)點之間的網(wǎng)絡通信安全。為保證數(shù)據(jù)在傳輸過程中的安全性，節(jié)點之間

及客戶端與服務器之間的通信都需要進行加密，不同的通信使用不同的加密方式，

Hadoop平臺支持RPC加密，HDFS數(shù)據(jù)傳輸加密和HTTP通信的加密。除了對網(wǎng)絡通

信進行加密設置，還可通過使用網(wǎng)關服務器隔離客戶端與大數(shù)據(jù)平臺的直接訪問來進

一步升級網(wǎng)絡安全。網(wǎng)關服務器部署在大數(shù)據(jù)平臺和企業(yè)用戶網(wǎng)絡域之間，用戶

通過登錄網(wǎng)關服務器來驗證身份，并由網(wǎng)關服務代理用戶對大數(shù)據(jù)平臺的訪問，同

時，該服務器還可用來提供訪問控制、策略管理。用戶通過登錄到網(wǎng)關服務器來執(zhí)

行對大數(shù)據(jù)平臺的操作，所有的客戶端包括Hive,Pig,Oozie等都可安裝在這臺

網(wǎng)關服務器上，這樣用戶就不必登錄到大數(shù)據(jù)平臺中的服務器節(jié)點，從而保護大數(shù)

據(jù)平臺不會受到非法訪問。

（五）基礎安全

前面我們談到了通過各種方式來保證大數(shù)據(jù)平臺和安全性，包括身份認證、授

權(quán)、訪問控制、數(shù)據(jù)保護及網(wǎng)絡通信安全。但大數(shù)據(jù)平臺仍然有可能會受到非法訪問

和特權(quán)用戶的訪問。為確保合規(guī)性的需要，我們需要對大數(shù)據(jù)平臺的一切活動進行審

計和監(jiān)控并生成告警信息，也即是安全事故和事件監(jiān)控（SIEM）系統(tǒng)。SIEM系

統(tǒng)負責對大數(shù)據(jù)平臺中任何可疑的活動進行收集，監(jiān)控，分析和生成各種安全報告。

23

以下是大數(shù)據(jù)平臺中需要被監(jiān)控的事件以用來分析識別安全事件：用戶登錄和身份

驗證事件、HDFS操作、授權(quán)錯誤、敏感數(shù)據(jù)操作、MapReduce任務、通過各種客戶

端的訪問如Oozie,HUE等以及異常事件。只有全面的收集在大數(shù)據(jù)平臺中的一切活

動，才有機會捕捉可能會發(fā)生的安全事故及進行事后分析時有機會進行回溯分析，追

蹤事故根源。

,一體化運維監(jiān)控系統(tǒng)

一體化運維監(jiān)控系統(tǒng)，系統(tǒng)管理員可快捷直觀地一鍵式自動化安裝部署整個系

統(tǒng)所有的主機、服務、節(jié)點組件，及它們的配置、管理、監(jiān)控整個系統(tǒng)的資源，包

括：

?一鍵式自動化安裝部署整個系統(tǒng)

在一體化運維平臺上，提供安裝向?qū)?，可以一鍵安裝部署的所有主機、服

務、節(jié)點組件的安裝、刪除。

?管理集群系統(tǒng)

為集群中所有主機、服務、節(jié)點提供集中啟、停、及重新配置、升級、安

裝、刪除等運維管理。

?監(jiān)控集群系統(tǒng)

提供基于儀表盤的集群性能與狀態(tài)集中監(jiān)控。

采集集群性能參數(shù)值并以圖形化方式呈現(xiàn)。

提供主機、服務組件、子系統(tǒng)的實時告警。

一鍵式自動化安裝部署

大數(shù)據(jù)處理系統(tǒng)主要基于Hadoop實現(xiàn)，由于Hadoop是由運行在物理集群

上龐大的服務組件構(gòu)成，從廣義上來說，Hadoop是一個生態(tài)系統(tǒng)，而不是各

個技術的簡單堆疊，如果采用手工命令行進行安裝部署的方式，不但費時費力

不可靠，而且需要安裝部署人員有很強的HADOO安裝知識。

而一鍵式自動化安裝部署，安裝部署人員可以傻瓜式的、僅需按菜單導航

就可以很快速完成安裝。

主要功能如下：

①)Hadoop組件：通過菜單導航對Hadoop組件進行新增、刪除

24

0）主機：通過菜單導航對主機進行新增、刪除

0子系統(tǒng)：通過菜單導航對所有子系統(tǒng)或所屬服務進行新增、刪除

管理集群系統(tǒng)

主要提供主機、節(jié)點、服務的管理

1、服務生命周期管理

服務生命周期管理主要是對服務的部署、啟動、停止、卸載、刪除進行管

理，主要通過運維平臺的服務界面完成。

服務注冊和刪除，是對服務的基本信息，如服務部署策略，環(huán)境變量，依

賴服務等進行保存和刪除

服務部署，管理器（master）根據(jù)服務的部署策略，創(chuàng)建服務實例，并向所

選節(jié)點發(fā)送部署命令，由節(jié)點部署。

服務啟動，管理器（master）向服務所在節(jié)點發(fā)送啟動命令，由各個節(jié)點啟

動服務。

服務停止，管理器（master）向服務所在選節(jié)點發(fā)送停止命令，由各個節(jié)點

停止服務。

服務卸載，管理器（master）向服務所在選節(jié)點發(fā)送卸載命令，由各個節(jié)點