智慧城市系列公服務(wù)中臺：業(yè)務(wù)和數(shù)據(jù)中臺建設(shè)方案版

1、智慧城市系列公共服務(wù)中臺二二二 年目 錄 TOC o 1-3 h z u HYPERLINK l _Toc99387825 1.建設(shè)背景 建設(shè)背景編制依據(jù)政策文件依據(jù)國務(wù)院辦公廳印發(fā)的（國辦發(fā)201466號）國務(wù)院辦公廳關(guān)于促進電子政務(wù)協(xié)調(diào)發(fā)展的指導意見。國務(wù)院辦公廳關(guān)于印發(fā)的（國發(fā)20155號）國務(wù)院關(guān)于促進云計算創(chuàng)新發(fā)展培育信息產(chǎn)業(yè)新業(yè)態(tài)的意見。中央網(wǎng)信辦發(fā)布的（中網(wǎng)辦發(fā)文201514號）關(guān)于加強黨政部門云計算服務(wù)網(wǎng)絡(luò)安全管理的意見。國務(wù)院辦公廳關(guān)于印發(fā)的（國發(fā)201550號）促進大數(shù)據(jù)發(fā)展行動綱要。2016年07月27日，中共中央辦公廳、國務(wù)院辦公廳印發(fā)國家信息化發(fā)展戰(zhàn)略綱要。國家發(fā)改委

2、印發(fā)（發(fā)改辦高技201642號）關(guān)于組織實施促進大數(shù)據(jù)發(fā)展重大工程的通知。國務(wù)院辦公廳關(guān)于印發(fā)的（國辦發(fā)201647號）關(guān)于促進和規(guī)范健康醫(yī)療大數(shù)據(jù)應用發(fā)展的指導意見。國務(wù)院辦公廳關(guān)于印發(fā)的（國發(fā)201651號）政務(wù)信息資源共享管理暫行辦法。國務(wù)院辦公廳關(guān)于印發(fā)的（國發(fā)201655號）國務(wù)院關(guān)于加快推進“互聯(lián)網(wǎng)+政務(wù)服務(wù)”工作的指導意見。國務(wù)院印發(fā)的（國辦函2016108號）“互聯(lián)網(wǎng)政務(wù)服務(wù)”技術(shù)體系建設(shè)指南的通知提出：“優(yōu)化政務(wù)服務(wù)供給的信息化解決路徑和操作方法，為構(gòu)建統(tǒng)一、規(guī)范、多級聯(lián)動的互聯(lián)網(wǎng)政務(wù)服務(wù)技術(shù)和服務(wù)體系提供保障?！?工業(yè)和信息化部關(guān)于印發(fā)（工信部規(guī)2016412號）大數(shù)據(jù)產(chǎn)業(yè)

3、發(fā)展規(guī)劃（20162020年）。2016年，中共中央、國務(wù)院發(fā)布的國家創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略綱要。國務(wù)院辦公廳印發(fā)的（國辦發(fā)201739號）國務(wù)院辦公廳關(guān)于印發(fā)政務(wù)信息系統(tǒng)整合共享實施方案的通知指出：“按照內(nèi)外聯(lián)動、點面結(jié)合、上下協(xié)同的工作思路，一方面著眼長遠，做好頂層設(shè)計，促進五個統(tǒng)一，統(tǒng)籌謀劃，銳意改革；另一方面立足當前，聚焦現(xiàn)實問題，抓好十件大事，重點突破，盡快見效?！眹鴦?wù)院印發(fā)的（國發(fā)201827號）國務(wù)院關(guān)于加快推進全國一體化在線政務(wù)服務(wù)平臺建設(shè)的指導意見提出：“各地區(qū)各部門要認真貫徹落實黨中央、國務(wù)院部署，把加快全國一體化在線政務(wù)服務(wù)平臺建設(shè)作為深化放管服改革、推進政府治理現(xiàn)代化的重要舉

4、措，制定具體實施方案，明確時間表、路線圖，加大政策支持力度，強化工作責任，確保各項任務(wù)措施落實到位。”國務(wù)院辦公廳印發(fā)的（國辦發(fā)201957號）國家政務(wù)信息化項目建設(shè)管理辦法提出：“國家政務(wù)信息化建設(shè)管理應當堅持統(tǒng)籌規(guī)劃、共建共享、業(yè)務(wù)協(xié)同、安全可靠的原則?！眹野l(fā)展改革委制定的（發(fā)改規(guī)劃2019617號）2019年新型城鎮(zhèn)化建設(shè)重點任務(wù)。農(nóng)業(yè)農(nóng)村部 中央網(wǎng)絡(luò)安全和信息化委員會辦公室關(guān)于印發(fā)的（農(nóng)規(guī)發(fā)201933號）數(shù)字農(nóng)業(yè)農(nóng)村發(fā)展規(guī)劃（2019-2025年）。2019年十九屆四中全會通過的中共中央關(guān)于堅持和完善中國特色社會主義制度、推進國家治理體系和治理能力現(xiàn)代化若干重大問題的決定。兩會授權(quán)

5、發(fā)布的2021年3月13日中華人民共和國國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和2035年遠景目標綱要。2021年3月5日李克強總理代表國務(wù)院在十三屆全國人大四次會議上作2021年政府工作報告。2021年中央一號文件中共中央、國務(wù)院關(guān)于全面推進鄉(xiāng)村振興加快農(nóng)業(yè)農(nóng)村現(xiàn)代化的意見。技術(shù)標準規(guī)范國家標準信息技術(shù) 大數(shù)據(jù)存儲與處理系統(tǒng)功能要求GB/T 37722-2019信息技術(shù) 大數(shù)據(jù)分析系統(tǒng)功能要求GB/T 37721-2019信息安全技術(shù) 網(wǎng)絡(luò)安全等級保護基本要求GB/T 22239-2019信息安全技術(shù) 網(wǎng)絡(luò)安全等級保護測評要求GB/T 28448-2019信息安全技術(shù) 網(wǎng)絡(luò)安全等級保護安全設(shè)計技

6、術(shù)要求GB/T 25070-2019信息安全技術(shù) 大數(shù)據(jù)安全管理指南GB/T 37973-2019信息安全技術(shù) 大數(shù)據(jù)服務(wù)安全能力要求GB/T 35274-2017信息安全技術(shù) 智慧城市安全體系框架GB/T 37971-2019信息安全技術(shù) 政府網(wǎng)站云計算服務(wù)安全指南GB/T 38249-2019信息安全技術(shù) 個人信息去標識化指南GB/T 37964-2019信息安全技術(shù) 移動終端安全管理平臺技術(shù)要求GB/T 37952-2019信息安全技術(shù) 網(wǎng)絡(luò)安全等級保護實施指南GB/T 25058-2019信息安全技術(shù) 網(wǎng)絡(luò)安全等級保護測評過程指南GB/T 28449-2018信息安全技術(shù) 網(wǎng)絡(luò)安全等級

7、保護安全管理中心技術(shù)要求GB/T 36958-2018信息安全技術(shù) 網(wǎng)絡(luò)安全等級保護測試評估技術(shù)指南GB/T 36627-2018信息安全技術(shù) 物聯(lián)網(wǎng)感知終端應用安全技術(shù)要求GB/T 36951-2018信息安全技術(shù) 災難恢復服務(wù)要求GB/T 36957-2018信息安全技術(shù) 災難恢復服務(wù)能力評估準則GB/T 37046-2018信息安全技術(shù) 信息系統(tǒng)安全運維管理指南GB/T 36626-2018智慧城市 公共信息與服務(wù)支撐平臺系列GB/T 36622-2018智慧城市 領(lǐng)域知識模型 核心概念模型GB/T 36332-2018面向智慧城市的物聯(lián)網(wǎng)技術(shù)應用指南GB/T 36620-2018智慧城

8、市 軟件服務(wù)預算管理規(guī)范GB/T 36334-2018智慧城市 信息技術(shù)運營指南GB/T 36621-2018智慧城市 數(shù)據(jù)融合系列GB/T 36625-2018智慧城市 頂層設(shè)計指南GB/T 36333-2018智慧城市 術(shù)語GB/T 37043-2018云計算 文件服務(wù)應用接口GB/T 36623-2018云計算 云服務(wù)級別協(xié)議基本要求GB/T 36325-2018云計算 平臺即服務(wù)（PaaS）應用程序管理要求GB/T 36327-2018云計算數(shù)據(jù)中心基本要求GB/T 34982-2017信息技術(shù) 大數(shù)據(jù) 術(shù)語GB/T 35295-2017信息技術(shù) 大數(shù)據(jù) 技術(shù)參考模型GB/T 3558

9、9-2017智慧城市 技術(shù)參考模型GB/T 34678-2017智慧城市評價模型及基礎(chǔ)評價指標體系GB/T 34680-2017電子政務(wù)標準化指南第4部分：信息共享GB/T 30850.4-2017信息技術(shù) 科學數(shù)據(jù)引用GB/T 35294-2017基于云計算的電子政務(wù)公共平臺管理規(guī)范 第1部分：服務(wù)質(zhì)量評估GB/T 34077.1-2017信息安全技術(shù) 電子政務(wù)移動辦公系統(tǒng)安全技術(shù)規(guī)范GB/T 35282-2017信息技術(shù)云計算參考架構(gòu)GB/T32399-2015信息技術(shù)云計算概覽與詞匯GB/T32400-2015信息技術(shù)云數(shù)據(jù)存儲和管理GB/T31916-2015云資源管理技術(shù)要求GB/T

10、31916-2015項目建設(shè)方案總體框架智慧城市綜合管理應用服務(wù)平臺全面提升數(shù)據(jù)匯聚、算力、人工智能等基礎(chǔ)能力。城市智能中樞包括數(shù)據(jù)平臺、技術(shù)平臺、業(yè)務(wù)平臺、人工智平臺、數(shù)據(jù)資源中心、區(qū)塊鏈平臺、精準時空大數(shù)據(jù)平臺、數(shù)字孿生、城市大腦。主要建設(shè)內(nèi)容以打造新型智慧城市標桿為目標，遵從國家提出的新型智慧城市總體技術(shù)標準、共性支撐標準、管理保障標準、安全保密等標準規(guī)范，結(jié)合社會特點和治理需求，形成新型智慧城市建設(shè)管理規(guī)定、總體技術(shù)標準框架、各領(lǐng)域基礎(chǔ)數(shù)據(jù)標準、數(shù)據(jù)安全保密實施細則和數(shù)據(jù)共享交換標準。數(shù)據(jù)平臺數(shù)據(jù)匯聚按接匯聚方式庫表接入數(shù)據(jù)在提供方以數(shù)據(jù)庫表結(jié)構(gòu)化方式存儲，并以庫表方式進行全量或增量數(shù)

11、據(jù)的接入。通過前置數(shù)據(jù)庫表進行數(shù)據(jù)交換，各接入單位通過橋接方式獲取前置數(shù)據(jù)庫表內(nèi)容，向前置數(shù)據(jù)庫表目錄推送數(shù)據(jù)。文件接入適用于非結(jié)構(gòu)化資源或更新頻率較緩慢的結(jié)構(gòu)化資源的接入。通過前置機文件目錄進行數(shù)據(jù)接入和交換，各接入單位通過橋接方式獲取前置機的文件，向前置機文件目錄推送數(shù)據(jù)。服務(wù)接口以Web服務(wù)作為平臺與各接入單位之間數(shù)據(jù)獲取和推送的接口，在平臺中代理業(yè)務(wù)系統(tǒng)提供的Web服務(wù)，對外隱藏該Web服務(wù)的真實URL，使用代理的URL即可訪問業(yè)務(wù)系統(tǒng)真實的Web 服務(wù)，以達到數(shù)據(jù)接入和交換的目的。數(shù)據(jù)庫直連支持使用DBlink方式進行實時連接將關(guān)系型數(shù)據(jù)庫中的數(shù)據(jù)抽取到離線數(shù)據(jù)庫，同時支持過濾條件下

12、推，在關(guān)系型數(shù)據(jù)庫上進行過濾以后再進行抽取，加速抽取和計算的效率。對于原來存儲在關(guān)系型數(shù)據(jù)庫中的維度表/碼表，可以使用dblink的方式進行實時連接計算。按數(shù)據(jù)量分類全量接入一次性將數(shù)據(jù)庫表中的所有數(shù)據(jù)交換到目標節(jié)點的接入方式。全量接入的優(yōu)點是交換效率較高，缺點是不能很好的處理增量數(shù)據(jù)。全量接入要求業(yè)務(wù)庫表應具有主鍵標識。全量接入適用于低頻率（天、周、月）的，對數(shù)據(jù)變更時效性不敏感的接入場景，用于在平臺建設(shè)完成初期進行歷史數(shù)據(jù)的遷移，將大量的基礎(chǔ)數(shù)據(jù)和歷史數(shù)據(jù)導入平臺集群。增量接入周期性從數(shù)據(jù)庫表中獲取最新數(shù)據(jù)并交換到目標節(jié)點的接入方式。增量接入適用于高頻率（秒、分）的、對數(shù)據(jù)變更時效性敏感的

13、接入場景，用于系統(tǒng)上線后將指定周期時間間隔內(nèi)的數(shù)據(jù)導入平臺。增量接入的優(yōu)點是即時接入、增量處理，但需要根據(jù)業(yè)務(wù)場景配置相應的接入策略。增量接入主要有下列三種策略：時間戳交換：根據(jù)業(yè)務(wù)數(shù)據(jù)的時間戳變化獲取增量數(shù)據(jù)，并將增量數(shù)據(jù)交換到目標節(jié)點。交換效率高，對前置庫性能影響小，但要求業(yè)務(wù)表必須存在一個時間戳字段，且每次操作數(shù)據(jù)要對該字段時間戳進行更新。標識位交換：根據(jù)業(yè)務(wù)表中的標識字段值的變化獲取增量數(shù)據(jù)并將增量數(shù)據(jù)交換到目標節(jié)點。交換效率高，對前置庫性能影響小，但要求業(yè)務(wù)表必須存在標識位字段，業(yè)務(wù)系統(tǒng)和平臺都要維護此字段值的變化。觸發(fā)器交換：利用數(shù)據(jù)庫觸發(fā)器獲取增量數(shù)據(jù)并將增量數(shù)據(jù)交換到目標節(jié)點。

14、數(shù)據(jù)獲取實時性高，能夠交換刪除操作的數(shù)據(jù)，但需要在源表上建立觸發(fā)器，對前置庫性能有一定影響。按時延分類準實時接入針對于T+1模式無法滿足業(yè)務(wù)系統(tǒng)的需求，需要進行準實時同步。準實時同步是指將數(shù)據(jù)從傳統(tǒng)的關(guān)系型數(shù)據(jù)庫準實時同步到大數(shù)據(jù)平臺，并對數(shù)據(jù)進行實時或者準實時分析。借助Oralce GoldenGate（OGG）、IBM Datastage Data Replication（CDC）等軟件可以實時地讀取關(guān)系數(shù)據(jù)庫的日志記錄，將這些日志記錄寫成文件記錄到本地，再頭通過數(shù)據(jù)遷移工具進行秒級同步和解析。實時接入針對如物聯(lián)數(shù)據(jù)、視頻數(shù)據(jù)等具有數(shù)據(jù)量大、文件數(shù)量多、實時產(chǎn)生等特性的數(shù)據(jù)，有高吞吐、低時

15、延的要求，可通過分布式日志實時采集工具Flume或分布式消息隊列工具Kafka實時接入到大數(shù)據(jù)平臺。按數(shù)據(jù)類型政務(wù)數(shù)據(jù)匯聚 主要是庫表接入和文件接入兩類。過渡階段，政務(wù)委辦局數(shù)據(jù)由委辦局側(cè)業(yè)務(wù)庫推送至部門前置機，再通過數(shù)據(jù)共享交換系統(tǒng)進入作為原始數(shù)據(jù)存儲。逐步根據(jù)需求，將數(shù)據(jù)接入城市進行治理和建設(shè)主題庫，實時、主動地讀取業(yè)務(wù)庫數(shù)據(jù)變化，數(shù)據(jù)再同步至城市。物聯(lián)數(shù)據(jù)匯聚智慧城市物聯(lián)感知設(shè)備產(chǎn)生的實時物聯(lián)數(shù)據(jù)經(jīng)過物聯(lián)平臺以API接口方式接入Kafka分布式消息隊列系統(tǒng)，再通過實時計算平臺進行實時研判、展示，或直接歸集入?；ヂ?lián)數(shù)據(jù)匯聚互聯(lián)網(wǎng)數(shù)據(jù)服務(wù)平臺承載互聯(lián)網(wǎng)數(shù)據(jù)，互聯(lián)網(wǎng)區(qū)無法訪問政務(wù)外網(wǎng)。可通過接

16、口方式與政務(wù)外網(wǎng)的平臺對接，由平臺主動抽取互聯(lián)網(wǎng)區(qū)數(shù)據(jù)，或?qū)⒒ヂ?lián)網(wǎng)區(qū)數(shù)據(jù)推送至互聯(lián)網(wǎng)區(qū)的前置機，再由資源平臺通過庫表或文件方式主動抽取。視頻圖片匯聚視頻數(shù)據(jù)主要包括部門影像、非公安影像、公安視頻半結(jié)構(gòu)化數(shù)據(jù)、視頻大圖小圖等，以接口方式接入Kafka分布式消息隊列系統(tǒng)，再通過實時計算平臺進行實時研判、展示，或直接以歸集入NoSQL數(shù)據(jù)庫進行大對象存儲。地圖數(shù)據(jù)匯聚柵格數(shù)據(jù)、矢量數(shù)據(jù)、空間地理底圖、各類圖層信息、各類城市運行管理要素數(shù)據(jù)等。數(shù)據(jù)開發(fā)標準SQL開發(fā)概述標準SQL開發(fā)工具是為數(shù)據(jù)開發(fā)人員和數(shù)據(jù)庫管理人員提供的數(shù)據(jù)庫管理工具，它能夠進行跨中臺管理，可作為大數(shù)據(jù)計算服務(wù)客戶端，也支持兼容其

17、余多種數(shù)據(jù)庫。中臺提供的SQL開發(fā)工具是輔助進行數(shù)據(jù)集成開發(fā)的圖形化工具。數(shù)據(jù)庫導航需提供數(shù)據(jù)庫導航欄，可查看當前存在的連接，以及各個連接所提供的的內(nèi)容，包括元數(shù)據(jù)對象，如數(shù)據(jù)庫、表、列、分區(qū)、桶、視圖、存儲過程、包等，并通過層級反映元信息結(jié)構(gòu)?？蓪崿F(xiàn)查看元數(shù)據(jù)信息、創(chuàng)建元數(shù)據(jù)、指定默認數(shù)據(jù)庫、刷新元數(shù)據(jù)對象、對比元數(shù)據(jù)對象、對象重命名、添加書簽等功能。SQL編輯器SQL編輯器主要用于SQL語句的編輯，功能包括：支持SQL單步調(diào)試與異常告警功能支持SQL代碼語法高亮、語法檢查支持SQL代碼縮進支持計算結(jié)果輸出展示支持界面編輯修改數(shù)據(jù)支持命令行SQL執(zhí)行器需提供SQL編輯器模塊用于執(zhí)行SQL語句

18、的功能；需支持執(zhí)行各種語句，將結(jié)果和錯誤分別顯示在結(jié)果窗口和問題窗口；需支持查看以往執(zhí)行過的所有SQL語句，以及執(zhí)行時間。數(shù)據(jù)編輯器通過數(shù)據(jù)編輯器提供多種數(shù)據(jù)管理接口，方便用戶對數(shù)據(jù)進行查看和編輯。數(shù)據(jù)ETL開發(fā)概述中臺需提供可視化數(shù)據(jù)ETL工具用以數(shù)據(jù)從多源數(shù)據(jù)庫向數(shù)據(jù)平臺的ETL過程。數(shù)據(jù)接入可直接從Oracle/DB2等傳統(tǒng)關(guān)系數(shù)據(jù)庫將數(shù)據(jù)導入至大數(shù)據(jù)服務(wù)中臺，可在不失效率的情況下避免使用Sqoop帶的步驟繁瑣、類型轉(zhuǎn)換復雜等應用場景。支持CSV,定長文件，JSON，XML等文件的導入。支持導入OGG、Shareplex、Datastage產(chǎn)生的增量文件導入，實現(xiàn)準實時的數(shù)據(jù)同。支持通過

19、Kafka等方式讀入流數(shù)據(jù)。支持跨集群的數(shù)據(jù)導入。數(shù)據(jù)導出可以直接導出數(shù)據(jù)至傳統(tǒng)關(guān)系數(shù)據(jù)庫導出多種數(shù)據(jù)格式，支持大數(shù)據(jù)服務(wù)中臺中所有類型的表，普通ORC，ORC交易表，HBase，ES表等。支持跨集群導出數(shù)據(jù)轉(zhuǎn)換實現(xiàn)數(shù)據(jù)的清洗，加工，包括但不限于字段映射功能、數(shù)據(jù)關(guān)聯(lián)、集合操作、聚合操作、過濾、去重等。工作流調(diào)度概述提供可視化工作流調(diào)度工具以進行數(shù)據(jù)遷移開發(fā)過程中的工作流DAG設(shè)計、工作流調(diào)度與任務(wù)管理。工作流調(diào)度工具本身不做數(shù)據(jù)流的計算，而是將工作任務(wù)提交到中臺的分布式計算引擎來完成。相比開源調(diào)度工具，中臺提供的工作流調(diào)度工具需要提供更強大的功能，更方便的操作和更高的可用性。圖形化操作需提供

20、圖形化的操作中臺，為用戶提供設(shè)計任務(wù)流、調(diào)試任務(wù)、觸發(fā)和調(diào)度策略等功能。并且具有豐富的分析能力，通過提供依賴關(guān)系、執(zhí)行歷史、甘特圖等圖表，幫助診斷作業(yè)流的執(zhí)行狀況。操作中臺的功能整體劃分為四部分，包括儀表盤、作業(yè)流設(shè)計、監(jiān)控界面、分析界面。儀表盤提供今日作業(yè)流整體狀態(tài)以及作業(yè)流實時信息的概覽。儀表盤上可以瀏覽到當天所有作業(yè)流的狀態(tài)統(tǒng)計和作業(yè)流狀態(tài)列表。同時可以接收到作業(yè)流狀態(tài)改變實時通知。作業(yè)流設(shè)計能夠設(shè)計作業(yè)流并完成調(diào)試，每一個作業(yè)流都是一組任務(wù)的有序排列。監(jiān)控界面可查看作業(yè)流列表，點擊作業(yè)流名稱，可進入對作業(yè)流內(nèi)任務(wù)執(zhí)行情況的監(jiān)控頁面，以不同角度查看對該作業(yè)流執(zhí)行情況的統(tǒng)計。分析界面用于作

21、業(yè)流執(zhí)行情況的統(tǒng)計以及可視化分析，包括作業(yè)流的執(zhí)行時長、失敗原因、調(diào)度準時性、任務(wù)完成比、作業(yè)流統(tǒng)計、當日增減作業(yè)流、當日變慢作業(yè)流。多任務(wù)類型需支持Shell、SQL、JDBC、HTTP等任務(wù)類型，并且允許用戶寫自定義Java任務(wù)。數(shù)據(jù)治理數(shù)據(jù)標準管理導入外部標準提供以Excel模板方式，導入外部國家標準或行業(yè)標準，支持數(shù)據(jù)項、數(shù)據(jù)字典、指標等類型的標準導入，并支持按元模型進行擴展。數(shù)據(jù)標準映射建立數(shù)據(jù)庫系統(tǒng)到數(shù)據(jù)標準的映射關(guān)系，保證數(shù)據(jù)標準的落地與執(zhí)行。數(shù)據(jù)標準編目支持自定義數(shù)據(jù)標準目錄結(jié)構(gòu)以及內(nèi)容，并提供相應的查詢，瀏覽和使用頁面，對數(shù)據(jù)編目標準對智慧城市各類數(shù)據(jù)進行統(tǒng)一編目。數(shù)據(jù)資源關(guān)

22、聯(lián)支持將數(shù)據(jù)標準與任意資源進行關(guān)聯(lián)。提供數(shù)據(jù)標準與元數(shù)據(jù)、數(shù)據(jù)資源的關(guān)聯(lián)分析，分析引用指定標準的數(shù)據(jù)資源分布，以及標準的引用統(tǒng)計。數(shù)據(jù)標準維護實現(xiàn)標準的維護功能，包括標準新增、變更、審核等功能，支持標準版本管理和比對功能，對標準變更情況進行記錄。標準格式配置支持自定義數(shù)據(jù)標準的存儲和展示格式、類型。數(shù)據(jù)質(zhì)量管理是依據(jù)數(shù)據(jù)質(zhì)量管理規(guī)范，為數(shù)據(jù)質(zhì)量管理過程提供支持，使得能夠根據(jù)數(shù)據(jù)標準匹配檢核規(guī)則，根據(jù)元數(shù)據(jù)自動匹配檢核對象。數(shù)據(jù)質(zhì)量管理主要過程包括質(zhì)量規(guī)則配置和數(shù)據(jù)質(zhì)量檢核，能夠解決數(shù)據(jù)完整性、唯一性、權(quán)威性、一致性、合法性等問題。元數(shù)據(jù)管理整合中臺各個環(huán)節(jié)的元數(shù)據(jù)資產(chǎn)，以便進行元數(shù)據(jù)的瀏覽和分

23、析，也是形成數(shù)據(jù)資源管理門戶的來源。中臺需提供可視化元數(shù)據(jù)管理工具，滿足進行庫表元數(shù)據(jù)的查看，數(shù)據(jù)之間血緣關(guān)系與影響的查看，以及數(shù)據(jù)之間依賴關(guān)系的分析。元數(shù)據(jù)采集支持自動采集、同步更新元數(shù)據(jù)，自動化編目和分類組織中日益分散和無序的數(shù)據(jù)資產(chǎn)，大大降低元數(shù)據(jù)管理的成本；支持采集和展示主流關(guān)系型數(shù)據(jù)庫、分布式數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫和BI等業(yè)務(wù)系統(tǒng)元數(shù)據(jù)。元數(shù)據(jù)存儲元數(shù)據(jù)是中臺各組件（HDFS、分析型數(shù)據(jù)倉庫、分布式NoSQL數(shù)據(jù)庫、數(shù)據(jù)檢索組件、實時計算組件等）存放有關(guān)數(shù)據(jù)信息的地方，其用途是用來描述數(shù)據(jù)，包括創(chuàng)建信息、所屬空間、訪問權(quán)限、類型描述等等。中臺需要提供高可用數(shù)據(jù)庫為所有組件提供元數(shù)據(jù)

24、統(tǒng)一管理存儲。HDFS元數(shù)據(jù)包含文件名、目錄名、父目錄信息、文件大小、創(chuàng)建時間、修改時間等文件屬性信息，還需包含文件分塊情況、復本個數(shù)、每個復本所在節(jié)點等存儲相關(guān)信息。記錄數(shù)據(jù)所屬關(guān)系，提供用戶所屬用戶、用戶組信息，可以標記用戶和用戶組的權(quán)限。分析型數(shù)據(jù)庫元數(shù)據(jù)庫級元信息包含庫名、描述信息、創(chuàng)建者、創(chuàng)建時間、庫內(nèi)建表查表權(quán)限等。表級元信息包含表名、描述信息、創(chuàng)建者、創(chuàng)建時間、所屬庫、表內(nèi)字段、表內(nèi)增刪改查權(quán)限、刪除表權(quán)限等。字段元信息包含字段名、描述信息、字段類型、默認值、是否為空、用戶訪問權(quán)限等。分布式NoSQL數(shù)據(jù)庫元數(shù)據(jù)指分析型數(shù)據(jù)庫中NoSQL數(shù)據(jù)庫映射表的元數(shù)據(jù)。類似分析型數(shù)據(jù)庫表級

25、和字段權(quán)限，包含表名、表描述信息、創(chuàng)建者、創(chuàng)建時間、所屬庫、表內(nèi)字段、表內(nèi)增刪改查權(quán)限、刪除表權(quán)限、字段名、字段描述信息、字段類型、用戶訪問權(quán)限等。數(shù)據(jù)檢索組件元數(shù)據(jù)指分析型數(shù)據(jù)庫中數(shù)據(jù)檢索引擎映射表的元數(shù)據(jù)。類似分析型數(shù)據(jù)庫表級和字段權(quán)限，包含表名、表描述信息、創(chuàng)建者、創(chuàng)建時間、所屬庫、表內(nèi)字段、表內(nèi)增刪改查權(quán)限、刪除表權(quán)限、字段名、字段描述信息、字段類型、用戶訪問權(quán)限等。實時流計算組件元數(shù)據(jù)實時流計算有三個核心的概念：流、流任務(wù)和流應用。流即數(shù)據(jù)流，流任務(wù)是對一個或多個流數(shù)據(jù)進行計算并將結(jié)果寫進一張表的任務(wù)，流應用是一個或多個流任務(wù)的集合。流元信息需包含流名、描述信息、創(chuàng)建者、創(chuàng)建時間、所

26、屬庫、流內(nèi)字段、流內(nèi)增刪改查權(quán)限、刪除流權(quán)限等。流任務(wù)元信息需包含任務(wù)名、描述信息、創(chuàng)建者、啟動時間、所屬庫、任務(wù)邏輯、啟停權(quán)限等。流應用元信息需包含應用名、描述信息、創(chuàng)建者、創(chuàng)建時間、所屬庫、應用內(nèi)流任務(wù)信息等。元數(shù)據(jù)操作通過對元數(shù)據(jù)庫的增、刪、改、查操作，為元數(shù)據(jù)的應用提供各種功能（如數(shù)據(jù)血緣關(guān)系查詢等）。元數(shù)據(jù)查詢支持對元數(shù)據(jù)基本信息進行查詢與檢索，如查詢數(shù)據(jù)庫表的數(shù)據(jù)字典等；元數(shù)據(jù)統(tǒng)計提供元數(shù)據(jù)統(tǒng)計信息，如元數(shù)據(jù)使用情況分析、元數(shù)據(jù)變更、元數(shù)據(jù)版本和生命周期變化情況等。元數(shù)據(jù)稽核為保證元數(shù)據(jù)質(zhì)量，對元數(shù)據(jù)進行稽核，保證元數(shù)據(jù)信息的完整性，合理性。權(quán)限管理負責權(quán)限分配、審批，實現(xiàn)對元數(shù)據(jù)

27、管理模塊的數(shù)據(jù)訪問和功能的使用進行有效訪問控制。元數(shù)據(jù)維護提供元數(shù)據(jù)常規(guī)管理能力，包括基本信息、關(guān)系、版本的管理維護，以及元數(shù)據(jù)檢核。元數(shù)據(jù)應用提供多種元數(shù)據(jù)應用方式，包括元數(shù)據(jù)檢索、查看、歷史、變更訂閱下載。元數(shù)據(jù)瀏覽支持多數(shù)據(jù)源的資產(chǎn)瀏覽：HDFS、Mysql、Oracle、DB2、Hive、TeraData、Hbase、Teradata以及第三方報表工具。數(shù)據(jù)地圖通過圖形化方式從宏觀角度展示企業(yè)數(shù)據(jù)資產(chǎn)系統(tǒng)的關(guān)系，有利于用戶更好理解系統(tǒng)之間關(guān)系。支持對數(shù)據(jù)流轉(zhuǎn)情況的展現(xiàn)，展現(xiàn)數(shù)據(jù)在各層間流轉(zhuǎn)的情況。實現(xiàn)數(shù)據(jù)資產(chǎn)總體展現(xiàn)，展示模型總數(shù)、存儲總量、記錄總數(shù)、字段數(shù)等關(guān)鍵指標，實現(xiàn)層層下鉆，從

28、宏觀換到微觀各個層次的展示數(shù)據(jù)資產(chǎn)的基本信息，如存儲周期、字段數(shù)、數(shù)據(jù)量、數(shù)據(jù)來源占比和變化趨勢等。系統(tǒng)管理為應用提供可靠的基礎(chǔ)管理服務(wù)，保證上層應用的正常運行。包括系統(tǒng)基本配置管理、權(quán)限管理、角色管理等。數(shù)據(jù)血源管理通過整合分散在各個系統(tǒng)、應用、數(shù)據(jù)庫等不同數(shù)據(jù)源中的元數(shù)據(jù)，將它們集中在一起，提供統(tǒng)一的元數(shù)據(jù)查詢管理接口。通過追蹤元數(shù)據(jù)，記錄每次元數(shù)據(jù)轉(zhuǎn)化的輸入與輸出，能夠從表級和列級兩個粒度上，描述多表間的關(guān)系，為中臺中的元數(shù)據(jù)勾勒出一幅完整的數(shù)據(jù)流動變化關(guān)系圖譜，使用戶更全面的掌握數(shù)據(jù)，把握數(shù)據(jù)變化，從而實現(xiàn)元數(shù)據(jù)血緣關(guān)系分析功能。提供數(shù)據(jù)治理子系統(tǒng)，可以實現(xiàn)數(shù)據(jù)血緣關(guān)系分析。數(shù)據(jù)血緣圖

29、以目標對象的第一代祖先為起點，以目標分析對象為終點，按照轉(zhuǎn)化關(guān)系逐層擴展。血緣圖直觀的展示了目標對象的產(chǎn)生過程，包括從哪些表轉(zhuǎn)換而來，經(jīng)歷了哪些轉(zhuǎn)換，從而幫助推測出它在此過程中被賦予的含義，以及會受到的潛在影響。當某數(shù)據(jù)出現(xiàn)錯誤或者異常時，我們可通過血緣關(guān)系圖向上分析鎖定問題產(chǎn)生的源頭；當對某些數(shù)據(jù)進行修改時，可通過影響關(guān)系圖向下分析，得到哪些數(shù)據(jù)實體中的數(shù)據(jù)會受到影響。還通過提供列級的訪問，將追蹤的粒度精確到字段。充分理解并運用這兩種圖表，將幫助用戶在對海量數(shù)據(jù)進行分析時，降低排查錯誤的難度，預測并控制即將造成的影響，最終達到提升數(shù)據(jù)質(zhì)量的效果。視圖血緣支持和主題庫的視圖的血緣影響分析（包括

30、展示已delete刪除的表和視圖，支持指定深度展示）。表及字段血緣支持和主題庫中各數(shù)據(jù)庫表和字段的血緣分析和影響分析。報表血緣支持對電子表格和儀表盤的血緣和影響分析。ETL血緣支持對ETL流程的血緣、影響分析。支持跨數(shù)據(jù)庫實例ETL血緣，支持ETL工具血緣；手動編輯血緣信息支持手動對血緣信息進行增加，刪除，修改等操作。實時更新血緣信息自動化實時同步更新血緣、影響數(shù)據(jù)。數(shù)據(jù)生命周期管理數(shù)據(jù)如同企業(yè)任何其他資產(chǎn)一樣，也具有生命周期。企業(yè)進行大數(shù)據(jù)治理，就需要管理數(shù)據(jù)資產(chǎn)，也就是要管理數(shù)據(jù)的生命周期。數(shù)據(jù)生命周期管理，需要對數(shù)據(jù)從產(chǎn)生、存儲、維護、使用到消亡的整個過程進行監(jiān)控和管理。例如，企業(yè)數(shù)據(jù)管

31、理人員需要決定數(shù)據(jù)如何被創(chuàng)建、如何被修改、如何演變、何種數(shù)據(jù)應保留在運營和分析系統(tǒng)中、何種數(shù)據(jù)要予以存檔、何種數(shù)據(jù)要予以刪除。數(shù)據(jù)生命周期管理需要對壓縮和存檔的政策、工具進行平衡，以降低存儲成本，提高績效。最后，需要結(jié)合企業(yè)當前業(yè)務(wù)的需求合理摒棄不再需要的數(shù)據(jù)。數(shù)據(jù)先被創(chuàng)建，然后存儲、維護和使用，最終被銷毀。在其生命周期中，數(shù)據(jù)可能被提取、導入、導出、遷移、驗證、編輯、更新、清洗、轉(zhuǎn)型、轉(zhuǎn)換、整合、隔離、匯總、引用、評審、報告、分析、挖掘、備份、恢復、歸檔和檢索，最終被刪除。數(shù)據(jù)的價值通常體現(xiàn)在使用中，也可能是在未來才有用。數(shù)據(jù)生命周期的所有階段都有相關(guān)的成本和風險，但只有在“使用”階段，數(shù)據(jù)

32、才能夠帶來商業(yè)價值?；诖髷?shù)據(jù)環(huán)境下數(shù)據(jù)在組織機構(gòu)業(yè)務(wù)中的流轉(zhuǎn)情況，定義了數(shù)據(jù)生命周期的6個階段，具體各階段的定義如下：數(shù)據(jù)采集：指新的數(shù)據(jù)產(chǎn)生或現(xiàn)有數(shù)據(jù)內(nèi)容發(fā)生明顯改變或更新的階段。對于組織機構(gòu)而言，數(shù)據(jù)的待機既包含在組織機構(gòu)內(nèi)部系統(tǒng)中生成的數(shù)據(jù)也包含組織機構(gòu)從外部采集的數(shù)據(jù)。數(shù)據(jù)存儲：指非動態(tài)數(shù)據(jù)以任何數(shù)字格式進行物理存儲的階段數(shù)據(jù)處理：指組織機構(gòu)在內(nèi)部針對動態(tài)數(shù)據(jù)進行的一系列活動的組合。數(shù)據(jù)傳輸：指數(shù)據(jù)在組織機構(gòu)內(nèi)部從一個實體金國網(wǎng)絡(luò)流動到另一個實體的過程。數(shù)據(jù)交換：指數(shù)據(jù)經(jīng)由組織機構(gòu)內(nèi)部與外部組織機構(gòu)及個人交互過程中提供數(shù)據(jù)的階段。數(shù)據(jù)銷毀：指通過對數(shù)據(jù)及數(shù)據(jù)的存儲介質(zhì)通過相應的操作手

33、段，使數(shù)據(jù)徹底丟失且無法通過任何手段恢復的過程。特定的數(shù)據(jù)所經(jīng)理的生命周期由實際的業(yè)務(wù)場景所決定，并非所有的數(shù)據(jù)都會完整的經(jīng)歷6個階段。數(shù)據(jù)質(zhì)量管理實現(xiàn)數(shù)據(jù)質(zhì)量規(guī)則定義、數(shù)據(jù)檢核、數(shù)據(jù)質(zhì)量分析：根據(jù)實際業(yè)務(wù)和數(shù)據(jù)使用情況，提出度量規(guī)則，達到規(guī)范化的語言對度量規(guī)則進行定義，制定數(shù)據(jù)質(zhì)量檢核，通過執(zhí)行檢核任務(wù)和執(zhí)行引擎，發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題。多維度展現(xiàn)每個質(zhì)量檢核規(guī)則的執(zhí)行結(jié)果以及質(zhì)量清洗意見。給出數(shù)據(jù)質(zhì)量的總體運行情況從而自定義數(shù)據(jù)質(zhì)量大屏和質(zhì)量駕駛艙。數(shù)據(jù)質(zhì)量管理是依據(jù)數(shù)據(jù)質(zhì)量管理規(guī)范，為數(shù)據(jù)質(zhì)量管理過程提供支持要包括質(zhì)量規(guī)則配置和數(shù)據(jù)質(zhì)量檢核，能夠根據(jù)數(shù)據(jù)標準匹配檢核規(guī)則，根據(jù)元數(shù)據(jù)自動匹配檢核

34、對象。數(shù)據(jù)質(zhì)量管理主要功能要求：1）質(zhì)量規(guī)則配置，實現(xiàn)數(shù)據(jù)質(zhì)量度量規(guī)則和檢核方法管理。配置實現(xiàn)檢核任務(wù)管理，可以通過界面來維護任務(wù)，支持根據(jù)數(shù)據(jù)標準生成質(zhì)量檢核方法。2）數(shù)據(jù)質(zhì)量檢核，按照數(shù)據(jù)質(zhì)量規(guī)則對依次對檢核對象進行合規(guī)性檢核，在發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題之后，記錄問題數(shù)據(jù)和異常記錄。3）數(shù)據(jù)質(zhì)量問題明細報告，針對檢核任務(wù)在執(zhí)行之后，需要出具數(shù)據(jù)質(zhì)量問題報告，對問題的總體情況進行描述，并按照權(quán)屬部門、資源分類等維度出具明細質(zhì)量報告。質(zhì)量管理流程數(shù)據(jù)質(zhì)量管理的基本流程如下圖：圖 數(shù)據(jù)質(zhì)量管理的基本流程數(shù)據(jù)質(zhì)量管理主要功能包括：質(zhì)量規(guī)則配置，實現(xiàn)數(shù)據(jù)質(zhì)量度量規(guī)則和檢核方法管理。配置實現(xiàn)檢核任務(wù)管理，通過

35、界面維護任務(wù)，支持根據(jù)數(shù)據(jù)標準生成質(zhì)量檢核方法。數(shù)據(jù)質(zhì)量檢核，按照數(shù)據(jù)質(zhì)量規(guī)則對依次對檢核對象進行合規(guī)性檢核，在發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題之后，記錄問題數(shù)據(jù)和異常記錄。數(shù)據(jù)質(zhì)量問題明細報告，針對檢核任務(wù)在執(zhí)行之后，需要出具數(shù)據(jù)質(zhì)量問題報告，對問題的總體情況進行描述，并按照權(quán)屬部門、資源分類等維度出具明細質(zhì)量報告。數(shù)據(jù)質(zhì)量稽核利用城市數(shù)據(jù)底座和數(shù)據(jù)平臺提供的分析型數(shù)據(jù)倉庫提供數(shù)據(jù)稽查功能，根據(jù)規(guī)則（包括但不限于數(shù)據(jù)誤讀、字段類型不匹配、UDF條件過濾）將臟數(shù)據(jù)寫入指定的臟數(shù)據(jù)表，在數(shù)據(jù)導入完成后，記錄臟數(shù)據(jù)原因、記錄數(shù)、導入接口以及數(shù)據(jù)質(zhì)量報告，以方便監(jiān)控程序判斷以及處理。數(shù)據(jù)質(zhì)量管理主要包含對數(shù)據(jù)完整性

36、、準確性、鮮活性、權(quán)威性的分析和管理，并對數(shù)據(jù)進行跟蹤、處理和解決，實現(xiàn)對數(shù)據(jù)質(zhì)量的全程管理，提高數(shù)據(jù)的質(zhì)量。能夠提供規(guī)則配置、質(zhì)量監(jiān)控、問題處理等功能，及時發(fā)現(xiàn)并分析數(shù)據(jù)質(zhì)量問題，不斷改善數(shù)據(jù)的使用質(zhì)量，從而提升數(shù)據(jù)的可用性，挖掘數(shù)據(jù)更大的價值。質(zhì)量模型配置數(shù)據(jù)質(zhì)量分析的基本單元，一個質(zhì)量模型由可以由一套實體表、一套規(guī)則以及多套質(zhì)檢方案組成，用戶在定義質(zhì)檢方案時，可以根據(jù)業(yè)務(wù)需要選擇實體表和規(guī)則，方案與方案之間相互獨立，互不干擾。通過執(zhí)行模型下的質(zhì)檢方案，可以得到用戶關(guān)心的數(shù)據(jù)質(zhì)量分析結(jié)果，如問題數(shù)據(jù)明細信息、數(shù)據(jù)質(zhì)量分析結(jié)果等。圖 質(zhì)量模型配置質(zhì)量規(guī)則管理數(shù)據(jù)質(zhì)量規(guī)則是數(shù)據(jù)質(zhì)量審核的邏輯校

37、驗標準，是數(shù)據(jù)質(zhì)量監(jiān)控管理的基礎(chǔ)。系統(tǒng)支持多種規(guī)則類型，提供了全方位的視角來為用戶解析數(shù)據(jù)質(zhì)量。一套規(guī)則能在多套方案中復用，在保證多角度準確數(shù)據(jù)質(zhì)量分析的前提下，大大減少了用戶投入的精力與時間，為用戶提供了一種靈活而全面的數(shù)據(jù)質(zhì)量分析方式。系統(tǒng)包括以下質(zhì)量規(guī)則：空值檢查空值檢查用于檢查關(guān)鍵字段非空值域檢查值域檢查用于檢查關(guān)鍵字段的取值范圍，支持數(shù)值型、字符型、日期型字段檢查規(guī)范檢查規(guī)范檢查用于檢查指標值的格式是否規(guī)范，支持身份證、手機號碼、郵箱、日期等多種數(shù)據(jù)類型的檢測，支持自定義正則表達式邏輯檢查邏輯檢查用于檢查指標之間是否滿足一定的邏輯關(guān)系重復數(shù)據(jù)檢查重復數(shù)據(jù)檢查用于檢查表內(nèi)是否有重復數(shù)據(jù)

38、。規(guī)則算法：groupby重復依據(jù)字段，count(1)1的算重復及時性檢查及時性檢查，用于檢查數(shù)據(jù)的及時性，衡量數(shù)據(jù)抽取或數(shù)據(jù)上報是否及時。規(guī)則算法：算出上報時間字段的值，如果沒寫上報時間表達式，則最佳上報時間都是以下一期的第一天做為參照依據(jù)，再將上報時間與最佳上報時間做為比較，看是否在允許誤差最大天數(shù)范圍內(nèi)缺失記錄檢查記錄缺失檢查用于判斷記錄是否完整，是否缺少數(shù)據(jù)行。根據(jù)比照表字段檢查目標字段是否缺少數(shù)據(jù)，檢查實體表字段與比照字段的數(shù)據(jù)量、數(shù)值是否完全一致。規(guī)則算法：對檢查表字段和比照字段進行g(shù)roupby并求count，根據(jù)兩個字段groupby的結(jié)果來outerjoin，count不相

39、等或檢查字段值和比照字段值有一個為空時，此行結(jié)果都算錯引用完整性檢查引用完整性檢查用于判斷實體表中的數(shù)據(jù)是否完全存在于比照表中。實體表檢查字段中的數(shù)據(jù)必須全部存在于比照表的比照字段中。規(guī)則算法：實體表的檢查字段關(guān)聯(lián)distinct后的比照表的字段，關(guān)聯(lián)后，如果比照字段為空，則檢查字段的值非來源于比照表，則該規(guī)則對應結(jié)果為false方案配置調(diào)度依據(jù)質(zhì)量規(guī)則執(zhí)行的實際治理需求，通過圖形化界面配置多種質(zhì)檢規(guī)則組成可執(zhí)行方案，依據(jù)執(zhí)行規(guī)則管控中臺自動執(zhí)行質(zhì)量規(guī)則檢查。質(zhì)量規(guī)則執(zhí)行觸發(fā)方式支持按固定時間周期（如月、周、日）、事件觸發(fā)等執(zhí)行方式，并且在控制臺可以查看質(zhì)檢方案執(zhí)行歷史，對數(shù)據(jù)質(zhì)檢全流程進行管

40、控。圖 方案配置調(diào)度界面配置通過圖形化界面配置多種質(zhì)檢規(guī)則組成可執(zhí)行方案，通過界面進行數(shù)據(jù)傳參。觸發(fā)方式質(zhì)量規(guī)則執(zhí)行觸發(fā)方式支持按固定時間周期（如月、周、日）、事件觸發(fā)等執(zhí)行方式。全流程管控固定時間監(jiān)控業(yè)務(wù)系統(tǒng)運行的各類數(shù)據(jù)，及時發(fā)現(xiàn)并整改數(shù)據(jù)異常，完善系統(tǒng)運行機制。圖 全流程管控質(zhì)檢結(jié)果查看基于質(zhì)檢方案執(zhí)行過程，反饋每次質(zhì)檢產(chǎn)生的異常數(shù)據(jù)，根據(jù)問題數(shù)據(jù)所配置的規(guī)則提供問題詳情、比對及整改重檢的能力。結(jié)合實際可執(zhí)行和可實現(xiàn)的原則，分析系統(tǒng)存在的數(shù)據(jù)質(zhì)量問題：分析與檢測著重于在數(shù)據(jù)的定義基礎(chǔ)上，利用數(shù)據(jù)的邏輯和業(yè)務(wù)規(guī)則度數(shù)據(jù)質(zhì)量進行檢測和分析。整改與重建著重與在數(shù)據(jù)的分析和檢測基礎(chǔ)上，利用起結(jié)果

41、對數(shù)據(jù)，特別是源數(shù)據(jù)的數(shù)據(jù)管理提出整改意見，重建數(shù)據(jù)質(zhì)量的管理能力。具體系統(tǒng)方案如下:圖 質(zhì)檢結(jié)果查看質(zhì)檢分析報告基于質(zhì)檢方案及質(zhì)檢結(jié)果，對每次質(zhì)檢的檢查數(shù)、問題數(shù)、整改數(shù)等進行統(tǒng)計，形成統(tǒng)計圖。支持按日、按月統(tǒng)計及柱狀圖、折線圖。數(shù)據(jù)標簽管理標簽維護標簽管理模塊提供面向用戶、運營管理等各類型的數(shù)據(jù)進行統(tǒng)一的管理和分析，基于提供的源數(shù)據(jù)進行標簽的建設(shè)。標簽管理模塊提供包括標簽分類配置、基礎(chǔ)信息配置、邏輯配置、更新配置、權(quán)重配置等功能。標簽分類配置標簽分類管理提供標簽目錄的創(chuàng)建、修改、刪除等功能。標簽基礎(chǔ)信息配置提供標簽基礎(chǔ)信息的配置功能，包括標簽名稱、標簽所屬目錄、業(yè)務(wù)邏輯等信息。標簽邏輯配置

42、提供規(guī)則標簽、組合標簽的配置。規(guī)則標簽的具體配置功能包括規(guī)則設(shè)置可視化、選擇表字段、固化標簽SQL規(guī)則、提供SQL模板等。組合標簽的具體配置功能包括標簽樹展示、寬表信息樹展示、標簽組合設(shè)置及運算符配置功能。標簽更新配置提供標簽結(jié)果定時更新的配置功能，保證標簽數(shù)據(jù)的準確性。提供包括更新周期、更新時間、更新設(shè)置、生效有效期和更新模式的配置。標簽權(quán)重配置提供標簽權(quán)重信息的配置，包括附加權(quán)重倍數(shù)、附加權(quán)重常數(shù)、權(quán)重最小值、權(quán)重最大值，以及權(quán)重公式的預覽。標簽更新標簽更新管理模塊提供標簽更新列表的查看和單個標簽更新歷史列表的查看功能，同時提供手動執(zhí)行標簽更新的入口。列表頁面提供包括更新時間、更新耗時、更

43、新結(jié)果、更新狀態(tài)、更新周期等信息的展現(xiàn)。群體策略提供群體的配置功能，包括群體基本信息、群體標簽信息、和群體策略的配置。列表頁面支持群體結(jié)果信息展示以及群體結(jié)果的導出、群體畫像的展示。支持以界面化方式對各類標簽進行組合，形成響應的標簽策略，并基于頁面配置化方式定義執(zhí)行條件、過濾條件、時間。群體基本信息配置提供群體名稱、主體和群體描述的配置。群體標簽信息配置提供以界面化方式對各類標簽進行組合，配置出滿足業(yè)務(wù)需求的群體。群體策略配置提供配置群體對應的策略。包括策略選擇、策略執(zhí)行周期、策略執(zhí)行時間、策略執(zhí)行有效期、策略可重復執(zhí)行、策略重復執(zhí)行間隔、策略可執(zhí)行時間段的配置。群體策略監(jiān)控提供已配置群體策略

44、的列表頁面、手動執(zhí)行群體策略的入口以及單個群體策略的執(zhí)行歷史列表。 個人畫像畫像包括列表模板和畫像模板兩種模板，普通用戶查看的個體列表和個體畫像就是來自畫像模塊。列表模板列表模板是指以列表的樣式通過多個維度展示畫像的基本信息，幫助用戶快速瀏覽，修改列表字段可以更改展示內(nèi)容。多主題當畫像模塊存在多個主題時，可以自由切換不同主題下的內(nèi)容。搜索輸入ID、名稱等關(guān)鍵詞，會自動補全信息，并展示搜索結(jié)果。歷史記錄系統(tǒng)記錄最近查詢和最近收藏目標（最近10條），幫助用戶快速查詢。 全部收藏展示系統(tǒng)中全部收藏的目標對象。 全部列表在列表頂部，選擇“僅顯示收藏”，對所有目標結(jié)果進行篩選。 鼠標移入到目標群體時，有

45、收藏和取消收藏的功能。 每個目標都有畫像信息，查看目標畫像，了解目標的全方位信息。畫像模板畫像模板由多個面板組合而成，通過圖形化的樣式展示個體的標簽信息，每個面板代表不同的圖形樣式，面板中標簽可以選擇用圖形或者文本示意。自定義畫像不論是列表還是畫像，Sophon EP都支持管理員通過主題設(shè)計時進行列表模板和畫像模板的自定義。自定義列表模板通過拖拽基礎(chǔ)表字段來替換現(xiàn)有的表字段內(nèi)容，還可以刪除和添加表字段。ID、名稱和圖片是表數(shù)據(jù)的key值，可以更改字段內(nèi)容，但不能刪除。自定義畫像模板當前系統(tǒng)提供純文本、膠囊條形圖、面積圖、階段條形圖、漏斗圖、雷達圖、行條形圖、餅圖、列條形 圖、柱狀圖共10種面板

46、類型。選擇面板類型后，在面板中添加一個或多個標簽類別，每個標簽可以選擇用圖形或者文本的樣式展現(xiàn)。新建完成后，畫像中的內(nèi)容也會相應更改。標簽綁定用戶可根據(jù)喜好，選擇圖片綁定標簽數(shù)據(jù)，定義個性化畫像儀表盤。畫像由不同的面板組成，每個面板可根據(jù)業(yè)務(wù)需求綁定不同的標簽屬性。用戶可以通過拖拽改變面板的大小和位置，實現(xiàn)個性化展現(xiàn)。 群畫像群畫像與個體畫像類似，都是以圖表的樣式展現(xiàn)標簽數(shù)據(jù)。群畫像展示個體在不同標簽下的分布趨勢圖。群列表群列表是指創(chuàng)建滿足共同特征的目標群體，分為“我創(chuàng)建的”群列表和“共享群”列表，兩種列表的的權(quán)限各不相同。群信息包括群的名稱、權(quán)限、描述、創(chuàng)建者、創(chuàng)建時間以及創(chuàng)建群的篩選條件。

47、篩選條件默認情況下是收起狀態(tài)，用戶可以手動展開。群創(chuàng)建創(chuàng)建目標群體又稱數(shù)據(jù)實體分群，目的是通過一系列標簽篩選條件把目標主題下的數(shù)據(jù)實體進行群體劃分。目標群體由一個或多個篩選條件得到。條件與條件之間可以隨意切換“且”、“或”的關(guān)系。每個條件內(nèi)部，標簽與標簽之間也有“且”、“或”的關(guān)系，條件與標簽之間的關(guān)系為互斥。創(chuàng)建群體時可以實現(xiàn)設(shè)定是否共享。群分享群創(chuàng)建者可以將有意義的目標群體共享出去，供大家查看。也可以將已共享的群體取消共享。群分析可以對目標群體進行群畫像的分析操作。還可以對群體繼續(xù)進行一維或二維的細分，以圖表化的形式展現(xiàn)（當前的圖表樣式包括餅圖、一維柱狀圖、二維柱狀圖、二維熱力圖）。通過自

48、定義分析了解目標群體在不同的標簽下的分布情況。通過群畫像可以對不同群體進相關(guān)操作。 畫像模板列表模板：提供展示對象信息的模板樣例，支持對對象的字段的增刪改操作；畫像模板：提供畫像分析的模板樣例，支持對畫像模板的增刪改操作；每個面板代表不同的圖形樣式，面板中標簽可以選擇用圖形或者文本示意。 畫像分析個體畫像：面板展示實體數(shù)據(jù)，將實體通過圖形更加直觀地展示；群創(chuàng)建：根據(jù)系統(tǒng)已有的標簽創(chuàng)建滿足特定特征的群體；群畫像：群體畫像同樣以圖表的樣式展示數(shù)據(jù)，展示個體在不同標簽下的分布趨勢圖。自定義畫像：用戶可根據(jù)喜好，選擇圖片綁定標簽數(shù)據(jù)，定義個性化畫像儀表盤。畫像由不同的面板組成，每個面板可根據(jù)業(yè)務(wù)需求綁

49、定不同的標簽屬性。用戶可以通過拖拽改變面板的大小和位置，實現(xiàn)個性化展現(xiàn)。 插件管理支持上傳插件對智能標簽模塊進行二次開發(fā)，定義屬于自己的標簽應用，同時支持接入第三方數(shù)據(jù)源。 模型分享支持群分享，允許使用者將共享群中群體分享到我創(chuàng)建的群體，并進行編輯和修改。數(shù)據(jù)分析數(shù)據(jù)指標分析實時指標對數(shù)據(jù)服務(wù)開發(fā)過程做流程化梳理，通過數(shù)據(jù)源、數(shù)據(jù)服務(wù)模板、數(shù)據(jù)服務(wù)實例、請求響應參數(shù)等概念，固化和規(guī)范了數(shù)據(jù)服務(wù)開發(fā)流程，讓這一過程清晰、簡單、可管理。對于服務(wù)調(diào)用，通過統(tǒng)一的API標準，讓調(diào)用方可以只做一次對接開發(fā)，后續(xù)新增的服務(wù)可以直接復用。適用場景：實時交易、用戶實時操作、最近T時間內(nèi)的統(tǒng)計指標等。離線指標離

50、線指標指對實時性要求不高，在系統(tǒng)中已經(jīng)存在或可通過離線數(shù)據(jù)計算生成的指標。離線指標采集支持通過數(shù)倉定時導入、實時數(shù)據(jù)推送的方式，提供離線指標定義、離線指標值在線查詢的服務(wù)。適用場景：用戶靜態(tài)信息、歷史訂單、存量資產(chǎn)數(shù)據(jù)等。第三方指標第三方指標指由外部系統(tǒng)提供，需要調(diào)用外部系統(tǒng)接口查詢獲取的指標。平臺提供完整、通用的第三方指標接入框架實現(xiàn)接口的快速定制開發(fā)完成上架，并按照指標值的更新頻率，對第三方指標進行緩存時長的設(shè)置。適用場景：外部征信數(shù)據(jù)、社會服務(wù)數(shù)據(jù)、個人信息校驗/查詢等。SQL指標SQL指標主要面向有編碼能力的用戶，在特定場景下選用一些比較復雜的函數(shù)去做一些指標的抽取或者指標定義的工作。

51、指標服務(wù)平臺從系統(tǒng)層面開放一個更加靈活的方式給擁有編碼能力的用戶，能夠以自定義的方式去定義自己所需的指標。適用場景：需要進行指標加工的場景，如時間差，身份證號識別是否處于生日當期等。轉(zhuǎn)化指標轉(zhuǎn)化指標指通過自定義函數(shù)方式，對已有指標進行加工轉(zhuǎn)化，產(chǎn)生一個新的指標。指標轉(zhuǎn)化過程中支持將任意指標，通過轉(zhuǎn)化函數(shù)進行在加工，甚至支持已轉(zhuǎn)化過的指標進行再次轉(zhuǎn)化，或?qū)⒍鄠€指標轉(zhuǎn)化為一個指標。適用場景：需要進行指標加工的場景，如時間差，身份證號識別是否處于生日當期等。商業(yè)智能分析商業(yè)智能分析即可視化BI，需提供界面化數(shù)據(jù)管理能力，支持對多種數(shù)據(jù)源的分析和展示，并可以由用戶自行在源數(shù)據(jù)關(guān)系的基礎(chǔ)上構(gòu)建自己的業(yè)務(wù)

52、模型?？梢暬疊I組件需要支持多種數(shù)據(jù)源，包括常規(guī)的關(guān)系型數(shù)據(jù)源、Hadoop數(shù)據(jù)庫、Java數(shù)據(jù)源、NoSQL數(shù)據(jù)源、多維數(shù)據(jù)源等。關(guān)系數(shù)據(jù)源關(guān)系數(shù)據(jù)源是指通過 JDBC 驅(qū)動或是 ODBC 驅(qū)動連接的數(shù)據(jù)庫。支持目前市場上主流的關(guān)系數(shù)據(jù)源，比如DB2、GBase、HANA、Hadoop_hive、IMPALA、Informix、MySQL、Oracle、PostgreSQL、Spark SQL、Sybase、Teradata、達夢等Java 數(shù)據(jù)源Java 數(shù)據(jù)源是指由用戶通過二次開發(fā)，編寫 JavaQueryData 接口實現(xiàn)類，以實現(xiàn)自定義數(shù)據(jù)結(jié)構(gòu)的一類數(shù)據(jù)源。Java 數(shù)據(jù)源的支持使用

53、戶獲得了訪問非結(jié)構(gòu)化數(shù)據(jù)的能力。NoSql數(shù)據(jù)源支持MongoDB、Tinysoft等。多維數(shù)據(jù)源支持Essbase 7、Essbase 9等。數(shù)據(jù)集管理隨著對 BI 應用程度的加深，需要連接和管理的數(shù)據(jù)越來越多，也越來越復雜。為此，可視化BI組件需提供數(shù)據(jù)集管理功能，能夠界面化地實現(xiàn)對各類查詢的操作。數(shù)據(jù)集支持 SQL 查詢、可視化查詢、Java 查詢、存儲過程查詢、多維查詢。SQL 查詢SQL 查詢是通過在文本區(qū)中輸入 SQL 語句，來定義查詢條件和內(nèi)容的一種數(shù)據(jù)集。用戶具有直接訪問數(shù)據(jù)能力。可視化查詢可視化查詢是一種所見即所得的數(shù)據(jù)查詢方式。通過拖拽基礎(chǔ)表（包括數(shù)據(jù)源、關(guān)系圖以及業(yè)務(wù)主題

54、下的基礎(chǔ)表）字段來定義查詢條件和內(nèi)容的一種數(shù)據(jù)集。Java 查詢Java 查詢是指基于 Java 數(shù)據(jù)源中 Java 查詢對象作為查詢源的一種數(shù)據(jù)集。多維查詢基于多維數(shù)據(jù)集，可以快速地在電子表格、儀表分析等報表上展現(xiàn)多維數(shù)據(jù)源的數(shù)據(jù)。存儲過程查詢存儲過程查詢是針對存儲過程定義查詢條件和內(nèi)容的一類數(shù)據(jù)集。表格兼容復雜報表可視化BI組件應兼容 EXCEL2007 以上版本以及 WPS2016（Windows）所有功能，系統(tǒng)滿足各種復雜格式報表、中國式報表需求。包括：多源分片報表、分塊報表、表單報表、圖形報表、回寫報表、套打報表、段落式報表等。支持報表輪播、跑馬燈等效果的制作。Excel靜態(tài)圖表支持

55、直接使用 Excel 本身可實現(xiàn)的各種圖形效果，如柱圖、餅圖、線圖、雷達圖等，同時結(jié)合數(shù)據(jù)倉庫中的動態(tài)數(shù)據(jù)進行數(shù)據(jù)展現(xiàn)。自助分析 業(yè)務(wù)主題可視化BI組件需提供面向業(yè)務(wù)人員的自助分析，將數(shù)據(jù)庫底層中晦澀難懂的字段與表關(guān)系轉(zhuǎn)換成業(yè)務(wù)人員能夠明白的業(yè)務(wù)主題，能夠讓業(yè)務(wù)人員使用組件進行邏輯建模，面向業(yè)務(wù)模型對數(shù)據(jù)源進行重新組織分類，字段重組，形成分析的主題，并進行控制權(quán)限。 自助數(shù)據(jù)集自助數(shù)據(jù)集是自助儀表盤的數(shù)據(jù)來源，配置靈活，通過簡單拖拉操作對原始數(shù)據(jù)進行處理，支持關(guān)聯(lián)、篩選、分組、建立層次、格式處理、邏輯計算、數(shù)據(jù)抽取等操作；支持對 Oracle/Mysql/Mssql 等多種類型數(shù)據(jù)庫自動存跨庫

56、關(guān)聯(lián)查詢；支持使用自助數(shù)據(jù)集創(chuàng)建透視分析、電子表格；支持自助數(shù)據(jù)集引用到其它數(shù)據(jù)集，自助數(shù)據(jù)集支持來源于可視化查詢、SQL查詢、原生SQL查詢、存儲過程查詢、JAVA查詢、組合分析。 自助儀表盤自助儀表盤提供拖拉拽界面能夠讓業(yè)務(wù)人員快速完成數(shù)據(jù)集準備、可視化探索和儀表盤的制作，簡單易用，還能通過抽取數(shù)據(jù)到Hadoop數(shù)據(jù)庫。圖形資源庫需提供豐富的圖形資源，不受維度、度量的限制，無需根據(jù)任何條件，即可任意切換圖形。支持瀑布圖、旭日圖、散點圖、泡泡圖、聯(lián)合圖、雙 Y 聯(lián)合圖、關(guān)系圖、雷達圖、油量圖、熱力圖、樹圖、桑基圖、漏斗圖等，可根據(jù)不同的數(shù)據(jù)場景，切換相應的圖形；支持通過設(shè)置圖形顯示方式，實現(xiàn)

57、極坐標柱圖、極坐標線圖，曲線圖、玫瑰餅圖等。自助創(chuàng)建儀表盤可基于業(yè)務(wù)主題數(shù)據(jù)，直接創(chuàng)建自助儀表盤。圖表下鉆支持數(shù)據(jù)圖表間的自動關(guān)聯(lián)，對業(yè)務(wù)數(shù)據(jù)進行自由鉆取。支持添加任意數(shù)據(jù)作為過濾條件，方便業(yè)務(wù)人員按照數(shù)據(jù)分析的需要發(fā)現(xiàn)數(shù)據(jù)。支持兩種下鉆方式：默認有層級的下鉆、自定義下鉆。自定義圖表跳轉(zhuǎn)支持基于當前頁面的圖表自定義跳轉(zhuǎn)到其他報表。支持跑馬燈效果的制作。支持 4 種打開方式：新窗口、tab 頁，浮動窗等。 數(shù)據(jù)探索 組合分析查詢明細數(shù)據(jù)是最為常見的業(yè)務(wù)需求，組件需提供自助化的操作界面， 支持基于語義層（或數(shù)據(jù)源）在權(quán)限受控下自主定義篩選條件（及其顯示格式）， 以及選擇需要的具體字段；支持通過簡單

58、的鼠標勾選數(shù)據(jù)字段與查詢條件快速獲得所需數(shù)據(jù)，并提供聚合計算、告警規(guī)則、重定義表關(guān)系、改變條件組合邏輯等高級功能。 透視分析對于如主題庫中專業(yè)數(shù)據(jù)的OLAP多維分析需要復雜的數(shù)據(jù)加工過程，在平臺中一般有兩種解決方式：一種方式是通過平臺提供的 Cube 設(shè)計工具建立Cube維度模型，實現(xiàn)快速自助的復雜查詢；另一種方式是采用“類Excel數(shù)據(jù)透視表”的設(shè)計，并且與分析型數(shù)據(jù)倉庫對接，進行組合維度、匯總計算、切片、鉆取等數(shù)據(jù)洞察，即透視分析。透視分析能夠?qū)⑷我庾侄沃苯幼鳛檩敵鲎侄位蚝Y選條件，實現(xiàn)對數(shù)據(jù)的查詢與探索。此外，可視化BI工具的透視分析需提供更多常見功能：表格查詢：報表通過一個業(yè)務(wù)查詢直接生

59、成，可實現(xiàn)對數(shù)據(jù)的再分析， 例如切換查詢的參數(shù)、更改交叉表/清單表顯示方式、分組展現(xiàn)、聚合、排序、圖形、前端過濾等。圖形分析：提供柱圖、線圖、餅圖、堆積圖、雙 Y 軸、儀表盤等圖形分析方法，圖形采用 HTML5 技術(shù)動態(tài)展現(xiàn)效果。分析跳轉(zhuǎn)：支持建立報表鏈接將多個報表關(guān)聯(lián)起來，實現(xiàn)從一個報表跳轉(zhuǎn)到另一個報表。通過報表間的分析跳轉(zhuǎn)，能夠方便地實現(xiàn)概要數(shù)據(jù)到明細數(shù)據(jù)的透視分析，也可以在關(guān)聯(lián)的報表之間傳遞參數(shù)實現(xiàn)分析流。監(jiān)控預警：支持對關(guān)鍵信息的實時監(jiān)控，幫助用戶及時發(fā)現(xiàn)問題并采取相應的措施。多種輸出方式：支持業(yè)務(wù)分析結(jié)果以 TXT、CSV、HTML、PDF、Doc、Xlsx、數(shù)據(jù)分析包等文件類型導出

60、。多種時間計算：支持根據(jù)業(yè)務(wù)屬性設(shè)置時間計算及二次計算，如快速分析年/月/日的增長率等。 本地Excel分析BI工具需支持對本地Excel的分析。對于有大量歷史數(shù)據(jù)的委辦局用戶，可以使用加載本地 Excel 的功能，把本地的Excel數(shù)據(jù)文件加載到系統(tǒng)中，進行進一步的數(shù)據(jù)分析。 多維數(shù)據(jù)分析支持基于 OLAP Server 的數(shù)據(jù)源向用戶提供自助分析服務(wù)。根據(jù)多維模型實現(xiàn)任意的切片、旋轉(zhuǎn)、鉆取等操作，更可實現(xiàn)自定義指標、統(tǒng)計分析等操作，如 80/20，Top-N 計算等。個性化儀表盤個性化儀表盤是BI分析平臺的重要組件，通過使用圖形、儀表盤、預警等方式，監(jiān)控、分析關(guān)鍵指標、業(yè)務(wù)目標。靈活布局支