“數(shù)字政府”的核心基礎-數(shù)據(jù)中心一張圖建設方案（地圖中臺建設方案）兩份資料

1234P31234P4P52）使用權(quán)? 解決“誰使用，誰負責”問題? 使用單位擁有被授權(quán)使用數(shù)據(jù)的使用權(quán)，1）歸集權(quán)? 解決“誰歸集，誰維護”問題?

政府部門擁有政務數(shù)據(jù)的歸集權(quán)，負責所歸集數(shù)據(jù)的更新、維護職責3）管理權(quán)? 解決“誰管理、誰統(tǒng)籌”問題?

省政府授予省大數(shù)據(jù)局統(tǒng)籌管理全省政務數(shù)據(jù)職責，保障各部門間政務數(shù)據(jù)共享交換和開放高效進行模式創(chuàng)新：強化政務職能管理承擔具體安全使用職責P6陸續(xù)統(tǒng)籌建成全省統(tǒng)一的公共基礎設施三權(quán)分治可控可視可有 可用探索數(shù)據(jù)調(diào)度機制可溯內(nèi)容創(chuàng)新：基于“三權(quán)五可”重構(gòu)政府數(shù)據(jù)治理體系數(shù)據(jù)匯聚、

共享交換、

開放、

政務服務平臺、

數(shù)據(jù)治理平臺P7大系統(tǒng)功能服務集成與封裝“系統(tǒng)+應用”落地統(tǒng)一基礎設施建設P81234P91共享不足機制不暢1、初步了解，2019年云信息化項目，有36%的項目對地理信息和地圖均有共享需求，但尚無有效的共享渠道和機制；2、部分業(yè)務系統(tǒng)間的地理數(shù)據(jù)處理規(guī)則和標準不一，共享程度較低。需求緊迫無法支撐31、如疫情防控、應急處置等場景，需要快速通過地圖平臺進行系統(tǒng)開發(fā)，但目前開發(fā)模式基本基于傳統(tǒng)架構(gòu)，開發(fā)周期長期，開發(fā)難度大，難以及時滿足需求。需求旺盛統(tǒng)籌力度不夠21、缺乏全局性有效規(guī)劃，還存在數(shù)據(jù)重復采集、重復建設的情況；2、各部門專題地圖數(shù)據(jù)隔離存儲，不能有效進行多維數(shù)據(jù)分析和展示。P10地圖數(shù)據(jù)關(guān)鍵點一:

應用剝離關(guān)鍵點二:

數(shù)據(jù)共享關(guān)鍵點三:機制持續(xù)時空化云端化物聯(lián)網(wǎng)基礎設施應用系統(tǒng)管理體系智能化地圖中臺P11數(shù)字巡檢……建

規(guī)設

劃安全監(jiān)控智能交通土地評估環(huán)境監(jiān)控園林綠化應急指揮智慧城市房產(chǎn)管理……經(jīng)濟統(tǒng)計……地圖中臺自然資源管理國土空間規(guī)劃

城市規(guī)劃管理國土“一張圖”P12強應用部門弱需求部門? 如：機關(guān)事務管理局、能源局等需求底圖數(shù)據(jù)和管理本部門空間數(shù)據(jù)的廳局委辦單位，地圖中臺將為這些部門提供地圖數(shù)據(jù)服務能力和簡單數(shù)據(jù)處理能力；? 地圖中臺將提供“數(shù)據(jù)托管”及“應用定制”服務模式?如：自然資源廳、生態(tài)環(huán)境廳、交通廳等，地圖中臺將與之進行全方位合作，充分發(fā)掘這些部門的基礎數(shù)據(jù)，并協(xié)助其進行數(shù)據(jù)生產(chǎn)，為這些部門提供數(shù)據(jù)管理、發(fā)布等基礎能力；?地圖中臺將為強應用部門提供穩(wěn)定的GIS功能服務、數(shù)據(jù)分析能力，可提供“一體化”及“前置”服務模式，或“平臺API”服務模式；P13中臺城市管理智

智

智

平慧

慧

慧

安城

城

公

城建

管

安

市…民生服務智

智

智

智慧

慧

慧

慧政

醫(yī)

社

教務

療

區(qū)

育…應急管理減

消

地

安災

防

質(zhì)

全救

救

災

生災

援

害

產(chǎn)監(jiān)

…

測生態(tài)宜居智

自

智

智慧

然

慧

慧環(huán)

資

國

建保

源

土

筑…自然資源信息化應用國土空間基礎信息平臺規(guī)劃 管理 現(xiàn)狀P14人口庫公共業(yè)務數(shù)據(jù)庫法人庫地圖中臺宏觀經(jīng)濟庫行業(yè)資源庫空間地理庫自然資源庫基礎設施傳感器（控制器）自然國土自然自然資源空間資源資源調(diào)查規(guī)劃監(jiān)管登記1234P15應用數(shù)據(jù)：商采、交換遙感數(shù)據(jù)：自然資源廳統(tǒng)籌云上貴州統(tǒng)一建設運營大數(shù)據(jù)局統(tǒng)籌規(guī)劃云上貴州提供基礎能力云上貴州統(tǒng)一建設運營業(yè)務部門管理業(yè)務數(shù)據(jù)大數(shù)據(jù)局統(tǒng)籌規(guī)劃建立時空地理

數(shù)據(jù)處理標準和共享機制快速構(gòu)建時空、地圖應用服務的能力支撐統(tǒng)一地圖服務的能力P16P17云上貴州行業(yè)專有門戶服務總線行業(yè)數(shù)據(jù)資源區(qū)

基礎地理專題數(shù)據(jù)

高分辨率 高精度影像數(shù)據(jù)

地形數(shù)據(jù)

數(shù)據(jù)行業(yè)專題數(shù)據(jù)

元數(shù)據(jù)數(shù)據(jù)計費數(shù)據(jù)訪問

數(shù)據(jù)交換記錄 記錄安全設置

地圖中臺民政應用司法應用其他部門應用環(huán)保應用不動產(chǎn)應用

標 安準 全法 保規(guī) 障體 體系 系業(yè)務應用司法專題貴州省地圖中臺環(huán)保部門地圖中臺數(shù)據(jù)庫大比例尺 高精度

BIM模型矢量數(shù)據(jù)

三維數(shù)據(jù)

數(shù)據(jù)

管理數(shù)據(jù)

GIS應用微服務架構(gòu)公共共享門戶民政部門政法部門交通單位自然資源部門

不動產(chǎn)專題數(shù)據(jù)環(huán)保專題

民政專題數(shù)據(jù) 數(shù)據(jù)分布式空間大數(shù)據(jù)引擎基

設礎

施感知鏈路三維 基礎數(shù)據(jù)

大數(shù)據(jù)數(shù)據(jù)服務

分析服務

分析服務二維數(shù)據(jù)服務數(shù)據(jù)交換服務地名地址影像地圖三維地圖二維地圖行業(yè)共享地圖行業(yè)子

行業(yè)子

行業(yè)子

行業(yè)子

行業(yè)子

行業(yè)子門戶1

門戶2

門戶3

門戶4

門戶5

門戶6

行業(yè)子門戶N貴州省地圖中臺門戶行業(yè)數(shù)據(jù)分析服務運維

服務

數(shù)據(jù)

目錄

數(shù)據(jù)

管理

計費

管理

管理

交換

中心

中心

工具

工具

工具數(shù)據(jù)服務旅游單位北斗位置服務北斗報文服務位置感知

其他感知專題數(shù)據(jù)

專題數(shù)據(jù)報文感知數(shù)據(jù)

專題數(shù)據(jù)感知專題數(shù)據(jù)

感知位置感知報文

交通運輸

應用旅游應用地質(zhì)災

害預報預防應

用快速測繪其它專題

RESTSOAPOGCS3M空間數(shù)據(jù)治理國土空

間規(guī)劃

應用自然資

源管理

應用大比例尺矢量數(shù)據(jù)基于分布式存儲技術(shù)的空間大數(shù)據(jù)引擎數(shù)據(jù)類型Postgres

SQL鑲嵌數(shù)據(jù)集目錄庫基于Spark分布式計算集群基于分布式技術(shù)空間大數(shù)據(jù)訪問服務基于大數(shù)據(jù)技術(shù)數(shù)據(jù)管理及處理工具基于Hadoop分布式存儲架構(gòu)基于分布式存儲技術(shù)的空間大數(shù)據(jù)引擎基于分布式計算技術(shù)的空間大數(shù)據(jù)分析引擎基于微服務架構(gòu)技術(shù)服務運維管理中心基于微服務架構(gòu)技術(shù)數(shù)據(jù)及應用服務基于可視化技術(shù)管理門戶高分辨率影像數(shù)據(jù)高精度三維數(shù)據(jù)高精度地形數(shù)據(jù)BIM模型數(shù)據(jù)行業(yè)專題數(shù)據(jù)北斗感知專題數(shù)據(jù)HBaseElasticsearchMongoDBHDFS矢量數(shù)據(jù)實時數(shù)據(jù)矢量數(shù)據(jù)緩存數(shù)據(jù)文本數(shù)據(jù)影像數(shù)據(jù)分布式存儲技術(shù)分布式計算技術(shù)微服務架構(gòu)技術(shù)分布式出圖技術(shù)大數(shù)據(jù)可視化技術(shù)采用主流基礎技術(shù)構(gòu)建地圖

中臺P18基于分布式出圖技術(shù)及大數(shù)據(jù)可視化技術(shù)的應用數(shù)據(jù)資源地圖中臺建設基礎數(shù)據(jù)資源行業(yè)數(shù)據(jù)資源感知數(shù)據(jù)資源支撐體系GIS基礎引擎、分布式空間大數(shù)據(jù)引擎、

GIS應用微服務架構(gòu)、各類GIS（數(shù)據(jù)）服務、數(shù)據(jù)交換工具、數(shù)據(jù)管理工具、目錄管理工具、運維管理中心、服務計費中心中臺門戶P19公共共享門戶行業(yè)專有門戶互聯(lián)網(wǎng)門戶政法委

空間專題數(shù)據(jù)

機關(guān)事務局空間專題數(shù)據(jù)環(huán)?？臻g專題數(shù)據(jù)地圖中臺數(shù)據(jù)庫全省1：10000電子地圖數(shù)據(jù)（含路網(wǎng)、行政區(qū)劃）全省30米

（DEM）地形數(shù)據(jù)

全省0.8/2/16米正射

（DOM）影像數(shù)據(jù)

不動產(chǎn)空間專題數(shù)據(jù)

旅游

空間專題數(shù)據(jù)感知專題數(shù)據(jù)位置數(shù)據(jù)報文數(shù)據(jù)

視頻數(shù)據(jù)

部分城市傾斜三維模型數(shù)據(jù)

激光點云數(shù)據(jù)、街景數(shù)據(jù)等等

自然資源廳對接數(shù)據(jù)，含：全省1：50000地形圖數(shù)據(jù)、全省影像統(tǒng)籌數(shù)據(jù)等等

貴州省空間地理基礎庫行業(yè)專題數(shù)據(jù)管理數(shù)據(jù)安全設置數(shù)據(jù)訪問記錄數(shù)據(jù)維護記錄元數(shù)據(jù)P20服務支撐系統(tǒng)基礎GIS微服務架構(gòu)分布式分析框架（計算引擎）分布式存儲框架（空間引擎）管理服務平臺數(shù)據(jù)管理基礎支撐平臺數(shù)據(jù)管理高級支撐平臺數(shù)據(jù)運維管理工具GIS服務系統(tǒng)GIS管理門戶基礎平臺GIS運維管理系統(tǒng)P21數(shù)據(jù)管理工具建庫管理制圖出圖符號化制圖專題圖符號制作制圖綜合編輯處理數(shù)據(jù)配準拓撲檢查數(shù)據(jù)處理數(shù)據(jù)編輯服務發(fā)布查詢超圖RESTOGC第三方服務二次開發(fā)開發(fā)示例

開發(fā)文檔

分析挖掘三維空間引擎空間索引P22疊加分析路網(wǎng)分析統(tǒng)計分析插值分析傾斜攝影BIM三維場景三維特效

三維分析空間查詢屬性查詢復合查詢數(shù)據(jù)訪問服務基礎地圖服務地形服務空間分析服務地圖目錄服務影像數(shù)據(jù)服務三維服務P23P24P25P26快全多活P27全影像地形P28矢量三維貴州省疫情防

控系統(tǒng)快三維

可視化監(jiān)控平臺P29多多多P30P31活應急門戶公共共享門戶服務申請環(huán)保門戶其他門戶……管理員審批設置服務期限進行付費及使用到期自動停用1234P32數(shù)據(jù)孤島共享動力服務支撐數(shù)據(jù)兼容各個部門數(shù)據(jù)難以獲得，尤其是基礎數(shù)據(jù)業(yè)務部門沒有共享數(shù)據(jù)動力，都想拿，不想共享訪問越多，服務越多，越不穩(wěn)定、分析越慢歷史原因，不同格式的數(shù)據(jù)、切片、服務難融合P33應急災害數(shù)據(jù)公安三維數(shù)據(jù)貴州省測繪資料檔案館數(shù)據(jù)地圖中臺商業(yè)數(shù)據(jù)其它部門數(shù)據(jù)目前數(shù)據(jù)總量達7TBP34矢量數(shù)據(jù)傾斜攝影影像數(shù)據(jù)已匯聚發(fā)布62個服務地形數(shù)據(jù)?貴州全省0.5米分辨率遙感影像?貴州全省電子矢量地圖?貴州全省地形渲染數(shù)據(jù)?云巖區(qū)三維傾斜攝影模型?多地區(qū)域三維傾斜攝影模型?各類專題信息數(shù)據(jù)?......P35地圖中臺交通環(huán)保應急交叉靈活分行業(yè)分部門分用戶分析快捷P36地圖中臺資源申請管理審批設置期限付費服務到期停用資源使用機制應急行業(yè)門戶全行業(yè)門戶 環(huán)保行業(yè)門戶統(tǒng)一調(diào)度管理P37項目名稱貴州省政法委網(wǎng)格化管理貴州省地質(zhì)災害防治指揮平臺貴州省不動產(chǎn)登記平臺貴州省區(qū)劃地名管理服務系統(tǒng)貴州省遙感影像統(tǒng)籌(信息系統(tǒng)建設)項目貴州省地理國情監(jiān)測平臺貴州省教育精準扶貧大數(shù)據(jù)平臺貴州省國防動員大數(shù)據(jù)建設項目精準兵源管理平臺項目貴州省人防疏散指揮信息系統(tǒng)集成貴州省禁毒社會化管理服務平臺項目貴州省能源云應用管理平臺建設項目項目名稱貴州省機關(guān)事務云項目雪亮工程分平臺省級改造電子政務外網(wǎng)工作管理平臺貴州省民用爆炸物品安全管控平臺建設貴州省農(nóng)業(yè)大數(shù)據(jù)中心（三期）貴州省農(nóng)業(yè)一張圖平臺（三期）高效農(nóng)業(yè)園區(qū)信息管理系統(tǒng)農(nóng)業(yè)產(chǎn)業(yè)脫貧攻堅監(jiān)測調(diào)度系統(tǒng)（二期）“云上貴州.智慧消防”大數(shù)據(jù)建設貴州省監(jiān)獄頂層設計項目貴州省應急管理云貴州省“三線一單”數(shù)據(jù)應用管理平臺P38a四川電信數(shù)據(jù)湖+數(shù)據(jù)中臺實施方案企業(yè)信息化部2021年2月數(shù)據(jù)驅(qū)動數(shù)據(jù)湖數(shù)據(jù)資產(chǎn)數(shù)據(jù)治理23451回顧理解2數(shù)據(jù)驅(qū)動構(gòu)建數(shù)據(jù)驅(qū)動能力構(gòu)建數(shù)據(jù)驅(qū)動場景構(gòu)建原子事件庫設計態(tài)能力策略庫調(diào)用生成事件ID及描述配置事件屬性和目錄樹位置原子事件規(guī)格發(fā)布原子事件測試原子事件上線事件調(diào)用說明業(yè)務場景庫調(diào)用事件發(fā)布事件源配置：基于成熟事件源系統(tǒng)、基于數(shù)據(jù)資產(chǎn)的事件配置、基于解釋器的事件配置解析、計算、判斷規(guī)則：通過計算規(guī)則配置，解析事件源數(shù)據(jù)及計算結(jié)果是否滿足編排事件封裝規(guī)則：包含事件出入?yún)?、調(diào)用形式、周期、失效時間、其他限制條件等調(diào)用規(guī)則事件模板調(diào)用1.事件注冊-生成事件2.事件編排-數(shù)據(jù)源及加工配置3.事件發(fā)布-提供交互目錄樹事件生效并掛目錄樹支持業(yè)務場景庫和策略庫調(diào)用原子事件目錄樹更新事件目錄樹原子事件庫設計態(tài)根據(jù)業(yè)務需求的輸入及分析，整合包含業(yè)務系統(tǒng)和數(shù)據(jù)中臺的多事件源數(shù)據(jù)，在原子事件庫中完成原子事件的注冊、編排和發(fā)布全流程能力，強化事件管理、編排、開放等多種能力，構(gòu)建數(shù)據(jù)驅(qū)動的統(tǒng)一事件支撐管理能力庫，提供標準化的數(shù)智能力，助力數(shù)據(jù)中臺能力提升和價值演進根據(jù)業(yè)務需求注冊事件原子事件ID原子事件描述原子事件目錄樹歸屬原子事件創(chuàng)建時間原子事件類型根據(jù)原子事件業(yè)務規(guī)格進行事件編排原子事件所需數(shù)據(jù)業(yè)務系統(tǒng)數(shù)據(jù)資產(chǎn)數(shù)據(jù)中臺數(shù)據(jù)模型數(shù)據(jù)調(diào)度……數(shù)據(jù)獲取配置數(shù)據(jù)加工編排配置事件解析器基于SQL解析配置基于業(yè)務描述配置原子事件編排事件源解析規(guī)則事件源配置原子事件狀態(tài)…事件計算規(guī)則事件判斷規(guī)則事件封裝規(guī)則業(yè)務需求輸入原子事件運行態(tài)事件編排邏輯觸發(fā)數(shù)據(jù)資產(chǎn)注冊源數(shù)據(jù)跨多系統(tǒng)數(shù)據(jù)源事件源系統(tǒng)事件源數(shù)據(jù)事件編排信息業(yè)務系統(tǒng)已有事件事件要素齊備系統(tǒng)事件觸發(fā)事件解析2 事件模型事件調(diào)度4

事件分析事件判斷而隨著135……數(shù)據(jù)目錄運算數(shù)據(jù)模型生成調(diào)度規(guī)則注冊數(shù)據(jù)資產(chǎn)標簽庫事件編排運行查事件進程查事件信息查事件接口事件所需數(shù)據(jù)匯聚事件ID事件類型事件對象事件參數(shù)1…基于原子事件的偵測事件所需數(shù)據(jù)用戶行為2 業(yè)務信息擴展信息4

事件增強..135……APIkafka消息隊列…一站式事件數(shù)據(jù)匯聚：持續(xù)整合事件所需的數(shù)據(jù)；實時事件偵測：依托事件數(shù)據(jù)實時匯聚能力，高實效監(jiān)測事件觸發(fā)和執(zhí)行；編排事件執(zhí)行：依托數(shù)據(jù)中心現(xiàn)有能力，高效實現(xiàn)事件編排內(nèi)容，擴大數(shù)據(jù)驅(qū)動范圍和時效性；事件模板實例化事件推送/調(diào)用根據(jù)時間編排邏輯監(jiān)測事件并整合數(shù)據(jù)源大數(shù)據(jù)平臺支撐事件實例化：講設計態(tài)中的事件模板進行實例化，封裝實例數(shù)據(jù)事件推送/調(diào)用：通過事件目錄樹實現(xiàn)事件調(diào)用響應和主動推送能力策略平臺調(diào)用推送停機客戶自主聯(lián)系智能客服實現(xiàn)業(yè)務實時高效的查詢和開通事件驅(qū)動-停復機場景支撐策略匹配事件偵測消息隊列事件推送根據(jù)時間編排邏輯監(jiān)測事件數(shù)據(jù)驅(qū)動1、用戶停機，撥打10000號緊急復機10000號等客服平臺用戶緊急開機清單（事件id、賬戶ID、信用額度、用戶信用等級、地市、用戶狀態(tài)）匹配事件事件解析事件分析事件判斷偵測事件數(shù)據(jù)中臺kafka事件模版實例化策略引擎動作執(zhí)行策略1：用戶信用度是否為0計費平臺啟停信用度接口復機接口是否策略2：查詢欠費計費平臺欠費查詢接口返回欠費詳情策略3:用戶信用額度>用戶欠費<用戶信用等級*50元計費平臺臨時授信接口復機接口策略4：復機是否成功CRM系統(tǒng)查詢用戶狀態(tài)接口返回是否復機成功策略平臺策略平臺事件中心將原子事件解析為業(yè)務事件，供協(xié)同中心進行策略規(guī)則解析，生成工單任務信息，推動給觸點系統(tǒng)觸點系統(tǒng)觸點系統(tǒng)接收工單任務信息后，進行相應的任務執(zhí)行，并將執(zhí)行結(jié)果反饋給策略平臺，供策略平臺進行二次策略協(xié)同派單和執(zhí)行信息共享1事件流程驅(qū)動2345電話、短信、微信渠道（IVR,NGCC,公眾號...）能力開放和注智客戶停復機場景事件捕捉客戶停復機相關(guān)數(shù)據(jù)整合分析智能偵測停機客戶復機訴求數(shù)據(jù)驅(qū)動服務能力數(shù)字化智能服務前臺場景判斷和策略匹配查詢業(yè)務系統(tǒng)執(zhí)行結(jié)果和封裝策略執(zhí)行并調(diào)用能力中心能力服務前臺實時查詢停復機策略接口數(shù)據(jù)驅(qū)動停復機場景支撐能力打造以數(shù)據(jù)中臺為底座事件源采集3數(shù)據(jù)湖構(gòu)建數(shù)據(jù)湖構(gòu)建數(shù)據(jù)湖入湖能力構(gòu)建數(shù)據(jù)湖的分析開發(fā)能力構(gòu)建數(shù)據(jù)服務體系構(gòu)建權(quán)限安全體系總述數(shù)據(jù)湖是一套針對混搭數(shù)據(jù)庫架構(gòu)，具備數(shù)據(jù)采集、數(shù)據(jù)計算、數(shù)據(jù)訪問、數(shù)據(jù)管理的技術(shù)架構(gòu)；通過企業(yè)級數(shù)據(jù)資產(chǎn)，數(shù)據(jù)湖和數(shù)據(jù)中臺，為不同級別的使用對象提供數(shù)據(jù)分析、開發(fā)的原子能力。數(shù)據(jù)匯聚數(shù)據(jù)湖：原生數(shù)據(jù)，采集、同步形成，或直接存儲在生產(chǎn)系統(tǒng)數(shù)據(jù)中臺：具備共享性的整合、加工數(shù)據(jù)數(shù)據(jù)探索數(shù)據(jù)資產(chǎn)統(tǒng)一納管；提供基于數(shù)據(jù)湖、數(shù)據(jù)中臺的數(shù)據(jù)探索數(shù)據(jù)生產(chǎn)提供多套計算引擎和場景開發(fā)，滿足實時大規(guī)模數(shù)據(jù)預測、大寬表數(shù)據(jù)加工、大數(shù)據(jù)信息掃描等生產(chǎn)需求。數(shù)據(jù)服務提供統(tǒng)一的元數(shù)據(jù)管理，通過直接讀取本地化的元數(shù)據(jù)信息，即可實現(xiàn)同源異構(gòu)、異源異構(gòu)和異源同構(gòu)的數(shù)據(jù)訪問。典型場景統(tǒng)一采集入湖營服實時數(shù)據(jù)入湖人臉圖片數(shù)據(jù)入湖綜合告警典型場景：跨域業(yè)務的探索分析網(wǎng)絡動態(tài)資源樹原子能力平臺典型場景：volte實時數(shù)據(jù)分析廳店實時數(shù)據(jù)分析多維實時指標典型場景：一站式檢索IDE實時分析工具基于數(shù)據(jù)湖+數(shù)據(jù)中心的新一代數(shù)據(jù)中臺實施舉措序號關(guān)鍵能力建設內(nèi)容1構(gòu)建數(shù)據(jù)湖構(gòu)建適應于不同類型數(shù)據(jù)的存儲能力，支持數(shù)據(jù)入湖基于全域數(shù)據(jù)資產(chǎn)目錄，構(gòu)建生產(chǎn)系統(tǒng)數(shù)據(jù)快速采集的存儲配置策略、數(shù)據(jù)落地規(guī)則初步形成數(shù)據(jù)湖成果構(gòu)建數(shù)據(jù)湖的視圖，清晰數(shù)據(jù)湖構(gòu)成和數(shù)據(jù)分布（在數(shù)據(jù)資產(chǎn)管理中落地）2構(gòu)建數(shù)據(jù)入湖能力構(gòu)建生產(chǎn)區(qū)到原生區(qū)數(shù)據(jù)的按需同步能力支持按資產(chǎn)目錄驅(qū)動的數(shù)據(jù)入湖流程管理構(gòu)建多種異構(gòu)數(shù)據(jù)源的接入能力構(gòu)建多樣化的入湖開發(fā)模板，如：引導式、場景式等多種入湖能力3構(gòu)建全域數(shù)據(jù)的開發(fā)能力構(gòu)建統(tǒng)一的IDE分析開發(fā)工具，支持對多種異構(gòu)數(shù)據(jù)資源的支撐能力構(gòu)建支持即席分析探索能力，屏蔽底層物理存儲4構(gòu)建數(shù)據(jù)服務體系構(gòu)建統(tǒng)一的數(shù)據(jù)服務框架，按場景驅(qū)動服務開發(fā)構(gòu)建數(shù)據(jù)從注冊、開發(fā)、上線、授權(quán)的全生命周期管理構(gòu)建基于實時計算框架的數(shù)據(jù)服務，賦能實時業(yè)務場景5構(gòu)建權(quán)限安全體系構(gòu)建邏輯租戶、團隊、用戶模型體系構(gòu)建數(shù)據(jù)資源的租戶權(quán)限管理體系構(gòu)建集群資源分配、任務動態(tài)策略管理能力結(jié)構(gòu)化非結(jié)構(gòu)化數(shù)據(jù)湖數(shù)據(jù)架構(gòu)入湖標準明確數(shù)據(jù)屬主數(shù)據(jù)標準細則入湖方式注冊元數(shù)據(jù)數(shù)據(jù)源規(guī)范認證物理入湖虛擬入湖離線實時邏輯數(shù)據(jù)湖物理表虛擬表賬務域事件域參與人地域域管理域營銷域計費域賬務域管理域資源域客戶域網(wǎng)絡域PULL（拉）+PUSH（推）產(chǎn)品域資源域其他域財務域安全域其他域邏輯統(tǒng)一數(shù)據(jù)類型、業(yè)務分策略存儲統(tǒng)一元數(shù)據(jù)語義定義、拉通、管理類型多樣結(jié)構(gòu)化：IT業(yè)務交易、流程、管理非結(jié)構(gòu)化：網(wǎng)絡設備產(chǎn)生文本、流數(shù)據(jù)原始記錄湖內(nèi)數(shù)據(jù)不轉(zhuǎn)換、清洗，保留最原始特征，提供更多分析可能入湖標準明確數(shù)據(jù)屬主執(zhí)行數(shù)據(jù)標準數(shù)據(jù)質(zhì)量評估元數(shù)據(jù)注冊從業(yè)務出發(fā)，以用促建、急用先行的建設策略，數(shù)據(jù)中心統(tǒng)一規(guī)劃，各領域配合執(zhí)行，明確入湖的數(shù)據(jù)責任方，遵循安全、負責、易用的原則構(gòu)建整個數(shù)據(jù)湖體系。數(shù)據(jù)源內(nèi)部數(shù)據(jù)外部數(shù)據(jù)BSSOSSMSS網(wǎng)絡專業(yè)···網(wǎng)絡社交···

數(shù)據(jù)湖目標入湖標準要求數(shù)據(jù)湖存儲架構(gòu)-構(gòu)建低存儲成本的數(shù)據(jù)湖統(tǒng)一存儲統(tǒng)一計算MPP（AntDB）RDBMS（TelePG）流數(shù)據(jù)統(tǒng)一采集流處理交互式查詢微批處理批處理多維分析文本搜索數(shù)據(jù)湖流數(shù)據(jù)處理網(wǎng)絡爬蟲流式采集批量采集CDC采集HDFSKafkaHBaseKylinES結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)時序查詢歸檔Tidb/時序數(shù)據(jù)庫多維分析復雜分析，時序數(shù)據(jù)分析全文檢索以HDFS為核心構(gòu)建大數(shù)據(jù)湖，以廉價成本（糾刪碼）將數(shù)據(jù)進行持久化，數(shù)據(jù)采集進來后由HDFS存儲原始數(shù)據(jù)，其他數(shù)據(jù)存儲按需采用HDFS、Redis、MPP（AntDB）等技術(shù)。二階段一階段基于數(shù)據(jù)湖的整體能力架構(gòu)開發(fā)能力檢索同步采集賦權(quán)解析掃描計算消息安全管理能力賬號管理租戶管理鑒權(quán)服務調(diào)用服務開放引擎服務調(diào)用服務訂閱服務治理服務鑒權(quán)對外服務引擎數(shù)據(jù)監(jiān)控服務監(jiān)控質(zhì)量監(jiān)控文件類大數(shù)據(jù)基礎平臺paas平臺分析類圖片類人臉庫指標庫爬蟲數(shù)據(jù)行業(yè)數(shù)據(jù)地市報表證件庫基礎能力sparkMRTezFlinkiceberghbaseAlluxioredis計算類存儲類數(shù)據(jù)服務引擎企業(yè)內(nèi)部應用集團dcoos外部應用請求監(jiān)控服務開放引擎提供界面化服務訂閱、服務發(fā)布、服務治理開發(fā)能力提供基于組件化的采集、開發(fā)、查詢、交換、分析能力基礎能力提供實時、離線、批流一體的底層計算存儲組件的服務封裝能力安全管理中心實現(xiàn)不同資源存儲租戶間數(shù)據(jù)訪問的統(tǒng)一權(quán)限管理運營監(jiān)控提供不同環(huán)節(jié)處理的任務、過程、操作日志和狀態(tài)監(jiān)控數(shù)據(jù)共享基于數(shù)據(jù)湖的混搭數(shù)據(jù)庫架構(gòu)設計，通過服務提供的形式，用于解決數(shù)據(jù)查詢、數(shù)據(jù)分析、數(shù)據(jù)共享、數(shù)據(jù)預測等業(yè)務需求。

數(shù)據(jù)湖整體能力支撐運營監(jiān)控基于數(shù)據(jù)湖的開發(fā)管理組織規(guī)劃數(shù)據(jù)使用開發(fā)參與對象開發(fā)者開發(fā)者開發(fā)者開發(fā)者數(shù)據(jù)分析者數(shù)據(jù)分析角色數(shù)據(jù)運營角色數(shù)據(jù)開發(fā)角色數(shù)據(jù)分析角色：根據(jù)需求場景及個人業(yè)務理解，產(chǎn)生需求使用系統(tǒng)，提供數(shù)據(jù)目錄檢索、資產(chǎn)詳情查看、IDE數(shù)據(jù)分析探索生成分析結(jié)果數(shù)據(jù)開發(fā)角色：對接需求分析師，拿到需求和制定開發(fā)計劃對需要數(shù)據(jù)發(fā)起入湖流程入湖任務監(jiān)控，數(shù)據(jù)問題處理反饋數(shù)據(jù)分析者開發(fā)者數(shù)據(jù)分析者運營者運營者運營者運營者團隊1團隊2數(shù)據(jù)分析者平臺管理者平臺管理者數(shù)據(jù)運營角色：查看數(shù)據(jù)湖的整體資產(chǎn)情況查看數(shù)據(jù)入湖的任務執(zhí)行監(jiān)控查看數(shù)據(jù)湖抽樣數(shù)據(jù)的存儲情況查看各自團隊數(shù)據(jù)安全權(quán)限分配和入湖處理平臺管理角色合理的角色分工清晰的流程處理平臺管理角色：負責分配用戶的系統(tǒng)資源負責創(chuàng)建平臺賬號負責分配平臺工具的使用權(quán)限負責保障平臺的穩(wěn)定運行數(shù)據(jù)入湖能力-即時數(shù)據(jù)自助探索分析

數(shù)據(jù)湖區(qū)（私有租戶）1、查找需要模型3、獲取樣例數(shù)據(jù)4、數(shù)據(jù)開發(fā)5、數(shù)據(jù)洞察&分析2、查看資產(chǎn)詳情對接安全管理平臺數(shù)據(jù)同步/異步傳輸機制數(shù)據(jù)抽樣標準元數(shù)據(jù)資產(chǎn)檢索元數(shù)據(jù)檢索（模型名、字段名、口徑描述）

開發(fā)IDE模型目錄一鍵集成開發(fā)IDE基于數(shù)據(jù)內(nèi)容的檢索（抽樣數(shù)據(jù)、ES存儲）高效分析查詢基于數(shù)據(jù)開發(fā)結(jié)果對接可視化組件快速完成分析提供保存分析結(jié)果歷史，方便持續(xù)性的趨勢洞察關(guān)鍵能力資產(chǎn)目錄基于數(shù)據(jù)湖中全域的數(shù)據(jù)資產(chǎn)目錄，提供便捷數(shù)據(jù)分析入口，引導式發(fā)起即時數(shù)據(jù)分析的全場景，完成自助數(shù)據(jù)探索分析。資產(chǎn)詳情資產(chǎn)詳情可視IDE業(yè)務元數(shù)據(jù)（業(yè)務口徑、頻率、全量、來源系統(tǒng)、存儲周期等）技術(shù)元數(shù)據(jù)（數(shù)據(jù)源、字段、類型、長度、分區(qū)等）管理元數(shù)據(jù)（五性）文件/表同步方式支持多樣數(shù)據(jù)庫類型數(shù)據(jù)分析人員運營要求要求安全平臺滿足實時抽取同步響應及時要求各域數(shù)據(jù)運營人員抽樣數(shù)據(jù)安全性需要權(quán)限管控

要求平臺使用人員嚴格執(zhí)行入湖流程標準

抽樣數(shù)據(jù)直采效率更高，可探索嘗試

入湖模版推薦數(shù)據(jù)入湖能力-支撐按需快速入湖的自助流程現(xiàn)狀：目前存在兩套采集平臺，兩次采集的問題，數(shù)據(jù)延遲，數(shù)據(jù)同步差異不可控，問題定位復雜，采集數(shù)據(jù)門檻高。目標：實現(xiàn)多種異構(gòu)數(shù)據(jù)源的直接采集，提供簡單高效的入湖能力，提升原生區(qū)數(shù)據(jù)的可靠性，將這些異構(gòu)數(shù)據(jù)同步到數(shù)據(jù)湖中統(tǒng)一存儲，提供多樣化的入湖開發(fā)模板，如：引導式、場景式等舉措：資產(chǎn)目錄驅(qū)動：通過資產(chǎn)目錄檢索，定位到需要采集的生產(chǎn)區(qū)元數(shù)據(jù)，選擇資產(chǎn)自動注冊服務能力，一鍵注冊到原生區(qū)，然后選擇需要的采集原子能力，完成配置后，數(shù)據(jù)一鍵入湖入湖模板：支撐流程驅(qū)動的引導式開發(fā)和場景化的業(yè)務模板異構(gòu)數(shù)據(jù)源支撐：RDBMS、MPP、文件、消息等。自定義入湖策略：模型的數(shù)據(jù)來源、頻度、增全量、定責以邏輯集中，物理分散為原則，以實現(xiàn)數(shù)據(jù)的統(tǒng)一采集、統(tǒng)一存儲、統(tǒng)一管理為目的，打造標準化的入湖能力，實現(xiàn)企業(yè)級數(shù)據(jù)湖。屏蔽數(shù)據(jù)源異構(gòu)技術(shù)差異，實現(xiàn)透明、可編排的采集開發(fā)能力，快速實現(xiàn)業(yè)務按需入湖。典型應用場景：快速按需完成產(chǎn)品設計場景數(shù)據(jù)入湖企業(yè)數(shù)據(jù)目錄P1：通過數(shù)據(jù)目錄定位需要的模型數(shù)據(jù)數(shù)據(jù)資產(chǎn)詳情P2：查看模型數(shù)據(jù)的詳情，包括：業(yè)務口徑、管理口徑、血緣依賴信息等，確認數(shù)據(jù)使用場景P4：調(diào)整實際的入湖策略，如數(shù)據(jù)來源、頻度、全量或增量等，完成最終任務的發(fā)布上線策略調(diào)整并上線入湖數(shù)據(jù)確認P5：通過IDE探索平臺確認數(shù)據(jù)查看業(yè)務含義按需調(diào)整策略分析入湖數(shù)據(jù)P3：基于模型的元數(shù)據(jù)信息，自動推薦適合該場景的數(shù)據(jù)入湖模版并加載構(gòu)建入湖場景低代碼快速開發(fā)入湖組件指標注冊指標服務開放FTP組件指標標準腳本組件消息組件自定義組件大數(shù)據(jù)組件MPP組件統(tǒng)一IDE編排組件關(guān)系型組件數(shù)據(jù)開發(fā)角色運營要求要求安全平臺滿足即時采集策略的流程配置及實效性要求具備直采條件的建議直接拉數(shù)據(jù)，源系統(tǒng)分配安全賬號數(shù)據(jù)湖開發(fā)分析能力-可視化IDE工作臺搭建統(tǒng)一IDE開發(fā)平臺，管理底層混搭的數(shù)據(jù)存儲架構(gòu)，屏蔽底層差異性，通過SQL編寫、參數(shù)配置、流程調(diào)度，實現(xiàn)跨平臺、跨數(shù)據(jù)源的在線數(shù)據(jù)分析工具，通過可視化界面操作、資產(chǎn)全文檢索能力和內(nèi)置工具，實現(xiàn)快速找數(shù)據(jù)、即時分析數(shù)據(jù)。數(shù)據(jù)注冊管理提供統(tǒng)一的多種異構(gòu)數(shù)據(jù)源的元數(shù)據(jù)采集能力，支持主流的RDBMS、HIVE、ES數(shù)據(jù)源的管理；根據(jù)采集上來的數(shù)據(jù)源類型進行數(shù)據(jù)訪問封裝，形成統(tǒng)一IDE查詢能力；支持對指定數(shù)據(jù)源數(shù)據(jù)的分析探索能力。數(shù)據(jù)開發(fā)處理消息管理：提供離線和實時可視化開發(fā)平臺封裝開發(fā)函數(shù)組件，屏蔽底層細節(jié)，降低開發(fā)門檻，提高開發(fā)效率；豐富的組件可以支持多種數(shù)據(jù)開發(fā)分析的場景，通過編排可快速實現(xiàn)業(yè)務場景數(shù)據(jù)訪問日志記錄開發(fā)者詳細查詢、開發(fā)操作軌跡日志；開發(fā)者可以查詢歷史訪問信息。智能SQL

IDE標準SQL語法Hdfs組件Hive組件Sql通用組件文件組件腳本組件命令組件控制組件函數(shù)組件質(zhì)量組件數(shù)據(jù)訪問適配器豐富開發(fā)組件庫hdfshivemysqlhbase數(shù)據(jù)開發(fā)&數(shù)據(jù)分析角色①數(shù)據(jù)需求想法②檢索湖數(shù)據(jù)和探索分析③分析結(jié)果呈現(xiàn)或應用數(shù)據(jù)湖的數(shù)據(jù)開發(fā)能力-雙集群研發(fā)工作區(qū)建設在數(shù)據(jù)湖+數(shù)據(jù)中臺核心能力基礎上，基于數(shù)據(jù)統(tǒng)一存儲統(tǒng)一管理的原則，構(gòu)建多處理平臺工作區(qū)環(huán)境，支持數(shù)據(jù)研發(fā)測試、探索開發(fā)場景。1、提供數(shù)據(jù)中臺研發(fā)環(huán)境開發(fā)學習能力作為數(shù)據(jù)中臺的工作區(qū)開發(fā)環(huán)境，具備敏捷開發(fā)功能，快速實現(xiàn)模型開發(fā)、數(shù)據(jù)開發(fā)、作業(yè)調(diào)度和一鍵發(fā)布能力，并增加JOB及HQL語意審核，上線發(fā)布前試運行效率評估。

作為關(guān)鍵基礎業(yè)務數(shù)據(jù)備份，支撐極端場景下生產(chǎn)環(huán)境業(yè)務數(shù)據(jù)的恢復。作為大數(shù)據(jù)學習平臺，提供操作系統(tǒng)、大數(shù)據(jù)組件、數(shù)據(jù)實例的學習環(huán)境。2、提供跨區(qū)訪問、跨區(qū)讀取探索開發(fā)能力可提供跨區(qū)訪問數(shù)據(jù)中臺產(chǎn)品區(qū)、數(shù)據(jù)湖原生區(qū)的開發(fā)能力；可提供跨區(qū)實時讀取數(shù)據(jù)中臺產(chǎn)品區(qū)、數(shù)據(jù)湖原生區(qū)數(shù)據(jù)能力提供敏捷開發(fā)能力，通過一鍵發(fā)布實現(xiàn)工作區(qū)研發(fā)成果發(fā)布到產(chǎn)品區(qū)。3、提供半結(jié)構(gòu)化數(shù)據(jù)探索開發(fā)能力，實現(xiàn)抽樣分析工作區(qū)原生區(qū)歷史庫采集類數(shù)據(jù)同步庫/復制庫虛擬數(shù)據(jù)對象類數(shù)據(jù)語音庫/人臉庫流式數(shù)據(jù)產(chǎn)品區(qū)關(guān)聯(lián)數(shù)據(jù)標簽指標整合數(shù)據(jù)經(jīng)營類關(guān)聯(lián)數(shù)據(jù)預測分析整合數(shù)據(jù)注智類生產(chǎn)區(qū)資產(chǎn)信息資產(chǎn)檢索跨區(qū)訪問跨區(qū)讀取發(fā)起入湖需求探索開發(fā)敏捷開發(fā)數(shù)據(jù)采樣、測試資產(chǎn)注冊任務調(diào)度一鍵發(fā)布探索學習系統(tǒng)類學習數(shù)據(jù)類探索組件類學習智能類探索數(shù)據(jù)湖的數(shù)據(jù)服務能力-高效安全的服務開放共享文件服務API服務消息服務

在數(shù)據(jù)湖+數(shù)據(jù)中臺核心能力基礎上，基于全域數(shù)據(jù)湖資產(chǎn)目錄，提供快速對湖內(nèi)數(shù)據(jù)進行數(shù)據(jù)開放能力，統(tǒng)一服務創(chuàng)建和發(fā)布流程，數(shù)據(jù)開放安全可控。數(shù)據(jù)服務引擎統(tǒng)一配置統(tǒng)一管理統(tǒng)一監(jiān)管統(tǒng)一運營集團上傳驅(qū)動集團實時業(yè)務驅(qū)動生產(chǎn)運營業(yè)務驅(qū)動資產(chǎn)目錄資源注冊資源發(fā)現(xiàn)原生區(qū)產(chǎn)品區(qū)場景驅(qū)動數(shù)據(jù)服務管理提供統(tǒng)一的API創(chuàng)建、測試、發(fā)布、下線生命周期管理；支持Mysql、Hbase、Oracle、Redis、Http、文件多種數(shù)據(jù)源的數(shù)據(jù)開放能力；提供統(tǒng)一服務不同的安全訪問策略，如：字段個數(shù)、不同字段脫敏；提供API的調(diào)用管控，如：流量控制、調(diào)用次數(shù)等熔斷控制；提供應用訪問的APPKEY申請管理能力，保障服務安全接入數(shù)據(jù)服務運營提供整體API的整體概覽：上線總數(shù)、調(diào)用次數(shù)、成功次數(shù)、服務調(diào)用排行等；提供對API冷熱度分析評估，指導不常用服務下線處理，對調(diào)用次數(shù)較高服務進行重點服務保障提供全面的服務調(diào)用日志審計，對每類應用、每個接口的調(diào)用分組統(tǒng)計和分析調(diào)用趨勢，指導資源優(yōu)化數(shù)據(jù)服務開放目標：統(tǒng)一服務開放平臺數(shù)據(jù)湖的數(shù)據(jù)服務能力：資產(chǎn)一站式檢索Parquet樣例數(shù)據(jù)非/半結(jié)構(gòu)化文本HDFS文件消息圖片/音視頻混搭數(shù)據(jù)存儲圖文本/音頻文本資產(chǎn)目錄數(shù)據(jù)服務引擎資源管理結(jié)構(gòu)化文本產(chǎn)品區(qū)生產(chǎn)區(qū)元數(shù)據(jù)原生區(qū)檢索查詢結(jié)果顯示結(jié)果返回搭建全文數(shù)據(jù)檢索引擎，將完整的信息，包括資產(chǎn)、位置、數(shù)據(jù)、索引全部轉(zhuǎn)化為計算機可以識別、處理的信息單元，存儲到提速引擎中，形成資產(chǎn)路由，以實現(xiàn)一站式的全文檢索。檢索引擎多維檢索數(shù)據(jù)元數(shù)據(jù)（表、字段、業(yè)務口徑）血緣緯度查詢基于業(yè)務過程緯度查詢（梳理業(yè)務過程，定義業(yè)務過程中保護的實體模型進行建模）；高級檢索存儲引擎：基于抽樣數(shù)據(jù)（結(jié)構(gòu)、非結(jié)構(gòu)）進行模型與數(shù)據(jù)的索引構(gòu)建，內(nèi)存存儲；快速檢索：屏蔽底層底層數(shù)據(jù)差異性，構(gòu)建統(tǒng)一搜索引擎，完成數(shù)據(jù)的檢索呈現(xiàn)；

資產(chǎn)快速檢索數(shù)據(jù)快速檢索索引緩存數(shù)據(jù)湖資源安全體系-靈活的團隊管理模型目標：支持多團隊、多廠商使用，構(gòu)建團隊、租戶、賬號的權(quán)限資源管控體系支持不同團隊下計算存儲資源的配額管控，解決集群內(nèi)資源的高效使用舉措：團隊賬號管理：梳理現(xiàn)有系統(tǒng)賬號、組織機構(gòu)、角色、權(quán)限管理，引入新的團隊賬號體系管理，構(gòu)建多租戶模式的工作空間管理體系租戶資源管理：建立邏輯租戶的資源管理體系，管理團隊租戶下集群賬戶、用戶、角色、權(quán)限，明確各角色職責和開通流程統(tǒng)一租戶模型集群資源用戶用戶用戶用戶資源實例資源實例資源實例資源實例YARN計算資源隊列隊列隊列團隊租戶團隊租戶以開發(fā)團隊申請入住為例，需要申請租戶并綁定集群資源獲取數(shù)據(jù)和開發(fā)。創(chuàng)建團隊并綁定用戶，以團隊為單位配置該團隊集群資源配額（vcore、mem、存儲）。創(chuàng)建租戶，租戶綁定數(shù)據(jù)資源實例，可以針對應用場景綁定需要的存儲計算資源。給團隊用戶分配對應租戶資源，一個用戶可以擁有多個租戶資源的權(quán)限申請。開發(fā)用戶對模型的訪問權(quán)限通過統(tǒng)一數(shù)據(jù)訪問權(quán)限控制。實現(xiàn)集群統(tǒng)一的資源管理，以租戶為對象實現(xiàn)集群資源的按需分配，并且需要根據(jù)運營體系實現(xiàn)資源的授權(quán)管理。支持租戶的角色定義及用戶授權(quán)，滿足對租戶管理的訴求。實現(xiàn)集群資源的配額管控，更合理的使用集群資源。100vcore1024M2T團隊1150vcore1024M1T團隊2數(shù)據(jù)湖資源安全體系-跨平臺用戶權(quán)限統(tǒng)一管理租戶開通賬號開通資源分配數(shù)據(jù)授權(quán)資源信息管理大數(shù)據(jù)基礎平臺paas平臺分析類圖片類人臉庫指標庫爬蟲數(shù)據(jù)行業(yè)數(shù)據(jù)地市報表證件庫文件類用戶權(quán)限統(tǒng)一管理服務引擎（servicebroker）資源注冊租戶創(chuàng)建賬號綁定租戶資源分配數(shù)據(jù)授權(quán)租戶同步賬號開通資源分配數(shù)據(jù)授權(quán)12345圖例資源租戶統(tǒng)一管理提供統(tǒng)一的資源管理模塊，將原生區(qū)和產(chǎn)品區(qū)資源管理和租戶管理納入統(tǒng)一的管理。將集群資源注冊，租戶開通，資源分配，服務分配，數(shù)據(jù)授權(quán)等能力進行統(tǒng)一的可視化管理。并采用服務調(diào)用的形式管理paas平臺和大數(shù)據(jù)基礎平臺的底層混搭的數(shù)據(jù)庫架構(gòu)。

租戶同步改變傳統(tǒng)的通過后臺分配租戶、數(shù)據(jù)訪問權(quán)限等操作，采用可視化操作。通過實時和離線兩種方式保證產(chǎn)品和集群租戶一致，實時，通過服務注冊的方式，通知平臺完成租戶創(chuàng)建；離線，平臺定期同步租戶到本地產(chǎn)品租戶庫，產(chǎn)品自動完成增補全租戶注冊。

服務引擎設計權(quán)限服務引擎，管理底層混搭數(shù)據(jù)的權(quán)限開通、停用，提供統(tǒng)一權(quán)限申請流程，替換現(xiàn)在線上申請，線下賦權(quán)的流程。同時記錄操作日志，對違規(guī)操作進行審計，提高了系統(tǒng)運維的安全性。資源信息注冊數(shù)據(jù)架構(gòu)優(yōu)化基于數(shù)據(jù)湖的場景支撐---升級對象存儲引擎，持續(xù)強化賦能一線的數(shù)據(jù)能力數(shù)據(jù)中臺提供多種對象存儲能力，支撐結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的入湖，便捷的數(shù)據(jù)存儲服務及在線分析查詢能力，快速賦能生產(chǎn)運營，釋放中臺能力價值，提升客戶辦理感知。①營業(yè)廳改套餐②人臉掃描認證③實時存儲計算分析④認證結(jié)果服務能力數(shù)據(jù)中臺緩存索引圖像處理服務文檔處理服務音頻處理服務日志處理服務大數(shù)據(jù)集群對象存儲（Ceph）HDFS/HBASE結(jié)構(gòu)化處理服務其他處理服務半結(jié)構(gòu)化結(jié)構(gòu)化大文件圖像文檔音/視頻統(tǒng)一數(shù)據(jù)服務圖像數(shù)據(jù)服務賦能業(yè)務受理，助力人臉識別業(yè)務場景。留存全省用戶圖像及人臉歷史庫提供低延遲的圖像數(shù)據(jù)服務賦能更多的智能業(yè)務受理場景基于數(shù)據(jù)湖的場景支撐---加強實時計算分析能力，提升VoLTE客戶服務感知實時流處理引擎HadoopHDFS大數(shù)據(jù)海量存儲網(wǎng)絡信息設備信息位置信息感知分析/告警隨著數(shù)據(jù)中臺各種計算引擎能力的構(gòu)建和升級，基于批量實時流計算引擎能力賦能業(yè)務處理的場景越來越重要，通過快速采集實時事件結(jié)合歷史數(shù)據(jù)分析，提前分析問題原因及預知風險，協(xié)助客服解決通話質(zhì)量投訴問題，避免客戶流失，提升用戶通話和服務感知。感知內(nèi)容:故障率高的網(wǎng)絡設備型號分布通話質(zhì)量差的位置區(qū)域分布投訴用戶的地區(qū)熱點分布投訴反饋的時間段、時長分布投訴用戶的通話設備型號排行···FlinkSQLKafkaconnector用戶信息4數(shù)據(jù)資產(chǎn)存量資產(chǎn)管理生產(chǎn)區(qū)資產(chǎn)管理原生區(qū)資產(chǎn)管理資產(chǎn)目錄管理資產(chǎn)管理現(xiàn)狀和目標2020年建立DAMS至今，已經(jīng)基本構(gòu)建完成核心功能，包括資產(chǎn)自動掃描采集入庫通道、信息補全、數(shù)據(jù)稽核、信息檢索、資產(chǎn)視圖等，后續(xù)將持續(xù)優(yōu)化打造適用于數(shù)據(jù)湖+數(shù)據(jù)中臺的數(shù)據(jù)資產(chǎn)管理體系。數(shù)據(jù)入湖標準化打造企業(yè)資產(chǎn)目錄提升數(shù)據(jù)采集準確性采集入湖自動化制定資產(chǎn)和數(shù)據(jù)入湖標準，并納入上云管控流程，從源頭保證資產(chǎn)標準化；并統(tǒng)一數(shù)據(jù)湖和數(shù)據(jù)中臺的資產(chǎn)注冊規(guī)范。參考集團《中國電信數(shù)據(jù)資產(chǎn)目錄管理辦法》，融合數(shù)據(jù)湖+中臺各區(qū)資產(chǎn)，重構(gòu)建設省級資產(chǎn)統(tǒng)一目錄。統(tǒng)一數(shù)據(jù)湖+數(shù)據(jù)中臺系統(tǒng)標志，根據(jù)標準規(guī)范，實現(xiàn)協(xié)議自動注冊、自動采集入湖，和資產(chǎn)的前后臺到開發(fā)貫穿管控，保證數(shù)據(jù)采集的唯一性、采集路徑的合理性。自動掃描實現(xiàn)結(jié)構(gòu)化數(shù)據(jù)的注冊，通過接口協(xié)議自動實現(xiàn)采集入湖；對非結(jié)構(gòu)化和對象型數(shù)據(jù)打造統(tǒng)一入湖能力?，F(xiàn)狀目標目前安全平臺自動掃描工具接入系統(tǒng)43個，數(shù)據(jù)庫95個，還需推進全面掃描工作；自動掃描結(jié)果數(shù)據(jù)合規(guī)率較低，需要補齊和修正；缺少非結(jié)構(gòu)化和對象型資產(chǎn)統(tǒng)一注冊能力；缺少非結(jié)構(gòu)化和對象型采集入湖能力；數(shù)據(jù)源采集路徑多，交互效率低；

缺少統(tǒng)一融合的數(shù)據(jù)資產(chǎn)目錄。實施舉措序號關(guān)鍵能力建設內(nèi)容1構(gòu)建全域數(shù)據(jù)資產(chǎn)視圖基于資產(chǎn)盤點成果（含數(shù)據(jù)資產(chǎn)、數(shù)據(jù)資產(chǎn)標注信息），結(jié)合中臺數(shù)據(jù)資產(chǎn)，融合形成全域數(shù)據(jù)資產(chǎn)視圖增量數(shù)據(jù)資產(chǎn)自動掃描（細分職責、明確困難或問題）2系統(tǒng)上云優(yōu)化資產(chǎn)入湖開發(fā)者門戶、安全管理平臺、CMDB、DAMS各自建設入湖標準管控能力、分段負責管理層面：形成稽核-派單-反饋-考核的管理機制制定入湖標準文檔，包括：上云規(guī)范、數(shù)據(jù)資產(chǎn)稽核細則規(guī)范、考核機制；3數(shù)據(jù)湖資產(chǎn)管理數(shù)據(jù)湖目錄管理資產(chǎn)自動注冊能力4全域數(shù)據(jù)資產(chǎn)服務能力構(gòu)建多維度的資產(chǎn)目錄視圖，支持不同業(yè)務視角的數(shù)據(jù)使用需求優(yōu)化數(shù)據(jù)資產(chǎn)檢索能力：基于場景、NLP、熱點、個人關(guān)注等構(gòu)建資產(chǎn)標注能力，實現(xiàn)資產(chǎn)的多業(yè)務標簽體系構(gòu)建資產(chǎn)平臺和OA集成能力，提升使用便捷性數(shù)據(jù)資產(chǎn)的管理成果01隨著盤點工作的開展，持續(xù)對存量資產(chǎn)的梳理，系統(tǒng)總數(shù)508個，目前通過稽核并成功收錄的系統(tǒng)達304個完成全面盤數(shù)據(jù)資產(chǎn)梳理02搭建CMDB、安全平臺和DAMS的數(shù)據(jù)資產(chǎn)自動化識別流程，目前接入系統(tǒng)43個，數(shù)據(jù)庫95個，表110643個，字段1460883個具備資產(chǎn)自動化注冊能力03定位數(shù)據(jù)采集源，避免重復采集分析數(shù)據(jù)分布圖，開展安全審計開展數(shù)據(jù)評價，促進數(shù)據(jù)價值提升初具數(shù)據(jù)資產(chǎn)應用能力04提供接口全視圖、優(yōu)化數(shù)據(jù)稽核能力，實現(xiàn)數(shù)據(jù)質(zhì)量監(jiān)控，目前數(shù)據(jù)中臺重點支撐業(yè)務27個，涉及70個來源系統(tǒng)的563個模型，共配置稽核任務3061個深度部署重點數(shù)據(jù)治理埋點05提供資產(chǎn)全景視圖，建立接口采集標準，優(yōu)化采集開發(fā)流程，實現(xiàn)數(shù)據(jù)按需采集的標準化需求管理，2020年采集類需求116條，接口協(xié)議1068條數(shù)據(jù)采集需求標準化管理持續(xù)優(yōu)化資產(chǎn)管理能力、構(gòu)建全域數(shù)據(jù)資產(chǎn)采集管理展示管理視角開發(fā)視角業(yè)務目錄一級視圖二級視圖應用目錄一級視圖資產(chǎn)自動注冊界面錄入自動補齊資產(chǎn)變動通知變更流程變更申請發(fā)起工單稽核工具規(guī)則管理規(guī)則檢查問題管理源系統(tǒng)1源系統(tǒng)2源系統(tǒng)N程序主動掃描標準模板采集指定數(shù)據(jù)表讀取二級視圖存量204個系統(tǒng)未注冊到DAMS存量472個系統(tǒng)未在安全平臺掃描存量4500個DAMS資產(chǎn)與數(shù)據(jù)中臺數(shù)據(jù)未建立聯(lián)系DAMS對注冊后的資產(chǎn)進行定期抽審，并將審核結(jié)果納入考核實現(xiàn)存量資產(chǎn)全面納管CMDB、安全平臺、DAMS協(xié)同統(tǒng)一系統(tǒng)信息、維度編碼；DAMS協(xié)助開發(fā)者門戶梳理系統(tǒng)IP，完善系統(tǒng)信息管理DAMS督促NOC、天虎云商、無線等部門完善系統(tǒng)納管DAMS完善資產(chǎn)注冊標準，并持續(xù)更新完善資產(chǎn)發(fā)現(xiàn)注冊能力建立數(shù)據(jù)評價規(guī)則及評價結(jié)果應用機制建立數(shù)據(jù)標注體系便于資產(chǎn)的分類管理建立樣本數(shù)據(jù)庫服務于及時的在線分析融合數(shù)據(jù)中臺與DAMS資產(chǎn)目錄，構(gòu)建全域數(shù)據(jù)資產(chǎn)目錄打造數(shù)據(jù)資產(chǎn)服務能力樣本數(shù)據(jù)采集運營視角數(shù)據(jù)評價視圖資產(chǎn)打標視圖具備優(yōu)化新建運營要求通過數(shù)據(jù)安全管理平臺的數(shù)據(jù)抽樣能力獲取抽樣數(shù)據(jù)由于數(shù)據(jù)庫版本適配、網(wǎng)絡不通等原因?qū)е碌脑聪到y(tǒng)無法被自動化掃描的問題，是由源系統(tǒng)負責解決技術(shù)問題或進行改造，還是沿用樣例數(shù)據(jù)導入借助上云契機，嚴格管控增量數(shù)據(jù)資產(chǎn)入湖標準落地與安全專業(yè)、IT運維專業(yè)聯(lián)合工作，形成CMDB+安全管理平臺+DAMS的數(shù)據(jù)資產(chǎn)管理體系，并嵌入到系統(tǒng)上云審核環(huán)節(jié)，實現(xiàn)數(shù)據(jù)資產(chǎn)盤點自動化，避免手工盤點前清后亂的風險。IT安全集中運維掃描：負責對源系統(tǒng)的系統(tǒng)信息錄入，系統(tǒng)IP掃描。CMDB平臺：負責對源系統(tǒng)的系統(tǒng)主數(shù)據(jù)管理數(shù)據(jù)安全管理平臺：負責資產(chǎn)掃描、掃描任務管理，元數(shù)據(jù)管理。DAMS：對數(shù)據(jù)資產(chǎn)信息進行二次稽核，數(shù)據(jù)再加工，繪制資產(chǎn)全景視圖等，并按照集團規(guī)范要求將數(shù)據(jù)資產(chǎn)卡片自動上傳到集團運營管理系統(tǒng)。數(shù)據(jù)安全管理平臺DAMSCMDB平臺系統(tǒng)注冊源系統(tǒng)數(shù)據(jù)掃描資產(chǎn)注冊系統(tǒng)上云流程（統(tǒng)一PaaS平臺）資產(chǎn)合規(guī)性審核報告管理舉措：制定paas上云流程制定平臺接口規(guī)范、稽核指標規(guī)范完善資產(chǎn)審核和數(shù)據(jù)掃描能力附后：《四川電信數(shù)據(jù)資產(chǎn)入湖標準》試運行預備案申請資源正式備案設計評審開發(fā)管控初驗終驗系統(tǒng)上線驗收流程中審核《資產(chǎn)稽核報告》《企業(yè)IT系統(tǒng)上云管理規(guī)范》《盤點稽核指標計算細則》簽字審核IT安全集中運維平臺系統(tǒng)IP掃描運營要求建立不同類型的數(shù)據(jù)資產(chǎn)管理模式的長效機制目標：從源頭控制，形成全域數(shù)據(jù)資產(chǎn)自動接入、完整覆蓋，提升數(shù)據(jù)資產(chǎn)服務能力。資產(chǎn)目錄南-北向接口需求3網(wǎng)絡側(cè)資產(chǎn)注冊服務Kafak需求2TOPIC配置資產(chǎn)注冊服務匯聚庫/生產(chǎn)系統(tǒng)1安全管理平臺資產(chǎn)自動注冊服務接入流程注冊流程：①采集類需求：采集流程優(yōu)化，資產(chǎn)自動注冊匯聚庫類數(shù)據(jù)，通過安全管理平臺掃描資產(chǎn)自動注冊（原生區(qū)）需求管理人員接到增量數(shù)據(jù)采集需求，通過DAMS生產(chǎn)區(qū)資產(chǎn)目錄檢索，定位到系統(tǒng)表，調(diào)用資產(chǎn)自動注冊能力，完成資產(chǎn)注冊在DAMS未定位源系統(tǒng)表時，通知源系統(tǒng)在安全管理平臺完善資產(chǎn)信息，完善后方能發(fā)起采集需求，反向推動數(shù)據(jù)湖資產(chǎn)補全②③需求納入統(tǒng)一管理，提供南北向接口資產(chǎn)注冊服務，形成資產(chǎn)全面管理DAMS提供資產(chǎn)注冊服務給統(tǒng)一采集平臺，將統(tǒng)一采集平臺產(chǎn)生的文件類資產(chǎn)統(tǒng)一管理DAMS提供資產(chǎn)注冊服務給PaaS平臺，將流式數(shù)據(jù)kafka類資產(chǎn)統(tǒng)一管理網(wǎng)絡側(cè)數(shù)據(jù)無法通過安全管理平臺注冊，需要提供注冊服務構(gòu)建清晰易用的全域資產(chǎn)目錄，提升數(shù)據(jù)湖數(shù)據(jù)服務能力多維視圖提供多維視圖按業(yè)務，展現(xiàn)企業(yè)核心資產(chǎn)；按部門，展現(xiàn)數(shù)據(jù)管理歸屬；按需求，展現(xiàn)數(shù)據(jù)支撐業(yè)務；按場景，引導式場景數(shù)據(jù)推薦；資產(chǎn)關(guān)聯(lián)強化資產(chǎn)關(guān)聯(lián)建立不同區(qū)域資產(chǎn)血緣關(guān)系；建立不同類別資產(chǎn)血緣關(guān)系；建立不同區(qū)域資產(chǎn)的一致性結(jié)果；服務開放能力集成資產(chǎn)訂閱、收藏、評價資產(chǎn)檢索在線分析數(shù)據(jù)服務現(xiàn)狀設計數(shù)據(jù)中心資產(chǎn)目錄現(xiàn)狀：不完整：數(shù)據(jù)湖的數(shù)據(jù)資產(chǎn)未融合開放性不夠：主要為專業(yè)數(shù)據(jù)開發(fā)人員使用，技術(shù)門檻較高，數(shù)據(jù)共享的支持性需要加強清理不及時：資產(chǎn)清理不及時，老舊數(shù)據(jù)資產(chǎn)、冷數(shù)據(jù)無標識標準不完善，管控不強硬：不合理的數(shù)據(jù)依賴關(guān)系依然存在資產(chǎn)標注完善資產(chǎn)五者關(guān)系，有助于問題處理；明確部門管控關(guān)系，有助于責任劃分；數(shù)據(jù)打標資產(chǎn)打標資產(chǎn)運營構(gòu)建統(tǒng)一的服務目錄視圖，梳理并建立標準化的后臺原子服務目錄。5數(shù)據(jù)治理數(shù)據(jù)治理總述構(gòu)建貫穿數(shù)據(jù)生產(chǎn)服務鏈全生命周期數(shù)據(jù)治理體系，讓數(shù)據(jù)中臺更好用、更好監(jiān)控和更好管控，進行持續(xù)的改進。通過TOC、PDCA以及精益思想理論，圈定資產(chǎn)、質(zhì)量、使用和評價4個模塊作為重點治理對象，通過機制、規(guī)范、監(jiān)測和評估實現(xiàn)中臺的精益治理。數(shù)據(jù)資產(chǎn)針對資產(chǎn)是否全面完整、資產(chǎn)是否可用和資產(chǎn)是否多余進行數(shù)據(jù)資產(chǎn)關(guān)聯(lián)對比、資產(chǎn)標準化和資產(chǎn)下線管理資產(chǎn)關(guān)聯(lián)管理通過CMDB、安全管理平臺以及DAMS三方對比確認資產(chǎn)完整性資產(chǎn)標準化建立資產(chǎn)標準庫，識別資產(chǎn)是否標準，嚴控資產(chǎn)質(zhì)量資產(chǎn)清理發(fā)現(xiàn)低值、未用資產(chǎn)，通過血緣和下線清理策略評估，進行系統(tǒng)下線和遷移后歷史資產(chǎn)的處理。數(shù)據(jù)質(zhì)量新建數(shù)據(jù)湖需要更明確的機制、流程以及管控工具來進行監(jiān)控。數(shù)據(jù)運營針對客戶使用情況，真實直面的反饋數(shù)據(jù)、系統(tǒng)、能力的使用情況，創(chuàng)建交互通道，嵌入到數(shù)據(jù)運營的各個階段中進行埋點管理咨詢、問題搜集通道埋點能力數(shù)據(jù)評價建立評價模型和指標，合理利用集群資源,注智開發(fā)、運營、服務和管理管理強化生產(chǎn)區(qū)納湖，新建原生區(qū)，多集群存儲和多管理部門協(xié)作的五者邊界的劃分和流程確認結(jié)合質(zhì)量考核辦法進行管理能力優(yōu)化根據(jù)能力成熟度模型，逐步創(chuàng)建從人工入湖、半自動入湖、自動入湖能力，運維上創(chuàng)建執(zhí)行稽核動態(tài)上下線，實現(xiàn)湖內(nèi)資產(chǎn)數(shù)據(jù)一體化管控質(zhì)量稽核著重半結(jié)構(gòu)化和非機構(gòu)化數(shù)據(jù)治理，創(chuàng)建抽樣監(jiān)測、定制專項業(yè)務稽核以及生產(chǎn)系統(tǒng)提供稽核校驗文件形式保障數(shù)據(jù)可用性為數(shù)據(jù)使用人員提供問答式互動通道，填寫關(guān)于數(shù)據(jù)、平臺使用的意見反饋、知識經(jīng)驗共享、交流學習等；數(shù)據(jù)生產(chǎn)到使用的各個階段，創(chuàng)建埋點，收集客戶使用行為，客戶使用意見、評論等;結(jié)合上云嵌入插件能力，觀測數(shù)據(jù)、接口、模型、字段使用情況質(zhì)量評價感知評價資產(chǎn)評價成本評價價值評價主要針對運維過程中出問題情況進行評價針對客戶使用感知進行評價隨著DAMS的提出，資產(chǎn)合規(guī)性等很重要，進行資產(chǎn)評價針對存儲、使用資源等評估針對重要程度，使用頻率等進行價值評價統(tǒng)一數(shù)據(jù)標準庫勞動競賽/積分模型開展勞動競賽，建立共管支持能力，深化數(shù)據(jù)資產(chǎn)運營智慧運維運維對象數(shù)字化，提升可用性，降低運維成本實施舉措序號關(guān)鍵能力建設內(nèi)容1數(shù)據(jù)資產(chǎn)治理1、完善標準庫：系統(tǒng)上云、資產(chǎn)入湖、數(shù)據(jù)使用2、資產(chǎn)關(guān)聯(lián)稽核管理：生產(chǎn)區(qū)、原生區(qū)、產(chǎn)品區(qū)資產(chǎn)一致性稽核能力、異常資產(chǎn)在數(shù)據(jù)資產(chǎn)視圖中的標注和提示能力（細分職責）3、基于數(shù)據(jù)評價，支持數(shù)據(jù)中臺數(shù)據(jù)自動預警、定期下線或回退到原生區(qū)2數(shù)據(jù)質(zhì)量治理1、質(zhì)量體系完善：將現(xiàn)有中臺的稽核方式，以質(zhì)量評估模型+知識庫形式進行有效組織和設計，以系統(tǒng)化方式實現(xiàn)從人工到自動化的迭代演進2、能力優(yōu)化：優(yōu)化稽核效率，制定調(diào)度任務評估模型動態(tài)調(diào)整執(zhí)行策略（任務完成度、指標使用頻率、血緣依賴度）3、管理強化：新建原生區(qū)，多集群存儲和多管理部門協(xié)作的五者邊界的劃分和流程確認，結(jié)合質(zhì)量考核辦法進行管理3數(shù)據(jù)運營1、交互式問答平臺：為數(shù)據(jù)使用人員提供問答式互動通道，填寫關(guān)于數(shù)據(jù)、平臺使用的意見反饋、知識經(jīng)驗共享、交流學習等；2、嵌入式點評留言：用戶直接可以根據(jù)使用情況進行評價和反饋。精確反饋功能模塊使用情況3、應用埋點：將類插件方式埋點到指定應用查看數(shù)據(jù)使用情況和價值4、資產(chǎn)標注：對資產(chǎn)進行業(yè)務標注，提升檢索和管理能力5、勞動競賽：鼓勵全員參與，建立賽道，全員自主自愿參與業(yè)務數(shù)據(jù)打標、數(shù)據(jù)治理賽道競賽6、積分模型：設置積分獎勵制度和獎勵辦法4數(shù)據(jù)評價1、數(shù)據(jù)評價模型和指標庫建立：從質(zhì)量評價、感知評價、資產(chǎn)評價、成本評價、價值評價5個方面進行評價2、考核體系：建立數(shù)據(jù)質(zhì)量考核管理流程，處理溝通問題，提高問題處理效率，更好的保障數(shù)據(jù)質(zhì)量標準管理的重要性：標準分布在整個數(shù)據(jù)管理流程中調(diào)用入湖方式統(tǒng)一服務傳統(tǒng)報表數(shù)據(jù)驅(qū)動數(shù)據(jù)應用生態(tài)……管理決策營銷服務智慧家庭金融征信智能連接客戶洞察既有采集方式原生區(qū)RDB消息對象存儲HDFS流式采集流式采集CDC采集采集服務批量采集鏡像直接連接FTP/SFTP圖片/音頻/文本半/非結(jié)構(gòu)數(shù)據(jù)Databases系統(tǒng)/平臺Files《存儲標準》《數(shù)據(jù)架構(gòu)定義》《系統(tǒng)上云標準》《數(shù)據(jù)安全管理規(guī)范》生產(chǎn)區(qū)資產(chǎn)管理《資產(chǎn)梳理流程》《資產(chǎn)治理流程》《五者定義》《資產(chǎn)質(zhì)量標準》《元數(shù)據(jù)管理辦法》《目錄分類》《數(shù)據(jù)接入標準》數(shù)據(jù)中臺工作區(qū)產(chǎn)品區(qū)安全區(qū)《數(shù)據(jù)項定義規(guī)范》《表定義規(guī)范》《開發(fā)規(guī)范》《上線生產(chǎn)規(guī)范》《數(shù)據(jù)安全管理規(guī)范》《運維管理流程》統(tǒng)一管理統(tǒng)一調(diào)度《數(shù)據(jù)共享標準》《插件標準管理》源系統(tǒng)上云申請結(jié)構(gòu)化數(shù)據(jù)資產(chǎn)標準化：優(yōu)化標準庫標準規(guī)范定義和分類《資產(chǎn)定義》《數(shù)據(jù)表/項定義》《五者五性定義》業(yè)務標準（業(yè)務層面）《目錄分類標準》《關(guān)鍵字使用標準》技術(shù)標準（技術(shù)層面）《數(shù)據(jù)項命名規(guī)范》《數(shù)據(jù)表命名規(guī)范》《開發(fā)規(guī)范》管控標準（管理層面）《資產(chǎn)管理辦法》《插件管理辦法》《上線生產(chǎn)規(guī)范》稽核標準（質(zhì)量層面）《數(shù)據(jù)質(zhì)量管理規(guī)范》安全標準（安全層面）《數(shù)據(jù)安全管理規(guī)范》流程制度系統(tǒng)上云流程資產(chǎn)入湖流程標準庫數(shù)據(jù)使用流程數(shù)據(jù)治理流程1.完善規(guī)范制度流程系統(tǒng)上云流程資產(chǎn)入湖流程數(shù)據(jù)使用流程數(shù)據(jù)治理流程2、完善標準規(guī)范建立標準庫就資產(chǎn)、數(shù)據(jù)表/項以及五者五性定義標準內(nèi)容根據(jù)業(yè)務、技術(shù)、安全、管控和稽核等不同層面制定不同的管理和使用規(guī)范3、規(guī)范和實例映射關(guān)系根據(jù)每項規(guī)范內(nèi)容形成標準實例，稽核和治理系統(tǒng)上云、資產(chǎn)入湖、數(shù)據(jù)使用、數(shù)據(jù)治理四大流程建立標準庫，完善管理規(guī)范、流程制度和資產(chǎn)標準，保障數(shù)據(jù)資產(chǎn)持續(xù)運營，嚴控資產(chǎn)質(zhì)量。附件：標準細則數(shù)據(jù)質(zhì)量-建立質(zhì)量模型，演進質(zhì)量管理從人工到自動化發(fā)展新建質(zhì)量模型，將現(xiàn)有中臺的稽核方式和理念整合起來，以質(zhì)量模型+知識庫形式進行有效組織和設計，以系統(tǒng)化方式實現(xiàn)從人工到自動化的發(fā)展。1、建立對象層生產(chǎn)區(qū)納湖，新建原生區(qū)，帶來更復雜的半結(jié)構(gòu)和非結(jié)構(gòu)數(shù)據(jù)，每個對象的保障力度應該是分類型、分應用和分等級進行保障的。2、建立核心層每個對象實例應該采用核心層的不同保障方式和指標適配，數(shù)據(jù)質(zhì)量的保障是有標準有模型進行保障的。核心層主要包含采用什么樣的質(zhì)量動作、采用什么質(zhì)量指標以及輸出質(zhì)量服務能力3、建立治理層根據(jù)核心層提供的服務能力，提供治理策略，有哪些人針對哪些治理對象做哪些動作以及治理情況4、質(zhì)量模型入知識庫通過質(zhì)量模型操作的動作、處理經(jīng)驗以及客戶反饋組成鏈路形成知識入知識庫，促進數(shù)據(jù)質(zhì)量由人工向自動化演進對象層分類型結(jié)構(gòu)化半結(jié)構(gòu)非結(jié)構(gòu)分應用集團上傳數(shù)據(jù)門戶收入保障分等級1級2級3級核心層服務能力體檢抽樣監(jiān)測專業(yè)指標稽核Check文件校驗五性嵌入阻斷式白+黑嵌入非阻斷式質(zhì)量報告根因定位影響分析治理層策略配置資產(chǎn)治理數(shù)據(jù)治理產(chǎn)品治理補全資產(chǎn)優(yōu)化程序數(shù)據(jù)錯位資源不足開發(fā)知識庫自動化半自動質(zhì)量指標質(zhì)量動作運維治理治理對象治理內(nèi)容業(yè)務運維。。治理人質(zhì)量預測質(zhì)量關(guān)系文件本身屬性人工1自動關(guān)聯(lián)自動入湖重點數(shù)據(jù)治理-數(shù)據(jù)湖資產(chǎn)完整性稽核接口視圖信息源系統(tǒng)信息接入數(shù)據(jù)庫資產(chǎn)稽核不合規(guī)清單生產(chǎn)區(qū)系統(tǒng)接口外部數(shù)據(jù)庫文件表數(shù)據(jù)項資產(chǎn)目錄資產(chǎn)目錄安全平臺資產(chǎn)掃描kafka入湖源系統(tǒng)湖數(shù)據(jù)模型數(shù)據(jù)項原生區(qū)自動關(guān)聯(lián)kafak入湖表數(shù)據(jù)項接口協(xié)議存量關(guān)聯(lián)治理確認關(guān)聯(lián)121匹配篩選統(tǒng)一標志關(guān)聯(lián)關(guān)聯(lián)資產(chǎn)構(gòu)建過程生產(chǎn)區(qū)資產(chǎn)自動注冊，自動采集入原生區(qū)，建立兩區(qū)資產(chǎn)的關(guān)聯(lián)關(guān)系；kafak等方式入湖，根據(jù)入湖規(guī)范申請，實現(xiàn)在生產(chǎn)區(qū)和原生區(qū)的資產(chǎn)自動注冊和自動關(guān)聯(lián)。存量數(shù)據(jù)關(guān)聯(lián)治理稽核原生區(qū)數(shù)據(jù)資產(chǎn)，對不合規(guī)，如沒有源系統(tǒng)標志、源頭模型缺失、數(shù)據(jù)項缺失的，可以查看不合規(guī)資產(chǎn)清單；查看不合規(guī)資產(chǎn)清單及采集視圖信息；線上搜索匹配，線下和業(yè)務部門、源系統(tǒng)廠家確認，最終線上實現(xiàn)數(shù)據(jù)資產(chǎn)的整改處理。資產(chǎn)治理運營稽核的差異結(jié)果推送資產(chǎn)責任方，并集成到數(shù)據(jù)目錄服務中，給分析使用人員提示和引導數(shù)據(jù)資產(chǎn)稽核具體舉措根據(jù)數(shù)據(jù)質(zhì)量管理規(guī)范，要實現(xiàn)數(shù)據(jù)湖+數(shù)據(jù)中臺各區(qū)數(shù)據(jù)資產(chǎn)全流程管控，首先要規(guī)范管理生產(chǎn)區(qū)和原生區(qū)數(shù)據(jù)關(guān)聯(lián)。通過提供新入湖數(shù)據(jù)通道管理處理能力，并對存量數(shù)據(jù)資產(chǎn)進行關(guān)聯(lián)治理，實現(xiàn)數(shù)據(jù)湖生產(chǎn)區(qū)和原生區(qū)的數(shù)據(jù)資產(chǎn)關(guān)聯(lián)。運營要求要求安全平臺整改不合規(guī)的資產(chǎn)，重新發(fā)起流程

稽核流程自動化、工單流程驅(qū)動自動采集入湖重點數(shù)據(jù)治理-數(shù)據(jù)中臺減負

資產(chǎn)下線計劃資產(chǎn)評價數(shù)據(jù)湖原生區(qū)歷史庫數(shù)據(jù)中臺復用度分析活性分析專題分析任務下線存儲數(shù)量大小

執(zhí)行時間?清理存儲?歸檔備份?執(zhí)行人?通知誰？歸檔/清理消息發(fā)布通知到期執(zhí)行資產(chǎn)目錄血緣清理資產(chǎn)目錄清理轉(zhuǎn)存數(shù)據(jù)湖生產(chǎn)區(qū)源系統(tǒng)源系統(tǒng)源系統(tǒng)……分區(qū)存儲下線確認數(shù)據(jù)管理標準明確現(xiàn)有中臺各層模型的分類，保留中間層及以上數(shù)據(jù)，接口層數(shù)據(jù)入湖制定接口層模型的識別標準，如：命名規(guī)則制定低價值數(shù)據(jù)的識別標準，如：被程序調(diào)用率制定滿足數(shù)據(jù)下沉遷移的策略，如：符合接口層命名規(guī)則、模型無調(diào)用、空模型等數(shù)據(jù)標準評估定期資產(chǎn)評估，不限于復用度分析、活性分析等，提供低價值低復用度數(shù)據(jù)資產(chǎn)清單，及資產(chǎn)詳細信息，包括存儲、大小、五者信息等；制定數(shù)據(jù)中臺資產(chǎn)遷移入湖計劃；根據(jù)遷移方案進行清理，中臺數(shù)據(jù)轉(zhuǎn)存數(shù)據(jù)原生區(qū)，并及時清理原生區(qū)資產(chǎn)血緣關(guān)系。形成長效的評估遷移機制，直到滿足中臺減負目標數(shù)據(jù)中臺減負具體舉措運營要求要求數(shù)據(jù)責任方對評估結(jié)果進行確認，配合執(zhí)行遷移

新規(guī)劃建設指導下，構(gòu)建新一代數(shù)據(jù)湖+數(shù)據(jù)中臺，為數(shù)據(jù)中臺減負，新增匯聚數(shù)據(jù)入湖；存量數(shù)據(jù)強化數(shù)據(jù)治理，實現(xiàn)數(shù)據(jù)中臺資產(chǎn)清理瘦身管理。要求數(shù)據(jù)責任方配合梳理模型減負的范圍

重點數(shù)據(jù)治理-數(shù)據(jù)資產(chǎn)下線近期電信各系統(tǒng)都在緊急實施上云計劃，生產(chǎn)系統(tǒng)上云后都涉及到數(shù)據(jù)庫切換變更，數(shù)據(jù)中臺需要支撐已經(jīng)納管的數(shù)據(jù)資產(chǎn)的變更管理。采用數(shù)據(jù)治理手段建立長效機制，實現(xiàn)資產(chǎn)主動申請和源頭被動發(fā)起下線申請的全流程管控能力。系統(tǒng)下線后數(shù)據(jù)資產(chǎn)下線管理建立系統(tǒng)下線申請通道，提供系統(tǒng)下線申請；系統(tǒng)下線后生產(chǎn)區(qū)數(shù)據(jù)資產(chǎn)歸檔和注銷處理；系統(tǒng)下線后原生區(qū)數(shù)據(jù)資產(chǎn)歸檔和注銷處理；通知產(chǎn)品區(qū)進行資產(chǎn)變更和資產(chǎn)清理處理。系統(tǒng)數(shù)據(jù)庫變更數(shù)據(jù)資產(chǎn)下線管理建立系統(tǒng)數(shù)據(jù)庫變更處理申請通道；新數(shù)據(jù)庫掃描自動入湖按新系統(tǒng)流程管控；舊數(shù)據(jù)庫下線，按上面數(shù)據(jù)資產(chǎn)下線管控。關(guān)聯(lián)數(shù)據(jù)的下線管理對于下線的資產(chǎn)有關(guān)聯(lián)實體數(shù)據(jù)，集中統(tǒng)計；對要下線的模型發(fā)起數(shù)據(jù)歸屬人，確認下線；形成資產(chǎn)數(shù)據(jù)下線的歷史，方便后續(xù)審計。原生區(qū)數(shù)據(jù)中臺任務下線存儲數(shù)量、容量歸檔/清理資產(chǎn)目錄資產(chǎn)目錄生產(chǎn)區(qū)系統(tǒng)下線數(shù)據(jù)庫變更功能模型下線數(shù)據(jù)湖消息發(fā)布通知執(zhí)行下線計劃資產(chǎn)目錄目錄注銷/歸檔目錄注銷/歸檔制定數(shù)據(jù)資產(chǎn)下線管理標準消息發(fā)布通知執(zhí)行下線計劃目錄注銷/歸檔血緣清理自主發(fā)起被動發(fā)起制定計劃執(zhí)行時間?清理存儲?歸檔備份?負責人通知誰計劃管理申請消息確認執(zhí)行數(shù)據(jù)質(zhì)量-其他現(xiàn)階段質(zhì)量上需要優(yōu)化點數(shù)據(jù)安全管理平臺數(shù)據(jù)采集資產(chǎn)注冊DAMSCMDB平臺資產(chǎn)注冊資產(chǎn)注冊原生區(qū)數(shù)據(jù)掃描數(shù)據(jù)質(zhì)量管理流程資產(chǎn)稽核資產(chǎn)標準資產(chǎn)標注資產(chǎn)目錄系統(tǒng)上云結(jié)構(gòu)化半/非結(jié)構(gòu)化5性稽核指標稽核文件稽核抽樣稽核數(shù)據(jù)中心數(shù)據(jù)血緣資產(chǎn)適用場景數(shù)據(jù)模型數(shù)據(jù)項跨域整合新建數(shù)據(jù)湖需要更明確的機制、流程以及管控工具來進行監(jiān)控。1、管理強化生產(chǎn)區(qū)納湖，新建原生區(qū)，多集群存儲和多管理部門協(xié)作的五者邊界的劃分和流程確認結(jié)合質(zhì)量考核辦法進行管理。擴展數(shù)據(jù)質(zhì)量規(guī)則，適應多結(jié)構(gòu)數(shù)據(jù)管理2、能力優(yōu)化優(yōu)化數(shù)據(jù)稽核執(zhí)行效率優(yōu)化稽核資源與核心計算資源沖突問題重點打造資產(chǎn)業(yè)務標簽能力（資產(chǎn)標注）、連接識別能力推式：專題數(shù)據(jù)資產(chǎn)定期推送拉式：資產(chǎn)全景視圖持續(xù)優(yōu)化及發(fā)布3、質(zhì)量稽核構(gòu)建分等級、分場景、分類型的數(shù)據(jù)質(zhì)量管控流程創(chuàng)建含非結(jié)構(gòu)化等數(shù)據(jù)抽樣檢測能力定制專項業(yè)務指標識別生產(chǎn)系統(tǒng)提供稽核校驗文件5者劃分數(shù)據(jù)質(zhì)量-數(shù)據(jù)稽核效率具體優(yōu)化舉措通過制定質(zhì)量稽核的評估模型，實現(xiàn)動態(tài)稽核任務的執(zhí)行，探索自動調(diào)整資源的機制?，F(xiàn)狀：現(xiàn)有技算資源條件，為了保障集團上傳類和重點指標僅配置了相關(guān)數(shù)據(jù)的稽核規(guī)則配置，但是忙時稽核資源和任務加工爭用。目標：通過制定質(zhì)量稽核的具體舉措，實現(xiàn)動態(tài)稽核任務的執(zhí)行，探索自動資源調(diào)整的機制。舉措：評估標準制定：制定任務評估公式，如：連續(xù)N天OK，執(zhí)行頻率調(diào)整為P；指標使用頻率分析，如：業(yè)務提前梳理出核心指標對應模型及使用頻率，使用頻率N天使用一次，調(diào)整執(zhí)行頻率為P評估執(zhí)行策略：制定定期評估任務，根據(jù)結(jié)果自動調(diào)整相關(guān)任務的執(zhí)行周期；對于不滿足條件的，要自動調(diào)整回默認的執(zhí)行周期；數(shù)據(jù)稽核運營要求集團上傳類任務針對扣分情況給予一定策略，探索自動化的動態(tài)稽核調(diào)優(yōu)機制任務執(zhí)行任務調(diào)整生成執(zhí)行實例統(tǒng)計分析

模型評估

評估執(zhí)行動作

滿足評估模型分專業(yè)/分類型任務名稱責任人連續(xù)N天滿足狀態(tài)任務執(zhí)行周期BSS

p_ods_cust_day.sh張三7天OK3天（調(diào)整后）BSS

p_ods_fee_day.sh張三30天OK7天（調(diào)整后）MSS……稽核評估實施路徑埋點能力和交互通道的搭建助力數(shù)據(jù)運營交互式問答平臺嵌入式點評留言應用埋點智能客服幫助客戶解決24小時咨詢回復問題人工輔助解決智能客服不能解決疑難雜癥問題點評和留言嵌入到使用模塊中，用戶直接可以根據(jù)使用情況進行評價和反饋。精確反饋功能模塊使用情況將類插件方式埋點到指定位置收集用戶在什么時間什么地方以什么樣的方式做了什么事情，通過用戶行為分析功能使用情況和數(shù)據(jù)調(diào)用情況等針對用戶使用情況，真實直面的反饋數(shù)據(jù)、系統(tǒng)、能力的使用情況，創(chuàng)建交互通道，嵌入到數(shù)據(jù)運營的各個階段中進行埋點管理用戶的行為和反饋是治理的最佳輸入客戶提問智能客服能回復回答結(jié)束不能回復人工服務（可不配）能回復回答結(jié)束不能回復工單受理觸發(fā)短信、郵件職責單位回復提問者確認觸發(fā)短信、郵件確認結(jié)束超時結(jié)束交互式問答流程保障流程保障開展勞動競賽，建立共管支持能力，深化數(shù)據(jù)資產(chǎn)運營眾包模式SME專家管理積分獎勵自愿參與數(shù)據(jù)打標系統(tǒng)審核專家審核標簽優(yōu)化發(fā)布清單賽道1：數(shù)據(jù)打標賽道2：數(shù)據(jù)治理確認問題提出問題解決問題系統(tǒng)積分眾包模式：鼓勵全員參與，全員自主自愿參與業(yè)務數(shù)據(jù)打標、數(shù)據(jù)治理賽道競賽。SME專家管理：SME專家由數(shù)據(jù)資產(chǎn)管理委員會任命或個人申請委員會審核2種方式產(chǎn)生，SME專家負責打標賽道中標簽類目的建設、完善，以及業(yè)務標簽的審核；負責數(shù)據(jù)治理中問題的確認。積分獎勵制度：積分分別對兩個賽道積分，并設置獎勵辦法?？荚u獎勵建立數(shù)據(jù)評價體系，進行數(shù)據(jù)質(zhì)量和數(shù)據(jù)價值評價。評價結(jié)果注智開發(fā)、運營、服務、管理，優(yōu)化數(shù)據(jù)資產(chǎn)管理，提升資源利用率和數(shù)據(jù)價值。1、建立數(shù)據(jù)評價管理機制稽核評估、評價報告、問題需求為模型開發(fā)、數(shù)據(jù)服務、數(shù)據(jù)運營、數(shù)據(jù)管理注智2、建立數(shù)據(jù)評價模型和評價指標庫價值評價：對數(shù)據(jù)湖的數(shù)據(jù)品質(zhì)、資源、效能、成本等進行綜合評價。質(zhì)量評價：從數(shù)據(jù)環(huán)境、格式、變化以及存儲周期等對數(shù)據(jù)質(zhì)量的準確、完整、合理、一致、及時性進行評價感知評價：通過數(shù)據(jù)使用，對數(shù)據(jù)的準確、完整、合理、一致、及時性進行評價成本評價：針對存儲、使用資源方面進行評價資產(chǎn)評價：隨著DAMS的提出，資產(chǎn)價值突顯，針對資產(chǎn)準確性和完整性進行評價舉措：構(gòu)建數(shù)據(jù)評價體系注智模型開發(fā)注智數(shù)據(jù)運營注智數(shù)據(jù)服務智能調(diào)度策略規(guī)章制度考核資源配置優(yōu)化數(shù)據(jù)生命周期管理……模型原子化粒度模型關(guān)聯(lián)關(guān)系模型處理規(guī)則數(shù)據(jù)合并策略查詢性能優(yōu)化服務等級管理熱點推薦數(shù)據(jù)服務封裝…………注智數(shù)據(jù)管理冷熱數(shù)據(jù)資源分配整合管理接入管理匯聚管理……稽核評估問題、需求管理價值、質(zhì)量報告……統(tǒng)一日志、控制中心質(zhì)量評價感知評價資產(chǎn)評價成本評價價值評價數(shù)據(jù)評價指標庫數(shù)據(jù)評價模型體系落地

對各類指標進行自動或人工稽核統(tǒng)計評分，基于不同指標權(quán)重的評估模型，評估出每個模型的價值得分，再按要求分析出不同團隊、系統(tǒng)可量化的整體價值成本得分，提升運營效率。數(shù)據(jù)評價舉措實施路徑數(shù)據(jù)質(zhì)量數(shù)據(jù)中臺元數(shù)據(jù)數(shù)據(jù)存儲……完整性指標正確性指標評估指標類別規(guī)范評估體系存儲評估體系風險評估體系價值評估體系程序任務數(shù)據(jù)標準字段標準指標模型一致性指標相似表指標存儲分層存儲到期模型有效使用模型客戶評分數(shù)據(jù)規(guī)模模型成本敏感級別評估引擎一~二季度各專業(yè)配合完成數(shù)據(jù)評價指標的初步梳理（字典規(guī)范、質(zhì)量標準和約束規(guī)則等三季度實現(xiàn)自動化的基礎指標評估實現(xiàn)復雜評估指標的人工與系統(tǒng)融合的處理機制四季度持續(xù)完善數(shù)據(jù)評價體系，優(yōu)化和擴展現(xiàn)有評估指標，提升運營效率循序漸進重點先行長效久治階段目標各專業(yè)配合梳理制定數(shù)據(jù)評價相關(guān)指標的工作，需要各部門的密切配合、高效協(xié)作，由數(shù)據(jù)治理委員會統(tǒng)籌，各專業(yè)相關(guān)部門配合完成需建立有效的評價機制，在數(shù)據(jù)長期運營中，對數(shù)據(jù)標準的執(zhí)行情況進行有效的監(jiān)管、評估，不合規(guī)的情況，通報、修正、考核對評估的結(jié)果要按專業(yè)和團隊進行定期通報及運營優(yōu)化運營要求數(shù)據(jù)評價指標列表分類指標