元數(shù)據(jù)治理在企業(yè)中的實踐

1、技術(shù)創(chuàng)新，變革未來元數(shù)據(jù)治理在企業(yè)中的實踐02元數(shù)據(jù)管理實踐分享01數(shù)據(jù)治理簡介和解讀03元數(shù)據(jù)質(zhì)量管理的思考目 錄數(shù)據(jù)治理簡介和解讀數(shù)據(jù)治理的內(nèi)涵與外延狹義：數(shù)據(jù)治理是指對數(shù)據(jù)質(zhì)量的管理、專注在數(shù)據(jù)本身。廣義：數(shù)據(jù)治理是對數(shù)據(jù)的全生命周期進(jìn)行管理，包含數(shù)據(jù)采集、清洗、轉(zhuǎn)換等傳統(tǒng)數(shù)據(jù)集成和存儲環(huán)節(jié)的工作，同時還 包含數(shù)據(jù)資產(chǎn)目錄、數(shù)據(jù)標(biāo)準(zhǔn)、質(zhì)量、安全、數(shù)據(jù)開發(fā)、數(shù)據(jù)價值、數(shù)據(jù)服務(wù)與應(yīng)用等，圍繞數(shù)據(jù)生命周期而開展的業(yè)務(wù)。 技術(shù)和管理活動都屬于數(shù)據(jù)治理范疇。有的專家干脆把廣義的數(shù)據(jù)治理稱為數(shù)據(jù)資產(chǎn)管理。數(shù)據(jù)治理的發(fā)展歷史利用比喻介紹數(shù)據(jù)治理各管理域數(shù)據(jù)架構(gòu)和模型管理- - 要把水果擺放的緊湊、穩(wěn)定

2、、便于取放數(shù)據(jù)標(biāo)準(zhǔn)管理- - 水果規(guī)格一致數(shù)據(jù)質(zhì)量管理- - 保證沒有爛水果元數(shù)據(jù)管理- - 描述水果的品種、價錢和產(chǎn)地主數(shù)據(jù)管理- - 往往是高價值、受歡迎而放在專區(qū)的水果數(shù)據(jù)生命周期管理- - 水果保質(zhì)期管理、下架管理數(shù)據(jù)安全管理- - 防止被人偷吃、損壞數(shù)據(jù)服務(wù)與應(yīng)用- - 導(dǎo)購精準(zhǔn)服務(wù)數(shù)據(jù)資產(chǎn)管理- - 盤點有哪些水果，數(shù)量多少，價值多少數(shù)據(jù)治理范圍的權(quán)威參考DAMA是目前國際上權(quán)威的數(shù)據(jù)治理框架，2018年我國發(fā)布數(shù)據(jù)管理能力成熟度評估模型，提供數(shù)據(jù)管理能力的重要標(biāo)準(zhǔn)。國際DAMA數(shù)據(jù)治理框架國內(nèi)數(shù)據(jù)管理能力成熟度評估模型其他比較權(quán)威的參考：中國信通院2019年發(fā)布的數(shù)據(jù)資產(chǎn)管理白皮

3、書3.0企業(yè)中的數(shù)據(jù)治理工作范圍數(shù)據(jù)治理 工具與技 術(shù)數(shù)據(jù)治理 專項工作數(shù)據(jù)治理 流程組織架構(gòu)職責(zé)分工體系規(guī)劃管理制度策略執(zhí)行考核評估數(shù)據(jù)標(biāo)準(zhǔn)管理元數(shù)據(jù)管理數(shù)據(jù)架構(gòu)管理主數(shù)據(jù)管理數(shù)據(jù)安全管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)生命周期管理數(shù)據(jù)標(biāo)準(zhǔn)管理工具元數(shù)據(jù)管理工具數(shù)據(jù)架構(gòu)工具主數(shù)據(jù)管理工具數(shù)據(jù)安全管理工具數(shù)據(jù)質(zhì)量管理工具數(shù)據(jù)生命周期管理工具流程管理工具企業(yè)開展數(shù)據(jù)治理工作的切入點很多企業(yè)在投資建設(shè)新的數(shù)據(jù)倉庫、核心系統(tǒng)、大數(shù)據(jù)平臺、數(shù)據(jù)中臺時或者開展主數(shù)據(jù)管理時，會考慮開展數(shù)據(jù)治理工 作，建立數(shù)據(jù)標(biāo)準(zhǔn)，進(jìn)行數(shù)據(jù)質(zhì)量檢查，盤點各系統(tǒng)現(xiàn)狀，保證數(shù)據(jù)遷移有序，保證新平臺從建設(shè)之初數(shù)據(jù)就規(guī)范可控。開展數(shù)據(jù)治理的幾個切

4、入點監(jiān)管部門要求（金融行業(yè) 尤為突出）企業(yè)數(shù)據(jù)質(zhì)量提升的內(nèi)在要 求建設(shè)新一代核心業(yè)務(wù)系統(tǒng) 或者報表系統(tǒng)等建設(shè)數(shù)據(jù)倉庫 或者數(shù)據(jù)中臺建設(shè)大數(shù)據(jù)平臺進(jìn)行主數(shù)據(jù)管理，開展主數(shù)據(jù) 驅(qū)動的數(shù)據(jù)治理010203根據(jù)數(shù)據(jù)治理工作的特點，由哪個部門來做？質(zhì)量與效能部系統(tǒng)規(guī)劃部大數(shù)據(jù)部缺點元數(shù)據(jù)管理實踐分享元數(shù)據(jù)的定義中文名稱英文名稱業(yè)務(wù)定義業(yè)務(wù)規(guī)則存儲位置存儲周期數(shù)據(jù)類型數(shù)據(jù)長度數(shù)據(jù)開發(fā)負(fù)責(zé)人數(shù)據(jù)業(yè)務(wù)負(fù)責(zé)人數(shù)據(jù)使用部門是否公司統(tǒng)一.元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，根據(jù)描述內(nèi)容，可分為業(yè)務(wù)元數(shù)據(jù)、技術(shù)元數(shù)據(jù)、管理元數(shù)據(jù)。業(yè)務(wù)屬性技術(shù)屬性管理屬性元數(shù)據(jù)是幫助查找、存取、使用和管理信息資源的信息。元數(shù)據(jù)是業(yè)界公認(rèn)的數(shù)據(jù)管理

5、中的核心要素，做好元數(shù)據(jù) 管理，更容易的對數(shù)據(jù)進(jìn)行檢索、定位、管理、評估。元數(shù)據(jù)管理功能架構(gòu)元數(shù)據(jù)服務(wù)元數(shù)據(jù)存儲元數(shù)據(jù)地圖技術(shù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)管理元數(shù)據(jù)生產(chǎn)元數(shù)據(jù)模型元數(shù)據(jù)指標(biāo)元數(shù)據(jù)維度元數(shù)據(jù)接口元數(shù)據(jù)標(biāo)簽元數(shù)據(jù)元數(shù)據(jù)檢索服務(wù)元數(shù)據(jù)接口服務(wù)元數(shù)據(jù)基本信息管理 元數(shù)據(jù)信息維護(hù)元數(shù)據(jù)版本管理 元數(shù)據(jù)變更管理元數(shù)據(jù)權(quán)限管理元數(shù)據(jù)分析 血緣分析影響分析 對比分析共享分析元數(shù)據(jù)分類管理 目錄管理標(biāo)簽管理 分類分級管理認(rèn)證管理個人中心管理 我的元數(shù)據(jù)我的關(guān)注我的通知其他功能 體系管理流程中心權(quán)限中心自動采集手動采集元數(shù)據(jù)采集自動掃描接口調(diào)用實時消費定時推送在線注冊數(shù)據(jù)源數(shù)據(jù)源1數(shù)據(jù)源2數(shù)據(jù)源3數(shù)據(jù)源4數(shù)據(jù)

6、源N元數(shù)據(jù)管理實踐分享（以模型元數(shù)據(jù)為例)通過篩選條件：業(yè)務(wù)體系、所在庫、所屬主題、所屬業(yè)務(wù)，選擇要關(guān)注的模型元數(shù)據(jù)元數(shù)據(jù)管理實踐分享模型元數(shù)據(jù)詳情-模型詳情元數(shù)據(jù)管理實踐分享模型元數(shù)據(jù)詳情-字段詳情元數(shù)據(jù)管理實踐分享模型元數(shù)據(jù)詳情-表To任務(wù)、表To表血緣關(guān)系方便上下游數(shù)據(jù)問題定位，數(shù)據(jù)變更能精確通知下游同學(xué)元數(shù)據(jù)在企業(yè)中的價值1構(gòu)建企業(yè)的數(shù)據(jù)知識庫，可以跨產(chǎn)品線了解數(shù)據(jù)資源2是數(shù)據(jù)民主化的重要載體，非研發(fā)同學(xué)也可以了解企業(yè)的數(shù)據(jù)4助力企業(yè)盤點數(shù)據(jù)資產(chǎn)，是數(shù)據(jù)資產(chǎn)化的基礎(chǔ)3元數(shù)據(jù)質(zhì)量管理的思考衡量元數(shù)據(jù)質(zhì)量的評價標(biāo)準(zhǔn)業(yè)務(wù)表dev表tmp表中間表表對外暴露的業(yè)務(wù)表有效表核心屬性所有屬性評價公式

7、評價公式AVG（有效表的已經(jīng)覆蓋元數(shù)據(jù)核心屬性總量/有效表元數(shù)據(jù)核心屬性總量）針對核心屬性，構(gòu)建自動化檢測工具檢查規(guī)則缺少業(yè)務(wù)負(fù)責(zé)人缺少所屬主題 缺少所屬業(yè)務(wù)缺少是否統(tǒng)一標(biāo)簽 缺少字段注釋業(yè)務(wù)說明未按格式填 寫.整改（會涉及到IT系統(tǒng)和DT系 統(tǒng)）保證元數(shù)據(jù)質(zhì)量，引入長效機制元數(shù)據(jù)維護(hù)盡量源頭化生產(chǎn)系統(tǒng)表設(shè)計階段，明確表的中文名，表的業(yè)務(wù)說明，表字段的中文 注釋，表的開發(fā)負(fù)責(zé)人，表的業(yè)務(wù)負(fù)責(zé)人。生產(chǎn)系統(tǒng)表建表階段，要求DBA通過工具檢查建表腳本，來審核上述各 項是否具備。數(shù)倉模型測試階段：測試人員檢查元數(shù)據(jù)系統(tǒng)中，相關(guān)元數(shù)據(jù)信息的完 整性，如果發(fā)現(xiàn)有元數(shù)據(jù)信息缺失的情況，提交問題單，驅(qū)動開發(fā)人員 補齊元數(shù)據(jù)。數(shù)倉模型開發(fā)階段：ODS表，繼承了生產(chǎn)系統(tǒng)表相關(guān)的元數(shù)據(jù)屬性， ODS以上各層表的