業(yè)務(wù)價(jià)值驅(qū)動(dòng)的數(shù)據(jù)資產(chǎn)治理

平臺(tái)、用戶、業(yè)務(wù)的正向循環(huán)，推動(dòng)企業(yè)數(shù)據(jù)價(jià)值不斷釋放EB級(jí)覆蓋開發(fā)/算法/運(yùn)營(yíng)/財(cái)務(wù)/分析師等崗位淘寶TMALL天貓?zhí)熵埑小⒗镌谕ㄟ^數(shù)據(jù)治理解決什么問題隨著業(yè)務(wù)對(duì)數(shù)據(jù)的持續(xù)深度應(yīng)用，伴隨業(yè)務(wù)階段遞進(jìn)發(fā)展以及數(shù)據(jù)架構(gòu)的動(dòng)態(tài)演進(jìn)，數(shù)據(jù)治理亟待解決的重點(diǎn)問題也在不斷涌基礎(chǔ)準(zhǔn)則：一切做數(shù)據(jù)治理的起因，都要有業(yè)務(wù)側(cè)的痛點(diǎn)[成熟階段]業(yè)務(wù)效益與成本均衡[成熟階段]業(yè)務(wù)效益與成本均衡?成本的增長(zhǎng)是否伴隨著業(yè)務(wù)增長(zhǎng)?數(shù)據(jù)對(duì)業(yè)務(wù)支撐的ROI如何評(píng)估[規(guī)模階段]靈活便捷與風(fēng)險(xiǎn)管控?敏感數(shù)據(jù)是否有數(shù)據(jù)泄露?不同類型的數(shù)據(jù)是否有靈活的管理策略安全管控安全管控[應(yīng)用階段]數(shù)據(jù)可用性與易用性?數(shù)據(jù)是否準(zhǔn)確可用，是否是及時(shí)產(chǎn)出的數(shù)據(jù)?數(shù)據(jù)是否準(zhǔn)確可用，是否是及時(shí)產(chǎn)出的數(shù)據(jù)?有哪些高質(zhì)量數(shù)據(jù)，可以讓業(yè)務(wù)進(jìn)行便捷使用[起步階段]數(shù)據(jù)量與穩(wěn)定性?是否有數(shù)據(jù)在執(zhí)行?數(shù)據(jù)是否完成了正確執(zhí)行阿里巴巴數(shù)據(jù)治理平臺(tái)建設(shè)組織協(xié)同會(huì)隊(duì)隊(duì)方法論緊密結(jié)合平臺(tái)建設(shè)方法論緊密結(jié)合平臺(tái)建設(shè)權(quán)限隔離數(shù)據(jù)建模數(shù)據(jù)集成計(jì)算穩(wěn)定權(quán)限隔離數(shù)據(jù)建模數(shù)據(jù)集成計(jì)算穩(wěn)定數(shù)據(jù)運(yùn)維性能提升數(shù)據(jù)運(yùn)維性能提升任務(wù)調(diào)度數(shù)據(jù)開發(fā)任務(wù)調(diào)度數(shù)據(jù)開發(fā)成熟-成本治理成熟-成本治理數(shù)據(jù)分析數(shù)據(jù)地圖數(shù)據(jù)質(zhì)量風(fēng)險(xiǎn)識(shí)別數(shù)據(jù)分析數(shù)據(jù)地圖數(shù)據(jù)質(zhì)量風(fēng)險(xiǎn)識(shí)別數(shù)據(jù)資產(chǎn)數(shù)據(jù)服務(wù)數(shù)據(jù)資產(chǎn)數(shù)據(jù)服務(wù)規(guī)模-安全管控......……......……應(yīng)用-應(yīng)用提效起步-生產(chǎn)穩(wěn)定文化運(yùn)營(yíng)文化運(yùn)營(yíng)院武核刊企業(yè)數(shù)據(jù)資產(chǎn)DataWorks數(shù)據(jù)地圖離線同步數(shù)據(jù)地圖實(shí)時(shí)同步數(shù)據(jù)服務(wù)數(shù)據(jù)安全數(shù)據(jù)服務(wù)數(shù)據(jù)質(zhì)量數(shù)據(jù)資產(chǎn)治理數(shù)據(jù)洞察任務(wù)運(yùn)維數(shù)據(jù)開發(fā)任務(wù)調(diào)度數(shù)據(jù)建模流式計(jì)算MaxCompute阿里云大數(shù)據(jù)計(jì)算服務(wù)CDH/CDPEMR+OSSHologres/ADBCDH/CDPEMR+OSS實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)開源大數(shù)據(jù)平臺(tái)實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)云原生數(shù)據(jù)湖平臺(tái)業(yè)務(wù)價(jià)值治理成效業(yè)務(wù)價(jià)值治理成效業(yè)務(wù)使用穩(wěn)定可用成本效能業(yè)務(wù)應(yīng)用業(yè)務(wù)使用穩(wěn)定可用成本效能業(yè)務(wù)應(yīng)用1.數(shù)據(jù)治理成效體現(xiàn)：穩(wěn)定可用維度業(yè)務(wù)價(jià)值治理成效業(yè)務(wù)價(jià)值治理成效穩(wěn)定可用基線破線故障數(shù)平均故障排查時(shí)長(zhǎng)平均故障恢復(fù)時(shí)長(zhǎng)重點(diǎn)保障業(yè)務(wù)應(yīng)用穩(wěn)定可用基線破線故障數(shù)平均故障排查時(shí)長(zhǎng)平均故障恢復(fù)時(shí)長(zhǎng)重點(diǎn)保障業(yè)務(wù)應(yīng)用確定對(duì)業(yè)務(wù)的穩(wěn)定可用的SLA通過合理的人力協(xié)作及治理工作高效保障業(yè)務(wù)所需的重點(diǎn)數(shù)據(jù)能及時(shí)、準(zhǔn)確產(chǎn)出，滿足數(shù)據(jù)對(duì)業(yè)務(wù)的約定3個(gè)9，即99.9%，全年可停服務(wù)時(shí)間：365*24*60*（1-99.9%）=525.6min4個(gè)9，即99.99%，全年可停服務(wù)時(shí)間：52.56min故障機(jī)制掛鉤責(zé)任機(jī)制嚴(yán)重問題優(yōu)先處理5個(gè)9，即99.999%，全年可停服務(wù)時(shí)間：5.256min故障機(jī)制掛鉤責(zé)任機(jī)制嚴(yán)重問題優(yōu)先處理重要數(shù)據(jù)重點(diǎn)保障重要數(shù)據(jù)重點(diǎn)保障級(jí)--A4重點(diǎn)應(yīng)用級(jí)--A4重點(diǎn)應(yīng)用故障等級(jí)P2故障P2故障P3故障P3故障P4故障P4故障數(shù)據(jù)時(shí)效性保障：通過智能基線進(jìn)行數(shù)據(jù)產(chǎn)出保障靈活的優(yōu)先級(jí)策略，調(diào)度與計(jì)算的資源傾斜，智能的提前告警干預(yù)30minAC 60min120min45minCGEF.10minGEF.120120min60mn60mnJLL50min30min50min30min承諾產(chǎn)出：9:00正常穩(wěn)定產(chǎn)出正常穩(wěn)定產(chǎn)出K點(diǎn)期望產(chǎn)出時(shí)間9:00K點(diǎn)期望產(chǎn)出時(shí)間9:00、告警余量30min、基線8級(jí)（最高級(jí)）傾斜傾斜DataWorks調(diào)度資源傾斜MaxCompute計(jì)算資源 預(yù)測(cè)基線產(chǎn)出時(shí)間提前干預(yù)穩(wěn)定性問題提前干預(yù)穩(wěn)定性問題 安全-正常運(yùn)行告警-啟動(dòng)通知 ! 任務(wù)責(zé)任人當(dāng)日值班表人員!! 全鏈路任務(wù)診斷排障依賴檢查定時(shí)檢查調(diào)度檢查運(yùn)行對(duì)比依賴檢查定時(shí)檢查調(diào)度檢查運(yùn)行對(duì)比引擎資源檢查歷史運(yùn)行趨勢(shì)日志代碼詳情質(zhì)量規(guī)則檢查引擎資源檢查歷史運(yùn)行趨勢(shì)日志代碼詳情質(zhì)量規(guī)則檢查9:00任務(wù)正常運(yùn)行產(chǎn)出9:00任務(wù)正常運(yùn)行產(chǎn)出模型質(zhì)量規(guī)則設(shè)計(jì)實(shí)踐根據(jù)數(shù)據(jù)倉(cāng)庫(kù)/集市的層次及功能定位配置數(shù)據(jù)源數(shù)據(jù)源 STG層 ,-ODS層 入口層/數(shù)據(jù)引入層/基礎(chǔ)層數(shù)據(jù)清洗層/整合加工層輕度/高度匯總層維表層/事實(shí)表層出口層/應(yīng)用層/報(bào)表層2.數(shù)據(jù)治理成效體現(xiàn)：業(yè)務(wù)使用維度業(yè)務(wù)價(jià)值治理成效業(yè)務(wù)價(jià)值治理成效應(yīng)用使用頻度分析類應(yīng)用產(chǎn)品數(shù)據(jù)支撐覆蓋度使用時(shí)效數(shù)智類應(yīng)用使用頻度分析類應(yīng)用產(chǎn)品數(shù)據(jù)支撐覆蓋度使用時(shí)效數(shù)智類應(yīng)用產(chǎn)品業(yè)務(wù)類應(yīng)用產(chǎn)品業(yè)務(wù)使用構(gòu)建完整的元數(shù)據(jù)及血緣鏈路，重點(diǎn)業(yè)務(wù)應(yīng)用的使用覆蓋支撐C-里云使用時(shí)效數(shù)據(jù)支撐覆蓋度數(shù)據(jù)地圖使用時(shí)效數(shù)據(jù)支撐覆蓋度數(shù)據(jù)地圖表/字段檢索表/字段血緣應(yīng)用使用頻度 T_1·T數(shù)據(jù)使用提效：統(tǒng)一的數(shù)據(jù)搜索入口數(shù)據(jù)使用提效：統(tǒng)計(jì)使用熱度，面向使用者進(jìn)行數(shù)據(jù)推薦相關(guān)表推薦基于使用鏈基于使用鏈路的多種表基礎(chǔ)信息基于使用的字段熱度信息融合業(yè)務(wù)描述的字段信息數(shù)據(jù)使用提效：通過模型及指標(biāo)上下游血緣信息，引導(dǎo)使用在生產(chǎn)環(huán)境中，基于調(diào)度作業(yè)、數(shù)據(jù)同步等場(chǎng)景自動(dòng)解析得出的表和表、字段和字段、表和其他實(shí)體之間的血緣關(guān)系，以可視化血緣大圖的形式直觀展示數(shù)據(jù)流轉(zhuǎn)關(guān)系，表血緣表血緣-示例字段血緣字段血緣-示例數(shù)據(jù)使用提效：業(yè)務(wù)核心表，設(shè)置為常用表數(shù)據(jù)專輯通過“數(shù)據(jù)專輯”將表進(jìn)行有效組織，在自由式搜索之外，引入中心式分發(fā)的匹配模式。是把業(yè)務(wù)需求滿足度最高，質(zhì)量最好，使用路徑最短的數(shù)據(jù)模型給到用戶。3.數(shù)據(jù)治理成效體現(xiàn)：成本效能維度業(yè)務(wù)價(jià)值治理成效業(yè)務(wù)價(jià)值治理成效成本效能成本效能平臺(tái)資源成本數(shù)據(jù)計(jì)算時(shí)效分析響應(yīng)時(shí)效重點(diǎn)保障業(yè)務(wù)應(yīng)用平臺(tái)資源成本數(shù)據(jù)計(jì)算時(shí)效分析響應(yīng)時(shí)效重點(diǎn)保障業(yè)務(wù)應(yīng)用成本效能維度：?jiǎn)?dòng)治理的時(shí)機(jī)，進(jìn)行現(xiàn)狀分析分析現(xiàn)狀、預(yù)測(cè)未來、確認(rèn)重點(diǎn)治理范疇。以發(fā)起資源優(yōu)化治理為例，需要關(guān)注的數(shù)據(jù)：計(jì)算量級(jí)業(yè)務(wù)應(yīng)用數(shù)集群資源量團(tuán)隊(duì)數(shù)據(jù)分布資源冷熱分布存儲(chǔ)量級(jí)計(jì)算量級(jí)業(yè)務(wù)應(yīng)用數(shù)集群資源量團(tuán)隊(duì)數(shù)據(jù)分布資源冷熱分布存儲(chǔ)量級(jí)業(yè)務(wù)應(yīng)用數(shù)據(jù)資源分布業(yè)務(wù)應(yīng)用數(shù)據(jù)資源分布示例:存儲(chǔ)資源量拐點(diǎn)出現(xiàn)示例:存儲(chǔ)資源量拐點(diǎn)出現(xiàn)示例數(shù)據(jù)示例數(shù)據(jù)示例數(shù)據(jù)示例數(shù)據(jù)跨業(yè)務(wù)線的數(shù)據(jù)治理，需要組織架構(gòu)保障 CTO-集團(tuán)數(shù)據(jù)專業(yè)委員會(huì)集團(tuán)數(shù)據(jù)治理專題小組集團(tuán)數(shù)據(jù)治理專題小組業(yè)務(wù)治理團(tuán)隊(duì)協(xié)同合作團(tuán)隊(duì)業(yè)務(wù)治理團(tuán)隊(duì)協(xié)同合作團(tuán)隊(duì)數(shù)據(jù)平臺(tái)團(tuán)隊(duì)數(shù)據(jù)平臺(tái)團(tuán)隊(duì)定標(biāo)準(zhǔn)：《集團(tuán)數(shù)據(jù)資產(chǎn)治理規(guī)范》修訂與迭代定標(biāo)準(zhǔn)：《集團(tuán)數(shù)據(jù)資產(chǎn)治理規(guī)范》修訂與迭代協(xié)同法務(wù)/財(cái)務(wù)/安全等多個(gè)團(tuán)隊(duì)共同開展常態(tài)化數(shù)據(jù)治理協(xié)同法務(wù)/財(cái)務(wù)/安全等多個(gè)團(tuán)隊(duì)共同開展常態(tài)化數(shù)據(jù)治理團(tuán)隊(duì)核心工作組以責(zé)任人機(jī)制，作為治理落地的核心工作空間責(zé)任人業(yè)務(wù)線責(zé)任人工作空間責(zé)任人業(yè)務(wù)線責(zé)任人資產(chǎn)責(zé)任人確定責(zé)任治理的效果好壞對(duì)我有什么影響SLA|崗位職能要求|專業(yè)技能知識(shí)體確定資產(chǎn)的責(zé)任人有沒有人負(fù)責(zé)治理，是不是所有資產(chǎn)都有人負(fù)責(zé)資產(chǎn)責(zé)任人定義|責(zé)任人完整率|資產(chǎn)管理覆蓋率簡(jiǎn)化治理成效理解，建立統(tǒng)一的度量標(biāo)準(zhǔn)支持全局、項(xiàng)目、個(gè)人維度的綜合健康分評(píng)估，面向研發(fā)、質(zhì)量支持全局、項(xiàng)目、個(gè)人維度的綜合健康分評(píng)估，面向研發(fā)、質(zhì)量、計(jì)算、存儲(chǔ)、安全五大領(lǐng)域進(jìn)行細(xì)化評(píng)估部門/團(tuán)隊(duì)健康分成本效能維度：提升治理效能而伴隨業(yè)務(wù)要求進(jìn)行治理實(shí)施工作推動(dòng)時(shí)，往往發(fā)現(xiàn)，數(shù)據(jù)治理進(jìn)展緩慢、成效不足，數(shù)據(jù)問題依舊嚴(yán)重；而缺少「系統(tǒng)化」「體系化」的工具、平臺(tái)、方法來支撐數(shù)據(jù)治理落地和持續(xù)推進(jìn)，是關(guān)鍵原因之一。數(shù)據(jù)治理管理員數(shù)據(jù)資產(chǎn)負(fù)責(zé)人治理效益難評(píng)估治理效益難評(píng)估?數(shù)據(jù)治理效果沒有面向組織間統(tǒng)治理實(shí)施難度大治理實(shí)施難度大持續(xù)治理成本高持續(xù)治理成本高制定重點(diǎn)「治理計(jì)劃」，分階段達(dá)成治理目標(biāo)目標(biāo)跟蹤周期目標(biāo)跟蹤目標(biāo)跟蹤周期目標(biāo)跟蹤C(jī)-里云狀態(tài)：狀態(tài)：目標(biāo)已達(dá)成場(chǎng)景選擇內(nèi)置治理場(chǎng)景模板目標(biāo)設(shè)定制定各階段治理計(jì)劃-數(shù)據(jù)穩(wěn)定性優(yōu)化模板-存儲(chǔ)資源優(yōu)化模板-計(jì)算成本優(yōu)化模板-支持選定場(chǎng)景配套的治理目標(biāo)-結(jié)合時(shí)間周期進(jìn)行可達(dá)成目標(biāo)預(yù)估S1治理目標(biāo)-根據(jù)治理目標(biāo)，按日進(jìn)行進(jìn)展更新及成效分析-計(jì)劃結(jié)束或截止后，生成計(jì)劃總結(jié)分節(jié)約計(jì)算CU量節(jié)約計(jì)算CU量12c2024/01020304052024/06數(shù)據(jù)成本效能治理框架體系事前問題預(yù)防攔截?cái)?shù)據(jù)治理健康分評(píng)估新支持HologresSQL任務(wù)9項(xiàng)，自動(dòng)進(jìn)行SQL與配置的自動(dòng)問題發(fā)現(xiàn)與攔截l運(yùn)行前：限制select*檢查l提交前：無產(chǎn)出表檢查l發(fā)布前：調(diào)度參數(shù)遺漏檢查 資源使用分析計(jì)算資源消耗存儲(chǔ)資源消耗異動(dòng)分析資源明細(xì)融合完整豐富的元數(shù)據(jù)，以「治理健康分」事前問題預(yù)防攔截?cái)?shù)據(jù)治理健康分評(píng)估新支持HologresSQL任務(wù)9項(xiàng)，自動(dòng)進(jìn)行SQL與配置的自動(dòng)問題發(fā)現(xiàn)與攔截l運(yùn)行前：限制select*檢查l提交前：無產(chǎn)出表檢查l發(fā)布前：調(diào)度參數(shù)遺漏檢查 資源使用分析計(jì)算資源消耗存儲(chǔ)資源消耗異動(dòng)分析資源明細(xì)事后問題治理優(yōu)化涵蓋DWonHologres實(shí)時(shí)數(shù)倉(cāng)中的表/任務(wù)/API表表新支持研發(fā)、質(zhì)量、存儲(chǔ)維度等14項(xiàng)治理項(xiàng)，自動(dòng)進(jìn)行數(shù)據(jù)問題發(fā)現(xiàn)l存儲(chǔ)：長(zhǎng)時(shí)間未訪問表l質(zhì)量：熱門訪問表未配置質(zhì)量規(guī)則l研發(fā)：任務(wù)運(yùn)行時(shí)間超長(zhǎng)內(nèi)置數(shù)據(jù)問題的各類治理操作策略，幫助治理負(fù)責(zé)人低成本、高效率地達(dá)成治理目標(biāo)針對(duì)可快捷完成的治理操作，在治理工作臺(tái)中直接內(nèi)置，便于用戶批量快速完成問題優(yōu)化基于阿里巴巴十余年政企治理實(shí)踐，沉淀高優(yōu)先級(jí)治理問題，同時(shí)給出建議操作的有效操作表優(yōu)化手段生命周期修改表責(zé)任人……任務(wù)優(yōu)化手段任務(wù)下線任務(wù)暫停修改調(diào)度配置……影響分析表下線針對(duì)涉及多人協(xié)作、多治理操作環(huán)節(jié)、需要一定周期完成的治理場(chǎng)景，通過自動(dòng)化治理專項(xiàng)保障治理動(dòng)作的高效執(zhí)行與安全穩(wěn)定暫停調(diào)度Step4產(chǎn)出表生命周期管理Step4產(chǎn)出表重命名Step1延遲任務(wù)調(diào)度Step3下線任務(wù)Step2以成本優(yōu)化場(chǎng)景為例，通過數(shù)據(jù)治理中心進(jìn)行批量無效任務(wù)自動(dòng)化下線。復(fù)雜的條件判斷、散亂的處置手段、低效的重復(fù)操作無效任務(wù)不敢治理、不愿治理，造成存儲(chǔ)和計(jì)算資源的浪費(fèi)ExcelExcelDataWorks數(shù)據(jù)治理中心-優(yōu)雅下線提供流程化、自動(dòng)化執(zhí)行的數(shù)據(jù)治理優(yōu)化手段降低治理難度，規(guī)避處理風(fēng)險(xiǎn)，大幅提升治理效率自動(dòng)化執(zhí)行Step1延遲任務(wù)調(diào)度12小時(shí)Step1延遲任務(wù)調(diào)度12小時(shí)通知下游任務(wù)責(zé)任人靜默等待12小時(shí)Step2暫停任務(wù)調(diào)度12小時(shí)靜默等待靜默等待12小時(shí)StepStep3下線任務(wù)靜默等待12靜默等待12小時(shí)通知任務(wù)責(zé)任人|下游任務(wù)責(zé)任人Step4重命名產(chǎn)出表為表名_toStep4重命名產(chǎn)出表為表名_to_be_deleted靜默等待12小時(shí)通知產(chǎn)出表責(zé)任人|下游表責(zé)任人Step5刪除產(chǎn)出表通知任務(wù)責(zé)任人|產(chǎn)出表責(zé)任人通常的治理策略和階段?策略1：抓大放小(頭部?jī)?yōu)先）：?每個(gè)治理項(xiàng)在推進(jìn)上都是先批量推出頭部清單，并在推進(jìn)中吸收用戶反饋，改進(jìn)治理識(shí)別規(guī)則；?策略2：分階段重點(diǎn)突破（遞進(jìn)式治理）?存儲(chǔ)治理：針對(duì)數(shù)據(jù)的存儲(chǔ)做治理，不涉及其他因素。主要是資產(chǎn)生命周期治理、技術(shù)優(yōu)化。技術(shù)優(yōu)化主要是結(jié)合引擎?zhèn)饶芰Γ绱鎯?chǔ)切換和冷數(shù)據(jù)自動(dòng)歸檔壓縮等優(yōu)化操作。?任務(wù)治理（無效/低效資產(chǎn)下線）任務(wù)治理主要正對(duì)當(dāng)前項(xiàng)目中出現(xiàn)的大量無效任務(wù)，對(duì)其進(jìn)行專項(xiàng)的下線，如無下游無訪問節(jié)點(diǎn)、長(zhǎng)期暫停節(jié)點(diǎn)等。?鏈路治理（重復(fù)資產(chǎn)治理，ADM穿透直接使用ODS的治理）?策略3：打造日常化治理能力（治理存量；管控增量）建立配套指標(biāo)、工具和治理體系賬單（網(wǎng)頁(yè)/郵件/釘釘）明細(xì)信息治理動(dòng)作應(yīng)用賬單應(yīng)用賬單整體部門賬單個(gè)人賬單業(yè)務(wù)賬單整體部門賬單個(gè)人賬單業(yè)務(wù)賬單團(tuán)