企業(yè)數(shù)據(jù)治理實(shí)踐

1、企業(yè)數(shù)據(jù)治理實(shí)踐技術(shù)創(chuàng)新 變革未來(lái)業(yè)務(wù)背景內(nèi)部系統(tǒng)ERP、CRM、GCDC財(cái)務(wù)、EHR線上 產(chǎn)品企業(yè)-招聘 經(jīng)理人-求職、直招獵頭-推薦數(shù)據(jù) 應(yīng)用實(shí)時(shí)分析T+1報(bào)表數(shù)據(jù)分析、挖掘4000萬(wàn)+經(jīng)理人3億+日 志增量百萬(wàn)+客戶池業(yè)務(wù)困境沒(méi)有專業(yè)的數(shù)倉(cāng)團(tuán)隊(duì)沒(méi)有模型規(guī)范管理，業(yè)務(wù)表到核心報(bào)表的一步到位近兩千張表50%以上元數(shù)據(jù)缺失，命名規(guī)范不全數(shù)據(jù)質(zhì)量完全依靠分析師個(gè)人判斷，數(shù)據(jù)問(wèn)題由下往上發(fā)現(xiàn)追溯缺乏數(shù)據(jù)上下游節(jié)點(diǎn)的合作規(guī)范和溝通流程老板：報(bào)表指標(biāo)怎么全部沒(méi)數(shù)？ 分析師：?。课覇?wèn)下研發(fā)啊研發(fā)：產(chǎn)品升級(jí)，數(shù)據(jù)遷庫(kù)了分析師：報(bào)告老板！報(bào)表停更三 天，任務(wù)接口替換升級(jí)部門(mén)A：報(bào)告老板，我們廣告頁(yè)UV已經(jīng)達(dá)

2、到百萬(wàn)級(jí)別了！ 部門(mén)B：全站DAU才幾十萬(wàn)，你 們從哪兒取的數(shù)據(jù)，去重了么？ 研發(fā)A:：今天新埋點(diǎn)剛上線，日 志量預(yù)計(jì)會(huì)新增20%左右分析師A: 小C啊，你們產(chǎn)品一個(gè)月升級(jí) 了4次，字段含義改來(lái)改去的，我十幾 個(gè)報(bào)表SQL，每次都要跟著改，公司盒 飯都吃吐了工程師C: 知足吧，我這幾次可都回回 記得通知到你了好的開(kāi)端CDO重視基礎(chǔ)數(shù)據(jù)治理大數(shù)據(jù)團(tuán)隊(duì)的接口層設(shè)計(jì)完善，完整的保留了90%以上的核 心業(yè)務(wù)數(shù)據(jù)每天的拍照任務(wù)調(diào)度系統(tǒng)能夠記錄任務(wù)與任務(wù)之間的血緣關(guān)系數(shù)據(jù)在線查詢平臺(tái)提供了原始的元數(shù)據(jù)管理平臺(tái)接下來(lái)模型架構(gòu)流程規(guī)范平臺(tái)技術(shù)標(biāo)準(zhǔn)/模型/ 指標(biāo)業(yè)務(wù)用語(yǔ) 業(yè)務(wù)規(guī)則 業(yè)務(wù)模型 業(yè)務(wù)指標(biāo) 埋點(diǎn)定義元

3、數(shù)據(jù)庫(kù)數(shù)據(jù)編碼 數(shù)據(jù)格式 數(shù)據(jù)血緣 數(shù)據(jù)權(quán)限 數(shù)據(jù)存儲(chǔ)數(shù)據(jù)質(zhì)量稽核稽核規(guī)則 稽核配置 任務(wù)執(zhí)行 預(yù)警監(jiān)控業(yè)務(wù)庫(kù) 日志數(shù)據(jù) 外部數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)接口層DW層數(shù)據(jù)接口與數(shù)據(jù)服務(wù)實(shí)時(shí)分析非實(shí)時(shí)分析數(shù)據(jù)應(yīng)用-指標(biāo)管理DM層數(shù)據(jù)治理流程產(chǎn)品業(yè)務(wù)源C端B端H端ERP日志tlogblogApplog產(chǎn)品接口層C端B端H端ERP日志tlogblogApplogMySql分庫(kù)分表Hive業(yè)務(wù)實(shí)體DW層C端用戶簡(jiǎn)歷職位HiveB端用戶H端用戶客戶銷售員業(yè)務(wù)行為注冊(cè)應(yīng)聘招聘簡(jiǎn)歷更新職位更新銷售分析維度DM層行業(yè)Hive，MySql，Greenplum媒體碼分析主題拉新注冊(cè)應(yīng)聘體驗(yàn)招聘統(tǒng)計(jì)面試快銷售KPI終端地區(qū)日期組織

4、ETL日志采集系統(tǒng)ETLETLETL本地文件招服KPI職能數(shù) 據(jù) 倉(cāng) 庫(kù) 架 構(gòu)接口保留歷史：業(yè)務(wù)表全量拍照，按天存儲(chǔ)增量分區(qū)，全量和增量整 合去重保持與業(yè)務(wù)一致，開(kāi)放給用戶數(shù)據(jù)規(guī)整：分庫(kù)分表整合，生成唯一主鍵，編碼轉(zhuǎn)換，敏感字段 過(guò)濾，數(shù)據(jù)格式統(tǒng)一劃分業(yè)務(wù)主題，關(guān)聯(lián)、整合業(yè)務(wù)實(shí)體信息，匯總統(tǒng)計(jì)實(shí)體行為指 標(biāo)，寬表設(shè)計(jì)提高查詢、分析效率關(guān)鍵實(shí)體信息周期拍照，支持業(yè)務(wù)發(fā)生時(shí)上下文分析DW 統(tǒng)一數(shù)據(jù)應(yīng)用出口，屏蔽業(yè)務(wù)源變更影響DM決策層核心報(bào)表與部門(mén)級(jí)集市報(bào)表Hive保留原始加工數(shù)據(jù)，Mysql支持T+1報(bào)表，Greenplum支持10分鐘以內(nèi)的實(shí)時(shí)業(yè)務(wù)分析數(shù)倉(cāng)分層管理規(guī)范Octopus元數(shù)據(jù)管理

5、Leo任務(wù)調(diào)度系統(tǒng)Raven數(shù)據(jù)質(zhì)量稽核Mule數(shù)據(jù)同步數(shù)據(jù)血緣業(yè)務(wù)關(guān)聯(lián)生命周期管理業(yè)務(wù)規(guī)則業(yè)務(wù)對(duì)象技術(shù)平臺(tái)元數(shù)據(jù)管理停更刪除-物理歸檔-業(yè)務(wù)不可見(jiàn)保留-業(yè)務(wù)可見(jiàn)上線字段變邏輯變責(zé)任人優(yōu)先級(jí)使用記血緣影更更人變更調(diào)整錄響入庫(kù)責(zé)任人業(yè)務(wù)注釋業(yè)務(wù)歸屬業(yè)務(wù)參照數(shù)據(jù)生命周期管理血緣關(guān)系表與ETL任務(wù)表與數(shù)據(jù)表表與數(shù)據(jù)表的字段表與埋點(diǎn)事件表與UDF函數(shù)表與指標(biāo)表與報(bào)表數(shù)據(jù)血緣的應(yīng)用ETL的DAG圖任務(wù)優(yōu)先級(jí)制定銷毀上游對(duì)象約束質(zhì)量稽核影響性打通各平臺(tái)工具的 脈絡(luò)數(shù)據(jù)血緣影響庫(kù)級(jí)表級(jí)字段級(jí)指標(biāo)級(jí)埋點(diǎn)稽核對(duì)象鍵屬性時(shí)間序列業(yè)務(wù)合法性描述統(tǒng)計(jì)交叉校驗(yàn)稽核規(guī)則任務(wù)綁定定時(shí)執(zhí)行預(yù)警監(jiān)控責(zé)任到人稽核流程數(shù)據(jù)質(zhì)量稽核

6、時(shí)間序列同環(huán)比時(shí)序分析鍵屬性非空唯一參照業(yè)務(wù)合法 性數(shù)據(jù)格式字典參照主從一致統(tǒng)計(jì)屬性離散值分布連續(xù)值極值 均值分位數(shù)指標(biāo)稽核業(yè)務(wù)規(guī)則交叉校驗(yàn)規(guī)則配置定時(shí)調(diào)度結(jié)果比對(duì)分級(jí)預(yù)警數(shù)據(jù)質(zhì)量稽核規(guī)則與流程洞察業(yè)務(wù)變 動(dòng)數(shù)據(jù)量為空同環(huán)比波動(dòng)參照異常分布變更探查質(zhì)量問(wèn) 題唯一性參照異常主從一致異常值數(shù)據(jù)質(zhì)量報(bào) 告可靠性可用性業(yè)務(wù)評(píng)價(jià)治理成效標(biāo)準(zhǔn)數(shù)據(jù)質(zhì)量稽核應(yīng)用安全標(biāo)準(zhǔn)個(gè)人隱私業(yè)務(wù)敏感財(cái)務(wù)數(shù)據(jù)部門(mén)隔離等級(jí)區(qū)分?jǐn)?shù)據(jù)粒度schema表級(jí)字段級(jí)任務(wù)級(jí)接口級(jí)用戶行為查詢下載郵件審批流程自動(dòng)解析系統(tǒng)提醒人工審核數(shù)據(jù)安全產(chǎn)品定義業(yè)務(wù)用語(yǔ)，業(yè)務(wù)規(guī)則， 業(yè)務(wù)模型日志埋點(diǎn)定義維護(hù)業(yè)務(wù)研發(fā)、測(cè)試業(yè)務(wù)系統(tǒng)落地?cái)?shù)據(jù)自檢清洗與修正數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)管理，數(shù)據(jù)稽核工具與 配置，數(shù)據(jù)血緣影響與分析， 數(shù)據(jù)異常通知與預(yù)警，指標(biāo)管 理工具與配置，數(shù)據(jù)服務(wù)接口 提供規(guī)范落地質(zhì)量自檢數(shù) 據(jù) 賦 能數(shù) 據(jù) 治 理 參 與 角 色成果定時(shí)監(jiān)控上游數(shù)據(jù)結(jié)構(gòu)與質(zhì)量問(wèn)題，發(fā)現(xiàn)問(wèn)題當(dāng)天跟進(jìn)處 理，保障90%以上的核心報(bào)表與數(shù)據(jù)應(yīng)用的穩(wěn)定與可靠模型分層，統(tǒng)一了下游引用出口，上游系統(tǒng)升級(jí)改造，影響截止到DW層，節(jié)省分析師90%以上的資源投入元數(shù)據(jù)完善95%以上，構(gòu)建數(shù)倉(cāng)知識(shí)體系與數(shù)據(jù)標(biāo)準(zhǔn)，業(yè) 務(wù)與數(shù)據(jù)學(xué)習(xí)效率