簡(jiǎn)單聊一聊數(shù)據(jù)治理的策略

簡(jiǎn)單聊一聊數(shù)據(jù)治理的策略01前言為什么想開這個(gè)話題，一是因?yàn)槟壳皹I(yè)內(nèi)數(shù)據(jù)產(chǎn)品也基本完成了從0-1的建設(shè)工作，但主要集中在數(shù)據(jù)生產(chǎn)加工和數(shù)據(jù)應(yīng)用分析兩側(cè)，對(duì)于數(shù)據(jù)管治方向的建設(shè)多分散在了包括安全、指標(biāo)元數(shù)據(jù)、SLA等在內(nèi)的各個(gè)環(huán)節(jié)，缺乏統(tǒng)一的規(guī)劃統(tǒng)籌，筆者認(rèn)為，數(shù)據(jù)產(chǎn)品可以分為工具類數(shù)據(jù)產(chǎn)品、業(yè)務(wù)分析類數(shù)據(jù)產(chǎn)品和管控治理類數(shù)據(jù)產(chǎn)品三類，而工具類數(shù)據(jù)產(chǎn)品和業(yè)務(wù)分析數(shù)據(jù)產(chǎn)品市面上也開始趨近飽和，但管控治理類數(shù)據(jù)產(chǎn)品其實(shí)是更高能力要求的一個(gè)細(xì)分工種，既需要懂工具建設(shè)也需要懂?dāng)?shù)據(jù)分析，還需要具備跨多團(tuán)隊(duì)橫向協(xié)調(diào)的項(xiàng)目推動(dòng)能力和策略運(yùn)營能力；二呢，筆者曾經(jīng)就做過一次失敗的大治理工作，也做過一次相對(duì)成功的安全治理工作，也參與過指標(biāo)監(jiān)控、安全工具等的建設(shè)，所以也想把這其中那的成功和失敗的經(jīng)驗(yàn)分享出來供大家參考。02概念定義根據(jù)筆者的研究，目前業(yè)內(nèi)數(shù)據(jù)治理總結(jié)起來一共分為兩類，一類是狹義的數(shù)據(jù)治理，是指數(shù)據(jù)指標(biāo)口徑一致性的治理，此類數(shù)據(jù)治理主要是解決指標(biāo)口徑的一致性，解決數(shù)據(jù)“不準(zhǔn)”的問題，也由此引申出一些智能數(shù)倉、指標(biāo)元數(shù)據(jù)工具，比如美團(tuán)的起源、快手的蓋亞、阿里的dataphin等等；另一類是指廣義的數(shù)據(jù)治理，是指包括數(shù)據(jù)指標(biāo)口徑治理、數(shù)據(jù)安全治理、數(shù)據(jù)資源成本治理、數(shù)據(jù)資產(chǎn)元數(shù)據(jù)治理、數(shù)據(jù)產(chǎn)出治理等在內(nèi)的大治理，此類數(shù)據(jù)治理是需要綜合解決數(shù)據(jù)從采集加工到應(yīng)用分析再到銷毀全生命周期內(nèi)的口徑、成本、安全、合規(guī)和產(chǎn)出問題，在工具建設(shè)上，目前筆者看到的多是分散在數(shù)據(jù)安全、資產(chǎn)中心、SLA中心等不同的產(chǎn)品領(lǐng)域。03結(jié)論先行這次筆者就不賣關(guān)子了，直接拋觀點(diǎn)，筆者認(rèn)為，數(shù)據(jù)治理戰(zhàn)略層面的設(shè)計(jì)總結(jié)就兩點(diǎn)：第一，數(shù)據(jù)治理是一個(gè)系統(tǒng)性工程。數(shù)據(jù)治理主要面對(duì)三個(gè)問題，一是用戶心智培養(yǎng)問題，二是組織保障問題，三是系統(tǒng)提效問題，所以，單純從組織保障層面發(fā)力會(huì)面臨效率和質(zhì)量不高成本卻奇高的問題，單純從運(yùn)營機(jī)制建設(shè)層面發(fā)力會(huì)面臨缺乏組織和工具來落地策略的問題，單純從建設(shè)工具發(fā)力會(huì)面臨缺乏組織抓手且找不到核心使用用戶，需求無法進(jìn)入正向循環(huán)的問題。以上問題一句話總結(jié)就是靠組織無法長期有效，靠運(yùn)營無法落地實(shí)施，靠工具又缺乏用戶和需求持續(xù)跟進(jìn)，因此，數(shù)據(jù)治理是一個(gè)需要組織保障、運(yùn)營實(shí)施和工具建設(shè)三位一體跟進(jìn)的工作。第二，數(shù)據(jù)治理又是一個(gè)抓大放小的工程。世界本質(zhì)是一個(gè)熵增的過程，即任何事物本質(zhì)是一個(gè)自發(fā)的由有序向無序發(fā)展的過程，這個(gè)既是人性也是客觀規(guī)律，而數(shù)據(jù)治理本質(zhì)是減熵的過程，是建立秩序，因此任何的治理本身是逆人性和逆客觀規(guī)律的，需要源源不斷投入能量（資源）才能維持熵值平衡。但問題就在于，人性天然有建設(shè)性和破壞性兩面，想要秩序的存在并維持下去，本身就是需要投入非常大的建設(shè)精力和成本的，而且這個(gè)成本還不是一成不變的，它是隨著公司資產(chǎn)的累加而增加的，也是會(huì)隨著公司戰(zhàn)略、制度和文化的革新變化而變化的，因此，數(shù)據(jù)治理工程中追求完美主義是不可取的，我們要學(xué)會(huì)分類分級(jí)，學(xué)會(huì)判斷優(yōu)先級(jí)，學(xué)會(huì)抓大放小，允許有序和無序的并存。04問題分析數(shù)據(jù)治理到底解決什么問題？或者說什么問題的存在才需要數(shù)據(jù)治理？首先，我們來場(chǎng)景化模擬下數(shù)據(jù)從誕生到銷毀的一生中遇到的主要問題。場(chǎng)景1：小明是A視頻公司的策略產(chǎn)品經(jīng)理，工作職責(zé)之一就是分析用戶的特點(diǎn)和行為習(xí)慣，從而幫助算法工程師優(yōu)化視頻推薦策略，從而提高用戶對(duì)視頻APP的使用黏性。這天，小明抽樣了部分用戶瀏覽行為數(shù)據(jù)，發(fā)現(xiàn)部分用戶單位時(shí)間內(nèi)視頻切換速率較高，停留時(shí)長較短，且點(diǎn)贊和關(guān)注數(shù)都較少，小明猜測(cè)是算法推薦的質(zhì)量有問題，小明找了算法RD，算法RD卻回復(fù)最近視頻推薦的準(zhǔn)召率（準(zhǔn)確率和召回率）沒有問題，并沒有出現(xiàn)下降，肯定不是算法的問題，是視頻內(nèi)容質(zhì)量的問題，或者是抽樣數(shù)據(jù)的問題。小明很苦惱，為什么數(shù)據(jù)分析下來，小明覺得用戶對(duì)視頻的喜好度是不夠高的，但研發(fā)說準(zhǔn)召率卻沒問題，那問題出在哪？場(chǎng)景2：小紅是B咨詢公司的新來的數(shù)據(jù)分析師，最近她接到一個(gè)任務(wù)，需要為客戶的一個(gè)市場(chǎng)咨詢報(bào)告提供數(shù)據(jù)分析支持，因此小紅從業(yè)務(wù)經(jīng)理那里了解完需求后，開始從公司數(shù)據(jù)庫和第三方數(shù)據(jù)庫獲取數(shù)據(jù)，但事情卻一波三折，就單單在業(yè)務(wù)數(shù)據(jù)分析的定義上就來回溝通了好幾次，業(yè)務(wù)經(jīng)理告訴小紅她想知道a指標(biāo)的數(shù)據(jù)，小紅翻閱了前人關(guān)于a指標(biāo)的統(tǒng)計(jì)口徑記錄發(fā)現(xiàn)，a指標(biāo)居然有不下10個(gè)統(tǒng)計(jì)口徑，諸如a1字段在x1維度下的聚合、a2字段在x2維度下的聚合等等，到底應(yīng)該遵循哪個(gè)規(guī)范？結(jié)果咨詢一堆同學(xué)，發(fā)現(xiàn)每一個(gè)口徑都有特定的需求背景和定制化規(guī)則，這一通忙活。。。場(chǎng)景3：小東是C公司的數(shù)據(jù)RD，最近他經(jīng)常半夜被各種數(shù)據(jù)跑批任務(wù)延遲和失敗告警給吵醒，原來是公司最近要迎接618，活動(dòng)量的爆炸式增長導(dǎo)致業(yè)務(wù)數(shù)據(jù)量的爆炸式增長，而業(yè)務(wù)報(bào)表的數(shù)據(jù)統(tǒng)計(jì)邏輯和背后的數(shù)據(jù)源卻沒有及時(shí)優(yōu)化，導(dǎo)致集群計(jì)算資源不足以支撐暴漲的需求而出現(xiàn)任務(wù)延遲或者失敗的情況，這個(gè)情況又影響了業(yè)務(wù)報(bào)表的數(shù)據(jù)及時(shí)展示，影響了公司各業(yè)務(wù)KP郵件報(bào)表的及時(shí)性。場(chǎng)景4：小陽是D公司的安全運(yùn)營，最近公司上線了一個(gè)新業(yè)務(wù)，和已經(jīng)上線的幾家公司形成了假正經(jīng)關(guān)系，然后他最近經(jīng)常收到市場(chǎng)情報(bào)反饋，競(jìng)品公司能迅速感知到公司的投放數(shù)據(jù)和增長數(shù)據(jù)，到底是哪個(gè)環(huán)節(jié)出了問題，為什么競(jìng)品公司能這么快知道公司核心數(shù)據(jù)機(jī)密，這讓他最近壓力倍增？分析以上問題，場(chǎng)景1其實(shí)是數(shù)據(jù)指標(biāo)準(zhǔn)確性的問題，場(chǎng)景2的問題主要是數(shù)據(jù)指標(biāo)規(guī)范性和唯一性的問題，場(chǎng)景3主要是數(shù)據(jù)產(chǎn)出及時(shí)性的問題，而場(chǎng)景4是數(shù)據(jù)安全性的問題，以上，筆者認(rèn)為都屬于數(shù)據(jù)治理需要解決的問題。05治理目標(biāo)綜上，數(shù)據(jù)治理的目標(biāo)主要是解決以下四方面的問題：規(guī)范治理：解決數(shù)據(jù)完整性、規(guī)范性和唯一性問題SLA治理：解決數(shù)據(jù)產(chǎn)出及時(shí)性問題口徑治理：解決數(shù)據(jù)指標(biāo)準(zhǔn)確性和口徑一致性問題安全治理：解決數(shù)據(jù)采集生產(chǎn)應(yīng)用各環(huán)節(jié)中賬號(hào)注冊(cè)認(rèn)證、權(quán)限管理、安全審計(jì)和隱私保護(hù)等安全治理問題06策略概述1.成立數(shù)據(jù)治理委員會(huì)，提供立法和組織保障：成立治理制度執(zhí)委會(huì)，負(fù)責(zé)研究和出臺(tái)相關(guān)治理制度和規(guī)范標(biāo)準(zhǔn)，目標(biāo)是促成公司內(nèi)各個(gè)業(yè)務(wù)團(tuán)隊(duì)達(dá)成共識(shí)，形成統(tǒng)一規(guī)范，避免信息孤島成立治理產(chǎn)品執(zhí)委會(huì)，負(fù)責(zé)梳理數(shù)據(jù)各環(huán)節(jié)的需求處理流程和業(yè)務(wù)流轉(zhuǎn)流程，負(fù)責(zé)各環(huán)節(jié)的治理工具建設(shè)，形成可執(zhí)行方案，然后報(bào)制度執(zhí)委會(huì)推行成立治理技術(shù)執(zhí)委會(huì)，負(fù)責(zé)數(shù)據(jù)各環(huán)節(jié)的技術(shù)定義、模型設(shè)計(jì)和口徑維護(hù)，對(duì)數(shù)據(jù)資產(chǎn)的落庫規(guī)范性和唯一性等負(fù)責(zé)成立第三方治理審計(jì)監(jiān)察組，負(fù)責(zé)治理效果的評(píng)估、badcase的運(yùn)營跟進(jìn)和事后追溯審計(jì)2.建設(shè)數(shù)據(jù)治理套件，提供工具保障：建設(shè)資產(chǎn)治理中心，目標(biāo)是為解決數(shù)據(jù)元信息的完整性、規(guī)范性、唯一性提供技術(shù)支持建設(shè)SAL治理中心，目標(biāo)是為解決數(shù)據(jù)生產(chǎn)加工任務(wù)產(chǎn)出的及時(shí)性和任務(wù)調(diào)度的運(yùn)維提供技術(shù)支持建設(shè)指標(biāo)治理中心，目標(biāo)是統(tǒng)一指標(biāo)定義、指標(biāo)生產(chǎn)和服務(wù)，解決指標(biāo)口徑一致性和服務(wù)的效率問題建設(shè)安全治理之心，目標(biāo)是為數(shù)據(jù)安全5A領(lǐng)域）（賬號(hào)、認(rèn)證、授權(quán)、審計(jì)、隱私保護(hù)）的問題提供技術(shù)支持07策略詳述1

流程保障策略圖1：數(shù)據(jù)治理流程保障規(guī)劃示意圖思路：如上圖所示，數(shù)據(jù)治理流程保障規(guī)劃整體思路參考PDCA循環(huán)，即制定詳細(xì)規(guī)范方案，然后去驗(yàn)證并解決問題，接著檢查問題是否真實(shí)被根本解決，最后根據(jù)反饋再繼續(xù)爹迭代方案，進(jìn)入下一個(gè)循環(huán)。機(jī)制：如上圖所示，數(shù)據(jù)治理流程保障規(guī)劃整體解決機(jī)制上分為三個(gè)部分，分別是事前預(yù)防，事中監(jiān)控和事后處理。第一部分的目標(biāo)是盡量將潛在問題在未爆發(fā)前就消滅掉；第二部分的目標(biāo)是盡量將問題都找出來，減少影響范圍；第三部分的目標(biāo)是對(duì)暴露出的問題進(jìn)行快速響應(yīng)和解決，并總結(jié)經(jīng)驗(yàn)。整體流程：如上圖所示，數(shù)據(jù)治理流程保障規(guī)劃整體流程上將以解決數(shù)據(jù)質(zhì)量六性問題（唯一性、規(guī)范性、完整性、準(zhǔn)確性、及時(shí)性、安全性）為目標(biāo)，按照“規(guī)范建設(shè)-質(zhì)檢審查-發(fā)現(xiàn)問題-評(píng)估問題-解決問題-驗(yàn)收問題”的閉環(huán)流程，貫穿整個(gè)事前、事中和事后的環(huán)節(jié)。具體實(shí)施：如上圖所示，數(shù)據(jù)治理流程保障規(guī)劃的具體實(shí)施細(xì)則上，會(huì)重點(diǎn)依托易龍的“數(shù)據(jù)治理五大項(xiàng)目模塊”，然后每個(gè)模塊都按照“規(guī)范建設(shè)-質(zhì)檢審查-發(fā)現(xiàn)問題-評(píng)估問題-解決問題-驗(yàn)收問題”的閉環(huán)流程進(jìn)行梳理和規(guī)劃。1.1定義理想態(tài)①發(fā)現(xiàn)問題召回率（覆蓋率）100%準(zhǔn)確率100%指標(biāo)釋義：召回率（覆蓋率）：召回率又叫覆蓋率，是指所有真實(shí)存在的問題中，系統(tǒng)或者人工檢測(cè)出的問題占比。例如一共100條數(shù)據(jù)，其中20條存在異常，系統(tǒng)報(bào)警顯示有30條存在問題，事后被驗(yàn)證30條報(bào)警中真實(shí)存在問題的有10條，則召回率（覆蓋率）=10/20*100%=50%準(zhǔn)確率：是指所有被系統(tǒng)或者人工檢測(cè)出的問題中，真實(shí)存在問題的占比。例如一共100條數(shù)據(jù)，其中20條存在異常，系統(tǒng)報(bào)警顯示有30條存在問題，事后被驗(yàn)證30條報(bào)警中真實(shí)存在問題的有10條，則準(zhǔn)確率=10/30*100%=33.3%注意：

理論上最理想的狀態(tài)就是一次監(jiān)控任務(wù)中，所有問題都被發(fā)現(xiàn)，且所有報(bào)警的數(shù)據(jù)中沒有摻雜虛報(bào)情況，也就是召回率達(dá)到100%，準(zhǔn)確率為100%。但是實(shí)際場(chǎng)景中，這樣的理想情況幾乎是不存在的！

過度追求高召回率，監(jiān)控規(guī)則一定會(huì)設(shè)置的異常簡(jiǎn)單，那往往會(huì)有很多正常的波動(dòng)會(huì)被系統(tǒng)判定為“異?！保煌?，過度追求高準(zhǔn)確率，監(jiān)控規(guī)則一定會(huì)設(shè)置的異?？量?，那自然被報(bào)警的數(shù)據(jù)都是存在異常的，準(zhǔn)確率100%，但是這樣往往很多異常數(shù)據(jù)會(huì)被監(jiān)控系統(tǒng)給漏掉，漏報(bào)率就會(huì)異常的高！因此，優(yōu)秀的監(jiān)控系統(tǒng)都是根據(jù)實(shí)際場(chǎng)景一直在找尋召回率和準(zhǔn)確率間的平衡點(diǎn)。②解決問題響應(yīng)時(shí)長：24小時(shí)內(nèi)響應(yīng)問題定位問題：3天內(nèi)完成問題的定位解決問題：2周內(nèi)徹底解決問題③數(shù)據(jù)通道質(zhì)量丟失率<0.1%重復(fù)率<0.1%延遲率<0.5%1.2規(guī)范建設(shè)①唯一性指標(biāo)、緯度、模型、庫表、數(shù)據(jù)、報(bào)表的唯一ID唯一名稱唯一定義唯一加工邏輯唯一產(chǎn)出渠道唯一相似的指標(biāo)、緯度、模型、庫表、報(bào)表做減法，減少冗余②規(guī)范性流程規(guī)范需求→評(píng)估→處理→測(cè)試→上線→驗(yàn)收環(huán)節(jié)嚴(yán)格執(zhí)行數(shù)據(jù)和流程doublecheck測(cè)試、試驗(yàn)驗(yàn)證數(shù)據(jù)質(zhì)量和流程執(zhí)行情況日志、庫表、模型、報(bào)表、代碼有統(tǒng)一的設(shè)計(jì)和輸出規(guī)范，信息齊全、分層合理、資源使用合理③完整性日志、庫表的元信息完善，灰度測(cè)試階段只有空值率、異常值占比、分區(qū)缺失等指標(biāo)合格后方可上線發(fā)布1.3發(fā)現(xiàn)問題：監(jiān)控體系建設(shè)如圖2和圖3所示，對(duì)于重要級(jí)別的日志、指標(biāo)、庫表數(shù)據(jù)，除了粗粒度的質(zhì)檢外，還需要每天進(jìn)行更加嚴(yán)格和科學(xué)的監(jiān)控，以提前發(fā)現(xiàn)問題并推動(dòng)解決：圖2：數(shù)據(jù)埋點(diǎn)質(zhì)量監(jiān)控報(bào)表圖3：數(shù)據(jù)指標(biāo)準(zhǔn)確性監(jiān)控報(bào)表①完整性（是否缺失或不可用）日志丟失率庫表丟失率分區(qū)缺失信息缺失（0、空值、NULL）②準(zhǔn)確性業(yè)務(wù)側(cè)相同指標(biāo)不同報(bào)表間建立交叉驗(yàn)證相同報(bào)表不同指標(biāo)間建立邏輯驗(yàn)證相同報(bào)表相同指標(biāo)建立波動(dòng)驗(yàn)證技術(shù)側(cè)埋點(diǎn)間的交叉驗(yàn)證多層庫表間相同指標(biāo)交叉驗(yàn)證明細(xì)層和統(tǒng)計(jì)層建立數(shù)據(jù)量、行數(shù)、計(jì)算結(jié)果的比對(duì)驗(yàn)證③及時(shí)性日志上報(bào)有效上傳率延遲率資源使用當(dāng)前占用占比剩余資源占比任務(wù)調(diào)度完成率失敗率延遲率1.4問題分級(jí)①監(jiān)控分級(jí)對(duì)業(yè)務(wù)的影響度模型、庫表、報(bào)表使用熱度作業(yè)耗時(shí)熱度故障分級(jí)②預(yù)警分級(jí)藍(lán)色預(yù)警黃色預(yù)警紅色預(yù)警③報(bào)警方式電話郵件短信企業(yè)微信1.5事后處理①問題跟蹤處理問題分發(fā)（按業(yè)務(wù)、主題、部門等劃分問題歸屬）問題跟蹤問題原因追溯問題解決排期問題解決反饋②問題驗(yàn)收業(yè)務(wù)驗(yàn)收監(jiān)控系統(tǒng)驗(yàn)收③定責(zé)存檔事故等級(jí)劃分事故存檔2組織保障策略圖4：數(shù)據(jù)治理組織保障規(guī)劃示意圖責(zé)任劃分：以“規(guī)范建設(shè)-質(zhì)檢審查-發(fā)現(xiàn)問題-評(píng)估問題-解決問題-驗(yàn)收問題”的閉環(huán)流程為切入點(diǎn)，將“需求規(guī)劃組、模型工程組、質(zhì)檢監(jiān)控組、審計(jì)評(píng)估組、數(shù)倉工程組、應(yīng)急響應(yīng)組”分別配屬到對(duì)應(yīng)的環(huán)節(jié)中去，以提供流程執(zhí)行的組織人力保障。平臺(tái)支持：重點(diǎn)建設(shè)埋點(diǎn)管理平臺(tái)、元數(shù)據(jù)管理平臺(tái)、質(zhì)檢監(jiān)控平臺(tái)、工單管理平臺(tái)，為各流程環(huán)節(jié)中的組織人效提供幫助和支持。具體實(shí)施：如上圖所示，數(shù)據(jù)應(yīng)用PM、數(shù)據(jù)平臺(tái)PM和模型工程師將對(duì)整個(gè)數(shù)據(jù)治理組織和平臺(tái)的健康高效運(yùn)轉(zhuǎn)負(fù)責(zé)，并對(duì)其向數(shù)據(jù)治理委員會(huì)匯報(bào)。2.1成立數(shù)據(jù)治理委員會(huì)，提供立法和組織保障成立治理制度執(zhí)委會(huì)，負(fù)責(zé)研究和出臺(tái)相關(guān)治理制度和規(guī)范標(biāo)準(zhǔn)，目標(biāo)是促成公司內(nèi)各個(gè)業(yè)務(wù)團(tuán)隊(duì)達(dá)成共識(shí)，形成統(tǒng)一規(guī)范，避免信息孤島成立治理產(chǎn)品執(zhí)委會(huì)，負(fù)責(zé)梳理數(shù)據(jù)各環(huán)節(jié)的需求處理流程和業(yè)務(wù)流轉(zhuǎn)流程，負(fù)責(zé)各環(huán)節(jié)的治理工具建設(shè)，形成可執(zhí)行方案，然后報(bào)制度執(zhí)委會(huì)推行成立治理技術(shù)執(zhí)委會(huì)，負(fù)責(zé)數(shù)據(jù)各環(huán)節(jié)的技術(shù)定義、模型設(shè)計(jì)和口徑維護(hù)，對(duì)數(shù)據(jù)資產(chǎn)的落庫規(guī)范性和唯一性等負(fù)責(zé)成立第三方治理審計(jì)監(jiān)察組，負(fù)責(zé)治理效果的評(píng)估、badcase的運(yùn)營跟進(jìn)和事后追溯審計(jì)2.2項(xiàng)目落地實(shí)施劃分一系列項(xiàng)目小組成立需求規(guī)劃小組，對(duì)所有業(yè)務(wù)需求的接待和規(guī)范負(fù)責(zé)成立模型工程小組，對(duì)接數(shù)據(jù)應(yīng)用PM，對(duì)數(shù)據(jù)從業(yè)務(wù)關(guān)聯(lián)到技術(shù)側(cè)的文檔和規(guī)范負(fù)責(zé)成立質(zhì)檢監(jiān)控小組，對(duì)數(shù)據(jù)業(yè)務(wù)測(cè)試和技術(shù)測(cè)試的實(shí)施