數(shù)據(jù)治理學習筆記

數(shù)據(jù)治理學習筆記一、數(shù)據(jù)治理相關(guān)概念（一）數(shù)據(jù)分類數(shù)據(jù)分為：主數(shù)據(jù)、交易數(shù)據(jù)、參考數(shù)據(jù)、元數(shù)據(jù)和統(tǒng)計分析數(shù)據(jù)。主數(shù)據(jù)（MasterData），關(guān)于業(yè)務實體的數(shù)據(jù)，如：人、地點、客戶、產(chǎn)品等。主數(shù)據(jù)關(guān)注的是“人”和“物”，主數(shù)據(jù)管理（MDM）是數(shù)據(jù)治理領(lǐng)域一個專門的話題，其主要目的是對關(guān)鍵業(yè)務實體（如員工、客戶、產(chǎn)品、供應商等）建立統(tǒng)一視圖，讓客觀世界里本是同一個人或物，在數(shù)據(jù)世界里也能做到唯一識別，而不是在不同系統(tǒng)、不同業(yè)務中成為不同的人或物。交易數(shù)據(jù)/事務數(shù)據(jù)（TransactionalData），描述業(yè)務運營過程中的內(nèi)外事件或交易記錄。如：銷售訂單、采購訂單等。交易數(shù)據(jù)關(guān)注的是“事”，由于交易數(shù)據(jù)是BI分析的基礎(chǔ)，因此往往在數(shù)據(jù)質(zhì)量管理中重點關(guān)注。參考數(shù)據(jù)（ReferenceData），用于將其他數(shù)據(jù)進行分類或目錄整編的數(shù)據(jù)，規(guī)定參考數(shù)值是幾個允許值之一。如：客戶等級。參考數(shù)據(jù)是更細粒度的數(shù)據(jù)，是對“人”“事”“物”的某些屬性進行規(guī)范性描述的，對參考數(shù)據(jù)的管理一般會與主數(shù)據(jù)管理同時進行，或與BI數(shù)據(jù)質(zhì)量管理同時進行，因為指標維度和維值直接影響到BI數(shù)據(jù)質(zhì)量。元數(shù)據(jù)（MetaData），描述數(shù)據(jù)的數(shù)據(jù)，幫助理解、獲取、使用數(shù)據(jù)，分為技術(shù)元數(shù)據(jù)、業(yè)務元數(shù)據(jù)等。元數(shù)據(jù)本質(zhì)是為數(shù)據(jù)提供描述，所以任何數(shù)據(jù)都有元數(shù)據(jù)。數(shù)據(jù)治理領(lǐng)域的元數(shù)據(jù)，更多是指BI、數(shù)據(jù)倉庫這個范疇內(nèi)的元數(shù)據(jù)。統(tǒng)計分析數(shù)據(jù)（AnalyticalData），對業(yè)務進行統(tǒng)計分析的指標。目前BI系統(tǒng)建設(shè)的主要作用就是做各種指標和報表的計算和展示。指標往往是數(shù)據(jù)治理的重點，指標的數(shù)據(jù)流分析、指標數(shù)值的波動性、平衡性監(jiān)控，幾乎是各個企業(yè)做數(shù)據(jù)治理的必備應用。（二）數(shù)據(jù)治理《DAMA

數(shù)據(jù)管理知識體系指南》一書給出的定義：數(shù)據(jù)治理是對數(shù)據(jù)資產(chǎn)管理行使權(quán)力和控制的活動集合（規(guī)劃、監(jiān)控和執(zhí)行）。數(shù)據(jù)治理職能指導其他數(shù)據(jù)管理職能如何執(zhí)行。從理論上來講數(shù)據(jù)治理主要是三個目的：保證數(shù)據(jù)的可用性、數(shù)據(jù)質(zhì)量和數(shù)據(jù)安全。二、數(shù)據(jù)治理的方法誰負責數(shù)據(jù)治理？治理或者管控對象是什么？技術(shù)工具有哪些？（一）組織架構(gòu)首先來談誰負責數(shù)據(jù)治理，也就是組織架構(gòu)。從理論和國外實踐來看，大型企業(yè)會建立企業(yè)級數(shù)據(jù)治理委員會，業(yè)務部門領(lǐng)導、IT部門領(lǐng)導共同參與。在企業(yè)級之下，還可以有部門級、項目級的委員會，負責某些局部的數(shù)據(jù)治理，在最基層面向某一個業(yè)務領(lǐng)域應該有相應的數(shù)據(jù)管理專員（Data

Steward）。（二）治理/管控對象1、治理內(nèi)容從宏觀到微觀，數(shù)據(jù)的形態(tài)體現(xiàn)為數(shù)據(jù)架構(gòu)、數(shù)據(jù)標準和數(shù)據(jù)質(zhì)量標準。數(shù)據(jù)架構(gòu)，包括了數(shù)據(jù)模型（概念模型、邏輯模型）以及數(shù)據(jù)的流轉(zhuǎn)關(guān)系，一般在企業(yè)級和系統(tǒng)級會談數(shù)據(jù)架構(gòu)，主要對企業(yè)數(shù)據(jù)的分類、分布和流轉(zhuǎn)進行規(guī)劃、設(shè)計，確保新建系統(tǒng)、新建應用能夠與現(xiàn)有系統(tǒng)保持一致和融合，避免產(chǎn)生信息孤島，或者帶來重復不必要的數(shù)據(jù)集成、數(shù)據(jù)轉(zhuǎn)換。數(shù)據(jù)標準，包括了數(shù)據(jù)項、參考數(shù)據(jù)、指標等不同形式的標準。舉例來說，“客戶類型”是一個數(shù)據(jù)項，應該有統(tǒng)一的業(yè)務含義，將客戶歸類為大客戶、一般客戶的規(guī)則是什么，數(shù)據(jù)項的取值是幾位長度，有哪些有效值（如01，02，03）等。是，標準定義出來之后，執(zhí)行的情況怎么樣？是否真正落實到IT系統(tǒng)了？數(shù)據(jù)質(zhì)量標準，包括數(shù)據(jù)質(zhì)量規(guī)則以及稽核模型（即規(guī)則的組合應用）。數(shù)據(jù)質(zhì)量規(guī)則一般會關(guān)注及時性、準確性、完整性、一致性、唯一性等，展開來談還有許多內(nèi)容，有的專家整理出12個數(shù)據(jù)質(zhì)量維度，有定性的也有定量的。IT部門應該牽頭制定并且定期更新企業(yè)級的數(shù)據(jù)架構(gòu)、數(shù)據(jù)標準和數(shù)據(jù)質(zhì)量標準，作為新建系統(tǒng)和應用的指導約束。值得注意的是，在標準制定的過程中，要避免IT部門的閉門造車，一定要讓業(yè)務部門充分參與進來。2、過程管控信息系統(tǒng)建設(shè)過程。數(shù)據(jù)質(zhì)量不佳主要原因之一是在信息系統(tǒng)建設(shè)的過程中忽視了對數(shù)據(jù)的管控，這就會造成數(shù)據(jù)的設(shè)計與需求不一致，開發(fā)與設(shè)計不一致，對數(shù)據(jù)質(zhì)量要求考慮缺失，不同系統(tǒng)對數(shù)據(jù)的定義和技術(shù)實現(xiàn)不一致等等諸多問題。等待系統(tǒng)上線后再去解決這些問題，亡羊補牢，消耗資源。在信息化早期階段ERP、CRM等操作型系統(tǒng)的建設(shè)是以功能和流程為中心，而后期BI、數(shù)據(jù)倉庫、大數(shù)據(jù)平臺等數(shù)據(jù)分析平臺的建設(shè)是以數(shù)據(jù)為中心的，這就注定一些傳統(tǒng)方式需要改變，應該更加注重對數(shù)據(jù)架構(gòu)、數(shù)據(jù)標準、數(shù)據(jù)質(zhì)量的管控，更加關(guān)注數(shù)據(jù)的生命周期，否則數(shù)據(jù)分析平臺建設(shè)成功的概率不高。（三）技術(shù)工具元數(shù)據(jù)、主數(shù)據(jù)、數(shù)據(jù)質(zhì)量是主要的技術(shù)手段。如果前面所說的組織架構(gòu)、治理內(nèi)容、過程管控等管理機制、技術(shù)標準不到位，僅僅上一套軟件工具，起不到任何效果。以上軟件工具的作用又是什么呢？核心作用在于知識的固化和提高數(shù)據(jù)治理人員的工作效率。比如，需要手工編寫程序收集的元數(shù)據(jù)，工具幫你自動獲??；需要人工識別或編寫代碼實現(xiàn)的數(shù)據(jù)質(zhì)量檢查，工具幫你自動識別問題；用文檔管理的數(shù)據(jù)字典，工具幫你在線管理；基于郵件和線下的流程，工具幫你線上自動化。除此之外，數(shù)據(jù)治