淺談數(shù)據(jù)治理

淺談數(shù)據(jù)治理大家好

，近年來，數(shù)據(jù)治理成為挖掘數(shù)據(jù)價值的重要手段和工具。隨著大數(shù)據(jù)平臺和工業(yè)互聯(lián)網(wǎng)興起，數(shù)據(jù)治理平臺主要采用數(shù)據(jù)中臺技術(shù)和微服務(wù)架構(gòu)初步替代傳統(tǒng)架構(gòu)，面向大數(shù)據(jù)架構(gòu)下，為數(shù)據(jù)資源中心與外部數(shù)據(jù)系統(tǒng)提供數(shù)據(jù)服務(wù)。那么，數(shù)據(jù)治理到底治什么？數(shù)據(jù)治理與數(shù)據(jù)管理 數(shù)據(jù)治理數(shù)據(jù)治理是對數(shù)據(jù)資產(chǎn)管理行使權(quán)力和控制的活動集合（規(guī)劃、監(jiān)控和執(zhí)行）。 數(shù)據(jù)管理數(shù)據(jù)管理為實現(xiàn)數(shù)據(jù)和信息資產(chǎn)價值的獲取、控制、保護、交付以及提升，對政策、實踐和項目所做的計劃、執(zhí)行和監(jiān)督。數(shù)據(jù)治理是回答企業(yè)決策的相關(guān)問題并制定數(shù)據(jù)規(guī)范，數(shù)據(jù)管理是實現(xiàn)數(shù)據(jù)治理提出的決策并給予反饋，因此數(shù)據(jù)治理和數(shù)據(jù)管理的責(zé)任主體也是不同的，前者是董事會，后者是管理層。國際標(biāo)準化組織ISO指出，數(shù)據(jù)治理履行數(shù)據(jù)管理的主要職能，即數(shù)據(jù)治理規(guī)定在管理的過程中哪些決策應(yīng)被制定，以及決策者為誰，而數(shù)據(jù)管理確保這些決策的制定與執(zhí)行。概念和定義數(shù)據(jù)治理的可以分為廣義數(shù)據(jù)治理和狹義數(shù)據(jù)治理 狹義數(shù)據(jù)治理狹義的數(shù)據(jù)治理指的是數(shù)據(jù)資源及其應(yīng)用過程中相關(guān)管控活動、績效和風(fēng)險管理的集合，保證數(shù)據(jù)資產(chǎn)的高質(zhì)量、安全及持續(xù)改進。狹義的數(shù)據(jù)治理的驅(qū)動力最早源自兩個方面：內(nèi)部風(fēng)險管理的需要，風(fēng)險包括數(shù)據(jù)質(zhì)量差影響關(guān)鍵決策等為了滿足外部監(jiān)管和合規(guī)的需要。但隨著全球越來越多的企業(yè)認識到信息資產(chǎn)的重要性和價值，在過去幾年中，數(shù)據(jù)治理的目標(biāo)也在發(fā)生一些轉(zhuǎn)變。除滿足監(jiān)管和風(fēng)險管理外，如何通過數(shù)據(jù)治理來創(chuàng)建業(yè)務(wù)價值備受關(guān)注。 廣義數(shù)據(jù)治理廣義的數(shù)據(jù)治理看的含義大一狹義數(shù)據(jù)治理，包括數(shù)據(jù)管理和數(shù)據(jù)價值“變現(xiàn)”，具體包括數(shù)據(jù)架構(gòu)、主數(shù)據(jù)、數(shù)據(jù)指標(biāo)、時序數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等一系列數(shù)據(jù)管理活動的集合。數(shù)據(jù)資產(chǎn) 數(shù)據(jù)資產(chǎn)定義數(shù)據(jù)資產(chǎn)是指由企業(yè)擁有或者控制的，能夠為企業(yè)未來帶來經(jīng)濟利益的，以物理或電子的方式記錄的數(shù)據(jù)資源，如文件資料、電子數(shù)據(jù)等。在企業(yè)中，并非說有的數(shù)據(jù)都構(gòu)成數(shù)據(jù)資產(chǎn)，數(shù)據(jù)資產(chǎn)是能夠為企業(yè)產(chǎn)生價值的數(shù)據(jù)資源。在這個定義中包含3個要素。擁有或者控制：除企業(yè)內(nèi)部的數(shù)據(jù)外，通過各種渠道合法獲取的外部數(shù)據(jù)也屬于企業(yè)數(shù)據(jù)資產(chǎn)。帶來經(jīng)濟價值：體現(xiàn)了資產(chǎn)的經(jīng)濟屬性，本來能給企業(yè)帶來的經(jīng)濟利益。數(shù)據(jù)資源：數(shù)據(jù)資產(chǎn)包括以物理或者電子方式記錄的數(shù)據(jù)、軟件、服務(wù)等。 數(shù)據(jù)資產(chǎn)的管理數(shù)據(jù)資產(chǎn)管理是指規(guī)劃、控制和提供數(shù)據(jù)及信息資產(chǎn)的一組業(yè)務(wù)職能，包括開發(fā)、執(zhí)行和監(jiān)督有關(guān)數(shù)據(jù)的計劃、政策、方案、項目、流程、方法和程序，從而控制、保護、交互和提高數(shù)據(jù)資產(chǎn)的價值。數(shù)據(jù)資產(chǎn)管理需要充分融合業(yè)務(wù)、技術(shù)和管理，以確保數(shù)據(jù)資產(chǎn)的保值、增值。核心內(nèi)容完整的數(shù)據(jù)治理包括戰(zhàn)略、組織、制度、流程、績效、標(biāo)準、工具、數(shù)據(jù)價值、數(shù)據(jù)共享、數(shù)據(jù)變現(xiàn)。工業(yè)數(shù)據(jù)治理體系，包括數(shù)據(jù)戰(zhàn)略、數(shù)據(jù)治理管控體系（數(shù)據(jù)治理組織、制度、流程、管控機制、績效體系及標(biāo)準體系）、數(shù)據(jù)架構(gòu)、主數(shù)據(jù)、元數(shù)據(jù)、指標(biāo)數(shù)據(jù)、時序數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)集成與交換、數(shù)據(jù)開放和共享、數(shù)據(jù)資產(chǎn)管理能力成熟度評估以及數(shù)據(jù)價值、數(shù)據(jù)共享、數(shù)據(jù)變現(xiàn)等許多方面。 數(shù)據(jù)戰(zhàn)略數(shù)據(jù)戰(zhàn)略是整個數(shù)據(jù)治理體系的首要任務(wù)，是企業(yè)開展數(shù)據(jù)治理工作首先應(yīng)該考慮的事。數(shù)據(jù)戰(zhàn)略應(yīng)由數(shù)據(jù)治理組織中的決策層制定，需要指明數(shù)據(jù)治理的方向，包括數(shù)據(jù)治理的方針、政策等。數(shù)據(jù)戰(zhàn)略能力域關(guān)注整個組織數(shù)據(jù)戰(zhàn)略的規(guī)劃，愿景和落地實施，為組織數(shù)據(jù)管理、應(yīng)用工作的開展提供戰(zhàn)略保障，組織的數(shù)據(jù)戰(zhàn)略需要和業(yè)務(wù)戰(zhàn)略保持一致，并且要在利益相關(guān)者之間達成一致。數(shù)據(jù)戰(zhàn)略已成為企業(yè)精細化數(shù)據(jù)管理不可或缺的基礎(chǔ)，只有切實落實好數(shù)據(jù)戰(zhàn)略工作，才能提升企業(yè)數(shù)據(jù)質(zhì)量、實現(xiàn)企業(yè)數(shù)據(jù)價值升華，為企業(yè)數(shù)字化轉(zhuǎn)型奠定基礎(chǔ)。數(shù)據(jù)資產(chǎn)頂層設(shè)計不僅僅是一個報告、一份文件，更是企業(yè)系統(tǒng)性設(shè)計未來的大膽假設(shè)、小心求證、集體溝通、達成共識、形成機制、頒發(fā)軍令狀的過程。數(shù)據(jù)資產(chǎn)頂層規(guī)劃設(shè)計方法論正確的頂層設(shè)計是企業(yè)家對未來形勢的正確判斷，對機會和戰(zhàn)略，治理與架構(gòu)，資本和模式，供應(yīng)鏈和數(shù)字化，品牌和營銷，產(chǎn)品和客戶等整體一盤棋的布局。如果說商戰(zhàn)就是沒有硝煙的戰(zhàn)爭，那么頂層設(shè)計則是整體戰(zhàn)的部署 組織管理建立合適的數(shù)據(jù)治理組織是企業(yè)數(shù)據(jù)治理的關(guān)鍵。數(shù)據(jù)治理的組織建設(shè)一般包括組織架構(gòu)設(shè)計、部門職責(zé)、人員編制、崗位職責(zé)及能力要求、績效管理等內(nèi)容。數(shù)據(jù)治理是一項需要企業(yè)通力協(xié)作的工作，而有效的組織架構(gòu)是企業(yè)數(shù)據(jù)治理能夠成功的有力保障。為達到數(shù)據(jù)戰(zhàn)略目標(biāo)，非常有必要建立體系化的組織架構(gòu)，明確職責(zé)分工。 制度體系企業(yè)的數(shù)據(jù)治理必須要有相關(guān)制度，否則無法可依，再好的技術(shù)工具也沒有用。因此，建立完善的數(shù)據(jù)治理制度很重要。保障組織架構(gòu)正常運轉(zhuǎn)和數(shù)據(jù)治理各項工作的有序?qū)嵤枰⒁惶缀w不同管理粒度、不同適用對象，異覆蓋數(shù)據(jù)治理過程的管理制度體系，從“法理”層面保障數(shù)據(jù)治理工作有據(jù)、可行、可控。數(shù)據(jù)治理制度框架分為政策、制度、細則、手冊4個梯次。數(shù)據(jù)治理制度框架企業(yè)的數(shù)據(jù)治理制度通常根據(jù)企業(yè)的IT制度的總體框架和指導(dǎo)原則制定，往往包含數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)標(biāo)準管理、數(shù)據(jù)安全管理、數(shù)據(jù)績效管理等制度，以及元數(shù)據(jù)管理、主數(shù)據(jù)管理、交易數(shù)據(jù)管理、數(shù)據(jù)指標(biāo)管理等辦法及若干指導(dǎo)手冊。數(shù)據(jù)治理制度框架體系數(shù)據(jù)資產(chǎn)管理規(guī)定目錄 流程管理制定數(shù)據(jù)治理的流程框架也是數(shù)據(jù)治理的重要工作。數(shù)據(jù)治理流程主要包括從數(shù)據(jù)的生產(chǎn)、存儲、處理、使用、共享、銷毀全生命周期過程中所遵循的活動步驟，以及元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)指標(biāo)管理等流程。數(shù)據(jù)治理流程框架體系 績效管理數(shù)據(jù)治理考核是保障數(shù)據(jù)治理制度落實的根本，是一種正式的員工評估制度，通過系統(tǒng)的方法、原理來評定和測量企業(yè)員工在一段時間內(nèi)數(shù)據(jù)治理相關(guān)的工作行為和工作效果，進一步激發(fā)員工的積極性和創(chuàng)造性，提供員工的數(shù)據(jù)治理責(zé)任心和基本素質(zhì)。數(shù)據(jù)治理績效體系要使數(shù)據(jù)治理的體系運轉(zhuǎn)好，必須要有好的激勵體系。數(shù)據(jù)績效管理包括數(shù)據(jù)管理指標(biāo)、數(shù)據(jù)認責(zé)機制、數(shù)據(jù)考核標(biāo)準、數(shù)據(jù)管理的獎懲機制，以及績效管理過程的一系列活動集合。 標(biāo)準體系數(shù)據(jù)標(biāo)準是實現(xiàn)數(shù)據(jù)標(biāo)準化、規(guī)范化的前提，是保證數(shù)據(jù)質(zhì)量的必要條件。數(shù)據(jù)標(biāo)準一般分為元數(shù)據(jù)標(biāo)準、主數(shù)據(jù)標(biāo)準、交易數(shù)據(jù)標(biāo)準、數(shù)據(jù)指標(biāo)標(biāo)準、數(shù)據(jù)分類標(biāo)準、數(shù)據(jù)編碼標(biāo)準、數(shù)據(jù)集成標(biāo)準等內(nèi)容。數(shù)據(jù)標(biāo)準管理是規(guī)范數(shù)據(jù)標(biāo)準的內(nèi)容、程序和方法的活動，分為標(biāo)準制定、標(biāo)準實施和控制、標(biāo)準修訂等。數(shù)據(jù)標(biāo)準化體系 質(zhì)量體系數(shù)據(jù)質(zhì)量是指數(shù)據(jù)的適用性，描述數(shù)據(jù)對業(yè)務(wù)和管理的滿意度。數(shù)據(jù)質(zhì)量主要指數(shù)據(jù)的準確性、及時性、完整性、唯一性、一致性，有效性六個方面。數(shù)據(jù)質(zhì)量管理是對數(shù)據(jù)的分析、監(jiān)控、評估和改進的過程。包括規(guī)劃和實施質(zhì)量管理技術(shù)，以測量、評估和提高數(shù)據(jù)在組織內(nèi)的適用性，提高數(shù)據(jù)對業(yè)務(wù)和管理的滿足度。重點關(guān)注數(shù)據(jù)質(zhì)量需求、數(shù)據(jù)質(zhì)量檢查、數(shù)據(jù)質(zhì)量分析和數(shù)據(jù)質(zhì)量提升的實現(xiàn)能力。數(shù)據(jù)質(zhì)量框架體系數(shù)據(jù)質(zhì)量管理貫穿數(shù)據(jù)生命周期的全過程，除了明確數(shù)據(jù)質(zhì)量管理的策略，還要善于使用數(shù)據(jù)質(zhì)量管理的手段及工具，覆蓋數(shù)據(jù)質(zhì)量需求、數(shù)據(jù)探查、數(shù)據(jù)診斷、質(zhì)量評估、數(shù)據(jù)監(jiān)控、數(shù)據(jù)清洗、質(zhì)量提升等方面。 安全體系數(shù)據(jù)安全管理是為了確保數(shù)據(jù)隱私和機密性得到維護，數(shù)據(jù)不被破壞，數(shù)據(jù)被適當(dāng)訪問。通過采用各種技術(shù)和管理措施，保證數(shù)據(jù)的機密性、完整性和可用性。數(shù)據(jù)安全體系框架通過3個維度構(gòu)建而成，包括政策法規(guī)、技術(shù)層面和安全組織人員。數(shù)據(jù)安全治理體系框架在符合政策法規(guī)及標(biāo)準規(guī)范的同時，需要在技術(shù)上實現(xiàn)對數(shù)據(jù)的實時監(jiān)管，并配合經(jīng)過規(guī)范培訓(xùn)的安全組織人員，構(gòu)成了數(shù)據(jù)安全治理整體架構(gòu)的建設(shè)。數(shù)據(jù)安全治理體系數(shù)據(jù)安全治理能力建設(shè)并非單一產(chǎn)品或平臺的構(gòu)建，而是建設(shè)一個覆蓋數(shù)據(jù)全部生命周期和使用場景的數(shù)據(jù)安全體系，需要從決策到技術(shù)，從制度到工具，從組織架構(gòu)到安全技術(shù)通盤考慮。數(shù)據(jù)數(shù)據(jù)全部生命周期 平臺工具搭建云數(shù)智一體化數(shù)據(jù)平臺，滿足前臺應(yīng)用準確性、快速性和多樣性的數(shù)據(jù)需求，縮短研發(fā)周期、降低技術(shù)成本，將數(shù)據(jù)中心逐步由成本中心向資產(chǎn)中心轉(zhuǎn)變，提升數(shù)據(jù)價值，實現(xiàn)五個打通：（1）橫向打通：破除部門壁壘，打通專業(yè)。橫向跨專業(yè)間的分析挖掘融通；（2）縱向打通：內(nèi)部多層級數(shù)據(jù)打通，形成統(tǒng)一資源目錄。上下級數(shù)據(jù)共享交換；（3）內(nèi)外打通：消除內(nèi)外數(shù)據(jù)的鴻溝，實現(xiàn)內(nèi)外部數(shù)據(jù)的關(guān)聯(lián)分析；（4）管理打通：建立企業(yè)標(biāo)準，實現(xiàn)統(tǒng)一管理統(tǒng)計口徑；（5）服務(wù)打通：數(shù)據(jù)中臺統(tǒng)一對外提供數(shù)據(jù)服務(wù)和應(yīng)用構(gòu)建，與業(yè)務(wù)系統(tǒng)和數(shù)據(jù)應(yīng)用充分協(xié)同。頂層架構(gòu)五域管理視圖：管控域在數(shù)據(jù)治理戰(zhàn)略指導(dǎo)下制訂企業(yè)數(shù)據(jù)治理組織，明確組織的責(zé)、權(quán)、利，崗位編制及技能要求。治理域：是數(shù)據(jù)治理的主體，明確數(shù)據(jù)治理的對象和目標(biāo)。技術(shù)域