數據資產管理解決方案

PAGE\*ROMANPAGE\*ROMANIII數據資產管理解決方案目 錄一、數據資產管理概述 1(一)數據資產管理的定義與內涵 1數據資產管理的概念 1數據資產管理的內涵 2數據資產管理的演變 3(二)數據資產管理的重要性 4數據價值難以有效發(fā)揮的原因 5數據資產管理是充分發(fā)揮數據價值的必經之路 6(三)數據資產管理是各方關注的重要議題 8(四)數據資產管理的現狀與發(fā)展 10數據管理對象變化 10處理架構更新?lián)Q代 組織職能升級變遷 12管理手段自動智能 12應用范圍不斷擴大 13二、數據資產管理的主要內容 14(一)管理職能 14數據標準管理 14數據模型管理 15元數據管理 17主數據管理 19數據質量管理 20數據安全管理 21數據價值管理 22數據共享管理 25(二)保障措施 26制定戰(zhàn)略規(guī)劃 27完善組織架構 27建立制度體系 29設置審計機制 31開展培訓宣貫 31三、數據資產管理的實施要點 33(一)實施步驟 33第一階段：統(tǒng)籌規(guī)劃 34第二階段：管理實施 35第三階段：稽核檢查 37第四階段：資產運營 38(二)實踐模式 40數據資產管理的建設策略 40數據資產管理的切入方式 42(三)軟件工具 43數據標準管理工具 44數據模型管理工具 45元數據管理工具 46主數據管理工具 47數據質量管理工具 48數據安全管理工具 49數據價值管理工具 50數據服務管理工具 51(四)成功要素 52明確責權利標，有效推進管理 52合理引進技術，提升治理能力 53著眼業(yè)務應用，釋放數據價值 54加強數據合規(guī)，注重風險風控 54持續(xù)迭代完善，形成良性閉環(huán) 55PAGEPAGE6一、數據資產管理概述盤活(一)數據資產管理的定義與內涵數據資產管理的概念（Data數據資產管理（DAM，DataAssetManagement）是指規(guī)劃、控制數據資產管理的內涵數據資產管理在大數據體系中的定位如圖1所示，它位于應用一是圖1 數據資產管理在大數據體系中的定位數據資產管理的演變數據管理的概念是伴隨上世紀八十年代數據隨機存儲技術和數的。國際數據管理協(xié)會（DAMADataManagementAssociationInternational）2009DMBOK1.0①中，DAMA102015年，DAMA在DBMOK2.0知識領域將其擴展為11個管理①TheDAMAGuidetotheDataManagementBodyofKnowledge（，Bsnssteigce一是二是三是(二)數據資產管理的重要性數據價值難以有效發(fā)揮的原因一是缺乏統(tǒng)一數據視圖二是數據孤島普遍存在三是數據質量低下LarryEnglish25%③四是缺乏安全的數據環(huán)境(BreachLevelIndex)監(jiān)測，②/articles/data-silos-are-the-greatest-stumbling-block-to-an③/podcast/Data-quality-trends-with-expert-Larry-English2013130五是缺乏數據價值管理體系的最優(yōu)路徑。數據資產管理是充分發(fā)揮數據價值的必經之路二是提升數據質量。早在1957年的時候，計算機剛剛發(fā)明的時④https:///PAGEPAGE58候，大家就意識到數據對于計算機決策的影響，提出GarbageInGarbageOut2001（DataQualityc08四是提高數據獲取效率。Gartner統(tǒng)計，數據分析人員或數據科70%到80%五是保障數據安全合規(guī)。保障安全是數據資產管理的底線，數據⑤/wiki/Garbage_in,_garbage_out(三)數據資產管理是各方關注的重要議題20177行業(yè)層面，金融行業(yè)高度重視數據資產管理工作。2016年12月3020185月，銀保監(jiān)會（原銀監(jiān)會）2018會針對非銀行支付機構數據資產管理狀況開展了調研。醫(yī)療行業(yè)，20189（20194（通信研究院發(fā)布了《中國工業(yè)企業(yè)數據資產管理調查報告（8201761定：“。2018525(GDPR)正式(四)數據資產管理的現狀與發(fā)展圖2 大數據背景下的數據資產管理特點特征數據管理對象變化在數據量方面GBTBPB級、EB在數據格式種類方面在數據來源方面處理架構更新?lián)Q代Gartner2018HadoopSpark計算存儲混搭ETLETL結架構體系是⑥中抽⑥數據湖（Dtaaebob取想要的原始數據進行建模分析。組織職能升級變遷ITIT現了越來越多的企業(yè)設置專門的“數據管理”職能部門或首席數據官（CDO，ChiefDataOfficer）崗位。在這種變遷背景下，數據管理的組織架構也面臨革新的需求。管理手段自動智能依靠“手工人力”的電子表格數據治理模式即將被“自動智能”的專業(yè)工具平臺工具”析和機器學習等任務的轉換數據。數據湖可以包括來自關系數據庫（行和列）數據CSVXM，JSO，非結構化數據（電子郵件，文檔，PDF）（圖像，音頻，視頻。來源：維基百科應用范圍不斷擴大數據資產管理的使用不僅僅局限于擁有海量數據或強大數據處理能力的機構，任何一個機構都可以成為數據資產化管理的實踐者。二、數據資產管理的主要內容如圖385圖3 數據資產管理體系架構(一)管理職能8數據標準管理數據標準是指保障數據的內外部使用和交換的一致性和準確性的規(guī)范性約束，通?？煞譃榛A類數據標準和指標類數據標準?；A類數據標準指標類數據標準（3（和相關公共代碼和編碼（如國標、行標等數據標準管理動包括：數據模型管理數據模型是現實世界數據特征的抽象，用于描述一組數據的概念其ER述現實世界的概念化結構，與具體的數據庫管理系統(tǒng)（DBMS，DatabaseManagementSystem）無關；DBMSDBMS數據模型管理模型和數據標準詞典的同步、數據模型審核發(fā)布、數據模型差異對比、版本管理等。數據模型管理的關鍵活動包括：元數據管理（encaletdt（uissMeadt管理元數據（MngeentMtdaa元數據管理（MetaDataManagement）向前看我”向后看我”看歷史”：過去的我看本體我向上看我向下看我元數據分析（血緣分析、影響分析、數據地圖等主數據管理主數據（MasterData）是指用來描述企業(yè)核心業(yè)務實體的數據，固定COA、BOM等。（MDMData數據質量管理數據質量（數據是否按照要求的規(guī)則存儲、一致性（（數據質量管理括：數據安全管理數據安全管理是指對數據設定安全等級，按照相應國家/組織相數據安全管理的關鍵活動包括：。數據價值管理數據價值管理數據成本（IT（。數據成本管理從度量成本的維度出發(fā)，通過（收益（收益管理ROI表1 數據成本和價值評估的維度計量維度各維度描述數據成本評估采集、存儲和計算成本評估IT等運維成本評估主要包括計量業(yè)務操作費、技術操作費等數據價值評估活性評估活性指標主要包括數據連接度、貢獻度等，數據的高連接度和貢獻度，意味著高活性和高數據價值。數據質量評估數據質量評估指標主要包括數據一致性、準確性、完整性、及時性等，高數據質量意味著搞數據價值數據稀缺性評估數據稀缺性描述數據的供給數量及供給方數量的多寡，通過與最大供給方數量或數據供給豐富程度相比較，判斷數據稀缺性，高稀缺性數據意味著高數據價值數據時效性評估數據時效性描述數據的時間特性對應用的滿足程度，較高的滿足程度意味著高的數據時效性，即高數據價值數據應用場景經濟性評估數據應用場景經濟型描述在具體場景下數據集的經濟通過比較某場景下的經濟價值與所有場景中的最大經性意味著高數據價值。當前，對于數據資產評估的研究還處于早期階段，評估方法手段如表表2 數據資產價值評估典型方法比較成本法收益法市場法優(yōu)點容易把握和操作考慮未來預期收益和方接受能反映資產目前市場狀況，易被雙方接受缺點對價值的估算往往偏低預測難度大、偏主觀對市場環(huán)境要求高、評估難度大適用場景第三方機構，不以交易為目的，如政務數據適合于數據買方較少進行數據價值管理的關鍵性活動包括：數據共享管理數據共享管理（數據共享管理的關鍵活動包括：求；進。(二)保障措施責權利制定戰(zhàn)略規(guī)劃IT完善組織架構圖4數據資產管理保障措施組織架構中。與上述典型的數據資產管理架構相適應的角色職責如下表。表3 數據資產管理組織架構角色職責組織結構角色角色描述角色主要職責人員能力要求由公司主管負責領導數據資產管理工作；熟悉組織行為學、產品、財務知識，數據資產管領導和各業(yè)決策數據資產管理重大工作內具備團隊管理、商業(yè)分析與判斷、數數據決策者理委員會務部門領導容和方向。在數據角色方出現據和戰(zhàn)略規(guī)劃能力。組成問題時負責仲裁。負責牽頭制定數據資產管理的熟悉項目管理、關聯(lián)管理、質量管理能力，具備項目規(guī)劃、跟蹤和控制、認責沖突；監(jiān)督各項數據規(guī)則風險識別與管控、敏捷項目管理、溝數據管理中數據資產管和規(guī)范的約束的落實情況；負通與執(zhí)行和產品規(guī)劃能力。數據管理者心機構的平理中心責數據資產管理平臺中整體數臺運營人員據的管控流程制定和平臺功能系統(tǒng)支撐的實施；負責數據平臺的整體運營、組織、協(xié)調。配合制定相關數據標準、數據ITIL制度和規(guī)則；遵守和執(zhí)行數據技術、網絡、應用架構，具備資源規(guī)相關數據所標準管控相關的流程，根據數劃和成本控制、質量管理、數據庫和數據提供者有人和權限據標準要求提供相關數據規(guī)過程/規(guī)范設計能力，同時具備一定的管理人員范。作為數據出現質量問題時大數據平臺運營能力。的主要責任者。各業(yè)務/技熟悉行業(yè)系統(tǒng)和工具、組件，數據傳術部門負責數據開發(fā)，有責任執(zhí)行數輸、存儲、計算和分析，運營支持系據標準和數據質量內容，負責統(tǒng)，和運維效率和監(jiān)控的相關知識；數據開發(fā)人數據開發(fā)者從技術角度解決數據質量問具備系統(tǒng)規(guī)劃和設計、技術開發(fā)、數員題。作為數據出現質量問題時據分析和建模、測試設計能力，具備的次要責任者。一定的DevOps與大數據平臺開發(fā)能力。數據消費者數據使用人用戶和外部用戶作為數據資產管理平臺數據的為數據資產管理平臺數據閉環(huán)流程的發(fā)起人。熟悉數據處理、業(yè)務能力、技術知識(關聯(lián)知識)，具備數據規(guī)劃、產品應程如圖5圖5數據認責機制建立制度體系數據資產管理規(guī)范包括元數據管理規(guī)范、生命周期管理規(guī)范、數據質量管理規(guī)范以及數據安全管理規(guī)范等對應管理職能的具體規(guī)范。圖6一種典型的制度體系架構舉例。圖6一種典型的制度體系架構設置審計機制開展培訓宣貫規(guī)范化。等。三、數據資產管理的實施要點完整的企業(yè)或機構大數據能力的構建步驟一般是“建立組織架構→應用需求梳理→數據盤點梳理→引進平臺技術→匯聚多源數據治理數據數據運營(一)實施步驟數據資產管理可參考按照統(tǒng)籌規(guī)劃→管理實施→稽核檢查→資產運營”四個階段的方法策略執(zhí)行，每個階段對應的管理職能如圖圖7數據資產管理實施步驟第一階段：統(tǒng)籌規(guī)劃第一步第二步第三步、第三步的主要交付物包括：《數據資產標準管理辦法》。第二階段：管理實施實首先其次再次平民化（。第二階段的工作目標主要是為企業(yè)打造核心的管理數據資產的（。第三階段：稽核檢查稽核檢查階段是保障數據資產管理實施階段涉及各管理職能有這個階段需要抓好三個“常態(tài)化”。首先要提升數段解決”的理念。盡可能從數據源頭提升數據質量。其次價值，為企業(yè)帶來經濟效益。20195》公開征求意見的通知。企業(yè)應通過建立對第四階段：資產運營資產管理實現價值的最終階段，該階段包括開展數據資產價值評估、數據資產內部共享和運營流通等。數據資產價值評估能夠以合理的方式管理內部數據和提供對外計量應當考慮市場參與者通過最佳使用資產或將其出售給最佳使用數據資產內部共享和運營流通需要加強管理運營手段和方式方(二)實踐模式數據資產管理在“統(tǒng)籌規(guī)劃→管理實施→稽核檢查→資產運營”數據資產管理的建設策略企業(yè)數據資產管理的建設策略主要包括自上而下和自下而上兩見表4。表4 數據資產管理的兩種建設策略建設策略建設要點優(yōu)缺點自上而下模式時間和投入成本很大，見效慢。由下而上模式需求驅動，快速行動，見效快；自上而下建設策略調研數據資產分布現狀：數據資產現狀調研在數據評估數據資產管理水平：通過自評估或者專業(yè)機構進行數據資產管理評估，將幫助企業(yè)在自上而下實施之前了解當前自身數據資產管理的現狀，明確存在的問題和潛在的建設數據資產管理體系：數據資產管理工作是一項數據資產管理自下而上建設策略的顯著特點是問題導向、系統(tǒng)建設先行、快速見效”產管理平臺，實現問題的逐個擊破，并逐漸探索出全面的解決方案。數據資產管理的切入方式系統(tǒng)入手的常用建設模式包括企業(yè)數據模型建設模式以及主數據建表5。表5 數據資產管理的切入方式切入方式細分方式切入要點生產系統(tǒng)入手大型生產系統(tǒng)開發(fā)建設模式和業(yè)務領域數據的企業(yè)級標準和質量管控。企業(yè)數據模型建設模式的數據錄入，保證數據質量。主數據建設模式從解決主數據的質量和業(yè)務協(xié)同入手，推動生產環(huán)節(jié)在客戶、物料、組織機構、產品、統(tǒng)一編碼。數據系統(tǒng)入手統(tǒng)一數據平臺模式量