版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
企業(yè)數(shù)據(jù)治理指南2022目錄概念及方法篇第1章企業(yè)數(shù)據(jù)治理概述數(shù)據(jù)治理的相關(guān)概念什么是數(shù)據(jù)?什么是元數(shù)據(jù)?什么是主數(shù)據(jù)、靜態(tài)數(shù)據(jù)(中心)什么是企業(yè)數(shù)據(jù)治理?企業(yè)數(shù)據(jù)治理的價(jià)值有哪些?企業(yè)數(shù)據(jù)治理的源、末端模式企業(yè)的二次數(shù)據(jù)治理主數(shù)據(jù)管理的局限主數(shù)據(jù)的動(dòng)態(tài)性問題主數(shù)據(jù)管理無法滿足業(yè)務(wù)場(chǎng)景需求主數(shù)據(jù)管理項(xiàng)目實(shí)施后運(yùn)維難以保障主數(shù)據(jù)管理項(xiàng)目實(shí)施后數(shù)據(jù)質(zhì)量并未改善企業(yè)數(shù)據(jù)治理該走向何方構(gòu)建數(shù)據(jù)治理整體架構(gòu)確保數(shù)據(jù)治理的整體性全方位重構(gòu)數(shù)據(jù)標(biāo)準(zhǔn)體系徹底改善數(shù)據(jù)環(huán)境構(gòu)建全視角管控的靜態(tài)數(shù)據(jù)中心全面保障數(shù)據(jù)質(zhì)量通過技術(shù)+行為的手段深層次保障數(shù)據(jù)質(zhì)量構(gòu)建日常數(shù)據(jù)質(zhì)量監(jiān)測(cè)體系持續(xù)確保數(shù)據(jù)質(zhì)量構(gòu)建基于場(chǎng)景的數(shù)據(jù)服務(wù)體系推進(jìn)數(shù)據(jù)資產(chǎn)化管理2“八步走”實(shí)施企業(yè)數(shù)據(jù)治理現(xiàn)狀自查——摸清數(shù)據(jù)管理現(xiàn)狀精心籌備——做好數(shù)據(jù)治理項(xiàng)目的啟動(dòng)工作項(xiàng)目篇
全面排查——開展項(xiàng)目調(diào)研分析構(gòu)建數(shù)據(jù)管理體系——重塑數(shù)據(jù)管理標(biāo)準(zhǔn)存量數(shù)據(jù)改造——解決已有質(zhì)量問題構(gòu)建數(shù)據(jù)交換架構(gòu)——徹底打通數(shù)據(jù)孤島行為管控——優(yōu)化增量數(shù)據(jù)質(zhì)量能力轉(zhuǎn)移——保障高效的數(shù)據(jù)運(yùn)維管理第3章5個(gè)角度自查數(shù)據(jù)管理現(xiàn)狀自查數(shù)據(jù)環(huán)境自查數(shù)據(jù)質(zhì)量自查數(shù)據(jù)安全自查數(shù)據(jù)交換自查數(shù)據(jù)運(yùn)維第43個(gè)關(guān)鍵點(diǎn)把握數(shù)據(jù)治理項(xiàng)目的啟動(dòng)時(shí)機(jī)明確數(shù)據(jù)治理項(xiàng)目的原則和目標(biāo)5——項(xiàng)目實(shí)施方法論及調(diào)研分析項(xiàng)目實(shí)施方法論確定數(shù)據(jù)治理項(xiàng)目方法論明確數(shù)據(jù)治理項(xiàng)目路線圖確定數(shù)據(jù)治理項(xiàng)目里程碑項(xiàng)目調(diào)研分析明確調(diào)研原則框定調(diào)研范圍收集整理相關(guān)資料針對(duì)調(diào)研結(jié)果進(jìn)行集中討論進(jìn)行全面翔實(shí)的差距分析第6——構(gòu)建數(shù)據(jù)管理體系構(gòu)建數(shù)據(jù)標(biāo)準(zhǔn)體系構(gòu)建數(shù)據(jù)管理組織、制度和流程構(gòu)建數(shù)據(jù)模型體系構(gòu)建數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)體系構(gòu)建數(shù)據(jù)安全標(biāo)準(zhǔn)體系構(gòu)建數(shù)據(jù)交換標(biāo)準(zhǔn)體系技術(shù)實(shí)現(xiàn)——數(shù)據(jù)管理體系落地?cái)?shù)據(jù)治理平臺(tái)(中翰EDG)功能概述實(shí)現(xiàn)數(shù)據(jù)管理體系的落地第7章解決已有數(shù)據(jù)質(zhì)量問題——徹底清洗存量數(shù)據(jù)分析存量數(shù)據(jù)質(zhì)量制定清洗策略制定清洗規(guī)則數(shù)據(jù)清洗的背景數(shù)據(jù)質(zhì)量現(xiàn)狀分析確定數(shù)據(jù)清洗流程技術(shù)實(shí)現(xiàn)——實(shí)施存量數(shù)據(jù)清洗數(shù)據(jù)清洗后的業(yè)務(wù)系統(tǒng)處理第8章完善數(shù)據(jù)交換架構(gòu)——徹底打通數(shù)據(jù)孤島企業(yè)數(shù)據(jù)交換管理現(xiàn)狀構(gòu)建基于靜態(tài)數(shù)據(jù)中心的數(shù)據(jù)交換架構(gòu)企業(yè)數(shù)據(jù)交換架構(gòu)的技術(shù)實(shí)現(xiàn)定義數(shù)據(jù)交換規(guī)則接入數(shù)據(jù)治理平臺(tái)第9章行為約束——優(yōu)化增量數(shù)據(jù)質(zhì)量數(shù)據(jù)采集階段的行為管控?cái)?shù)據(jù)生成后的行為管控第10章確保順利——企業(yè)數(shù)據(jù)治理項(xiàng)目的管理項(xiàng)目文檔的管理項(xiàng)目實(shí)施過程的管理項(xiàng)目咨詢階段的過程管理項(xiàng)目實(shí)施階段的過程管理項(xiàng)目進(jìn)度的管理針對(duì)性地開展項(xiàng)目培訓(xùn)第11章以終為始——順暢開展數(shù)據(jù)運(yùn)維工作建立完備的數(shù)據(jù)運(yùn)維架構(gòu)用好數(shù)據(jù)運(yùn)維管理工具注重?cái)?shù)據(jù)治理知識(shí)的收集和轉(zhuǎn)移第12章拒絕失敗——數(shù)據(jù)治理項(xiàng)目的風(fēng)險(xiǎn)管控經(jīng)驗(yàn)篇
數(shù)據(jù)治理項(xiàng)目中的風(fēng)險(xiǎn)及管控?cái)?shù)據(jù)管理體系面臨的風(fēng)險(xiǎn)數(shù)據(jù)建模面臨的風(fēng)險(xiǎn)存量數(shù)據(jù)清洗面臨的風(fēng)險(xiǎn)數(shù)據(jù)交換治理面臨的風(fēng)險(xiǎn)數(shù)據(jù)治理知識(shí)轉(zhuǎn)移面臨的風(fēng)險(xiǎn)數(shù)據(jù)治理項(xiàng)目后的風(fēng)險(xiǎn)及管控?cái)?shù)據(jù)日常管控治理面臨的風(fēng)險(xiǎn)數(shù)據(jù)體系拓展面臨的風(fēng)險(xiǎn)數(shù)據(jù)日常檢測(cè)面臨的風(fēng)險(xiǎn)經(jīng)驗(yàn)1數(shù)據(jù)治理三步走——天保控股集團(tuán)踏上智慧化轉(zhuǎn)型之路經(jīng)驗(yàn)2聚焦核心,點(diǎn)滴做起——數(shù)據(jù)治理支撐山航集團(tuán)數(shù)字化管理經(jīng)驗(yàn)3從構(gòu)建數(shù)據(jù)治理體系開始——驗(yàn)4搭建數(shù)據(jù)運(yùn)維管理平臺(tái)——國(guó)內(nèi)某鋼鐵集團(tuán)實(shí)現(xiàn)高效數(shù)據(jù)質(zhì)量管控經(jīng)驗(yàn)5基礎(chǔ)數(shù)據(jù)和接口數(shù)據(jù)的有效治理——突破廣電行業(yè)發(fā)展的瓶頸經(jīng)驗(yàn)6內(nèi)外兼治——數(shù)據(jù)治理提高國(guó)內(nèi)制藥企業(yè)核心競(jìng)爭(zhēng)力經(jīng)驗(yàn)7構(gòu)建靜態(tài)數(shù)據(jù)中心——驗(yàn)8持續(xù)治理——康尼集團(tuán)構(gòu)建穩(wěn)固的數(shù)據(jù)管理架構(gòu)經(jīng)驗(yàn)9構(gòu)建數(shù)據(jù)治理平臺(tái)——10夯實(shí)信息化基石——國(guó)內(nèi)某離散加工企業(yè)成功實(shí)施數(shù)據(jù)治理項(xiàng)目經(jīng)驗(yàn)11數(shù)據(jù)治理——開啟國(guó)內(nèi)某電器集團(tuán)的蛻變之門經(jīng)驗(yàn)12任重道遠(yuǎn)——國(guó)內(nèi)某酒業(yè)集團(tuán)實(shí)施數(shù)據(jù)治理項(xiàng)目的4驗(yàn)13數(shù)據(jù)治理——建筑行業(yè)實(shí)現(xiàn)智慧建造的必由之路經(jīng)驗(yàn)14數(shù)據(jù)治理——高效支撐醫(yī)療行業(yè)各場(chǎng)景經(jīng)驗(yàn)15精細(xì)化數(shù)據(jù)治理——新的思路讓某科技集團(tuán)拒絕MDM經(jīng)驗(yàn)16數(shù)據(jù)資產(chǎn)管理——為京東數(shù)科賦能經(jīng)驗(yàn)17宏觀+微觀——經(jīng)驗(yàn)18數(shù)據(jù)治理——錄A附錄A數(shù)據(jù)治理平臺(tái)功能標(biāo)準(zhǔn)概念及方法篇明確數(shù)據(jù)治理的相關(guān)概念,看清數(shù)據(jù)治理的未來方向。第1章企業(yè)數(shù)據(jù)治理概述隨著企業(yè)信息化程度的不斷提高,各類應(yīng)用系統(tǒng)同時(shí)并存、支撐著企業(yè)的業(yè)務(wù)應(yīng)用,各類數(shù)據(jù)如不能進(jìn)行有效的統(tǒng)一管理,將會(huì)嚴(yán)重制約企業(yè)的正常發(fā)展。很多企業(yè)對(duì)于數(shù)據(jù)的收集、整理和維護(hù)目前還只是停留在建設(shè)數(shù)據(jù)倉庫階段,通過ETL技術(shù)將數(shù)據(jù)進(jìn)行整合、清洗,再通過前端應(yīng)用實(shí)現(xiàn)數(shù)據(jù)的應(yīng)用和分析。在現(xiàn)有的數(shù)據(jù)倉庫系統(tǒng)中,這些數(shù)據(jù)必然存在先天的缺陷,如數(shù)據(jù)整合難度大,數(shù)據(jù)規(guī)范性差、準(zhǔn)確度差,數(shù)據(jù)倉庫中存在大量的冗余數(shù)據(jù)等。這種程度的數(shù)據(jù)治理并不能滿足企業(yè)所需。企業(yè)數(shù)據(jù)治理如何能夠達(dá)到理想的效果?我們首先要明確數(shù)據(jù)治理的目標(biāo)是什么,抓住要點(diǎn),然后制定合理、詳細(xì)的數(shù)據(jù)治理策略,嚴(yán)格監(jiān)督數(shù)據(jù)治理的過程,最后做好數(shù)據(jù)治理項(xiàng)目后的持續(xù)優(yōu)化和質(zhì)量監(jiān)測(cè),徹底解決數(shù)據(jù)質(zhì)量問題。本章首先介紹數(shù)據(jù)治理的相關(guān)概念,并說明主數(shù)據(jù)管理的局限性,進(jìn)而指明企業(yè)數(shù)據(jù)治理的方向。數(shù)據(jù)治理的相關(guān)概念什么是數(shù)據(jù)?數(shù)據(jù)(Data)是我們通過觀察、實(shí)驗(yàn)或計(jì)算得出的結(jié)果。數(shù)據(jù)有很多種,最簡(jiǎn)單的就是數(shù)字。數(shù)據(jù)也可以是文字、圖像、聲音等。數(shù)據(jù)可以用于科學(xué)研究、設(shè)計(jì)、查證等。從下面的一條信息中可以看出數(shù)據(jù)的部分存在形式,如圖1-1所示。圖1-1數(shù)據(jù)存在形式根據(jù)不同的維度,企業(yè)內(nèi)的各類數(shù)據(jù)大致可分為分析數(shù)據(jù)、共享(主)數(shù)據(jù)、業(yè)務(wù)場(chǎng)景數(shù)據(jù)、交易數(shù)據(jù)、元數(shù)據(jù)等,如圖1-2所示。圖1-2企業(yè)數(shù)據(jù)組成什么是元數(shù)據(jù)?元數(shù)據(jù)(Metadata),又稱中介數(shù)據(jù)、中繼數(shù)據(jù),是描述數(shù)據(jù)的數(shù)據(jù)(Data Data),是描述數(shù)據(jù)屬性(Property)的信息,用來支持如指示存儲(chǔ)位置、保存歷史數(shù)據(jù)、資源查找、文件記錄等功能。元數(shù)據(jù)組成如圖1-3所示。圖1-3元數(shù)據(jù)組成技術(shù)元數(shù)據(jù)是描述數(shù)據(jù)系統(tǒng)中技術(shù)領(lǐng)域相關(guān)概念、關(guān)系和規(guī)則的數(shù)據(jù),主要包括對(duì)數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)處理方面的特征描述,覆蓋數(shù)據(jù)源接口、數(shù)據(jù)倉庫、數(shù)據(jù)集市、ETL、OLAP、數(shù)據(jù)封裝和前端展現(xiàn)等全部數(shù)據(jù)處理環(huán)節(jié)。業(yè)務(wù)元數(shù)據(jù)是描述數(shù)據(jù)系統(tǒng)中業(yè)務(wù)領(lǐng)域相關(guān)概念、關(guān)系和規(guī)則的數(shù)據(jù),主要包括業(yè)務(wù)術(shù)語、信息分類、指標(biāo)定義和業(yè)務(wù)規(guī)則等信息。管理元數(shù)據(jù)是描述數(shù)據(jù)系統(tǒng)中管理領(lǐng)域相關(guān)概念、關(guān)系和規(guī)則的數(shù)據(jù),主要包括人員角色、崗位職責(zé)和管理流程等信息。元數(shù)據(jù)最為重要的特征和功能是為數(shù)字化信息資源建立一種機(jī)器可理解框架。什么是主數(shù)據(jù)、靜態(tài)數(shù)據(jù)(中心)主數(shù)據(jù)(MasterData):指描述某一業(yè)務(wù)實(shí)體對(duì)象時(shí),基礎(chǔ)數(shù)據(jù)(屬性)中被兩個(gè)及兩個(gè)以上的業(yè)務(wù)系統(tǒng)共同使用的部分(屬性),通常指相對(duì)業(yè)務(wù)系統(tǒng)(或業(yè)務(wù)場(chǎng)景)的共有屬性及屬性的取值、格式、驗(yàn)證、關(guān)系等。主數(shù)據(jù)不是一種數(shù)據(jù),只是數(shù)據(jù)存在的一種狀態(tài),類似大數(shù)據(jù)需要同時(shí)滿足幾個(gè)維度的標(biāo)準(zhǔn)時(shí)才可以稱之為大數(shù)據(jù)。靜態(tài)數(shù)據(jù)(StaticData):指描述某一業(yè)務(wù)實(shí)體對(duì)象時(shí),基礎(chǔ)數(shù)據(jù)(屬性)中靜態(tài)或相對(duì)靜態(tài)的數(shù)據(jù)的統(tǒng)稱(含主數(shù)據(jù)+業(yè)務(wù)場(chǎng)景或組織視角的私有數(shù)據(jù))。通常也可以指除交易數(shù)據(jù)以外的數(shù)據(jù)的統(tǒng)稱。靜態(tài)數(shù)據(jù)中心(StaticDataCenter):指包括清洗后的歷史數(shù)據(jù)和新的標(biāo)準(zhǔn)、規(guī)范的新增數(shù)據(jù),以及描述了這些數(shù)據(jù)的私有(組織或業(yè)務(wù)場(chǎng)景信息)和公有(特征、基本信息等)屬性、規(guī)則、類別、文檔、關(guān)系、配置信息等全方位的信息集合。企業(yè)靜態(tài)數(shù)據(jù)中心的組成如圖1-4所示。圖1-4企業(yè)靜態(tài)數(shù)據(jù)中心組成靜態(tài)數(shù)據(jù)中心作為企業(yè)靜態(tài)數(shù)據(jù)的核心數(shù)據(jù)庫,承擔(dān)著業(yè)務(wù)系統(tǒng)靜態(tài)數(shù)據(jù)的采集、規(guī)范和分發(fā)服務(wù),為業(yè)務(wù)系統(tǒng)提供規(guī)范的靜態(tài)數(shù)據(jù)信息。什么是企業(yè)數(shù)據(jù)治理?企業(yè)數(shù)據(jù)治理,是指從使用零散數(shù)據(jù)變?yōu)槭褂媒y(tǒng)一規(guī)范數(shù)據(jù),從具有很少或沒有組織和流程治理到企業(yè)范圍內(nèi)的綜合數(shù)據(jù)治理,從嘗試處理數(shù)據(jù)混亂狀況到數(shù)據(jù)井井有條的一個(gè)過程。關(guān)于數(shù)據(jù)治理和數(shù)據(jù)管理的爭(zhēng)論持續(xù)了好幾年,業(yè)內(nèi)人士各有不同的說法,每種說法貌似也都很有道理,我們就在此不做過多辨析。本書中定義的數(shù)據(jù)管理(DM)和數(shù)據(jù)治理(DG),類似中醫(yī)(講究“管”)和西醫(yī)(講究“治”)的思想。管理乃長(zhǎng)期管控的過程,屬于長(zhǎng)效機(jī)制;治理指某一時(shí)間段對(duì)數(shù)據(jù)的梳理措施和行為,是短期性針對(duì)數(shù)據(jù)質(zhì)量的干預(yù)動(dòng)作。長(zhǎng)期的企業(yè)管理中,數(shù)據(jù)應(yīng)該靠“管”,不能靠“治”。關(guān)于在數(shù)據(jù)治理行業(yè)中的數(shù)據(jù)范圍界定問題也是根據(jù)不同的管理方式而定,本書所說的數(shù)據(jù)治理范圍是以相對(duì)靜態(tài)的數(shù)據(jù)為核心的數(shù)據(jù)治理(主數(shù)據(jù)管理只能算作其中一部分),其中包括元數(shù)據(jù)和靜態(tài)數(shù)據(jù)(主數(shù)據(jù)、業(yè)務(wù)場(chǎng)景數(shù)據(jù)、參考數(shù)據(jù)、指標(biāo)數(shù)據(jù)),表1-1所示。表1-1數(shù)據(jù)治理策略根據(jù)企業(yè)的實(shí)際情況,數(shù)據(jù)治理一般可以分為三種類型:源端數(shù)據(jù)治理、末端數(shù)據(jù)治理和綜合數(shù)據(jù)治理(詳見本書1.16節(jié))。源端數(shù)據(jù)治理主要應(yīng)用于如ERP、CRM、財(cái)務(wù)管理系統(tǒng);末端數(shù)據(jù)治理主要應(yīng)用在數(shù)據(jù)倉庫等末端數(shù)據(jù)存儲(chǔ)中。本書提到的綜合數(shù)據(jù)治理是源端數(shù)據(jù)治理和末端數(shù)據(jù)治理的綜合,并且是比其更廣泛的概念,通常我們稱作面向數(shù)據(jù)分析及業(yè)務(wù)管理的數(shù)據(jù)治理。在一些機(jī)構(gòu)對(duì)企業(yè)數(shù)據(jù)治理的調(diào)查中可以發(fā)現(xiàn),許多有實(shí)施過數(shù)據(jù)倉庫的企業(yè)已經(jīng)將下一步治理目標(biāo)瞄準(zhǔn)了數(shù)據(jù)治理。許多成功實(shí)施了數(shù)據(jù)治理的企業(yè)認(rèn)為他們已經(jīng)從質(zhì)量良好的數(shù)據(jù)中獲得了收益。數(shù)據(jù)治理對(duì)于數(shù)據(jù)倉庫和商務(wù)智能有著深遠(yuǎn)的影響,未來的企業(yè)大數(shù)據(jù)分析很大程度上也必須基于良好的數(shù)據(jù)質(zhì)量。企業(yè)數(shù)據(jù)治理的價(jià)值有哪些?企業(yè)實(shí)施數(shù)據(jù)治理項(xiàng)目具備以下8個(gè)方面的價(jià)值。確立企業(yè)數(shù)據(jù)管理體系規(guī)范和標(biāo)準(zhǔn),并實(shí)現(xiàn)其系統(tǒng)化落地企業(yè)通過實(shí)施數(shù)據(jù)治理項(xiàng)目,在考慮企業(yè)現(xiàn)有數(shù)據(jù)管理的基礎(chǔ)上,可以制定出全面符合企業(yè)未來5~10年信息化發(fā)展的數(shù)據(jù)模型、數(shù)據(jù)管理制度、數(shù)據(jù)管理流程。可以全面實(shí)現(xiàn)數(shù)據(jù)管理體系的系統(tǒng)化落地,解決企業(yè)長(zhǎng)期以來生產(chǎn)過程中數(shù)據(jù)描述不準(zhǔn)確、不規(guī)范、不統(tǒng)一的問題,進(jìn)而提高了計(jì)劃執(zhí)行、倉庫盤點(diǎn)、材料采購等的準(zhǔn)確率,減少了企業(yè)資金的浪費(fèi),為企業(yè)的快速發(fā)展奠定基礎(chǔ)。全面梳理并清洗存量數(shù)據(jù),根治多年積累的數(shù)據(jù)質(zhì)量問題通過實(shí)施企業(yè)數(shù)據(jù)治理項(xiàng)目,可以由數(shù)據(jù)清洗平臺(tái)依照以下策略對(duì)存量數(shù)據(jù)進(jìn)行清洗,解決當(dāng)前企業(yè)數(shù)據(jù)存在大量的不一致、不完整、數(shù)據(jù)冗余等問題:余數(shù)據(jù)映射關(guān)系。停用以及后期BI(商業(yè)智能)的使用提供堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)。全面實(shí)現(xiàn)數(shù)據(jù)管理的系統(tǒng)化、集中化,節(jié)省業(yè)務(wù)系統(tǒng)用戶數(shù)通過實(shí)施企業(yè)數(shù)據(jù)治理項(xiàng)目,引入數(shù)據(jù)治理平臺(tái),可以實(shí)現(xiàn)企業(yè)數(shù)據(jù)管理過程的全面電子化,可全部脫離原有的手工操作,擺脫原有手工查重和編碼的繁重工作,大大改善和加快信息的傳遞和反饋,增強(qiáng)信息的準(zhǔn)確性、及時(shí)性。系統(tǒng)的數(shù)據(jù)檔案并及時(shí)分發(fā)到對(duì)應(yīng)業(yè)務(wù)系統(tǒng)中去,真正實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)數(shù)據(jù)檔案的外部新增,為企業(yè)數(shù)據(jù)中心的建立奠定堅(jiān)實(shí)的基礎(chǔ)。搭建全面科學(xué)的數(shù)據(jù)驗(yàn)證體系,杜絕數(shù)據(jù)冗余的再次發(fā)生企業(yè)數(shù)據(jù)治理平臺(tái)的組合式編碼、立體式查重機(jī)制改善了原有企業(yè)數(shù)據(jù)編碼的模式和弊端,企業(yè)數(shù)據(jù)治理平臺(tái)內(nèi)置的多方位的數(shù)據(jù)驗(yàn)證機(jī)制(如文本、文本框、數(shù)字、是否選擇、樹狀數(shù)據(jù)限定、平面數(shù)據(jù)限定、組合數(shù)據(jù)限定等)從數(shù)據(jù)錄入的源頭杜絕可能發(fā)生的錯(cuò)誤。實(shí)現(xiàn)數(shù)據(jù)管理過程的流程化、制度化、準(zhǔn)確化通過實(shí)現(xiàn)數(shù)據(jù)管理制度和流程的系統(tǒng)落地,實(shí)現(xiàn)企業(yè)數(shù)據(jù)管理過程的有效監(jiān)督和執(zhí)管理更加清晰、責(zé)任更加明確、數(shù)據(jù)更加準(zhǔn)確。系統(tǒng)權(quán)限劃分可以針對(duì)不同人員分配不同的數(shù)據(jù)編制和審核權(quán)限,解決了目前多方信息傳遞的失真、緩慢等問題,提升了信息的準(zhǔn)確率,縮短了整個(gè)數(shù)據(jù)新增的時(shí)間,提升了數(shù)據(jù)新增的效率。實(shí)現(xiàn)詳盡的靜態(tài)數(shù)據(jù)服務(wù)企業(yè)數(shù)據(jù)治理平臺(tái)的引入提供了全方位、多角度、權(quán)限化、立體智能查詢機(jī)制,完全滿足所有人員的數(shù)據(jù)查詢需求,可大幅縮短數(shù)據(jù)查詢以及編碼和數(shù)據(jù)業(yè)務(wù)實(shí)體對(duì)照時(shí)間。數(shù)據(jù)交換平臺(tái)全面實(shí)現(xiàn)企業(yè)數(shù)據(jù)的協(xié)同、聯(lián)動(dòng)通過實(shí)施數(shù)據(jù)治理項(xiàng)目引入的數(shù)據(jù)交換平臺(tái),通過簡(jiǎn)單的配置即可實(shí)現(xiàn)包括數(shù)據(jù)的分發(fā)機(jī)制、分發(fā)內(nèi)容、分發(fā)時(shí)間等的設(shè)置,全面滿足企業(yè)現(xiàn)有以及未來數(shù)據(jù)管理的協(xié)同和聯(lián)動(dòng)要求。建立了統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn),為企業(yè)資源共享、快速?zèng)Q策提供保障本上保證了BI等工具數(shù)據(jù)分析的準(zhǔn)確率,使企業(yè)的數(shù)據(jù)資產(chǎn)價(jià)值得到全面體現(xiàn)。企業(yè)數(shù)據(jù)治理的源、末端模式企業(yè)數(shù)據(jù)治理解決了數(shù)據(jù)的冗余、一致性、完整性、規(guī)范性等問題,從而使數(shù)據(jù)分析能夠發(fā)揮最大的管理價(jià)值。通過制定及貫徹執(zhí)行各類業(yè)務(wù)和技術(shù)標(biāo)準(zhǔn),就能從技術(shù)上、管理上把各方面有機(jī)地聯(lián)系起來,形成一個(gè)統(tǒng)一的系統(tǒng)整體,保證數(shù)據(jù)治理過程進(jìn)行得有條不紊。目前企業(yè)存在三種數(shù)據(jù)治理模式,具體如下:準(zhǔn)確率。末端數(shù)據(jù)治理,是指針對(duì)解決數(shù)據(jù)全生命周期的末端(數(shù)據(jù)倉庫層)題,實(shí)現(xiàn)提高數(shù)據(jù)分析的準(zhǔn)確率。綜合數(shù)據(jù)治理,是指包括源端和末端數(shù)據(jù)治理的混合模式。源端數(shù)據(jù)治理模式針對(duì)源端的數(shù)據(jù)治理是主流的數(shù)據(jù)治理模式,目前行業(yè)內(nèi)80%以上的方案都采用此模式。如靜態(tài)數(shù)據(jù)治理、主數(shù)據(jù)管理、編碼管理等,都是屬于針對(duì)業(yè)務(wù)系統(tǒng)的直接影響實(shí)現(xiàn)數(shù)據(jù)質(zhì)量的改造,最終達(dá)到支撐數(shù)據(jù)應(yīng)用分析的目的。源端數(shù)據(jù)治理模式適用的企業(yè),包括生產(chǎn)型企業(yè)、大型集團(tuán)本部、運(yùn)營(yíng)管控型集團(tuán)等,不涉及數(shù)據(jù)改造后無法返回到對(duì)應(yīng)業(yè)務(wù)系統(tǒng)的情況。源端數(shù)據(jù)治理支撐數(shù)據(jù)分析及業(yè)務(wù)管理框架,具體如圖1-5所示。圖1-5源端數(shù)據(jù)治理支撐數(shù)據(jù)分析及業(yè)務(wù)管理框架由圖1-5可以看出,數(shù)據(jù)治理平臺(tái)直接新增數(shù)據(jù)或者通過數(shù)據(jù)交換平臺(tái)(Exchange)從業(yè)務(wù)系統(tǒng)采集的新增數(shù)據(jù)進(jìn)行規(guī)范、改造后,一方面冗余數(shù)據(jù)自動(dòng)進(jìn)入冗余數(shù)據(jù)映射關(guān)系庫,另一方面改造后的數(shù)據(jù)再次回傳到對(duì)應(yīng)業(yè)務(wù)系統(tǒng),實(shí)現(xiàn)對(duì)業(yè)務(wù)系統(tǒng)數(shù)據(jù)質(zhì)量的改造(在業(yè)務(wù)系統(tǒng)運(yùn)行的前提下)。當(dāng)ETL從業(yè)務(wù)系統(tǒng)中抽取數(shù)據(jù)的時(shí)候,同時(shí)從冗余數(shù)據(jù)映射關(guān)系庫中抽取冗余數(shù)據(jù)的關(guān)系參照,在加載到數(shù)據(jù)倉庫時(shí)會(huì)注明某些編碼(數(shù)據(jù))對(duì)應(yīng)的業(yè)務(wù)實(shí)體對(duì)象其實(shí)是一而實(shí)現(xiàn)數(shù)據(jù)分析的精確度最大化。末端數(shù)據(jù)治理模式末端數(shù)據(jù)治理技術(shù)架構(gòu)如圖1-6所示。從圖中可以看出,所謂末端數(shù)據(jù)治理,是指數(shù)據(jù)被集成到原業(yè)務(wù)系統(tǒng)外的某個(gè)區(qū)域(一般指數(shù)據(jù)倉庫的ODS層,即數(shù)據(jù)倉庫的操作數(shù)據(jù)存儲(chǔ)層)后集中進(jìn)行質(zhì)量識(shí)別、處理的過程。此模式適用于戰(zhàn)略管控型或者財(cái)務(wù)管控型的大型企業(yè)集團(tuán)(央企或者大型國(guó)企)的頂層數(shù)據(jù)分析,大部分?jǐn)?shù)據(jù)來源于二、三級(jí)單位上報(bào)的數(shù)據(jù),本部系統(tǒng)比較簡(jiǎn)單,數(shù)據(jù)量較少、較單一。圖1-6企業(yè)末端數(shù)據(jù)治理技術(shù)架構(gòu)通過末端數(shù)據(jù)治理對(duì)ODS層的數(shù)據(jù)質(zhì)量干預(yù),可以實(shí)現(xiàn)深層次數(shù)據(jù)質(zhì)量問題的解決,最大化支撐數(shù)據(jù)分析的準(zhǔn)確率。目前此方案已經(jīng)比較成熟。當(dāng)然,隨著技術(shù)、理念的成熟,下一步還可以繼續(xù)深入到DW(數(shù)據(jù)倉庫)、DM(數(shù)據(jù)集市)層去更進(jìn)一步優(yōu)化數(shù)據(jù)質(zhì)量,讓數(shù)據(jù)分析的準(zhǔn)確率接近完美。企業(yè)的二次數(shù)據(jù)治理所謂企業(yè)的二次數(shù)據(jù)治理是指:企業(yè)經(jīng)歷過一輪數(shù)據(jù)治理后,經(jīng)過一段時(shí)間因?yàn)榉N種因素,目前數(shù)據(jù)質(zhì)量已“重蹈覆轍”(數(shù)據(jù)質(zhì)量又出現(xiàn)各種問題),需要再次進(jìn)行數(shù)據(jù)治理工作。二次治理的原因其實(shí)現(xiàn)階段二次治理的企業(yè)基本都是信息化程度較高的大型央企或者各地國(guó)企,屬于數(shù)據(jù)治理的“先行者”。關(guān)于數(shù)據(jù)質(zhì)量問題的再次顯現(xiàn),究其原因,要么是太相信技術(shù),要么就是太相信自己。企業(yè)被確認(rèn)為需要實(shí)施二次數(shù)據(jù)治理的幾個(gè)特征如下:主數(shù)據(jù)管理項(xiàng)目實(shí)施后,發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題比例超過20%;主數(shù)據(jù)管理平臺(tái)淪為賦碼工具;集團(tuán)二級(jí)單位單獨(dú)開展主數(shù)據(jù)管理工作;企業(yè)開始尋求數(shù)據(jù)的全面治理。以上幾種情況的具體原因后續(xù)章節(jié)會(huì)有詳細(xì)介紹,在此不再贅述。二次數(shù)據(jù)治理的方法二次數(shù)據(jù)治理有兩種對(duì)應(yīng)的方法,一是“徹底根除”法(指原有體系全部推倒,重新開展數(shù)據(jù)治理項(xiàng)目),二是“亡羊補(bǔ)牢”法。尤其是徹底根除法,可想而知重新再來一次的代價(jià)有多大,一般的企業(yè)很少有這種魄力,有時(shí)候各種因素不允許出現(xiàn)這樣的重新來過。因此,我們還是重點(diǎn)推薦亡羊補(bǔ)牢法,即可以解決問題又不至于痛苦地重新再來一遍。所謂的亡羊補(bǔ)牢,就是指在不破壞現(xiàn)狀的基礎(chǔ)上最大可能地修補(bǔ)原有數(shù)據(jù)治理的架構(gòu),以確保數(shù)據(jù)質(zhì)量得以保障。具體的方法如下:重新梳理數(shù)據(jù)標(biāo)準(zhǔn),確定數(shù)據(jù)標(biāo)準(zhǔn)是否有調(diào)整的必要。全面檢測(cè)數(shù)據(jù)質(zhì)量,重新全面清洗、改造存量數(shù)據(jù)。搭建數(shù)據(jù)質(zhì)量評(píng)估監(jiān)測(cè)平臺(tái),利用AI評(píng)估、再處理體系。主數(shù)據(jù)管理的局限主數(shù)據(jù)最初的定義為:表示業(yè)務(wù)實(shí)體對(duì)象的基準(zhǔn)數(shù)據(jù)以及其被引用的關(guān)聯(lián)屬性信息。2010年,主數(shù)據(jù)的概念被中翰軟件率先引入國(guó)內(nèi)并加以調(diào)整改善,使之更加通俗易懂。通俗化后的主數(shù)據(jù)定義為:描述某一業(yè)務(wù)實(shí)體對(duì)象時(shí),基礎(chǔ)數(shù)據(jù)(靜態(tài)或相對(duì)靜態(tài)的數(shù)據(jù))中被兩個(gè)及兩個(gè)以上業(yè)務(wù)系統(tǒng)共同使用的屬性字段。此定義很快被證明了其合理性,短期內(nèi)被各廠家推廣使用,這也是目前國(guó)內(nèi)主數(shù)據(jù)廠商對(duì)主數(shù)據(jù)的統(tǒng)一標(biāo)準(zhǔn)定義。但是,隨著主數(shù)據(jù)管理平臺(tái)的逐漸推廣和使用,一連串的問題就出現(xiàn)了,這也導(dǎo)致了目前很多企業(yè)實(shí)施主數(shù)據(jù)管理項(xiàng)目后,數(shù)據(jù)質(zhì)量并未顯著改善。主數(shù)據(jù)的動(dòng)態(tài)性問題隨著企業(yè)業(yè)務(wù)系統(tǒng)的新增和更換,原來被主數(shù)據(jù)廠商識(shí)別出來的主數(shù)據(jù)已經(jīng)無法滿足新的業(yè)務(wù)系統(tǒng)的上線需求,需要重新進(jìn)行主數(shù)據(jù)的擴(kuò)充識(shí)別和相關(guān)模型、流程等的變更操作,從而造成了主數(shù)據(jù)管理平臺(tái)后期運(yùn)維成本的居高不下,嚴(yán)重違背了實(shí)施主數(shù)據(jù)管理平臺(tái)的初衷。甚至目前很多主數(shù)據(jù)項(xiàng)目的招標(biāo)現(xiàn)場(chǎng)招標(biāo)方就非常嚴(yán)肅地問投標(biāo)方:“平臺(tái)未來調(diào)整模型中的某個(gè)屬性字段需要多長(zhǎng)時(shí)間?”,仔細(xì)想想這個(gè)問題還真的很嚴(yán)肅,因?yàn)槲磥磉@個(gè)調(diào)整是會(huì)頻繁發(fā)生的,為了應(yīng)標(biāo)很多人不負(fù)責(zé)任地脫口而出“1小時(shí)”“2小時(shí)”,以應(yīng)付甲方。難道我們加一個(gè)屬性字段不需要確定它的元數(shù)據(jù)標(biāo)準(zhǔn)?不需要補(bǔ)充它的歷史取值?不需要找業(yè)務(wù)部門的主管們討論、協(xié)商?這怎么可能是1、2個(gè)小時(shí)就能確定實(shí)現(xiàn)的呢?其實(shí),為什么我們老是想盡一切辦法去識(shí)別主數(shù)據(jù)呢?難道就是為了讓我們的主數(shù)據(jù)管理員未來別閑待著?數(shù)據(jù)治理的核心是要解決數(shù)據(jù)質(zhì)量、安全、服務(wù)以及相關(guān)的環(huán)境等問題,費(fèi)了九牛二虎之力識(shí)別出了所謂的主數(shù)據(jù),沒過多久因?yàn)闃I(yè)務(wù)系統(tǒng)的變化出現(xiàn)了倒逼主數(shù)據(jù)必須改變的情況,這不是相當(dāng)于給自己設(shè)置障礙?必須要認(rèn)識(shí)到主數(shù)據(jù)是動(dòng)態(tài)的這一特性。某核電集團(tuán),2013年實(shí)施了某國(guó)外廠商的MDM(MasterDataManagement,主數(shù)據(jù)管理)平臺(tái),2014年中期,該企業(yè)領(lǐng)導(dǎo)發(fā)現(xiàn)主數(shù)據(jù)管理員在不斷地調(diào)整花了幾百萬元費(fèi)用制定的主數(shù)據(jù)模型標(biāo)準(zhǔn),要知道此時(shí)平臺(tái)上線才近1年時(shí)間,不該出現(xiàn)這種狀況。經(jīng)調(diào)查發(fā)現(xiàn),是由于業(yè)務(wù)系統(tǒng)的擴(kuò)充和變更造成的。不改變主數(shù)據(jù)模型標(biāo)準(zhǔn),數(shù)據(jù)就無法順利分發(fā)出去;改變模型就要管理員自己去琢磨如何識(shí)別主數(shù)據(jù)字段,識(shí)別出來后還要確認(rèn)元數(shù)據(jù)標(biāo)準(zhǔn)等,一連串的問題。這樣的情況不是個(gè)例,隨著大家對(duì)主數(shù)據(jù)的概念認(rèn)識(shí)得越來越清晰,對(duì)主數(shù)據(jù)管理的理解也會(huì)越來越深刻,尤其是當(dāng)真正走到主數(shù)據(jù)項(xiàng)目后更應(yīng)該能體會(huì)到主數(shù)據(jù)動(dòng)態(tài)性造成的“麻煩”會(huì)有多大。主數(shù)據(jù)管理無法滿足業(yè)務(wù)場(chǎng)景需求主數(shù)據(jù)的核心管理理念就是實(shí)現(xiàn)數(shù)據(jù)的“單一視圖”,是共享性數(shù)據(jù)的統(tǒng)稱。但是,要管理業(yè)務(wù)場(chǎng)景的數(shù)據(jù)(息,不包含主數(shù)據(jù)部分,如某產(chǎn)品在不同生產(chǎn)線的描述,以及針對(duì)不同區(qū)域的價(jià)格描述等)地保證業(yè)務(wù)場(chǎng)景的數(shù)據(jù)對(duì)現(xiàn)有業(yè)務(wù)以及未來數(shù)據(jù)中心的有效支撐。某電工集團(tuán),2016年開啟了主數(shù)據(jù)管理項(xiàng)目的一期工作(頂層管理型主數(shù)據(jù)的治理),選型了國(guó)內(nèi)某主數(shù)據(jù)管理平臺(tái),2017年開啟項(xiàng)目二期實(shí)施后突然發(fā)現(xiàn)此平臺(tái)架構(gòu)根本無法滿足業(yè)務(wù)部門的業(yè)務(wù)場(chǎng)景數(shù)據(jù)的管理需要,二期項(xiàng)目只得暫停。2018年甲乙雙方反復(fù)溝通尋求解決此問題的方案,無奈平臺(tái)無法替換,項(xiàng)目最終只能不了了之。某石化控股集團(tuán),2016年實(shí)施了國(guó)內(nèi)某主數(shù)據(jù)管理平臺(tái),2017年該集團(tuán)的二級(jí)公司就提出因業(yè)務(wù)管理的需要獨(dú)立進(jìn)行業(yè)務(wù)場(chǎng)景的主數(shù)據(jù)管理。某煤炭集團(tuán),2011年實(shí)施了國(guó)內(nèi)某主數(shù)據(jù)管理平臺(tái),2013年開始二級(jí)公司因該平臺(tái)無法滿足業(yè)務(wù)場(chǎng)景數(shù)據(jù)治理的需要而不得不陸續(xù)獨(dú)立開展主數(shù)據(jù)管理項(xiàng)目。隨著企業(yè)對(duì)數(shù)據(jù)管理的要求越來越高,業(yè)務(wù)場(chǎng)景越來越多樣化,主數(shù)據(jù)管理無法滿足業(yè)務(wù)場(chǎng)景導(dǎo)致的數(shù)據(jù)治理障礙會(huì)越來越明顯,推倒重來或者亡羊補(bǔ)牢成為一種常態(tài)。主數(shù)據(jù)管理項(xiàng)目實(shí)施后運(yùn)維難以保障數(shù)據(jù)管理體系的運(yùn)維(如制度的重修、流程的調(diào)整、新的數(shù)據(jù)類型或類別的模型新增等)是項(xiàng)目后運(yùn)維管理的兩大任務(wù)之一(另外一個(gè)是數(shù)據(jù)質(zhì)量的日常監(jiān)測(cè))。職責(zé)包括平臺(tái)的維護(hù)、工作的協(xié)調(diào)等,所謂的數(shù)據(jù)管理組織根本就沒有發(fā)揮出應(yīng)有的功效。舉個(gè)例子,企業(yè)實(shí)施主數(shù)據(jù)管理項(xiàng)目后進(jìn)入運(yùn)維階段,當(dāng)需要增加某一新的數(shù)據(jù)的模型時(shí),理想狀態(tài)是大家(數(shù)據(jù)管理組織成員)坐下來一起討論數(shù)據(jù)應(yīng)該如何分類,模型如何制定,或者說主數(shù)據(jù)管理員提出具體建議后提交會(huì)議再討論,至少也是通過相應(yīng)的辦公系統(tǒng)線上提交建議給企業(yè)負(fù)責(zé)人審核然后定稿。所有過程都似乎是非常嚴(yán)謹(jǐn)、合理的,但是大多數(shù)企業(yè)負(fù)責(zé)人并不了解數(shù)據(jù)分類、建模的思路,并無依據(jù)進(jìn)行討論,而可能直接拍板定稿,這種討論往往空具形式,沒有實(shí)際意義。有人會(huì)說,企業(yè)負(fù)責(zé)人只需要審核批準(zhǔn)即可,主數(shù)據(jù)管理員是從項(xiàng)目一路跟下來的,肯定了解當(dāng)時(shí)的設(shè)計(jì)思路,但如果主數(shù)據(jù)管理員是新來的怎么辦?如果主數(shù)據(jù)管理員把思路忘了怎么辦?主數(shù)據(jù)管理員又能依據(jù)什么來制定出合理的模型呢?答案只能是“拍腦袋”。綜上所述,這樣就出現(xiàn)了主數(shù)據(jù)管理項(xiàng)目實(shí)施后的數(shù)據(jù)運(yùn)維管理和項(xiàng)目建立的主數(shù)據(jù)管理體系之間是脫節(jié)的狀態(tài),數(shù)據(jù)的運(yùn)維和管理無法達(dá)到數(shù)據(jù)治理項(xiàng)目的目標(biāo)。某化工集團(tuán),2015年實(shí)施某國(guó)內(nèi)MDM平臺(tái),項(xiàng)目順利驗(yàn)收,2016年底集團(tuán)擴(kuò)展業(yè)論時(shí)各業(yè)務(wù)部門的有關(guān)負(fù)責(zé)人以出差、忙等各種理由拒絕參加。2017核機(jī)制,甚至還用上了移動(dòng)審批,各相關(guān)業(yè)務(wù)部門的負(fù)責(zé)人迫于考核的壓力草草審核定成了一個(gè)擺設(shè)。這導(dǎo)致主數(shù)據(jù)管理體系逐漸脫離該有的思路,最終形成“體系兩層皮”的現(xiàn)象。主數(shù)據(jù)管理項(xiàng)目實(shí)施后數(shù)據(jù)質(zhì)量并未改善自從主數(shù)據(jù)管理平臺(tái)面世后,很多人就把解決數(shù)據(jù)質(zhì)量的問題寄希望于此了——制定標(biāo)準(zhǔn)的主數(shù)據(jù)模型以及全面的驗(yàn)證機(jī)制實(shí)現(xiàn)數(shù)據(jù)采集(如錄入等)環(huán)節(jié)的統(tǒng)一、規(guī)范,再加上理想化的多級(jí)次的數(shù)據(jù)質(zhì)量審核。多,并且我們還有嚴(yán)格的審核機(jī)制。但審核真的管用嗎?負(fù)責(zé)人(領(lǐng)導(dǎo))嗎?負(fù)責(zé)人(領(lǐng)導(dǎo))真的對(duì)所有數(shù)據(jù)的質(zhì)量了解嗎?多年來多家企業(yè)驗(yàn)證和審核只是一種“擺設(shè)”,只是一種行政的知會(huì),對(duì)數(shù)據(jù)質(zhì)量的把關(guān)幾乎沒有太大用處。這些問題似乎我們都可以不在乎,但時(shí)間久了就會(huì)造成數(shù)據(jù)質(zhì)量產(chǎn)生問題。某能源集團(tuán),2012年實(shí)施某國(guó)內(nèi)的MDM平臺(tái),項(xiàng)目順利驗(yàn)收,甲方也花了近半年的時(shí)間進(jìn)行了歷史數(shù)據(jù)質(zhì)量的全面清洗,但是2015年初突然發(fā)現(xiàn)60多萬條的物料數(shù)據(jù)有20多萬條出現(xiàn)了不同形式的數(shù)據(jù)質(zhì)量問題(包括名稱叫法的不一致、各種錯(cuò)別字、數(shù)據(jù)描述的不完整等),且分公司及集團(tuán)兩級(jí)審核機(jī)制形同虛設(shè)。目前該主數(shù)據(jù)管理平臺(tái)淪為了只是為ERP等業(yè)務(wù)系統(tǒng)提供賦碼功能(生成編碼并傳給業(yè)務(wù)系統(tǒng)),整個(gè)數(shù)據(jù)治理項(xiàng)目很不成功。企業(yè)數(shù)據(jù)治理該走向何方國(guó)際數(shù)據(jù)管理協(xié)會(huì)(DAMA)的《數(shù)據(jù)管理知識(shí)體系指南》一書中對(duì)數(shù)據(jù)治理進(jìn)行了嚴(yán)格、詳實(shí)地定義,目前基本成為數(shù)據(jù)治理行業(yè)的指導(dǎo)大綱。但是其也只是指導(dǎo)型的內(nèi)容,具體的操作方式還需要我們繼續(xù)探索和研究。目前國(guó)內(nèi)的數(shù)據(jù)治理廠商大體分為兩個(gè)方向,一是面向企業(yè),再就是面向政府、金為這幾個(gè)行業(yè)沒有復(fù)雜的物資數(shù)據(jù)(模型分層級(jí)且非常多)存在,所有數(shù)據(jù)(員等)旦遇到深層次的數(shù)據(jù)質(zhì)量問題,此類產(chǎn)品就束手無策了。但是,從產(chǎn)品的功能結(jié)構(gòu)上我們還真的不好鑒別其優(yōu)劣,所有的產(chǎn)品似乎都包括元數(shù)據(jù)原理、數(shù)據(jù)質(zhì)量管理、主數(shù)據(jù)管理、數(shù)據(jù)生命周期管理、數(shù)據(jù)交換管理、數(shù)據(jù)清洗管理等功能,齊全的功能可能會(huì)造成了選擇的困難。企業(yè)數(shù)據(jù)治理,除了要有廣度以外,還要有深度,必須解決深層次的問題才能算得上長(zhǎng)久之計(jì)。結(jié)合國(guó)內(nèi)企業(yè)實(shí)際,企業(yè)數(shù)據(jù)治理應(yīng)分為數(shù)據(jù)環(huán)境治理、數(shù)據(jù)質(zhì)量治理、數(shù)據(jù)安全治理、數(shù)據(jù)交換治理、數(shù)據(jù)運(yùn)維管理5部分。企業(yè)的數(shù)據(jù)應(yīng)分為靜態(tài)數(shù)據(jù)和交易數(shù)據(jù)兩部分。所謂的數(shù)據(jù)治理也應(yīng)該指靜態(tài)數(shù)據(jù)的治理,因?yàn)榧兘灰讛?shù)據(jù)(數(shù)字或數(shù)額)正常不會(huì)出現(xiàn)質(zhì)量問題。因此,企業(yè)數(shù)據(jù)治理的方向應(yīng)該依據(jù)以上5部分實(shí)施,并且應(yīng)滿足以下7個(gè)關(guān)鍵點(diǎn)。構(gòu)建數(shù)據(jù)治理整體架構(gòu)確保數(shù)據(jù)治理的整體性制定數(shù)據(jù)治理架構(gòu)是數(shù)據(jù)治理的核心任務(wù),好的數(shù)據(jù)治理架構(gòu)可以確保數(shù)據(jù)治理的整體性,實(shí)現(xiàn)徹底、完善的數(shù)據(jù)治理,更好地達(dá)到數(shù)據(jù)治理的預(yù)期效果。因此應(yīng)該構(gòu)建包括一個(gè)體系(數(shù)據(jù)標(biāo)準(zhǔn)體系)、三個(gè)環(huán)境(治理型環(huán)境、分析型環(huán)境、知識(shí)型環(huán)境)、一個(gè)架構(gòu)(面向服務(wù)的集成架構(gòu))的數(shù)據(jù)治理整體架構(gòu),如圖1-7所示。圖1-7數(shù)據(jù)治理整體架構(gòu)數(shù)據(jù)標(biāo)準(zhǔn)體系:是企業(yè)數(shù)據(jù)治理架構(gòu)中的核心底層部分,通常也指數(shù)據(jù)環(huán)境,包括數(shù)據(jù)分類及編碼標(biāo)準(zhǔn)、數(shù)據(jù)模型標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)、數(shù)據(jù)安全管理標(biāo)準(zhǔn)、數(shù)據(jù)交換標(biāo)準(zhǔn),對(duì)應(yīng)落地平臺(tái)應(yīng)具備管理數(shù)據(jù)標(biāo)準(zhǔn)體系的過程和結(jié)果的功能。部分,包括體系構(gòu)建、靜態(tài)數(shù)據(jù)中心管理(數(shù)據(jù)建模管理、數(shù)據(jù)編碼管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)日常管控)、數(shù)據(jù)交換管理、數(shù)據(jù)清洗管理、數(shù)據(jù)保養(yǎng)管理(數(shù)據(jù)評(píng)估監(jiān)測(cè))對(duì)應(yīng)平臺(tái)建議采用企業(yè)數(shù)據(jù)治理平臺(tái),不建議采用主數(shù)據(jù)管理平臺(tái)。分析型環(huán)境:是指基于數(shù)據(jù)倉庫的各種主題數(shù)據(jù)分析,是提供數(shù)據(jù)展現(xiàn)服務(wù)的核心功能部分,如運(yùn)營(yíng)分析、資產(chǎn)分析、財(cái)務(wù)分析、人力資源分析。對(duì)應(yīng)平臺(tái)包括BI決策支持平臺(tái)、數(shù)據(jù)倉庫、ETL。知識(shí)型環(huán)境:是指企業(yè)整個(gè)數(shù)據(jù)治理的知識(shí)體系架構(gòu),而非傳統(tǒng)的企業(yè)管理或者某類專業(yè)知識(shí)管理,是提供數(shù)據(jù)治理能力的核心組成部分。數(shù)據(jù)治理知識(shí)可以實(shí)現(xiàn)知識(shí)驅(qū)動(dòng)數(shù)據(jù)管理業(yè)務(wù)、驅(qū)動(dòng)數(shù)據(jù)管理崗位、驅(qū)動(dòng)數(shù)據(jù)應(yīng)用的全面知識(shí)管理體系。面向服務(wù)的集成架構(gòu):是指數(shù)據(jù)的采集、分發(fā)、集成以及業(yè)務(wù)重組等,是數(shù)據(jù)交換的核心功能部分,主要包括靜態(tài)數(shù)據(jù)交換管理、ETL、企業(yè)服務(wù)總線ESB、業(yè)務(wù)流程引擎BPM。全方位重構(gòu)數(shù)據(jù)標(biāo)準(zhǔn)體系徹底改善數(shù)據(jù)環(huán)境企業(yè)內(nèi)的數(shù)據(jù)可分為分析型數(shù)據(jù)(趨勢(shì)、計(jì)劃、指標(biāo)數(shù)據(jù)等)、交易型數(shù)據(jù)、共享(主)數(shù)據(jù)、業(yè)務(wù)場(chǎng)景數(shù)據(jù)4大類,如圖1-8所示。圖1-8企業(yè)內(nèi)的數(shù)據(jù)分類數(shù)據(jù)的質(zhì)量問題很大程度上取決于數(shù)據(jù)所處環(huán)境的狀況,因此需要從根本上打造一整套全方位的數(shù)據(jù)標(biāo)準(zhǔn)體系以確保數(shù)據(jù)質(zhì)量的可控制性、可持續(xù)性。所謂的全方位就是指包括以上4大類型數(shù)據(jù)在內(nèi)的數(shù)據(jù)標(biāo)準(zhǔn)體系,而非是只有主數(shù)據(jù)的數(shù)據(jù)標(biāo)準(zhǔn)體系。數(shù)據(jù)標(biāo)準(zhǔn)體系內(nèi)容包括數(shù)據(jù)管理組織、制度,流程、考核機(jī)制,數(shù)據(jù)安全、質(zhì)量管理體系,數(shù)據(jù)分類、編碼體系,數(shù)據(jù)交換規(guī)范體系等,如圖1-9所示。圖1-9數(shù)據(jù)標(biāo)準(zhǔn)體系構(gòu)建全視角管控的靜態(tài)數(shù)據(jù)中心全面保障數(shù)據(jù)質(zhì)量一般我們會(huì)通過基本、組織和業(yè)務(wù)三個(gè)視角信息對(duì)數(shù)據(jù)進(jìn)行描述?;疽暯切畔⑹菍?duì)某條數(shù)據(jù)的基本特征信息的描述,組織視角信息是指某條數(shù)據(jù)在不同的組織范圍描述的不同信息,業(yè)務(wù)視角信息是指某條數(shù)據(jù)在不同的業(yè)務(wù)場(chǎng)景下描述的不同信息。當(dāng)然也可以從共享的角度去描述一條數(shù)據(jù)的信息,這就是我們常提到的主數(shù)據(jù)。從全面解決數(shù)據(jù)質(zhì)量問題的角度出發(fā),構(gòu)建360度全視角管控的靜態(tài)數(shù)據(jù)中心,對(duì)全部三類視角的數(shù)據(jù)質(zhì)量進(jìn)行管控才是最好的選擇。全視角數(shù)據(jù)的描述包括基本、組織和業(yè)務(wù)三個(gè)視角的數(shù)據(jù)描述,以物資數(shù)據(jù)舉例,具體結(jié)構(gòu)形式如表1-2所示。表1-2全視角數(shù)據(jù)描述通過技術(shù)+行為的手段深層次保障數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量在數(shù)據(jù)治理中的分量不言而喻,但是目前保障數(shù)據(jù)質(zhì)量的主流方法幾乎全是技術(shù)手段,主要有以下三種方法。第一種方法,針對(duì)數(shù)據(jù)產(chǎn)生的源端進(jìn)行控制。指通過針對(duì)屬性字段取值的格式、上下限、枚舉值、從屬關(guān)系、關(guān)聯(lián)關(guān)系等的判斷來進(jìn)行數(shù)據(jù)質(zhì)量的控制,這樣的方法可以解決大部分(70%左右)的數(shù)據(jù)質(zhì)量問題,剩余的30%包括五花八門的錯(cuò)別字,無意的類別錯(cuò)放,人為的有意寫錯(cuò)、放錯(cuò)等。第二種方法,針對(duì)數(shù)據(jù)倉庫的末端進(jìn)行控制。這種方法已經(jīng)隨著數(shù)據(jù)倉庫、BI的發(fā)展存在了多年,實(shí)際上就是ETL過程對(duì)數(shù)據(jù)質(zhì)量的控制。雖然這種方法解決問題的比例甚至都達(dá)不到40%,但是在新的方法出現(xiàn)之前幾乎“橫行”世間近20年,屬于標(biāo)準(zhǔn)的針對(duì)末端的數(shù)據(jù)質(zhì)量的控制。第三種方法,也是針對(duì)數(shù)據(jù)存儲(chǔ)應(yīng)用層(數(shù)據(jù)倉庫)的末端進(jìn)行控制,當(dāng)然這種方法就比較高級(jí)了,那就是采用AI(人工智能)技術(shù),比ETL高級(jí)了很多,尤其是隨著數(shù)據(jù)中臺(tái)的興起,業(yè)界對(duì)其十分看好。其實(shí)AI技術(shù)對(duì)于數(shù)據(jù)質(zhì)量的解決是需要通過長(zhǎng)時(shí)間的自我學(xué)習(xí)才可以達(dá)到理想效果的,并且目前沒有太好的AI工具支撐,此方法還并未實(shí)用化。純技術(shù)的手段并不能完全實(shí)現(xiàn)對(duì)數(shù)據(jù)質(zhì)量的管控,因此我們需要從行為(行為約束)入手去深層次解決數(shù)據(jù)質(zhì)量問題。所謂行為約束,是指對(duì)數(shù)據(jù)采集端的人的行為的控制,比如數(shù)據(jù)新增過程中的審核也是行為約束的一種。最好的行為約束首先應(yīng)該在源端,也就是針對(duì)數(shù)據(jù)維護(hù)操作的人我們要嚴(yán)加“防范”,確保每個(gè)人都能深入到屬性字段級(jí)別最準(zhǔn)確地錄入相關(guān)的屬性取值,要確保專業(yè)的事由專業(yè)的人來做,而不是很多人希望的統(tǒng)一由一個(gè)人代勞維護(hù)所有或者某部分?jǐn)?shù)據(jù)的信息,維護(hù)入口的統(tǒng)一不代表數(shù)據(jù)的統(tǒng)一和高質(zhì)量,相反卻掩蓋了對(duì)數(shù)據(jù)的不專業(yè)導(dǎo)致的二次維護(hù)錯(cuò)誤問題。因此,需要在技術(shù)手段的基礎(chǔ)上開啟數(shù)據(jù)協(xié)同維護(hù)機(jī)制,強(qiáng)化數(shù)據(jù)源頭責(zé)任,強(qiáng)化過程行為約束,更深層次地管控?cái)?shù)據(jù)質(zhì)量如圖1-10所示。圖1-10數(shù)據(jù)維護(hù)行為約束另外,眾多企業(yè)的企業(yè)信息化建設(shè)經(jīng)歷了多年的發(fā)展,各業(yè)務(wù)系統(tǒng)中積累了大量的豐量(歷史)數(shù)據(jù),對(duì)現(xiàn)存的歷史數(shù)據(jù)的清洗同樣適用技術(shù)+行為的手段,通過對(duì)歷史數(shù)據(jù)的全面梳理和規(guī)范,將質(zhì)量有保證的數(shù)據(jù)準(zhǔn)確發(fā)布到各業(yè)務(wù)系統(tǒng)中,確保各業(yè)務(wù)系統(tǒng)中歷史數(shù)據(jù)的準(zhǔn)確。構(gòu)建日常數(shù)據(jù)質(zhì)量監(jiān)測(cè)體系持續(xù)確保數(shù)據(jù)質(zhì)量在前邊的內(nèi)容中已經(jīng)詳細(xì)介紹過數(shù)據(jù)質(zhì)量不理想的問題,導(dǎo)致數(shù)據(jù)質(zhì)量產(chǎn)生問題的因素有多種,但我們最好能打造一套針對(duì)數(shù)據(jù)質(zhì)量的監(jiān)測(cè)機(jī)制,把問題“扼殺”在搖籃階段。2018年3月15日,中華人民共和國(guó)國(guó)家質(zhì)量監(jiān)督檢驗(yàn)檢疫總局、中國(guó)國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)發(fā)布了GB/T36073-2018數(shù)據(jù)管理能力成熟度評(píng)估模型,此模型對(duì)企業(yè)的數(shù)據(jù)管理能力進(jìn)行了分級(jí),根據(jù)不同等級(jí)提出不同的改進(jìn)、發(fā)展建議。但是這種評(píng)估成本較高,周期太長(zhǎng),甚至很多企業(yè)很多年才能評(píng)估一次。為了確保數(shù)據(jù)質(zhì)量的持續(xù)性良好,數(shù)據(jù)治理項(xiàng)目實(shí)施后需要構(gòu)建一個(gè)基于大數(shù)據(jù)行為分析的數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái),而不是傳統(tǒng)意義的基于屬性字段級(jí)的技術(shù)驗(yàn)證。平臺(tái)需要具備實(shí)時(shí)探知數(shù)據(jù)質(zhì)量的能力,并且把數(shù)據(jù)質(zhì)量量化展現(xiàn),同時(shí)提供問題數(shù)據(jù)處理的通道。數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái)的具體邏輯架構(gòu)如圖1-11所示。圖1-11數(shù)據(jù)質(zhì)量監(jiān)測(cè)平臺(tái)的邏輯架構(gòu)由圖1-11可以看出,大數(shù)據(jù)行為的質(zhì)量監(jiān)測(cè)是對(duì)數(shù)據(jù)的一致性、完整性、合規(guī)性、冗余性、有效性和及時(shí)性6方面質(zhì)量標(biāo)準(zhǔn)的深層次的大數(shù)據(jù)行為分析,此方式結(jié)合復(fù)雜邏輯的算法而非傳統(tǒng)的正則表達(dá)式等,最終通過圖和表的結(jié)合高效展現(xiàn)數(shù)據(jù)質(zhì)量結(jié)果,提高數(shù)據(jù)質(zhì)量的可視化效果。構(gòu)建基于場(chǎng)景的數(shù)據(jù)服務(wù)體系推進(jìn)數(shù)據(jù)資產(chǎn)化管理大數(shù)據(jù)時(shí)代的來臨使得數(shù)據(jù)的價(jià)值逐步顯性化,也被各企事業(yè)單位更加重視。數(shù)據(jù)產(chǎn)管理當(dāng)前也已經(jīng)成為IT界的一門新興概念被廣泛研究。DAMA將數(shù)據(jù)資產(chǎn)管理(DataAsset Management,DAM)定義為規(guī)劃、控制和提供數(shù)據(jù)這種企業(yè)資產(chǎn)的一組業(yè)務(wù)職能,包括開發(fā)、執(zhí)行和監(jiān)督有關(guān)數(shù)據(jù)的計(jì)劃、政策、方案、項(xiàng)目、流程、方案和程序,而控制、保護(hù)、交付和提高數(shù)據(jù)資產(chǎn)的價(jià)值。數(shù)據(jù)作為一種“資產(chǎn)”,和傳統(tǒng)意義上所管理的資產(chǎn)并不相同,數(shù)據(jù)資產(chǎn)具備5大特征,即虛擬性、增值性、時(shí)效性、共享性、安全性,具體如圖1-12所示。圖1-12數(shù)據(jù)資產(chǎn)特性數(shù)據(jù)資產(chǎn)的5大特征的核心是共享和價(jià)值,并且有時(shí)效性的共享服務(wù)價(jià)值會(huì)更高。目前企業(yè)內(nèi)數(shù)據(jù)資產(chǎn)化管理還處在初級(jí)階段,長(zhǎng)期以來對(duì)數(shù)據(jù)的私有化價(jià)值意識(shí)比較淡薄,企業(yè)數(shù)據(jù)資產(chǎn)化管理的路還很長(zhǎng),需要慢慢地從數(shù)據(jù)的共享服務(wù)開始讓大家享受到數(shù)據(jù)資產(chǎn)的紅利。數(shù)據(jù)服務(wù)在企業(yè)內(nèi)有多種形式,主要包括對(duì)人的數(shù)據(jù)服務(wù)、對(duì)系統(tǒng)的數(shù)據(jù)服務(wù)、對(duì)數(shù)據(jù)倉庫的數(shù)據(jù)服務(wù)等。對(duì)人服務(wù):統(tǒng)一查詢,單一視圖,如圖1-13所示。圖1-13數(shù)據(jù)查詢?cè)L問對(duì)系統(tǒng)的服務(wù):雪花狀數(shù)據(jù)交換服務(wù)架構(gòu),如圖1-14所示。圖1-14雪花狀數(shù)據(jù)交換服務(wù)架構(gòu)對(duì)數(shù)據(jù)倉庫的服務(wù):如圖1-15所示。圖1-15數(shù)據(jù)治理支撐數(shù)據(jù)分析和業(yè)務(wù)管理構(gòu)建基于過程的知識(shí)體系確保全面的數(shù)據(jù)治理能力簡(jiǎn)單地知識(shí)轉(zhuǎn)移一下,能用好工具就可以了,甚至很多人認(rèn)為數(shù)據(jù)治理一定要長(zhǎng)期靠外力,企業(yè)自身的能力有限根本不可能治理好數(shù)據(jù)。這是一個(gè)很大的誤區(qū),數(shù)據(jù)治理可以借助外力,但一定不能長(zhǎng)期借用外力。借用外力應(yīng)該只是一個(gè)項(xiàng)目的過程,實(shí)施數(shù)據(jù)治理項(xiàng)目只是數(shù)據(jù)治理工作的起點(diǎn),項(xiàng)目實(shí)施后未來長(zhǎng)期的數(shù)據(jù)治理過程中如果繼續(xù)依靠外力,高昂的成本企業(yè)根本無法承受,其實(shí)也沒必要付出這個(gè)成本。因此,企業(yè)具備數(shù)據(jù)治理的能力非常重要,那么企業(yè)應(yīng)該具備什么樣的能力呢?根據(jù)多年的經(jīng)驗(yàn)總結(jié),企業(yè)數(shù)據(jù)運(yùn)維管理階段需要具備針對(duì)數(shù)據(jù)管理體系的拓展和完善能力,以便支撐未來企業(yè)發(fā)展后的數(shù)據(jù)擴(kuò)展或管理變更的需求。如何才能獲得這個(gè)能力呢?經(jīng)驗(yàn)告訴我們,能力需要有足夠多的知識(shí)支撐才可以具的就是弄清來龍去脈以便延續(xù)以往的思路,防止標(biāo)準(zhǔn)體系的走偏和分裂。因此要做好此工作需要長(zhǎng)期積累大量的過程知識(shí),構(gòu)建基于過程的知識(shí)收集和推送體系是關(guān)鍵中的關(guān)鍵。具體的過程知識(shí)體系結(jié)構(gòu)如圖1-16所示。圖1-16數(shù)據(jù)知識(shí)收集和推送體系第2章“八步走”實(shí)施企業(yè)數(shù)據(jù)治理明確了數(shù)據(jù)治理的方向后,接下來介紹實(shí)施企業(yè)數(shù)據(jù)治理的具體方法。近20年的數(shù)據(jù)治理經(jīng)驗(yàn)使得我們有機(jī)會(huì)總結(jié)出一套基于數(shù)據(jù)治理項(xiàng)目實(shí)施前、實(shí)施中、實(shí)施后的數(shù)據(jù)治理方法論,包括八個(gè)步驟,也代表了數(shù)據(jù)治理工作的八個(gè)方面,缺一不可?,F(xiàn)狀自查——摸清數(shù)據(jù)管理現(xiàn)狀企業(yè)數(shù)據(jù)管理現(xiàn)狀的自查是未來開啟數(shù)據(jù)治理的基礎(chǔ)工作,是讓領(lǐng)導(dǎo)下定決心的第一步。數(shù)據(jù)管理現(xiàn)狀的自查是指對(duì)數(shù)據(jù)管理組織、數(shù)據(jù)管理制度、數(shù)據(jù)管理流程、數(shù)據(jù)分了解相關(guān)人員對(duì)數(shù)據(jù)管理的訴求。企業(yè)數(shù)據(jù)管理現(xiàn)狀自查工作的開展主要由企業(yè)自己的IT部門發(fā)起,當(dāng)然也可以由企業(yè)運(yùn)營(yíng)或者管理部門發(fā)起,自查工作的發(fā)起部門一般也是未來數(shù)據(jù)治理項(xiàng)目的發(fā)起及主導(dǎo)部門。數(shù)據(jù)管理現(xiàn)狀自查的具體原則為:況如何;員,多聽一線的呼聲;強(qiáng)調(diào)針對(duì)性,只針對(duì)數(shù)據(jù)管理現(xiàn)狀了解,不要過多地牽扯業(yè)務(wù)管理;不宜過細(xì),這個(gè)自查只是初步的整體上的了解,不要過于糾纏細(xì)節(jié);求。通過對(duì)數(shù)據(jù)管理現(xiàn)狀的初步了解,至少要弄清以下內(nèi)容:目前企業(yè)有沒有數(shù)據(jù)管理組織?如果有,是以什么形式存在的?范、運(yùn)維體系的情況如何?都由哪些層級(jí)的組織負(fù)責(zé)?目前執(zhí)行的結(jié)果如何?規(guī)、一物多碼等問題存在?有沒有數(shù)據(jù)訪問、服務(wù)安全機(jī)制?數(shù)據(jù)開放程度如何?業(yè)務(wù)系統(tǒng)間數(shù)據(jù)交互的現(xiàn)狀是什么樣的?都涉及什么樣的接口機(jī)制?日常管理中是否發(fā)現(xiàn)數(shù)據(jù)質(zhì)量的問題?對(duì)有質(zhì)量問題的數(shù)據(jù)是怎么處理的?另外,可以根據(jù)以上情況結(jié)合國(guó)家2018年發(fā)布的GB/T 36073-2018相關(guān)的標(biāo)準(zhǔn)進(jìn)行自查,最終就可以很清晰地感受到企業(yè)內(nèi)的數(shù)據(jù)管理處在一個(gè)什么等級(jí),數(shù)據(jù)治理的緊迫是否很強(qiáng)等。精心籌備——做好數(shù)據(jù)治理項(xiàng)目的啟動(dòng)工作當(dāng)企業(yè)決定要開展數(shù)據(jù)治理后,真正的準(zhǔn)備工作就來了。大家都知道頑疾要想痊愈,肯定是非常難,企業(yè)多年來積累的數(shù)據(jù)質(zhì)量問題,要想徹底全面地解決是一個(gè)非常繁重的工作,周期長(zhǎng)且成效很難立刻顯現(xiàn),急于求成或者力求一步到位很容易出現(xiàn)半途而廢的情況,因此項(xiàng)目啟動(dòng)前的準(zhǔn)備工作是相當(dāng)?shù)闹匾捅匾模枰幸欢ǖ牟呗院头椒?。要想順利啟?dòng)一個(gè)數(shù)據(jù)治理項(xiàng)目,具體的前期準(zhǔn)備工作如下:獲取領(lǐng)導(dǎo)支持首先,數(shù)據(jù)治理項(xiàng)目是企業(yè)的重大項(xiàng)目,此類項(xiàng)目的實(shí)施必須獲得高層領(lǐng)導(dǎo)的支持,甚至是“一把手”直接參與,這是項(xiàng)目成功的基本保障。經(jīng)驗(yàn)告訴我們,“走出去、請(qǐng)進(jìn)來”是改變領(lǐng)導(dǎo)傳統(tǒng)思維的有效方法之一,再就是給領(lǐng)導(dǎo)匯報(bào)時(shí)要充分說明因數(shù)據(jù)質(zhì)量問題造成的企業(yè)相關(guān)管理問題、痛點(diǎn),并提出合理的解決方案,引起領(lǐng)導(dǎo)的重視。找準(zhǔn)管理“痛點(diǎn)”怎么樣才能精準(zhǔn)地找出“痛點(diǎn)”呢?首先要從數(shù)據(jù)規(guī)范的角度出發(fā),然后精準(zhǔn)匹配業(yè)務(wù)場(chǎng)景,最終以數(shù)據(jù)規(guī)范為基礎(chǔ),以業(yè)務(wù)場(chǎng)景為方向,以數(shù)據(jù)應(yīng)用分析為目標(biāo),找到真正關(guān)鍵、準(zhǔn)確的“痛點(diǎn)”出來。通常來講,企業(yè)因數(shù)據(jù)質(zhì)量問題造成的管理“痛點(diǎn)”包括:數(shù)據(jù)報(bào)表不準(zhǔn)確、采購出錯(cuò)、倉庫賬實(shí)不一、客戶滿意度低、售后服務(wù)延遲等問題。選擇起點(diǎn)、明確目標(biāo)下一步就要選擇開展數(shù)據(jù)治理工作的“起點(diǎn)”,并最終明確數(shù)據(jù)治理的相關(guān)目標(biāo)。一個(gè)企業(yè)啟動(dòng)數(shù)據(jù)治理項(xiàng)目的契機(jī)通常是大型業(yè)務(wù)系統(tǒng)上線前,BI或報(bào)表工具實(shí)施前,項(xiàng)目目標(biāo)一般都是快速提升數(shù)據(jù)質(zhì)量,解決業(yè)務(wù)或數(shù)據(jù)分析等管理“痛點(diǎn)”。確定治理原則,框定治理范圍起點(diǎn)與目標(biāo)明確后,接著就要確定治理的原則和范圍,具體如下:以靜態(tài)數(shù)據(jù)管理為關(guān)鍵;以元數(shù)據(jù)管理為基礎(chǔ);基于主數(shù)據(jù)的動(dòng)態(tài)特性,強(qiáng)化私有靜態(tài)數(shù)據(jù)管理,實(shí)現(xiàn)360建立企業(yè)級(jí)靜態(tài)數(shù)據(jù)中心;完善指標(biāo)數(shù)據(jù)管理體系,改善動(dòng)態(tài)交易數(shù)據(jù)的存儲(chǔ)、分析機(jī)制,推行敏捷BI使用,建立企業(yè)數(shù)據(jù)中心。立項(xiàng)申報(bào)、廠商選擇有了領(lǐng)導(dǎo)支持,并且以上前期準(zhǔn)備工作都完成后,就可以著手項(xiàng)目立項(xiàng)工作了。立項(xiàng)申報(bào)最主要的工作就是要編寫一套出色的《數(shù)據(jù)治理項(xiàng)目立項(xiàng)報(bào)告》,內(nèi)容要包括數(shù)據(jù)治理項(xiàng)目的背景、意義;數(shù)據(jù)治理的必要性;數(shù)據(jù)管理的現(xiàn)狀;數(shù)據(jù)治理項(xiàng)目的目標(biāo)規(guī)劃;數(shù)據(jù)治理項(xiàng)目的實(shí)施方案;數(shù)據(jù)治理項(xiàng)目的預(yù)算;數(shù)據(jù)治理項(xiàng)目的價(jià)值預(yù)估等。項(xiàng)目立項(xiàng)申報(bào)的同時(shí),還要考慮由誰去實(shí)施這個(gè)項(xiàng)目。首先從企業(yè)自身的角度出發(fā)衡量自身能力,也就是先判斷企業(yè)是否可以自行完成這個(gè)數(shù)據(jù)治理項(xiàng)目。衡量的標(biāo)準(zhǔn)主要包括:企業(yè)內(nèi)是否有人懂?dāng)?shù)據(jù)治理?企業(yè)是否有相關(guān)部門可以主導(dǎo)整個(gè)項(xiàng)目的開展?企業(yè)相關(guān)人員參與項(xiàng)目的時(shí)間是否充足?企業(yè)內(nèi)是否具備相關(guān)技術(shù)實(shí)力支撐項(xiàng)目的順暢開展?企業(yè)是否具備相關(guān)的工具以便實(shí)現(xiàn)體系規(guī)范的落地?但一般建議還是引入“外援”,讓專業(yè)的數(shù)據(jù)治理公司參與進(jìn)來,具體的外部廠商的選擇標(biāo)準(zhǔn)詳見“4.3”小節(jié)內(nèi)容。全面排查——開展項(xiàng)目調(diào)研分析本節(jié)的全面排查和2.1節(jié)介紹的企業(yè)現(xiàn)狀自查有本質(zhì)的區(qū)別,現(xiàn)狀自查是企業(yè)自己對(duì)自身數(shù)據(jù)管理現(xiàn)狀的全面了解,而本節(jié)的全面排查引入了外部專業(yè)廠商(乙方)的力量,是從項(xiàng)目實(shí)施的角度出發(fā)進(jìn)行的調(diào)研,是啟動(dòng)項(xiàng)目前的調(diào)研和分析。具體的調(diào)研方法和調(diào)研內(nèi)容如下。調(diào)研方法實(shí)地走訪;集中會(huì)議交流;線上發(fā)放問卷;電話、網(wǎng)絡(luò)點(diǎn)對(duì)點(diǎn)交流。調(diào)研內(nèi)容目前數(shù)據(jù)管理現(xiàn)狀;目前數(shù)據(jù)管理對(duì)業(yè)務(wù)管理的影響;目前數(shù)據(jù)管理對(duì)數(shù)據(jù)應(yīng)用分析(報(bào)表、BI、大數(shù)據(jù)等)的影響;目前數(shù)據(jù)管理對(duì)未來企業(yè)數(shù)據(jù)戰(zhàn)略規(guī)劃的影響;各級(jí)人員對(duì)數(shù)據(jù)管理的意見和建議。另外,調(diào)研的過程要時(shí)刻想著收集直接的一手資料,不論是制度、模型、流程,還是一些實(shí)際的數(shù)據(jù)以及數(shù)據(jù)質(zhì)量、安全的問題,紙質(zhì)材料也好,電子版材料也好,反正是有什么都統(tǒng)統(tǒng)拿來。面找出問題,畢竟要出具合格的“診斷結(jié)果”——《調(diào)研分析報(bào)告》還是不容易的。《調(diào)研分析報(bào)告》的內(nèi)容應(yīng)包括企業(yè)數(shù)據(jù)治理背景、調(diào)研過程(包括調(diào)研時(shí)間、人員、會(huì)議情況、資料收集情況等)議等。構(gòu)建數(shù)據(jù)管理體系——重塑數(shù)據(jù)管理標(biāo)準(zhǔn)項(xiàng)目調(diào)研完成后,根據(jù)《調(diào)研分析報(bào)告》以及收集的相關(guān)資料開始進(jìn)行數(shù)據(jù)治理項(xiàng)目最核心的一個(gè)環(huán)節(jié)——構(gòu)建數(shù)據(jù)管理體系。數(shù)據(jù)管理體系是企業(yè)數(shù)據(jù)治理的依據(jù)和基礎(chǔ),也經(jīng)常被理解為企業(yè)數(shù)據(jù)環(huán)境,企業(yè)數(shù)據(jù)環(huán)境的好壞直接決定了數(shù)據(jù)質(zhì)量的優(yōu)劣。數(shù)據(jù)管理體系由數(shù)據(jù)管理組織、制度、流程;數(shù)據(jù)模型體系;數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn);數(shù)據(jù)安全管理標(biāo)準(zhǔn);數(shù)據(jù)交換管理體系;數(shù)據(jù)運(yùn)維管理體系6部分組成。重構(gòu)企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)體系的原則如下:數(shù)據(jù)管理知識(shí)體系指南》;借鑒數(shù)據(jù)治理廠商多年的數(shù)據(jù)治理經(jīng)驗(yàn);盡量選擇有多年經(jīng)驗(yàn)的行業(yè)專家主導(dǎo)或參與制定;參照國(guó)際標(biāo)準(zhǔn)、國(guó)家標(biāo)準(zhǔn)、行業(yè)標(biāo)準(zhǔn)、企業(yè)標(biāo)準(zhǔn);數(shù)據(jù)管理體系定稿前要全面、詳實(shí)地討論,線上保留全部討論內(nèi)容;重點(diǎn)聽取一線或業(yè)務(wù)部門建議、意見。通過以上方法可以制定出一套既滿足數(shù)據(jù)管理要求又不違背業(yè)務(wù)邏輯的全新數(shù)據(jù)標(biāo)準(zhǔn)體系。最終要實(shí)現(xiàn)標(biāo)準(zhǔn)體系的系統(tǒng)落地,切忌成果只留在紙面或者電子文檔中。存量數(shù)據(jù)改造——解決已有質(zhì)量問題數(shù)據(jù)標(biāo)準(zhǔn)體系構(gòu)建好并實(shí)現(xiàn)落地后,接下來就是要進(jìn)行存量數(shù)據(jù)改造——不完整、不合規(guī)以及冗余的問題。通過存量數(shù)據(jù)的改造徹底解決數(shù)據(jù)質(zhì)量的歷史遺留問題,為未來數(shù)據(jù)新增時(shí)的查重奠定基礎(chǔ)。數(shù)據(jù)清洗的原則及方法:據(jù)清洗;遵循數(shù)據(jù)治理項(xiàng)目建立的數(shù)據(jù)模型體系標(biāo)準(zhǔn);容易出錯(cuò);事;據(jù)清洗工作時(shí)間跨度適當(dāng)拉長(zhǎng),減輕不必要的壓力。數(shù)據(jù)清洗的結(jié)果是完善了數(shù)據(jù),建立了冗余數(shù)據(jù)的映射關(guān)系庫,然后可以根據(jù)冗余數(shù)據(jù)映射關(guān)系庫在業(yè)務(wù)系統(tǒng)中陸續(xù)停用問題數(shù)據(jù),當(dāng)然也可以把完善后的數(shù)據(jù)更新到業(yè)務(wù)中去。構(gòu)建數(shù)據(jù)交換架構(gòu)——徹底打通數(shù)據(jù)孤島數(shù)據(jù)交換服務(wù)是指通過數(shù)據(jù)交換平臺(tái)建立各業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)交換(采集、分發(fā)),實(shí)現(xiàn)數(shù)據(jù)在各系統(tǒng)間的順暢流動(dòng),徹底消除企業(yè)的“數(shù)據(jù)孤島”現(xiàn)象。構(gòu)建數(shù)據(jù)交換服務(wù)屬于技術(shù)性較強(qiáng)的工作,此項(xiàng)工作的核心就是完善數(shù)據(jù)交換架構(gòu)。當(dāng)數(shù)據(jù)管理體系重構(gòu)后就可以開展此工作,可以和存量數(shù)據(jù)的改造工作并行。此工作首先要進(jìn)行交換標(biāo)準(zhǔn)體系的梳理,然后構(gòu)建基于靜態(tài)數(shù)據(jù)中心的數(shù)據(jù)交換架構(gòu),最后通過搭建專業(yè)的數(shù)據(jù)交換平臺(tái)進(jìn)行技術(shù)實(shí)現(xiàn)。完善數(shù)據(jù)交換架構(gòu)的原則和方法:梳理并制定數(shù)據(jù)標(biāo)準(zhǔn)體系(數(shù)據(jù)管理體系的一部分),具體梳理與制定原則、方法詳見6.1.5小節(jié)。并結(jié)合數(shù)據(jù)交換標(biāo)準(zhǔn)體系構(gòu)建基于靜態(tài)數(shù)據(jù)中心的數(shù)據(jù)交換架構(gòu)(詳見8.2小節(jié));必要時(shí)把第三方廠商請(qǐng)到項(xiàng)目現(xiàn)場(chǎng)進(jìn)行交換規(guī)則的討論、定義;利用專業(yè)的數(shù)據(jù)交換平臺(tái)進(jìn)行技術(shù)實(shí)現(xiàn),不建議直接使用ESB交換靜態(tài)數(shù)據(jù)。本階段結(jié)束后,企業(yè)數(shù)據(jù)治理項(xiàng)目的主要工作已基本完成,可以進(jìn)入項(xiàng)目的試運(yùn)行和驗(yàn)收工作了。行為管控——優(yōu)化增量數(shù)據(jù)質(zhì)量數(shù)據(jù)治理項(xiàng)目試運(yùn)行和驗(yàn)收的同時(shí),企業(yè)對(duì)于數(shù)據(jù)的治理工作就正式進(jìn)入了對(duì)數(shù)據(jù)的日常運(yùn)維階段,也是數(shù)據(jù)生命周期的核心階段。要通過行為管控的數(shù)據(jù)質(zhì)量?jī)?yōu)化方式,解決更深層次數(shù)據(jù)質(zhì)量問題(錯(cuò)誤等),基礎(chǔ)上對(duì)數(shù)據(jù)操作人員的行為進(jìn)行管控,從而優(yōu)化數(shù)據(jù)質(zhì)量;通過大數(shù)據(jù)行為分析,檢測(cè)、探知、處理已生成的數(shù)據(jù),進(jìn)一步優(yōu)化數(shù)據(jù)質(zhì)量。增量數(shù)據(jù)相對(duì)存量數(shù)據(jù)而言,二者以數(shù)據(jù)治理項(xiàng)目中數(shù)據(jù)治理平臺(tái)正式上線的時(shí)間節(jié)點(diǎn)來劃分。數(shù)據(jù)治理平臺(tái)上線前,企業(yè)已有的所有數(shù)據(jù)都是存量數(shù)據(jù);平臺(tái)上線后新增的數(shù)據(jù)都是增量數(shù)據(jù)。另外,只有增量數(shù)據(jù)的質(zhì)量需要再優(yōu)化,存量數(shù)據(jù)只需要在數(shù)據(jù)治理項(xiàng)目中進(jìn)行一次性清洗即可。針對(duì)增量數(shù)據(jù)質(zhì)量可以通過行為管控進(jìn)行優(yōu)化的階段有兩個(gè),一是在數(shù)據(jù)采集/驗(yàn)證(數(shù)據(jù)維護(hù)/審核)階段,二是在數(shù)據(jù)生成、分發(fā)階段,數(shù)據(jù)全生命周期如圖2-1所示。圖2-1數(shù)據(jù)全生命周期通過行為管控的方式解決數(shù)據(jù)質(zhì)量問題的原則和方法:數(shù)據(jù)維護(hù)階段,依據(jù)相關(guān)業(yè)務(wù)崗位的人員錄入本業(yè)務(wù)崗位相關(guān)數(shù)據(jù)的原則,把整條數(shù)據(jù)信息拆分成多個(gè)(或組)屬性字段,通過將各專業(yè)屬性字段(或組)關(guān)業(yè)務(wù)崗位人員進(jìn)行維護(hù)實(shí)現(xiàn)優(yōu)化增量數(shù)據(jù)質(zhì)量;監(jiān)測(cè),探知已存在于業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)質(zhì)量問題,并對(duì)問題及時(shí)進(jìn)行處理;力。能力轉(zhuǎn)移——保障高效的數(shù)據(jù)運(yùn)維管理操作能力,企業(yè)對(duì)數(shù)據(jù)標(biāo)準(zhǔn)體系的擴(kuò)展、完善幾乎是無能為力,數(shù)據(jù)運(yùn)維管理變得很艱難。所以必須要實(shí)現(xiàn)數(shù)據(jù)治理能力有效完整的轉(zhuǎn)移。數(shù)據(jù)治理能力的轉(zhuǎn)移來源于數(shù)據(jù)治理知識(shí)的有效轉(zhuǎn)移。數(shù)據(jù)治理知識(shí)來源于數(shù)據(jù)治理項(xiàng)目過程中對(duì)調(diào)研、咨詢知識(shí)的收集、加工,以及數(shù)據(jù)治理項(xiàng)目實(shí)施后日常數(shù)據(jù)運(yùn)維管理過程中的知識(shí)采集、沉淀,也稱數(shù)據(jù)治理知識(shí)的生產(chǎn)。數(shù)據(jù)治理項(xiàng)目具有很高的難度和特殊性,只有數(shù)據(jù)治理項(xiàng)目成果的知識(shí)轉(zhuǎn)移對(duì)企業(yè)數(shù)據(jù)治理能力的提升不明顯,無法讓企業(yè)具備有效的數(shù)據(jù)治理能力,無法有效支撐數(shù)據(jù)的運(yùn)維管理。因此,需要注重?cái)?shù)據(jù)治理知識(shí)的生產(chǎn)、積累、存儲(chǔ),并且實(shí)時(shí)地注入企業(yè)數(shù)據(jù)運(yùn)維人員的操作界面上,讓運(yùn)維人員在進(jìn)行數(shù)據(jù)管理體系拓展操作時(shí)可以借鑒、參考數(shù)據(jù)治理項(xiàng)目實(shí)施時(shí)的思路,實(shí)現(xiàn)數(shù)據(jù)管理體系拓展與現(xiàn)有項(xiàng)目的無縫銜接。項(xiàng)目篇全面梳理數(shù)據(jù)治理項(xiàng)目實(shí)施過程各環(huán)節(jié)的要點(diǎn)。第3章5個(gè)角度自查數(shù)據(jù)管理現(xiàn)狀所謂的自查,就是企業(yè)自己組織力量對(duì)企業(yè)自身的數(shù)據(jù)管理現(xiàn)狀進(jìn)行初步了解。自查可以讓企業(yè)明確自身所處的狀態(tài),為即將開展的數(shù)據(jù)治理工作做前期準(zhǔn)備。從2007年到2019年這12年來,筆者親身經(jīng)歷并感受到企業(yè)對(duì)數(shù)據(jù)治理需求的變化。2010年初,筆者所在的中翰軟件公司首次把主數(shù)據(jù)概念引入國(guó)內(nèi),并發(fā)布了中翰MDM平臺(tái)。當(dāng)時(shí)筆者帶領(lǐng)10多人的銷售團(tuán)隊(duì)到山東的100強(qiáng)企業(yè)里面進(jìn)行大范圍市場(chǎng)調(diào)解,企業(yè)信息化建設(shè)普遍不成熟。2012年夏天,筆者又進(jìn)行了一次類似的市場(chǎng)調(diào)研,并安排銷售、咨詢?nèi)藛T為企業(yè)宣講數(shù)據(jù)治理的必要性、科學(xué)性。讓人欣慰的是,這次有了一些收獲,好多企業(yè)已經(jīng)認(rèn)識(shí)到數(shù)據(jù)治理的重要性。從2015年開始,隨著大數(shù)據(jù)概念的持續(xù)發(fā)酵,越來越多的企業(yè)逐漸意識(shí)到了數(shù)據(jù)治理的必要性,主動(dòng)開始尋求解決方案甚至立項(xiàng),尤其是2019年開始,企業(yè)對(duì)數(shù)據(jù)治理的需求出現(xiàn)了井噴式的增長(zhǎng)。總的來說,由于缺乏對(duì)數(shù)據(jù)的有效控制,企業(yè)的數(shù)據(jù)問題往往會(huì)有以下四個(gè)主要和普遍的問題。數(shù)據(jù)不一致由于企業(yè)內(nèi)數(shù)據(jù)存在不一致性,導(dǎo)致企業(yè)大量的資源浪費(fèi),包括時(shí)間、金錢和人力客戶數(shù)據(jù),這種客戶數(shù)據(jù)進(jìn)行一致處理的過程需要多次反復(fù)。數(shù)據(jù)冗余大多數(shù)企業(yè)沒有專業(yè)的數(shù)據(jù)管理平臺(tái),企業(yè)內(nèi)的每一個(gè)系統(tǒng)、應(yīng)用,甚至每個(gè)業(yè)務(wù)部門都會(huì)有各自的數(shù)據(jù)信息。最普遍的例子就是對(duì)客戶數(shù)據(jù)的收集,客戶的關(guān)鍵屬性如客戶名稱、地址等信息在企業(yè)內(nèi)各個(gè)角落都被重復(fù)記錄著。在這個(gè)收集客戶信息的過程中,很少會(huì)產(chǎn)生相同或者一致的結(jié)果。這就導(dǎo)致了數(shù)據(jù)冗余和數(shù)據(jù)質(zhì)量過差的問題出現(xiàn)。業(yè)務(wù)低效這不僅是低效的,而且很有可能由于信息的不全導(dǎo)致采購的物料無法滿足生產(chǎn)部門的需的效率,從而降低企業(yè)的市場(chǎng)競(jìng)爭(zhēng)力。不適應(yīng)業(yè)務(wù)變化企業(yè)內(nèi)的業(yè)務(wù)經(jīng)常發(fā)生各種變化,如引入新的產(chǎn)品和服務(wù),公司的業(yè)務(wù)重組和新技術(shù)的應(yīng)用。這些企業(yè)內(nèi)的各種變化都會(huì)導(dǎo)致企業(yè)數(shù)據(jù)的變化,如果沒有一套機(jī)制來管理這些變化,企業(yè)在數(shù)據(jù)不一致、不完整、不合規(guī)、數(shù)據(jù)冗余、業(yè)務(wù)低效等方面的問題就會(huì)不斷地加劇。企業(yè)實(shí)施數(shù)據(jù)治理項(xiàng)目之前,首先要做的就是對(duì)各種企業(yè)數(shù)據(jù)的問題進(jìn)行自查。綜合以上各種情況,企業(yè)數(shù)據(jù)的問題可以按照數(shù)據(jù)環(huán)境、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)交換、數(shù)據(jù)運(yùn)維5大維度進(jìn)行區(qū)分,可以從這5個(gè)角度進(jìn)行自查。自查數(shù)據(jù)環(huán)境數(shù)據(jù)環(huán)境,是指包括數(shù)據(jù)的數(shù)據(jù)管理組織、制度和流程、模型體系(包括數(shù)據(jù)分類、編碼、信息模型體系)、質(zhì)量標(biāo)準(zhǔn)體系、安全標(biāo)準(zhǔn)體系、運(yùn)維管理體系、交換標(biāo)準(zhǔn)體系等在內(nèi)的標(biāo)準(zhǔn)體系的集合,統(tǒng)指為數(shù)據(jù)所處的環(huán)境。在企業(yè)數(shù)據(jù)環(huán)境現(xiàn)狀自查過程中,一定要做到全面、細(xì)致、準(zhǔn)確,這樣才能為下一步的數(shù)據(jù)治理工作打下堅(jiān)實(shí)的基礎(chǔ)。數(shù)據(jù)環(huán)境現(xiàn)狀自查方法、原則在第2章已有介紹,在此不再重復(fù),此處給出企業(yè)數(shù)據(jù)環(huán)境自查的具體標(biāo)準(zhǔn),如表3-1所示。企業(yè)可以參照這個(gè)自查標(biāo)準(zhǔn)對(duì)自身的企業(yè)數(shù)據(jù)環(huán)境狀況進(jìn)行自查。表3-1企業(yè)數(shù)據(jù)環(huán)境自查標(biāo)準(zhǔn)自查數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量指的是一條數(shù)據(jù)顯性的質(zhì)量表現(xiàn),分析起來似乎比較容易,但是我們不僅要考慮數(shù)據(jù)自身的質(zhì)量問題,也要考慮不同系統(tǒng)(數(shù)據(jù)所處環(huán)境)間由于各種原因造成的質(zhì)量問題,畢竟數(shù)據(jù)的存在不是獨(dú)立性的。因此,分析數(shù)據(jù)的質(zhì)量問題,需要結(jié)合現(xiàn)有的業(yè)務(wù)管理系統(tǒng),從數(shù)據(jù)的一致性、完整性、合規(guī)性、冗余、及時(shí)性和有效性6個(gè)方面進(jìn)行全面的分析。數(shù)據(jù)質(zhì)量自查標(biāo)準(zhǔn)及方法數(shù)據(jù)質(zhì)量自查標(biāo)準(zhǔn),如表3-2所示。表3-2企業(yè)數(shù)據(jù)質(zhì)量自查標(biāo)準(zhǔn)3-3所示。表3-3自查數(shù)據(jù)質(zhì)量的方法(數(shù)據(jù)角度)(續(xù))從業(yè)務(wù)管理和數(shù)據(jù)應(yīng)用分析的角度判斷數(shù)據(jù)質(zhì)量的方法如表3-4所示。表3-4自查數(shù)據(jù)質(zhì)量的方法(業(yè)務(wù)角度)(續(xù))數(shù)據(jù)質(zhì)量自查實(shí)例從企業(yè)實(shí)際數(shù)據(jù)管理的角度,我們看一下現(xiàn)實(shí)中存在的各種數(shù)據(jù)質(zhì)量的問題,可供企業(yè)做數(shù)據(jù)質(zhì)量自查時(shí)參考。數(shù)據(jù)規(guī)范、標(biāo)準(zhǔn)方面的數(shù)據(jù)質(zhì)量問題案例一:國(guó)內(nèi)某大型裝備制造企業(yè)集團(tuán),并沒有形成統(tǒng)一的數(shù)據(jù)模型規(guī)范。其主要問題如下。數(shù)據(jù)大類問題,如表3-5所示。表3-5數(shù)據(jù)大類問題上表中可以看出,該企業(yè)的數(shù)據(jù)大類界定維度不一,如外購件和標(biāo)準(zhǔn)件兩類,外購件的范圍太廣,沒有限定具體范圍,只要是外購的都適用。數(shù)據(jù)中類問題。中類包含的范圍太廣,模板無法統(tǒng)一,如表3-6所示。表3-6數(shù)據(jù)中類問題從上表中可以看出,“化工用品”的范圍太大,包含了“涂料”“粘接材料”等品類,經(jīng)常出現(xiàn)很多本是“粘接材料”的物資誤放到“化工用品”中的現(xiàn)象,直接造成一物多碼等的數(shù)據(jù)冗余問題。還有一種情況就是中類分的過細(xì),導(dǎo)致中類包含數(shù)量較多,后期出現(xiàn)新的數(shù)據(jù)時(shí),可能需要增加新的類別對(duì)應(yīng),導(dǎo)致未來中類數(shù)量越來越多,最終出現(xiàn)中類編碼位數(shù)不夠的現(xiàn)象,如表3-7所示。表3-7數(shù)據(jù)中類問題數(shù)據(jù)小類問題。小類界定模糊不清,如表3-8、3-9所示。表3-8數(shù)據(jù)小類問題(1)表3-9數(shù)據(jù)小類問題(2)表3-8中的“電線、電纜”小類和“排線”“自控電伴熱線”小類有包含和被包含的關(guān)系存在,數(shù)據(jù)新增時(shí)很容易出現(xiàn)錯(cuò)放類別的情況。表3-9中的“門控器”和“安全門門控器”也是同樣的問題。編碼屬性問題。傳統(tǒng)型的規(guī)格型號(hào)整體式管理,無法實(shí)現(xiàn)嚴(yán)格的數(shù)據(jù)驗(yàn)證,且很容易造成人為的錄入錯(cuò)誤,尤其是中間連接符號(hào)如“*”“x”和“×”經(jīng)?;煊茫绫?-10所示。表3-10編碼屬性問題(1)編碼數(shù)據(jù)模型不統(tǒng)一、不完整(同一小類),如表3-11所示。表3-11編碼屬性問題(2)(續(xù))以上這些編碼中很明顯的可以看出,同一個(gè)小類中編碼數(shù)據(jù)模型格式嚴(yán)重不統(tǒng)一,同樣都是膠帶,有的是顏色屬性,有的是寬度屬性,有的是長(zhǎng)度,有的是品牌型號(hào),這樣后期新增數(shù)據(jù)時(shí)如此操作很難實(shí)現(xiàn)數(shù)據(jù)的精確查重,數(shù)據(jù)冗余在所難免。計(jì)量單位的大小寫不同(同一小類),如表3-12書寫格式不規(guī)范,對(duì)于此類錄入錯(cuò)誤缺乏數(shù)據(jù)驗(yàn)證。表3-12編碼屬性問題(3)案例二:國(guó)內(nèi)某大型箱包生產(chǎn)企業(yè)集團(tuán)案例,其編碼數(shù)據(jù)模型不統(tǒng)一、不標(biāo)準(zhǔn)。其主要問題如下。編碼數(shù)據(jù)模型不統(tǒng)一、不標(biāo)準(zhǔn),如表3-13所示。表3-13編碼數(shù)據(jù)模型不統(tǒng)一(續(xù))通過以上數(shù)據(jù)可以看出,不同編碼的規(guī)格型號(hào)的描述方式相差較大,有純漢字說明和借用編碼流水號(hào)兩種,二者的共存很容易導(dǎo)致一物多碼或一碼多物的問題發(fā)生,因?yàn)椴灰粯拥拿枋龇椒?,業(yè)務(wù)系統(tǒng)無法驗(yàn)證新增數(shù)據(jù)時(shí)的重復(fù)所在。還有一個(gè)問題就是物資描述不標(biāo)準(zhǔn)、不清晰,規(guī)格型號(hào)用編碼來代替,此種情況適合比較熟悉實(shí)際業(yè)務(wù)。且非常了解相關(guān)物資的人,看到編碼就可以直接對(duì)應(yīng)到相關(guān)物資。但是企業(yè)生產(chǎn)過程中難免有崗位調(diào)離、離職、請(qǐng)假等現(xiàn)象的發(fā)生,新員工來到此崗位需要很長(zhǎng)一段時(shí)間來熟悉物資的這種描述方式,很容易導(dǎo)致錯(cuò)誤采購、錯(cuò)誤生產(chǎn)、錯(cuò)誤盤點(diǎn)等現(xiàn)象的發(fā)生,直接對(duì)業(yè)務(wù)產(chǎn)生負(fù)面影響。同樣的問題(如表3-14所示的數(shù)據(jù))也很嚴(yán)重。表3-14物資描述問題(1)(續(xù))編碼長(zhǎng)度不一,且編碼規(guī)則不一,如表3-15所示。表3-15物資描述問題(2)從表3-15中可以清晰地看出左邊編碼列的長(zhǎng)短不一,并且編碼借用了規(guī)格型號(hào),如最后兩行的數(shù)據(jù)很可能造成“一物多碼”問題的發(fā)生。再有就是兩個(gè)編碼很明顯屬于同一類別,但是編碼規(guī)則中有阿拉伯?dāng)?shù)字“9”和英文字母“A”共存的現(xiàn)象,這種現(xiàn)象很容易造成一些誤解和“一物多碼”問題。規(guī)格型號(hào)書寫格式不規(guī)范,如表3-16所示。表3-16物資描述問題(3)在表3-16中,規(guī)格型號(hào)的描述中“織嘜”前有的有空格,有的沒有空格,這種現(xiàn)象的出現(xiàn)直接導(dǎo)致現(xiàn)有業(yè)務(wù)系統(tǒng)無法實(shí)現(xiàn)有效查重,出現(xiàn)重碼現(xiàn)象在所難免。主數(shù)據(jù)冗余方面的數(shù)據(jù)質(zhì)量問題案例一:國(guó)內(nèi)某大型裝備制造企業(yè)集團(tuán)的數(shù)據(jù)冗余情況分析企業(yè)的數(shù)據(jù)規(guī)范和標(biāo)準(zhǔn)長(zhǎng)期由人工執(zhí)行,以及數(shù)據(jù)新增時(shí)的人為查重、人為監(jiān)管等,導(dǎo)致了主數(shù)據(jù)層面“一物多碼”的大量存在,產(chǎn)生了大量的主數(shù)據(jù)冗余。書寫格式不規(guī)范,出現(xiàn)了大小寫(同一小類)不統(tǒng)一的情況,如表3-17所示。表3-17書寫格式不規(guī)范(續(xù))表3-17的編碼中,編碼屬性模板還是比較標(biāo)準(zhǔn)的,但是在實(shí)際錄入過程中出現(xiàn)了大小寫不一致的問題,如最后三條編碼規(guī)格中用的是小寫,往上三行是大寫,再往上又有小寫出現(xiàn),這很明顯地說明了缺乏嚴(yán)格的數(shù)據(jù)驗(yàn)證制度,所以編碼重復(fù)在所難免。數(shù)據(jù)模型不統(tǒng)一,如表3-18中所示的這組數(shù)據(jù)所示。表3-18數(shù)據(jù)模型不統(tǒng)一在表3-18中,第一行和最后一行編碼數(shù)據(jù)模型不同,規(guī)格型號(hào)的書寫格式也不一樣,但明顯指的是同一件物料,有一物多碼的嫌疑。其他行的編碼數(shù)據(jù)模型還是比較標(biāo)準(zhǔn)、統(tǒng)一的。很明顯的數(shù)據(jù)冗余(同一小類內(nèi)一物多碼),如表3-19所示。表3-19明顯的數(shù)據(jù)冗余(一物多碼)在表3-19中的數(shù)據(jù)中明顯存在重復(fù)(冗余)數(shù)據(jù),也就是我們經(jīng)常提到的。案例二:國(guó)內(nèi)某大型箱包生產(chǎn)企業(yè)集團(tuán),其存在質(zhì)量問題的數(shù)據(jù)如表3-20所示。表3-20一物多碼表3-20中數(shù)據(jù),出現(xiàn)規(guī)格型號(hào)完全相同但編碼不同的現(xiàn)象,是一物多碼。此種現(xiàn)象會(huì)直接導(dǎo)致業(yè)務(wù)系統(tǒng)使用過程中不同的人使用不同的編碼,最終結(jié)果是報(bào)表中這一物資的業(yè)務(wù)數(shù)據(jù)無法統(tǒng)計(jì)到一條編碼下,導(dǎo)致報(bào)表數(shù)據(jù)不準(zhǔn)確。自查數(shù)據(jù)安全除了數(shù)據(jù)質(zhì)量,數(shù)據(jù)安全也是需要自查的內(nèi)容之一,數(shù)據(jù)安全的自查可以依據(jù)數(shù)據(jù)管理知識(shí)體系指南》《信息安全技術(shù)-數(shù)據(jù)庫管理系統(tǒng)安全技術(shù)要求》(GB/T20273-2006)以及《信息系統(tǒng)安全等級(jí)保護(hù)基本要求》(GB/T22239-2008)的相關(guān)內(nèi)容進(jìn)行。數(shù)據(jù)安全根據(jù)數(shù)據(jù)生命周期可以分為數(shù)據(jù)生產(chǎn)安全(指數(shù)據(jù)設(shè)計(jì)、錄入、加工過程中的安全)、數(shù)據(jù)存儲(chǔ)安全(數(shù)據(jù)存儲(chǔ)過程中的安全)、數(shù)據(jù)交換安全、數(shù)據(jù)訪問安全(訪問數(shù)據(jù)過程中的安全)四部分。自查數(shù)據(jù)生產(chǎn)安全數(shù)據(jù)生產(chǎn)安全,重點(diǎn)要了解數(shù)據(jù)生產(chǎn)過程中在工作組和業(yè)務(wù)單位層面對(duì)相應(yīng)角色工作范圍的界定以及崗位權(quán)限的劃分,具體如表3-21所示。表3-21數(shù)據(jù)安全自查(角色)了解不同權(quán)限的用戶對(duì)敏感數(shù)據(jù)的操作。針對(duì)數(shù)據(jù)操作權(quán)限的控制,不同的崗位角段的操作權(quán)限。自查數(shù)據(jù)存儲(chǔ)安全數(shù)據(jù)存儲(chǔ)安全方面的自查,重點(diǎn)參考以下內(nèi)容。數(shù)據(jù)庫安全標(biāo)準(zhǔn)應(yīng)按照《信息安全技術(shù)-數(shù)據(jù)庫管理系統(tǒng)安全技術(shù)要求》(GB/T20273-2006)中相關(guān)規(guī)定執(zhí)行;啟用異地備份,避免發(fā)生自然災(zāi)害時(shí)的數(shù)據(jù)損失;采用RAID5(獨(dú)立磁盤冗余陣列);采用鏡像技術(shù);采用快照技術(shù),迅速恢復(fù)遭破壞的數(shù)據(jù);適時(shí)進(jìn)行數(shù)據(jù)備份和恢復(fù),如:周一至周四進(jìn)行增量備份,每周五晚10份;擴(kuò)展名是.ldf;體遷移。自查數(shù)據(jù)交換安全數(shù)據(jù)交換安全的自查,應(yīng)重點(diǎn)了解數(shù)據(jù)過程中的加密、壓縮等相應(yīng)機(jī)制,由于是粗略的自查,數(shù)據(jù)交換安全相對(duì)可以較少,具體要自查的內(nèi)容如表3-22所示。表3-22數(shù)據(jù)交換安全自查數(shù)據(jù)庫層面的數(shù)據(jù)交換應(yīng)參照《信息安全技術(shù)-數(shù)據(jù)庫管理系統(tǒng)安全技術(shù)要求》(GB/T20273-2006)中的相關(guān)規(guī)定。自查數(shù)據(jù)訪問安全數(shù)據(jù)訪問安全方面的自查,要重點(diǎn)了解數(shù)據(jù)密級(jí)的劃分,數(shù)據(jù)庫訪問、用戶查詢,打印下載的權(quán)限劃分,數(shù)據(jù)敏感信息自查,具體要點(diǎn)介紹如下。自查數(shù)據(jù)密級(jí)劃分情況。公眾數(shù)據(jù):數(shù)據(jù)是否可以提供給企業(yè)內(nèi)任何人員;內(nèi)部數(shù)據(jù):數(shù)據(jù)是否限制在總部各部門或者分子公司內(nèi)部的成員中;機(jī)密數(shù)據(jù):數(shù)據(jù)是否不能共享到組織外部。數(shù)據(jù)庫層面的數(shù)據(jù)訪問自查應(yīng)執(zhí)行《信息安全技術(shù)-求》(GB/T20273-2006)中的相關(guān)規(guī)定執(zhí)行。用戶查詢層面應(yīng)自查數(shù)據(jù)權(quán)限劃分的情況,根據(jù)組織機(jī)構(gòu)劃分的管理職責(zé)進(jìn)行自查,不同角色的人(數(shù)據(jù)發(fā)起人、補(bǔ)充人和審核人)導(dǎo)的數(shù)據(jù)查詢權(quán)限在組織范圍上必須是其負(fù)責(zé)的部門、分公司或者業(yè)務(wù)板塊范圍內(nèi)。應(yīng)自查數(shù)據(jù)打印、下載權(quán)限的劃分,應(yīng)根據(jù)數(shù)據(jù)密級(jí)及滿足企業(yè)數(shù)據(jù)管理的數(shù)據(jù)打印、下載制度和不同角色(數(shù)據(jù)發(fā)起人、補(bǔ)充人、審核人和相關(guān)領(lǐng)導(dǎo))進(jìn)行自查。淆、加密或屏蔽敏感數(shù)據(jù)。自查數(shù)據(jù)交換數(shù)據(jù)交換的自查標(biāo)準(zhǔn),必須首先要了解數(shù)據(jù)源頭的情況。不同數(shù)據(jù)類型的數(shù)據(jù)源頭不同,如企業(yè)有標(biāo)準(zhǔn)的HR系統(tǒng),人員、組織機(jī)構(gòu)數(shù)據(jù)的源頭就可以是HR系統(tǒng)。如企業(yè)有標(biāo)準(zhǔn)的CRM系統(tǒng),客戶數(shù)據(jù)的源頭可以是CRM系統(tǒng)。同樣,供應(yīng)商數(shù)據(jù)的源頭可以是SRM系統(tǒng),項(xiàng)目數(shù)據(jù)的源頭可以是項(xiàng)目管理系統(tǒng),合同數(shù)據(jù)的源頭可以是合同系統(tǒng)。但是,物資數(shù)據(jù)(包括物料、產(chǎn)品、設(shè)備、備品備件等)治理平臺(tái),無論企業(yè)是否有ERP或者供應(yīng)鏈管理系統(tǒng)。因?yàn)橹挥袑I(yè)的數(shù)據(jù)治理平臺(tái)可以做到對(duì)物資數(shù)據(jù)的單個(gè)字段驗(yàn)證,并且只有單個(gè)字段驗(yàn)證才可以最大化保證數(shù)據(jù)質(zhì)量合物資數(shù)據(jù)的源頭放在了ERP系統(tǒng),因?yàn)榇_實(shí)也找不到更好的地方了。確定了各類數(shù)據(jù)的源頭之后,就可以從各業(yè)務(wù)系統(tǒng)入手去自查各類數(shù)據(jù)的實(shí)際情況CRM系統(tǒng)錄入,一部分從OA系統(tǒng)中錄入,還有一部分有可能從ERP系統(tǒng)錄入。實(shí)際上出現(xiàn)這種情況是不可取的,因?yàn)镺A系統(tǒng)和ERP系統(tǒng)對(duì)客戶數(shù)據(jù)的管理肯定沒有專業(yè)的CRM系統(tǒng)精細(xì),不同維度的數(shù)據(jù)源頭根本無法控制數(shù)據(jù)質(zhì)量。對(duì)數(shù)據(jù)源頭進(jìn)行自查之后,接下來要核查企業(yè)的數(shù)據(jù)交換架構(gòu)。理想的數(shù)據(jù)交換架構(gòu)是基于靜態(tài)數(shù)據(jù)中心的雪花狀數(shù)據(jù)交換架構(gòu),如圖3-1所示(8.2節(jié)有詳細(xì)介紹)(從源頭到最終的數(shù)據(jù)消費(fèi)系統(tǒng))。另外,切忌把ESB(企業(yè)數(shù)據(jù)服務(wù)總線,數(shù)據(jù)交換通道無法存儲(chǔ)及規(guī)范數(shù)據(jù))而不能只是通道。還有ERP系統(tǒng)作為數(shù)據(jù)交換的中心也不可取,因?yàn)镋RP系統(tǒng)自身也無法確保內(nèi)部數(shù)據(jù)質(zhì)量的可靠。圖3-1基于靜態(tài)數(shù)據(jù)中心的雪花狀數(shù)據(jù)交換架構(gòu)最后,還要自查一下數(shù)據(jù)交換的技術(shù)規(guī)則,包括數(shù)據(jù)交換接口傳輸格式是怎樣的?有沒有數(shù)據(jù)交換傳輸返回參數(shù)規(guī)范?屬性字段的匹配是不是準(zhǔn)確?有沒有完善的數(shù)據(jù)交互消息機(jī)制?是否存在數(shù)據(jù)直接寫入數(shù)據(jù)庫的危險(xiǎn)模式?自查數(shù)據(jù)運(yùn)維么好查的,不就那點(diǎn)事嘛(保證平臺(tái)的順暢運(yùn)行,保證所有操作人員順利地完成日常工作)。究竟什么樣的數(shù)據(jù)運(yùn)維管理才是最好的?首先我們要明確數(shù)據(jù)運(yùn)維管理都包括什么,數(shù)據(jù)運(yùn)維管理和別的業(yè)務(wù)管理系統(tǒng)的運(yùn)維工作不同,更重要的是對(duì)數(shù)據(jù)管理體系的拓展、完善以及對(duì)數(shù)據(jù)質(zhì)量的日常監(jiān)測(cè),確保數(shù)據(jù)管理的可持續(xù)性,確保數(shù)據(jù)質(zhì)量的“長(zhǎng)久不衰”。企業(yè)數(shù)據(jù)運(yùn)維管理應(yīng)關(guān)注以下5點(diǎn)。是否有專職的數(shù)據(jù)運(yùn)維管理人員。是否有數(shù)據(jù)運(yùn)維管理的考核機(jī)制。是否有拓展數(shù)據(jù)標(biāo)準(zhǔn)體系的能力和方案。是否有評(píng)估數(shù)據(jù)管理能力成熟度的機(jī)制、工具。是否有對(duì)問題數(shù)據(jù)改造處理的機(jī)制。第4章啟動(dòng)數(shù)據(jù)治理項(xiàng)目前的3個(gè)關(guān)鍵點(diǎn)弄清了自身數(shù)據(jù)管理現(xiàn)狀后,我們就要開始進(jìn)行一系列項(xiàng)目啟動(dòng)前細(xì)節(jié)上的準(zhǔn)備工作了,包括選定項(xiàng)目的啟動(dòng)時(shí)機(jī),明確項(xiàng)目的原則、目標(biāo),組建項(xiàng)目團(tuán)隊(duì),選擇合作廠商等工作。把握數(shù)據(jù)治理項(xiàng)目的啟動(dòng)時(shí)機(jī)根據(jù)多年的數(shù)據(jù)治理實(shí)踐經(jīng)驗(yàn),總結(jié)出數(shù)據(jù)治理項(xiàng)目的6類啟動(dòng)時(shí)機(jī),每1類啟動(dòng)時(shí)機(jī)代表了企業(yè)的不同發(fā)展階段,也是企業(yè)發(fā)展機(jī)遇的一個(gè)窗口期。以下分別進(jìn)行介紹。根據(jù)企業(yè)數(shù)據(jù)應(yīng)用的情況把握啟動(dòng)時(shí)機(jī)第一種情況是企業(yè)近幾年實(shí)施過BI,但是由于數(shù)據(jù)質(zhì)量問題導(dǎo)致分析出來的結(jié)果徹底改善數(shù)據(jù)質(zhì)量。再就是信息化建設(shè)到了一定程度,準(zhǔn)備開始通過數(shù)據(jù)分析來提高企業(yè)的決策能力,但是發(fā)現(xiàn)企業(yè)數(shù)據(jù)質(zhì)量存在很大問題,擔(dān)心后期數(shù)據(jù)分析的結(jié)果不理想,此時(shí)就應(yīng)該考慮到啟動(dòng)數(shù)據(jù)治理項(xiàng)目了。第三種情況就是企業(yè)已經(jīng)開展數(shù)據(jù)分析應(yīng)用項(xiàng)目,但是在實(shí)施的過程中發(fā)現(xiàn)了數(shù)據(jù)質(zhì)量存在較多問題,對(duì)BI治理項(xiàng)目了。根據(jù)數(shù)據(jù)質(zhì)量的優(yōu)劣程度把握啟動(dòng)時(shí)機(jī)數(shù)據(jù)不一致問題嚴(yán)重。企業(yè)信息化系統(tǒng)是逐步迭代建設(shè)起來的,各系統(tǒng)建設(shè)的時(shí)互,統(tǒng)一識(shí)別。需要進(jìn)行數(shù)據(jù)的錄入,也就是不需要的信息就不再錄入了,最終造成數(shù)據(jù)的不完整性嚴(yán)重。多,缺少對(duì)數(shù)據(jù)準(zhǔn)確率的必要驗(yàn)證,導(dǎo)致錄入系統(tǒng)的數(shù)據(jù)形式、格式千差萬別。失,造成了頂層視角的數(shù)據(jù)的“一物多碼、一碼多物”等現(xiàn)象。綜上,當(dāng)企業(yè)遇到以上一種或者幾種情況時(shí),就說明需要開展數(shù)據(jù)治理了,并且已經(jīng)到了刻不容緩的程度。根據(jù)數(shù)據(jù)架構(gòu)設(shè)計(jì)規(guī)劃把握啟動(dòng)時(shí)機(jī)當(dāng)企業(yè)開展頂層設(shè)計(jì)(包括企業(yè)的架構(gòu)設(shè)計(jì))時(shí),咨詢公司會(huì)主動(dòng)提出數(shù)據(jù)架構(gòu)設(shè)計(jì)的問題,數(shù)據(jù)架構(gòu)需求的提出預(yù)示著數(shù)據(jù)的標(biāo)準(zhǔn)規(guī)范在專門的數(shù)據(jù)治理平臺(tái)上落地的訴求應(yīng)運(yùn)而生,此時(shí)咨詢公司通常會(huì)主動(dòng)承擔(dān)數(shù)據(jù)架構(gòu)設(shè)計(jì)的工作,當(dāng)項(xiàng)目咨詢結(jié)束后,“數(shù)據(jù)治理平臺(tái)”項(xiàng)目就可以準(zhǔn)備開始了。根據(jù)大型業(yè)務(wù)系統(tǒng)實(shí)施的時(shí)間點(diǎn)把握啟動(dòng)時(shí)機(jī)如果企業(yè)準(zhǔn)備實(shí)施ERP等大型企業(yè)信息化系統(tǒng),根據(jù)行業(yè)內(nèi)慣例和我們的經(jīng)驗(yàn),建議在ERP等系統(tǒng)上線前實(shí)施數(shù)據(jù)治理項(xiàng)目,具體原因如下。ERP實(shí)施時(shí)要進(jìn)行數(shù)據(jù)規(guī)范、數(shù)據(jù)模型(含編碼部分和非編碼部分)、數(shù)據(jù)驗(yàn)證、數(shù)據(jù)管理制度和流程等的規(guī)范化和標(biāo)準(zhǔn)化,這個(gè)工作可以合并在數(shù)據(jù)治理項(xiàng)目中一并進(jìn)行,可以縮短周期同時(shí)提高效率;ERP實(shí)施前要進(jìn)行數(shù)據(jù)清洗工作,這個(gè)工作比較煩瑣且工作量很大。如果借用乙方數(shù)據(jù)治理平臺(tái)中專業(yè)的數(shù)據(jù)清洗工具(ODC)來進(jìn)行數(shù)據(jù)清洗工作,可以實(shí)現(xiàn)數(shù)據(jù)清干凈的數(shù)據(jù)可以提高ERP的實(shí)施效果。ERP實(shí)施時(shí)要進(jìn)行統(tǒng)一的數(shù)據(jù)期初工作,這個(gè)工作需要將數(shù)據(jù)一次性整理好統(tǒng)一導(dǎo)入到ERP系統(tǒng)中,并且會(huì)經(jīng)常出現(xiàn)由于某個(gè)數(shù)據(jù)錯(cuò)誤時(shí)的反復(fù)重新導(dǎo)入的情況,費(fèi)時(shí)費(fèi)據(jù)自動(dòng)傳輸?shù)紼RP系統(tǒng)中,即可短期內(nèi)快速實(shí)現(xiàn)ERP系統(tǒng)數(shù)據(jù)的期初工作,且可以實(shí)現(xiàn)靈活的數(shù)據(jù)變更后分發(fā)等操作,省時(shí)省力。數(shù)據(jù)治理的引入可以節(jié)省ERP等的License數(shù)量,從而節(jié)省大量的資金投入。因?yàn)槌檀谢蛘卟⑿袛?shù)據(jù)錄入操作,不再需要在ERP等系統(tǒng)中單獨(dú)維護(hù)相關(guān)基礎(chǔ)數(shù)據(jù),從而節(jié)省ERP系統(tǒng)的License數(shù)量。不建議ERP上線后再進(jìn)行數(shù)據(jù)治理平臺(tái)的實(shí)施,原因如下。即便是清洗后的數(shù)據(jù)肯定是還有很多的重復(fù)數(shù)據(jù)存在的,只是沒有被識(shí)別出來,這樣的數(shù)據(jù)會(huì)直接影響ERP編碼,倉庫盤點(diǎn)出現(xiàn)賬實(shí)不一,統(tǒng)計(jì)報(bào)表不準(zhǔn)確等情況,嚴(yán)重影響ERP再就是由于ERP錯(cuò)誤、不規(guī)范等問題,直接導(dǎo)致后期的數(shù)據(jù)冗余問題越來越嚴(yán)重。ERP等系統(tǒng)運(yùn)行一段時(shí)間后再實(shí)施數(shù)據(jù)治理,相當(dāng)于重復(fù)了一遍ERP系統(tǒng)實(shí)施時(shí)步停用重復(fù)編碼,導(dǎo)致數(shù)據(jù)冗余無法短期內(nèi)消除。根據(jù)企業(yè)外部因素把握啟動(dòng)時(shí)機(jī)此類情況也比較簡(jiǎn)單,企業(yè)一般是受到上一級(jí)單位或者主管單位的相關(guān)管理要求而開展數(shù)據(jù)治理工作,且緊急程度較高。信息部門應(yīng)該冷靜慎重,杜絕應(yīng)付,建議引導(dǎo)企業(yè)從內(nèi)部管理的角度出發(fā)重新審視數(shù)據(jù)治理的重要性,否則項(xiàng)目實(shí)施起來難度很大。根據(jù)以往治理的效果把握再次治理的啟動(dòng)時(shí)機(jī)很多企業(yè)幾年前部署了傳統(tǒng)的主數(shù)據(jù)管理平臺(tái),但是在使用過程中發(fā)現(xiàn)了大量的數(shù)據(jù)質(zhì)量問題,通過主數(shù)據(jù)管理平臺(tái)或者傳統(tǒng)手段已經(jīng)是束手無策無法解決了。這類企業(yè)目前越來越多,幾乎是每個(gè)實(shí)施過傳統(tǒng)主數(shù)據(jù)管理平臺(tái)的企業(yè)過上1~2年后都會(huì)面臨這個(gè)問題,還沒有好好享受數(shù)據(jù)治理的紅利就又“重蹈覆轍”了,需要再次治理。在考慮再次實(shí)施數(shù)據(jù)治理項(xiàng)目前,應(yīng)首先核實(shí),數(shù)據(jù)質(zhì)量問題的嚴(yán)重程度如何?出現(xiàn)數(shù)據(jù)質(zhì)量問題的數(shù)據(jù)所占比例是多少?一般比例達(dá)到20%左右就應(yīng)該考慮再次治理的工作了。另外應(yīng)從徹底解決數(shù)據(jù)質(zhì)量問題的角度出發(fā),評(píng)判更換平臺(tái)的風(fēng)險(xiǎn)有多大,如果風(fēng)險(xiǎn)較高,建議采用“亡羊補(bǔ)牢”的方式處理——構(gòu)建數(shù)據(jù)評(píng)估監(jiān)測(cè)平臺(tái)以彌補(bǔ)主數(shù)據(jù)管理后產(chǎn)生的問題。明確數(shù)據(jù)治理項(xiàng)目的原則和目標(biāo)抓住了啟動(dòng)時(shí)機(jī),接下來要盡快明確數(shù)據(jù)治理項(xiàng)目的原則和目標(biāo),從而使未來數(shù)據(jù)治理項(xiàng)目工作的開展有的放矢。確定數(shù)據(jù)治理項(xiàng)目的原則和目標(biāo),要具備前瞻性、全面性、長(zhǎng)久性、先進(jìn)性、統(tǒng)一性、可擴(kuò)展性、安全性等方面的考慮。前瞻性、全面性應(yīng)考慮到數(shù)據(jù)質(zhì)量問題會(huì)反復(fù)出現(xiàn)。應(yīng)考慮到未來數(shù)據(jù)質(zhì)量不可能100%優(yōu)良。應(yīng)考慮到數(shù)據(jù)管理體系需要不斷地?cái)U(kuò)展、完善。應(yīng)考慮到主數(shù)據(jù)的動(dòng)態(tài)特性。應(yīng)考慮到未來運(yùn)維人員可能要離職、調(diào)崗等情況出現(xiàn)。應(yīng)考慮到現(xiàn)在實(shí)施的項(xiàng)目未來要支撐數(shù)據(jù)中心、數(shù)據(jù)中臺(tái)、大數(shù)據(jù)分析。數(shù)據(jù)治理涉及的數(shù)據(jù)類型要全面。數(shù)據(jù)治理的范圍要包括相對(duì)靜態(tài)數(shù)據(jù)的全部(除交易數(shù)據(jù)外)。要涉及業(yè)務(wù)場(chǎng)景的數(shù)據(jù)治理。長(zhǎng)久性、先進(jìn)性要考慮到數(shù)據(jù)質(zhì)量的長(zhǎng)久。要考慮到數(shù)據(jù)治理能力的長(zhǎng)久。位,內(nèi)順應(yīng)IT技術(shù)的發(fā)展趨勢(shì)。統(tǒng)一性、可擴(kuò)展性統(tǒng)一的標(biāo)準(zhǔn)體系規(guī)劃(計(jì))。統(tǒng)一的訪問控制策略,統(tǒng)一的數(shù)據(jù)服務(wù)機(jī)制。滿足企業(yè)現(xiàn)有項(xiàng)目的需求基礎(chǔ)上,要充分考慮到標(biāo)準(zhǔn)體系或平臺(tái)的可擴(kuò)展性以及求的擴(kuò)展只需在現(xiàn)有機(jī)制的基礎(chǔ)上,增加新的標(biāo)準(zhǔn)或服務(wù)模塊。安全性、穩(wěn)定性設(shè)計(jì),保證重要的、不宜公開的數(shù)據(jù)的安全。采用市場(chǎng)當(dāng)前已經(jīng)成熟的技術(shù),保證系統(tǒng)高可用性和高穩(wěn)定性。實(shí)用性、經(jīng)濟(jì)性解決實(shí)際的業(yè)務(wù)問題。提高數(shù)據(jù)分析準(zhǔn)確率。減少數(shù)據(jù)冗余。提高數(shù)據(jù)一致性。提高數(shù)據(jù)治理能力。從經(jīng)濟(jì)成本與效益角度考慮,應(yīng)簡(jiǎn)單快速地開展項(xiàng)目,充分利用現(xiàn)有的IT盡快為企業(yè)提供回報(bào)。來應(yīng)用的擴(kuò)展將是疊加式的,而不是取代式的。合規(guī)性、可審計(jì)數(shù)據(jù)治理項(xiàng)目要符合相關(guān)法規(guī)對(duì)IT方面的規(guī)定,滿足相應(yīng)的安全標(biāo)準(zhǔn),并符合審計(jì)方面的要求。合理搭建項(xiàng)目團(tuán)隊(duì)、選擇治理工具及廠商企業(yè)數(shù)據(jù)治理項(xiàng)目需要搭建專門的項(xiàng)目實(shí)施團(tuán)隊(duì),除了合理組織自身的團(tuán)隊(duì)外,肯定少不了外部廠商參與。選擇外部廠商,首先要明確選擇的各種前提條件,如對(duì)方的行業(yè)知名度、業(yè)務(wù)咨詢能力、技術(shù)平臺(tái)先進(jìn)性、實(shí)用性等都要考量。組建項(xiàng)目基礎(chǔ)團(tuán)隊(duì)團(tuán)隊(duì)組建原則信息部門主導(dǎo),業(yè)務(wù)部門輔助;信息部門領(lǐng)導(dǎo)親自掛帥;包含重要部門一把手或者核心數(shù)據(jù)管理人員。項(xiàng)目基礎(chǔ)團(tuán)隊(duì)職責(zé)選擇外部合作廠商;協(xié)助組建項(xiàng)目聯(lián)合實(shí)施團(tuán)隊(duì);協(xié)助組建項(xiàng)目后期運(yùn)維管理團(tuán)隊(duì)。項(xiàng)目基礎(chǔ)團(tuán)隊(duì)分工信息部門負(fù)責(zé)信息技術(shù)以及選型過程中的工作協(xié)調(diào);合組建項(xiàng)目聯(lián)合實(shí)施團(tuán)隊(duì)以及積極參與項(xiàng)目后期運(yùn)維團(tuán)隊(duì)建立。選擇最合適的治理工具數(shù)據(jù)治理平臺(tái)性能/功能要求,具體如表4-1所示。表4-1數(shù)據(jù)治理平臺(tái)性能/功能(續(xù))選擇合適的外部廠商近幾年數(shù)據(jù)治理廠商雨后春筍般的多了起來,導(dǎo)致對(duì)數(shù)據(jù)治理廠商的選擇也越來越復(fù)雜,本章對(duì)行業(yè)內(nèi)數(shù)據(jù)治理廠商進(jìn)行了歸類,同時(shí)列舉了對(duì)數(shù)據(jù)治理廠商選擇的建議,可以幫助企業(yè)的做出正確的決定。數(shù)據(jù)治理廠商分類4-2所示。表4-2廠商類型劃分(按業(yè)務(wù)沿革)按照數(shù)據(jù)治理層級(jí)劃分如圖4-2所示。結(jié)合數(shù)據(jù)治理行業(yè)的發(fā)展經(jīng)歷,不同時(shí)期入行的廠商業(yè)務(wù)側(cè)重點(diǎn)也有本質(zhì)的區(qū)別,哪怕大家都是從事數(shù)據(jù)治理的業(yè)務(wù),其實(shí)很多廠商實(shí)質(zhì)上是編碼管理系統(tǒng)廠商或者主數(shù)據(jù)管理類平臺(tái)廠商,而非專門的數(shù)據(jù)治理廠
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025-2030年中國(guó)智慧養(yǎng)老服務(wù)行業(yè)全國(guó)市場(chǎng)開拓戰(zhàn)略制定與實(shí)施研究報(bào)告
- 2025-2030年中國(guó)車載視頻監(jiān)控行業(yè)并購重組擴(kuò)張戰(zhàn)略制定與實(shí)施研究報(bào)告
- 2025-2030年中國(guó)制氫行業(yè)營(yíng)銷創(chuàng)新戰(zhàn)略制定與實(shí)施研究報(bào)告
- 2025-2030年中國(guó)柔性O(shè)LED行業(yè)開拓第二增長(zhǎng)曲線戰(zhàn)略制定與實(shí)施研究報(bào)告
- 2025-2030年中國(guó)電子紗行業(yè)全國(guó)市場(chǎng)開拓戰(zhàn)略制定與實(shí)施研究報(bào)告
- 關(guān)于煎餅的市場(chǎng)調(diào)查問卷
- 2024-2030年中國(guó)滾裝船行業(yè)市場(chǎng)全景監(jiān)測(cè)及投資前景展望報(bào)告
- 二年級(jí)數(shù)學(xué)計(jì)算題專項(xiàng)練習(xí)
- 天燃?xì)獍踩R(shí)培訓(xùn)課件
- 二零二五年度國(guó)有企業(yè)保安隊(duì)伍建設(shè)合同范本
- 農(nóng)民工工資表(模板)
- 急診課件:急性呼吸困難完整版
- 分布式光伏項(xiàng)目施工合同
- 金融業(yè)分布式信息系統(tǒng)運(yùn)維技術(shù)研究報(bào)告
- 三角形鋼管懸挑腳手架施工方案
- 電力基建項(xiàng)目管理實(shí)施規(guī)劃范本
- 壓力容器風(fēng)險(xiǎn)評(píng)估報(bào)告樣板
- 胃黏膜腸上皮化生
- 汽車離合器設(shè)計(jì)畢業(yè)設(shè)計(jì)(論文)
- 2023年房屋租賃管理模板
- 全部編版四年級(jí)語文下生字讀音、音序、偏旁及組詞
評(píng)論
0/150
提交評(píng)論