如何在大數(shù)據(jù)時(shí)代構(gòu)建數(shù)據(jù)治理體系

如何在大數(shù)據(jù)時(shí)代構(gòu)建數(shù)據(jù)治理體系隨著云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等新一代信息技術(shù)的快速發(fā)展，人類產(chǎn)生的數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)。據(jù)資料顯示，2012年，全球數(shù)據(jù)量達(dá)到2.8ZB，預(yù)計(jì)到2020年，全球數(shù)據(jù)量將達(dá)到40ZB。大數(shù)據(jù)蘊(yùn)含著巨大的價(jià)值，如今眾多企業(yè)已將數(shù)據(jù)視作企業(yè)的寶貴資產(chǎn)。然而，數(shù)據(jù)價(jià)值密度與數(shù)據(jù)總量成反比。面對(duì)巨大的數(shù)據(jù)規(guī)模，如何管理和利用數(shù)據(jù)，使其發(fā)揮價(jià)值是企業(yè)必須考慮的重要問題。大數(shù)據(jù)的價(jià)值所在使其面臨著隱私和安全方面的威脅。大數(shù)據(jù)治理將組織的部門、流程、人等元素與數(shù)據(jù)的整個(gè)生命周期聯(lián)系在了一起，對(duì)企業(yè)數(shù)據(jù)管理和數(shù)據(jù)資產(chǎn)價(jià)值有著至關(guān)重要的作用?！禗GI數(shù)據(jù)治理框架》一文將數(shù)據(jù)治理定義為“數(shù)據(jù)相關(guān)事務(wù)的決策和授權(quán)的執(zhí)行”，并進(jìn)一步解釋為信息處理過程決策權(quán)和職責(zé)的策略，約定了由誰負(fù)責(zé)處理哪些信息，并在什么情況下采用哪種方法，以及何時(shí)來執(zhí)行。首先，大數(shù)據(jù)治理是信息治理計(jì)劃的一部分，這是其定位。這就要求組織在制訂信息治理框架時(shí)，必須將大數(shù)據(jù)納入其中，比如在信息治理委員會(huì)中增加數(shù)據(jù)科學(xué)家，在信息治理目標(biāo)中增加大數(shù)據(jù)治理目標(biāo)等。其次，大數(shù)據(jù)治理主要是數(shù)據(jù)處理的一系列相關(guān)政策的制訂，這是其內(nèi)涵。再次，必須優(yōu)化大數(shù)據(jù)，這是大數(shù)據(jù)治理的重點(diǎn)。最后，大數(shù)據(jù)必須變現(xiàn)，這是大數(shù)據(jù)治理的目的所在。大數(shù)據(jù)體量大、種類繁多，且價(jià)值密度低，組織必須對(duì)其進(jìn)行優(yōu)化，比如定義元數(shù)據(jù)、凈化大數(shù)據(jù)、實(shí)施數(shù)據(jù)生命周期管理等。看似沒有任何價(jià)值的單一數(shù)據(jù)集合在一起時(shí)，會(huì)發(fā)現(xiàn)新的價(jià)值，這是大數(shù)據(jù)價(jià)值體現(xiàn)的重要途徑之一。而大數(shù)據(jù)價(jià)值的體現(xiàn)往往會(huì)涉及數(shù)據(jù)的隱私，這就要求組織在進(jìn)行大數(shù)據(jù)價(jià)值體現(xiàn)時(shí)，必須注重大數(shù)據(jù)的隱私處理。組織將數(shù)據(jù)視作其資產(chǎn)的一種，要將其轉(zhuǎn)化成組織可以使用的現(xiàn)金，而變現(xiàn)的方式可以是單純地出售數(shù)據(jù)本身，也可以是利用數(shù)據(jù)開發(fā)新業(yè)務(wù)。一、企業(yè)實(shí)施大數(shù)據(jù)治理的必要性企業(yè)實(shí)現(xiàn)數(shù)據(jù)資源在組織內(nèi)部的共享和交換的需要目前，大部分工業(yè)企業(yè)已經(jīng)完成了ERP、CRM、供應(yīng)鏈、協(xié)同辦公等企業(yè)信息化系統(tǒng)的建設(shè)，但是由于數(shù)據(jù)分散在眾多系統(tǒng)中，缺乏統(tǒng)一的數(shù)據(jù)定義和數(shù)據(jù)分類，因此在數(shù)據(jù)使用上存在數(shù)據(jù)不標(biāo)準(zhǔn)、數(shù)據(jù)不一致、數(shù)據(jù)完整性差等問題。數(shù)據(jù)不標(biāo)準(zhǔn)主要表現(xiàn)在不同系統(tǒng)之間描述同一業(yè)務(wù)實(shí)體的數(shù)據(jù)定義標(biāo)準(zhǔn)不同；數(shù)據(jù)不一致主要表現(xiàn)在相關(guān)聯(lián)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)不同步、各應(yīng)用系統(tǒng)間存在數(shù)據(jù)編碼規(guī)則不一致的問題，還有重復(fù)編碼的問題；數(shù)據(jù)完整性差表現(xiàn)為缺少數(shù)據(jù)實(shí)體的關(guān)鍵信息。企業(yè)必須對(duì)各個(gè)系統(tǒng)的數(shù)據(jù)源以及輸出的數(shù)據(jù)資產(chǎn)進(jìn)行統(tǒng)一的數(shù)據(jù)治理，實(shí)現(xiàn)數(shù)據(jù)在不同組織和系統(tǒng)內(nèi)的交換與共享。只有解決了數(shù)據(jù)問題，才能實(shí)現(xiàn)IT價(jià)值。提升海量數(shù)據(jù)資源質(zhì)量的需要大數(shù)據(jù)時(shí)代數(shù)據(jù)產(chǎn)生的價(jià)值越來越大，各企業(yè)都在探索基于大數(shù)據(jù)的相關(guān)技術(shù)和應(yīng)用模式，最終目的就是挖掘數(shù)據(jù)的價(jià)值，推動(dòng)企業(yè)的發(fā)展。因?yàn)閿?shù)據(jù)有可能是成本，也有可能是資產(chǎn)，能給企業(yè)帶來重要的價(jià)值，是企業(yè)寶貴的資源。如果沒有數(shù)據(jù)治理，數(shù)據(jù)的質(zhì)量就無法保證，數(shù)據(jù)難以成為企業(yè)的資產(chǎn)，既使再多的業(yè)務(wù)和技術(shù)投入也都是徒勞。數(shù)據(jù)質(zhì)量低下會(huì)導(dǎo)致企業(yè)在IT方面的重復(fù)投入，各種應(yīng)用系統(tǒng)的價(jià)值難以有效地發(fā)揮出來，數(shù)據(jù)的問題甚至?xí)沟闷髽I(yè)錯(cuò)失商機(jī)，損失無法估量。數(shù)據(jù)治理是保證數(shù)據(jù)質(zhì)量的必需手段，數(shù)據(jù)治理的價(jià)值貢獻(xiàn)在于確保數(shù)據(jù)的準(zhǔn)確性、可獲取性、安全性、適度分享和合規(guī)使用。例如，可以對(duì)數(shù)據(jù)服務(wù)涉及的計(jì)算資源、數(shù)據(jù)資源制定標(biāo)準(zhǔn)化的統(tǒng)一管理規(guī)范，制定涵蓋主數(shù)據(jù)、數(shù)據(jù)主題、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)共享等數(shù)據(jù)標(biāo)準(zhǔn)體系及數(shù)據(jù)管理體系。數(shù)據(jù)驅(qū)動(dòng)企業(yè)進(jìn)行科學(xué)決策的需要當(dāng)今世界進(jìn)入了數(shù)據(jù)爆炸的時(shí)代，數(shù)據(jù)成為企業(yè)重要的資產(chǎn)。企業(yè)涉及的數(shù)據(jù)類型，包括文本、圖像、音頻、視頻等，分為靜態(tài)數(shù)據(jù)和動(dòng)態(tài)數(shù)據(jù)，實(shí)時(shí)數(shù)據(jù)和非實(shí)時(shí)數(shù)據(jù)，結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)有些來源于企業(yè)的內(nèi)部信息系統(tǒng)及設(shè)備，有些來源于外部的供應(yīng)鏈和社交網(wǎng)絡(luò)。數(shù)據(jù)驅(qū)動(dòng)企業(yè)的決策成為時(shí)代發(fā)展的必然。數(shù)據(jù)治理能使企業(yè)清楚地認(rèn)識(shí)自己的優(yōu)勢(shì)和劣勢(shì)，有利于企業(yè)提高決策的合理性，為用戶提供更加優(yōu)質(zhì)的服務(wù)。大數(shù)據(jù)時(shí)代，企業(yè)可以通過對(duì)數(shù)據(jù)的整合和分析，從中獲取對(duì)企業(yè)有用的數(shù)據(jù)。新的數(shù)據(jù)技術(shù)手段，使得信息在企業(yè)內(nèi)部不同部門之間有效、快速地傳遞，使得不同部門之間的交流、溝通更加透明，使得企業(yè)不同的利益主體能廣泛地參與決策，從而提高決策的科學(xué)性和合理性。企業(yè)整合數(shù)據(jù)資源提升競(jìng)爭(zhēng)力的需要在企業(yè)的生產(chǎn)經(jīng)營(yíng)活動(dòng)中會(huì)產(chǎn)生大量的數(shù)據(jù)，企業(yè)需要對(duì)事務(wù)性數(shù)據(jù)、機(jī)器生成數(shù)據(jù)、社交媒體數(shù)據(jù)等內(nèi)外部數(shù)據(jù)進(jìn)行整合，特別是對(duì)與企業(yè)重大商業(yè)利益相關(guān)的數(shù)據(jù)資源的整合、分析與利用，從而指導(dǎo)企業(yè)的經(jīng)營(yíng)與發(fā)展。數(shù)據(jù)技術(shù)帶來的不僅是技術(shù)的更新，還有管理方式的改變，數(shù)據(jù)治理不僅局限在企業(yè)的決策層，還包含管理層和業(yè)務(wù)層，數(shù)據(jù)治理能改善企業(yè)管理層與其他利益相關(guān)者的關(guān)系，使企業(yè)變得更加敏捷和高效，更注重用戶體驗(yàn)的提升和需求的滿足。例如，為解決日常的數(shù)據(jù)收集、數(shù)據(jù)處理效率較低、數(shù)據(jù)不一致的問題，可以通過元數(shù)據(jù)管理系統(tǒng)，建立采集元數(shù)據(jù)和元數(shù)據(jù)關(guān)系，提升跨系統(tǒng)的數(shù)據(jù)交互能力以及數(shù)據(jù)整合能力，進(jìn)一步提升企業(yè)的核心競(jìng)爭(zhēng)力。二、企業(yè)大數(shù)據(jù)治理現(xiàn)狀伴隨著大數(shù)據(jù)時(shí)代的到來，企業(yè)由于早期在信息系統(tǒng)構(gòu)建中缺乏統(tǒng)一的全局規(guī)劃，使得其在當(dāng)前數(shù)據(jù)治理體系的構(gòu)建中存在著一系列的問題，如果不能有效對(duì)這些問題進(jìn)行解決，以構(gòu)造出完善的數(shù)據(jù)治理體系，勢(shì)必會(huì)對(duì)未來企業(yè)的發(fā)展帶來不利的影響。1、大數(shù)據(jù)時(shí)代的定義及特征大數(shù)據(jù)時(shí)代的定義我國(guó)已經(jīng)進(jìn)入了數(shù)字經(jīng)濟(jì)時(shí)代，必然會(huì)產(chǎn)生大量數(shù)據(jù)，大數(shù)據(jù)主要是指人們?cè)谌粘９ぷ?、生產(chǎn)、生活中通過數(shù)字化的方式進(jìn)行呈現(xiàn)和存儲(chǔ)。也可以很通俗地將大數(shù)據(jù)理解成為巨大的數(shù)據(jù)信息，而伴隨著人們的各種需求的不斷增加，這種數(shù)據(jù)量還在不斷的增加。舉例來說，人們通過計(jì)算機(jī)互聯(lián)網(wǎng)對(duì)視頻和新聞的觀看，都不同程度地促進(jìn)了大數(shù)據(jù)時(shí)代的快速形成。大數(shù)據(jù)時(shí)代的特征大數(shù)據(jù)時(shí)代具有如下幾個(gè)明顯的特征：數(shù)據(jù)量大。這是大數(shù)據(jù)時(shí)代最為突出的特征，這也是大數(shù)據(jù)時(shí)代本來就是基于大量數(shù)據(jù)信息所產(chǎn)生的是分不開的。速度很快。正是由于大量數(shù)據(jù)的產(chǎn)生，需要不斷提升信息數(shù)據(jù)處理速度，才能跟上大數(shù)據(jù)時(shí)代的要求，而如果數(shù)據(jù)處理速度難以跟上，就不能滿足信息的快速傳播和擴(kuò)散。種類很多。伴隨著大數(shù)據(jù)時(shí)代的到來，計(jì)算機(jī)互聯(lián)網(wǎng)技術(shù)在人們的生活中獲得了非常廣泛的應(yīng)用，也使得數(shù)據(jù)來源變的更加豐富，相應(yīng)地，數(shù)據(jù)的種類也變的更多。2、大數(shù)據(jù)時(shí)代企業(yè)數(shù)據(jù)治理現(xiàn)狀在大數(shù)據(jù)時(shí)代下，企業(yè)在數(shù)據(jù)治理體系的構(gòu)建過程中，主要面臨著如下幾個(gè)突出的問題：數(shù)據(jù)定義的缺失所謂數(shù)據(jù)定義的缺失，就是企業(yè)的部分業(yè)務(wù)源系統(tǒng)以及外部數(shù)據(jù)源缺少關(guān)鍵業(yè)務(wù)元素定義。這是因?yàn)槠髽I(yè)系統(tǒng)開發(fā)建設(shè)的出發(fā)點(diǎn)大多以滿足客戶業(yè)務(wù)交易為主要目標(biāo)，對(duì)于統(tǒng)計(jì)分析涉及的數(shù)據(jù)要素項(xiàng)的定義不夠關(guān)注，因此造成部分業(yè)務(wù)源系統(tǒng)和外部數(shù)據(jù)源的數(shù)據(jù)定義不完備。在這種情況下，就很容易造成企業(yè)的不同部門有著不同的理解，甚至在對(duì)同一個(gè)字段的理解也會(huì)產(chǎn)生很大的歧義。數(shù)據(jù)標(biāo)準(zhǔn)的差異我國(guó)企業(yè)的早期信息化建設(shè)過程中，其業(yè)務(wù)源系統(tǒng)相對(duì)是比較分散的，很少有從全局的角度進(jìn)行考慮，也就使得信息孤島的現(xiàn)象比較突出，也帶來了有關(guān)系統(tǒng)的物料、客戶、供應(yīng)商、會(huì)計(jì)科目、指標(biāo)數(shù)據(jù)的不一致。正是由于企業(yè)在數(shù)據(jù)標(biāo)準(zhǔn)之間的差異，也使得各個(gè)信息系統(tǒng)之間的數(shù)據(jù)很難有效進(jìn)行共享，也帶來了企業(yè)的信息資源利用效率難以跟上實(shí)際需求，伴隨著大數(shù)據(jù)時(shí)代的到來，更加使得挑戰(zhàn)進(jìn)一步擴(kuò)大。數(shù)據(jù)更新的滯后在大數(shù)據(jù)時(shí)代下，雖然企業(yè)為了滿足各個(gè)系統(tǒng)與外部數(shù)據(jù)的內(nèi)部訪問，都提升了訪問效率，減少手工數(shù)據(jù)傳輸，相同的信息經(jīng)常會(huì)在不同系統(tǒng)之間進(jìn)行冗余存放，不過由于對(duì)數(shù)據(jù)的更新滯后，很容易帶來冗余數(shù)據(jù)的不一致，繼而產(chǎn)生了數(shù)據(jù)質(zhì)量的問題，這也是在企業(yè)在數(shù)據(jù)治理中應(yīng)該重點(diǎn)關(guān)注的問題。數(shù)據(jù)管控程度不高企業(yè)大數(shù)據(jù)建設(shè)的最終目標(biāo)是促進(jìn)企業(yè)對(duì)于數(shù)據(jù)應(yīng)用，最大程度發(fā)揮數(shù)據(jù)價(jià)值。因此，在當(dāng)前企業(yè)大數(shù)據(jù)的治理中，人們普遍重視數(shù)據(jù)應(yīng)用，圍繞應(yīng)用中出現(xiàn)的數(shù)據(jù)關(guān)聯(lián)、質(zhì)量管理、業(yè)務(wù)協(xié)同等進(jìn)行數(shù)據(jù)治理，而忽視數(shù)據(jù)治理體系中的管理機(jī)制、控制能力以及安全與隱私保護(hù)等。數(shù)據(jù)治理機(jī)制不健全在大數(shù)據(jù)環(huán)境下，數(shù)據(jù)治理的主體趨于多元化，即一個(gè)數(shù)據(jù)治理流程往往需要多方參與。例如，在數(shù)據(jù)質(zhì)量管理中，問題數(shù)據(jù)的發(fā)現(xiàn)、反饋、修正是一個(gè)多方參與的閉環(huán)流程，參與方包括：企業(yè)數(shù)據(jù)中心（數(shù)據(jù)治理方）、數(shù)據(jù)源頭單位（數(shù)據(jù)提供方）、數(shù)據(jù)用戶（數(shù)據(jù)使用方）等。這種多方協(xié)同治理的業(yè)務(wù)模式，對(duì)企業(yè)大數(shù)據(jù)治理制度和流程機(jī)制提出了更高要求。技術(shù)支撐能力不足企業(yè)大數(shù)據(jù)治理體系的技術(shù)支撐需要涵蓋大數(shù)據(jù)管理、存儲(chǔ)、質(zhì)量、共享與開放、安全與隱私保護(hù)等多個(gè)方面，當(dāng)前相應(yīng)的技術(shù)研究關(guān)聯(lián)性和系統(tǒng)性還存在欠缺，都是側(cè)重于點(diǎn)，而在整體上將技術(shù)關(guān)聯(lián)起來還有問題。具體來說，以金融或電信運(yùn)營(yíng)商行業(yè)為典型代表的傳統(tǒng)數(shù)據(jù)治理技術(shù)，是以基于主數(shù)據(jù)、元數(shù)據(jù)、數(shù)據(jù)規(guī)范的數(shù)據(jù)倉(cāng)庫(kù)管理系統(tǒng)，可實(shí)現(xiàn)特定領(lǐng)域和類型的應(yīng)用級(jí)數(shù)據(jù)質(zhì)量管理。但無法滿足企業(yè)大數(shù)據(jù)環(huán)境下的海量、異構(gòu)、多源、全格式（結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化）數(shù)據(jù)的治理需求。三、企業(yè)大數(shù)據(jù)治理成熟度評(píng)估1、大數(shù)據(jù)治理模型基于以上分析，只有更好的評(píng)估企業(yè)大數(shù)據(jù)治理成熟度，才能更好的指導(dǎo)企業(yè)大數(shù)據(jù)治理的建設(shè)。根據(jù)實(shí)踐可以將大數(shù)據(jù)治理模型理解為人與組織、策略和能力的三維架構(gòu)。人與組織是數(shù)據(jù)治理的主體，涉及企業(yè)中的各個(gè)職能部門及分子等，他們分別承擔(dān)著不同的治理職責(zé)。策略是大數(shù)據(jù)治理的工具，能力是大數(shù)據(jù)治理的手段。下圖所示為大數(shù)據(jù)治理模型三維架構(gòu)。具體來說，人與組織包含利益相關(guān)者、治理委員會(huì)、管理委員會(huì)和內(nèi)部員工。利益相關(guān)者指組織內(nèi)部和外部環(huán)境中受組織決策和行動(dòng)影響的任何相關(guān)者，數(shù)據(jù)的產(chǎn)生者、管理者、使用者和監(jiān)督者等；治理委員會(huì)是組織治理數(shù)據(jù)的最高機(jī)構(gòu)，負(fù)責(zé)作出數(shù)據(jù)相關(guān)事務(wù)的決定，并將數(shù)據(jù)治理標(biāo)準(zhǔn)和措施匯報(bào)給數(shù)據(jù)的利益相關(guān)者；管理委員會(huì)負(fù)責(zé)具體實(shí)施治理委員會(huì)制定的各項(xiàng)數(shù)據(jù)治理決定，并將數(shù)據(jù)治理結(jié)果匯報(bào)給治理委員會(huì)；內(nèi)部員工是數(shù)據(jù)治理架構(gòu)中不可或缺的一部分，貫徹執(zhí)行數(shù)據(jù)治理委員會(huì)和管理委員會(huì)制定的各項(xiàng)數(shù)據(jù)治理策略。策略是組織制定的所有與大數(shù)據(jù)有關(guān)的數(shù)據(jù)優(yōu)化、隱私保護(hù)和數(shù)據(jù)變現(xiàn)的準(zhǔn)則和規(guī)范，包括組織數(shù)據(jù)治理的使命和愿景、治理指標(biāo)、數(shù)據(jù)治理規(guī)則和定義、權(quán)利與職責(zé)、控制措施。數(shù)據(jù)治理的使命和愿景包括數(shù)據(jù)治理的整體目標(biāo)，給予數(shù)據(jù)利益相關(guān)者持續(xù)與跨界的數(shù)據(jù)保護(hù)和服務(wù)，不合規(guī)準(zhǔn)則引發(fā)的問題的解決方案等；數(shù)據(jù)治理指標(biāo)定義了數(shù)據(jù)治理目標(biāo)的衡量方法；數(shù)據(jù)治理規(guī)則和定義包括與數(shù)據(jù)相關(guān)的政策、標(biāo)準(zhǔn)、合規(guī)要求、業(yè)務(wù)規(guī)則和數(shù)據(jù)定義等；權(quán)利和職責(zé)規(guī)定了由誰來負(fù)責(zé)制訂數(shù)據(jù)相關(guān)的決策、何時(shí)實(shí)施、如何實(shí)施，以及組織和個(gè)人在數(shù)據(jù)治理策略中該做什么；控制措施主要針對(duì)數(shù)據(jù)未治理風(fēng)險(xiǎn)防范和數(shù)據(jù)治理過程中可能發(fā)生的各類風(fēng)險(xiǎn)，以及如何做好數(shù)據(jù)隱私保護(hù)。能力則反映了組織進(jìn)行數(shù)據(jù)治理所具備的條件和水平，包括元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、業(yè)務(wù)流程整合、主數(shù)據(jù)管理和信息生命周期管理。元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，即描述數(shù)據(jù)和信息資源的信息。元數(shù)據(jù)管理就是整合大數(shù)據(jù)與企業(yè)的元數(shù)據(jù)庫(kù)。數(shù)據(jù)質(zhì)量管理準(zhǔn)則包括數(shù)據(jù)識(shí)別、采集、測(cè)量、提升和論證質(zhì)量、整合組織數(shù)據(jù)的方法，比如具備應(yīng)對(duì)非結(jié)構(gòu)化數(shù)據(jù)占據(jù)數(shù)據(jù)總量絕大部分情況的能力。業(yè)務(wù)流程整合要求組織制定的大數(shù)據(jù)治理計(jì)劃必須與組織的核心業(yè)務(wù)流程相匹配，以便從核心業(yè)務(wù)流程中獲取大數(shù)據(jù)治理的關(guān)鍵支持政策。主數(shù)據(jù)管理描述了一組規(guī)程、技術(shù)和解決方案，用于維護(hù)業(yè)務(wù)數(shù)據(jù)的一致性、完整性、相關(guān)性和精確性。大數(shù)據(jù)治理需要制訂將大數(shù)據(jù)整合到主數(shù)據(jù)管理環(huán)境的政策。信息生命周期管理則要求組織判斷應(yīng)該將何種數(shù)據(jù)保留在數(shù)據(jù)分析系統(tǒng)，何種數(shù)據(jù)需要存檔，何種數(shù)據(jù)需要?jiǎng)h除。2、大數(shù)據(jù)治理成熟度評(píng)估等級(jí) 等級(jí)描述初始級(jí)初始級(jí)a.沒有定義與數(shù)據(jù)治理相關(guān)的架構(gòu)和角色；b.沒有正式的數(shù)據(jù)治理策略；c.不具備數(shù)據(jù)治理能力?；炯?jí)a.定義了數(shù)據(jù)治理角色和職責(zé)，管理者意識(shí)到數(shù)據(jù)治理的重要性，但對(duì)管理知識(shí)知之甚少；b.已有的數(shù)據(jù)治理策略已經(jīng)文件化，但不具有連貫性；c.數(shù)據(jù)治理能力十分有限，只有很少一部分人掌握數(shù)據(jù)治理通用級(jí)別的知識(shí)。定義級(jí)a.定義了數(shù)據(jù)治理角色和職責(zé)，管理者能主動(dòng)推動(dòng)數(shù)據(jù)治理計(jì)劃實(shí)施；b.數(shù)據(jù)策略已經(jīng)文件化，并涵蓋了針對(duì)特殊數(shù)據(jù)的治理策略；策略通過公共渠道容易獲取，大多數(shù)利益相關(guān)者能夠理解；c.具備數(shù)據(jù)治理的全部要素，一部分人知道詳細(xì)的數(shù)據(jù)治理能力。管理級(jí)a.定義了完備的數(shù)據(jù)治理角色和職責(zé)，并有專門的數(shù)據(jù)質(zhì)量專家，管理者能主動(dòng)推動(dòng)數(shù)據(jù)治理計(jì)劃實(shí)施；b.所有的數(shù)據(jù)策略都已經(jīng)文件化，并且是審計(jì)合規(guī)的，都能通過公用渠道獲取，數(shù)據(jù)治理利益相關(guān)者主動(dòng)關(guān)注策略的增添、更新和刪除；c.所有定義的數(shù)據(jù)治理能力層級(jí)都有可用的方法，建立了系統(tǒng)化的數(shù)據(jù)治理處理流程。優(yōu)化級(jí)a.定義了完備的數(shù)據(jù)治理角色和職責(zé)，管理委員會(huì)來自各個(gè)部門，擁有元數(shù)據(jù)管理小組、數(shù)據(jù)質(zhì)量技能中心、主數(shù)據(jù)管理委員會(huì)等；b.所有的數(shù)據(jù)策略都已經(jīng)文件化，并且是審計(jì)合規(guī)的，所有的數(shù)據(jù)治理利益相關(guān)者都參與了策略發(fā)展過程；制訂了自動(dòng)化的政策，以保證數(shù)據(jù)在整個(gè)組織內(nèi)保持一致、準(zhǔn)確和可靠；c.所有定義的數(shù)據(jù)治理能力層級(jí)所指定的部門和關(guān)鍵數(shù)據(jù)是固定的，能夠在數(shù)據(jù)處于靜態(tài)和動(dòng)態(tài)時(shí)進(jìn)行數(shù)據(jù)質(zhì)量修復(fù)，數(shù)據(jù)不間斷地被跟蹤檢查，且任何偏離標(biāo)準(zhǔn)的問題都可以立即解決。成熟度評(píng)估是企業(yè)大數(shù)據(jù)治理狀態(tài)和能力的一種衡量方式。大數(shù)據(jù)治理模型共三個(gè)維度，具體涵蓋14個(gè)評(píng)價(jià)指標(biāo)。每個(gè)指標(biāo)分別以5個(gè)等級(jí)來衡量其成熟度，然后再統(tǒng)籌考慮評(píng)價(jià)指標(biāo)權(quán)重，得到組織大數(shù)據(jù)治理的整體成熟度評(píng)價(jià)。根據(jù)綜合評(píng)價(jià)結(jié)果，企業(yè)大數(shù)據(jù)治理成熟度可以分為以下5個(gè)等級(jí)，即初始級(jí)、基本級(jí)、定義級(jí)、管理級(jí)和優(yōu)化級(jí)。四、企業(yè)大數(shù)據(jù)治理框架1、大數(shù)據(jù)治理總體框架根據(jù)企業(yè)大數(shù)據(jù)治理特點(diǎn)和需求分析，從企業(yè)大數(shù)據(jù)應(yīng)用創(chuàng)新的角度，企業(yè)大數(shù)據(jù)治理總體框架由九部分組成。大數(shù)據(jù)生命周期管理數(shù)據(jù)生命周期是數(shù)據(jù)治理的時(shí)間軸，數(shù)據(jù)治理服務(wù)于數(shù)據(jù)的全生命周期。因此，完善的數(shù)據(jù)生命周期管理是確保數(shù)據(jù)治理有序、全面的前提條件之一。在企業(yè)大數(shù)據(jù)領(lǐng)域，數(shù)據(jù)生命周期管理又分為兩類，一類是技術(shù)層面的數(shù)據(jù)周期管理，指按照數(shù)據(jù)加工處理時(shí)序（數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)建模、數(shù)據(jù)調(diào)度、數(shù)據(jù)銷存）而建立的時(shí)間里程管理；另一類是業(yè)務(wù)層面的數(shù)據(jù)周期管理，指按照業(yè)務(wù)流程時(shí)序而建立的時(shí)間里程管理。數(shù)據(jù)源管理以數(shù)據(jù)資源目錄的功能形式，提供對(duì)待治理的數(shù)據(jù)源的管理。在功能模塊上，數(shù)據(jù)源管理由兩類功能組成：一是數(shù)據(jù)源部門相關(guān)的組織機(jī)構(gòu)管理功能，二是數(shù)據(jù)源的目錄、格式類型和交互周期等資源屬性管理功能。從數(shù)據(jù)源提供的數(shù)據(jù)類型上看，企業(yè)大數(shù)據(jù)治理的對(duì)象包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，以及來自互聯(lián)網(wǎng)的數(shù)據(jù)等。主要技術(shù)支撐企業(yè)大數(shù)據(jù)治理中所用的主要技術(shù)包括數(shù)據(jù)檢核引擎、ETL工具、消息中間件、流程引擎、Hive和MPPDB等。相對(duì)于傳統(tǒng)數(shù)據(jù)治理技術(shù)，專門引入了Hive和MPPDB等大數(shù)據(jù)領(lǐng)域的數(shù)倉(cāng)工具，代替?zhèn)鹘y(tǒng)數(shù)倉(cāng)中Oracle、MySQL等關(guān)系型數(shù)據(jù)庫(kù)，以滿足大規(guī)模數(shù)據(jù)的治理效率要求。另外，要特別強(qiáng)調(diào)的是，數(shù)據(jù)質(zhì)量檢核引擎的設(shè)計(jì)最具技術(shù)含量，也最為重要，它直接決定了數(shù)據(jù)檢核的能力和數(shù)據(jù)質(zhì)量的把控程度。因此，質(zhì)量檢核引擎的設(shè)計(jì)要充分響應(yīng)上文中的需求分析，體現(xiàn)技術(shù)先進(jìn)性、功能完整性、覆蓋全面性、檢核深度性和使用便捷性，實(shí)現(xiàn)良好的數(shù)據(jù)質(zhì)量檢查和核對(duì)功能。貼源層治理貼源層治理又叫近源治理，是指在最貼近數(shù)據(jù)源頭的一側(cè)，對(duì)數(shù)據(jù)進(jìn)行建模、標(biāo)準(zhǔn)化和技術(shù)檢核方面的治理。貼源層治理的要點(diǎn)如下：第一，數(shù)據(jù)建模時(shí)，須按照對(duì)業(yè)務(wù)屬性的影響程度，區(qū)分主數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，以滿足數(shù)據(jù)實(shí)體在業(yè)務(wù)流程、數(shù)據(jù)質(zhì)量控制方面的不同要求。主數(shù)據(jù)是指對(duì)業(yè)務(wù)影響至關(guān)重要的共享數(shù)據(jù)，如組織機(jī)構(gòu)、員工、會(huì)計(jì)科目、物料、供應(yīng)商、客戶等。同時(shí)，也要按照記錄屬性對(duì)數(shù)據(jù)實(shí)體識(shí)別的影響，為每個(gè)屬性設(shè)計(jì)權(quán)重，區(qū)分核心和普通屬性，以滿足深度數(shù)據(jù)質(zhì)量控制要求。第二，數(shù)據(jù)標(biāo)準(zhǔn)化是指按照元數(shù)據(jù)或數(shù)據(jù)元標(biāo)準(zhǔn)規(guī)范，對(duì)匯集的源頭數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換、字典映射，進(jìn)行初步的數(shù)據(jù)規(guī)范。第三，數(shù)據(jù)檢核是數(shù)據(jù)質(zhì)量控制的核心舉措，根據(jù)是否存在業(yè)務(wù)相關(guān)性，又分為技術(shù)檢核和業(yè)務(wù)檢核。其中，數(shù)據(jù)技術(shù)檢核是指對(duì)數(shù)據(jù)進(jìn)行不涉及業(yè)務(wù)的檢查和核對(duì)。即按照數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，使用數(shù)據(jù)檢核引擎，對(duì)源數(shù)據(jù)進(jìn)行格式、值域、重復(fù)度、完整性、準(zhǔn)確性等質(zhì)量校核，以最大程度地發(fā)現(xiàn)、排除問題數(shù)據(jù)，為后續(xù)質(zhì)量控制打下堅(jiān)實(shí)基礎(chǔ)。第四，數(shù)據(jù)質(zhì)量考核評(píng)價(jià)是貼源層治理的主要輸出結(jié)果，通常這個(gè)結(jié)果以數(shù)據(jù)質(zhì)量報(bào)告的形式輸出。數(shù)據(jù)質(zhì)量報(bào)告由標(biāo)準(zhǔn)規(guī)范體系中預(yù)先定義的質(zhì)量評(píng)價(jià)指標(biāo)組成，用于反饋數(shù)據(jù)治理相關(guān)方，觸發(fā)數(shù)據(jù)質(zhì)量控制的相關(guān)業(yè)務(wù)流程。中心層治理與貼源層治理相對(duì)應(yīng)的是中心層治理，即在貼源層治理和數(shù)據(jù)資源中心之外的其他治理內(nèi)容。中心層治理的內(nèi)容包括數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)融合和數(shù)據(jù)業(yè)務(wù)檢核，它們具有一個(gè)業(yè)務(wù)相關(guān)的共性特征，即治理內(nèi)容與數(shù)據(jù)所屬業(yè)務(wù)領(lǐng)域密切相關(guān)。中心層治理的要點(diǎn)如下：第一，數(shù)據(jù)關(guān)聯(lián)是指基于業(yè)務(wù)主數(shù)據(jù)，將各相關(guān)數(shù)據(jù)模型串聯(lián)起來，形成實(shí)體的一個(gè)全息數(shù)據(jù)畫像，并通過相關(guān)屬性，將這種數(shù)據(jù)間的關(guān)聯(lián)關(guān)系保存起來。數(shù)據(jù)關(guān)聯(lián)對(duì)于企業(yè)大數(shù)據(jù)應(yīng)用實(shí)施具有決定性作用，通?？申P(guān)聯(lián)的數(shù)據(jù)，才是實(shí)際可用的數(shù)據(jù)。第二，數(shù)據(jù)融合是指在數(shù)據(jù)關(guān)聯(lián)的基礎(chǔ)上，將同類數(shù)據(jù)去重后聚合，把“一數(shù)多源”變?yōu)椤耙粩?shù)一源”；或者將同一個(gè)實(shí)體的不同數(shù)據(jù)片段，構(gòu)建形成新的、更完整的數(shù)據(jù)描述。數(shù)據(jù)融合通常面向特定應(yīng)用場(chǎng)景，是數(shù)據(jù)應(yīng)用中最為常見的數(shù)據(jù)操作之一。第三，數(shù)據(jù)業(yè)務(wù)檢核是基于數(shù)據(jù)的業(yè)務(wù)屬性進(jìn)行的業(yè)務(wù)邏輯合規(guī)性檢查核對(duì)。業(yè)務(wù)檢核是數(shù)據(jù)質(zhì)量檢核中不可或缺的部分，與技術(shù)檢核同等重要。以個(gè)人身份證號(hào)數(shù)據(jù)為例，技術(shù)檢核僅能做到身份證號(hào)長(zhǎng)度、格式、特定位值（地區(qū)編碼、年齡）等的合規(guī)檢查，而不能識(shí)別該號(hào)碼的真假；業(yè)務(wù)校核則是通過把該號(hào)碼與身份證登記機(jī)關(guān)的數(shù)據(jù)庫(kù)相比對(duì)，確認(rèn)出號(hào)碼的真假。數(shù)據(jù)資源中心數(shù)據(jù)資源中心是數(shù)據(jù)治理的結(jié)尾環(huán)節(jié)，進(jìn)入數(shù)據(jù)資源中心的數(shù)據(jù)被認(rèn)為是標(biāo)準(zhǔn)、合規(guī)、正確、可直接應(yīng)用的數(shù)據(jù)。在企業(yè)大數(shù)據(jù)治理體系中，數(shù)據(jù)資源中心階段的數(shù)據(jù)治理，側(cè)重于數(shù)據(jù)資產(chǎn)的形成和管理，以及數(shù)據(jù)集的存儲(chǔ)劃分。在該框架中，以數(shù)據(jù)資產(chǎn)目錄來統(tǒng)領(lǐng)數(shù)據(jù)資產(chǎn)的管理；以面向數(shù)據(jù)實(shí)體的基礎(chǔ)數(shù)據(jù)庫(kù)和面向應(yīng)用的主題數(shù)據(jù)庫(kù)，統(tǒng)一存儲(chǔ)治理后的數(shù)據(jù)。數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范體系數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范是實(shí)施數(shù)據(jù)治理的基礎(chǔ)前提條件，對(duì)數(shù)據(jù)治理的成效起著決定性作用。沒有標(biāo)準(zhǔn)規(guī)范，無從數(shù)據(jù)治理；標(biāo)準(zhǔn)規(guī)范不全，數(shù)據(jù)治理不全。對(duì)于企業(yè)大數(shù)據(jù)來說，要做好治理需建立健全以下規(guī)范：第一，元數(shù)據(jù)標(biāo)準(zhǔn)。要全面建立元數(shù)據(jù)標(biāo)準(zhǔn)，做到對(duì)全域數(shù)據(jù)的覆蓋。第二，數(shù)據(jù)元標(biāo)準(zhǔn)。要有選擇地為主要數(shù)據(jù)實(shí)體建立數(shù)據(jù)元標(biāo)準(zhǔn)。第三，數(shù)據(jù)分類編碼標(biāo)準(zhǔn)。要為重要數(shù)據(jù)建立分類編碼標(biāo)準(zhǔn)，并為基礎(chǔ)數(shù)據(jù)建立編碼字典表。第四，數(shù)據(jù)目錄規(guī)范。要在盡可能大的范圍內(nèi)，建立統(tǒng)一的企業(yè)數(shù)據(jù)資源目錄規(guī)范，在最大程度上規(guī)范目錄編碼和操作。第五，數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)。要從準(zhǔn)確性、合規(guī)性、一致性、重復(fù)性、及時(shí)性、完整性等指標(biāo)角度，建立全面的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)，并給出評(píng)估指標(biāo)和評(píng)估方式。第六，數(shù)據(jù)治理流程規(guī)范。流程化是治理有序的保障，要將數(shù)據(jù)治理流程化，建立相應(yīng)的流程規(guī)范，通過流程規(guī)范提升治理有序水平。（8）大數(shù)據(jù)安全和隱私管理企業(yè)的生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)價(jià)值大、敏感度高，涉及企業(yè)戰(zhàn)略的隱私和股東的權(quán)益。因此，在企業(yè)大數(shù)據(jù)的治理中，要建立相應(yīng)的治理安全管理體系，確保各治理環(huán)節(jié)的數(shù)據(jù)安全。一般情況下，數(shù)據(jù)治理要達(dá)到以下安全保護(hù)要求：第一，按照《工業(yè)數(shù)據(jù)分類分級(jí)指南(試行)》、《信息安全等級(jí)保護(hù)管理辦法》和《信息系統(tǒng)安全等級(jí)保護(hù)定級(jí)指南》的要求，確定數(shù)據(jù)治理系統(tǒng)的安全保護(hù)等級(jí)，構(gòu)建安全防護(hù)體系。第二，針對(duì)不同信息可動(dòng)態(tài)設(shè)置安全保護(hù)手段。第三，治理功能與組織機(jī)構(gòu)和用戶分級(jí)權(quán)限相結(jié)合。第四，提供數(shù)據(jù)簽名和數(shù)據(jù)脫敏功能，確保隱私安全。第五，所有治理操作均有記錄日志，納入統(tǒng)一安全審計(jì)管理。（9）智能化管理為構(gòu)建自動(dòng)化、智能化的數(shù)據(jù)治理平臺(tái)，企業(yè)大數(shù)據(jù)治理框架還需具有追溯和可視化展示功能。追溯功能是指設(shè)置并記錄數(shù)據(jù)治理的各個(gè)里程節(jié)點(diǎn)，可以追查數(shù)據(jù)治理的過程信息。并且在一定時(shí)效和條件下，可將某節(jié)點(diǎn)治理后的數(shù)據(jù)回退到其之前的任何狀態(tài)。追溯功能可實(shí)現(xiàn)數(shù)據(jù)治理的靈活控制，利于復(fù)雜數(shù)據(jù)環(huán)境下實(shí)現(xiàn)智能化數(shù)據(jù)治理。具有良好可視化展示功能是先進(jìn)數(shù)據(jù)治理平臺(tái)的基本要求。治理可視化能帶來良好的用戶操作體驗(yàn)，便于治理工作的實(shí)施，利于人工參與治理效率的提高。2、企業(yè)大數(shù)據(jù)治理主要流程企業(yè)大數(shù)據(jù)治理的主要流程如下圖所示：第一，數(shù)據(jù)源分析。在新的數(shù)據(jù)源接入時(shí)，首先做數(shù)據(jù)源的分析，內(nèi)容包括：確認(rèn)要治理的數(shù)據(jù)類別、數(shù)據(jù)項(xiàng)和數(shù)據(jù)周期等，抽取樣例數(shù)據(jù)，分析數(shù)據(jù)特征，做好為數(shù)據(jù)治理服務(wù)的規(guī)劃準(zhǔn)備。第二，數(shù)據(jù)治理規(guī)劃。數(shù)據(jù)治理規(guī)劃分為三個(gè)步驟：（一）