大數(shù)據(jù)時代的數(shù)據(jù)治理方案

1、大數(shù)據(jù)時代的數(shù)據(jù)治理方案技術(shù)創(chuàng)新 變革未來01大數(shù)據(jù)時代數(shù)據(jù)的特點02大數(shù)據(jù)時代的數(shù)據(jù)治理03典型案例目錄CO N T E N T S企業(yè)信息系統(tǒng)演進(jìn)的時代OLTP時代OLAP時代BigData時代企業(yè)主要的IT系統(tǒng)ERP進(jìn)銷存 MRPIISCMOA系統(tǒng)HR系統(tǒng).主要特點業(yè)務(wù)的電子化 數(shù)據(jù)的電子化企業(yè)主要的IT系統(tǒng)DW/BI系統(tǒng)統(tǒng)一客戶管理系統(tǒng) 報表系統(tǒng)CRM系統(tǒng)主要特點內(nèi)部數(shù)據(jù)統(tǒng)一 單向數(shù)據(jù)應(yīng)用 強調(diào)數(shù)據(jù)的技術(shù)企業(yè)主要的IT系統(tǒng)大數(shù)據(jù)平臺 數(shù)據(jù)湖數(shù)據(jù)中臺.主要特點內(nèi)外部數(shù)據(jù)統(tǒng)一雙向數(shù)據(jù)應(yīng)用數(shù)據(jù)既是技術(shù)也是資源多源內(nèi)部系統(tǒng)、外部系統(tǒng)文件系統(tǒng)、RDBMS、Hadoop、實時流式異構(gòu)結(jié)構(gòu)化、半結(jié)構(gòu)

2、化、非結(jié)構(gòu)化數(shù)字、圖象、聲音、視頻海量TB、PB、ZB角色變換由附屬的信息變?yōu)橘Y源，本身可以盈利大數(shù)據(jù)時代的數(shù)據(jù)特點大數(shù)據(jù)時代企業(yè)面臨的數(shù)據(jù)困境技術(shù)人員的困境數(shù)據(jù)變化更難以跟蹤；上游系 統(tǒng)發(fā)生變更，下游系統(tǒng)不知道；多業(yè)務(wù)系統(tǒng)之間數(shù)據(jù)定義不統(tǒng) 一、格式不統(tǒng)一、統(tǒng)計口徑不 統(tǒng)一，形成多個信息孤島；數(shù)據(jù)質(zhì)量達(dá)不到要求，影響數(shù) 據(jù)集成和整合；數(shù)據(jù)來源混亂，版本流失，數(shù) 據(jù)權(quán)責(zé)不清。業(yè)務(wù)人員的困境理解困難：含義相同的數(shù) 值在不同的統(tǒng)計報表中， 差異巨大，而且由轉(zhuǎn)換軌 跡模糊，無法排查數(shù)值偏 離原因；數(shù)據(jù)使用效果有限：多個 來源數(shù)據(jù)的質(zhì)量不高，在低質(zhì)量數(shù)據(jù)基礎(chǔ)上進(jìn)行數(shù) 據(jù)挖掘不分析，結(jié)論的有 效性和可用性

3、打折扣。企業(yè)管理的困境很難摸清數(shù)據(jù)資產(chǎn)的家底：系 統(tǒng)過多、數(shù)據(jù)過雜、無法有效 的統(tǒng)計和獲知數(shù)據(jù)資產(chǎn)的真實 情況。知識傳承不業(yè)務(wù)銜接低效、開 發(fā)、運維人員的流勱，造成系 統(tǒng)運轉(zhuǎn)不暢、知識的丟失數(shù)據(jù)作為資產(chǎn)難以管控？數(shù)據(jù) 資產(chǎn)不能有效的保值增值大數(shù)據(jù)時代更需要數(shù)據(jù)治理數(shù)據(jù)治理1234形成跨系統(tǒng)的數(shù)據(jù)地圖高質(zhì)量的數(shù)據(jù)才能產(chǎn)生高質(zhì)量的結(jié)果升級數(shù)據(jù)安全、生命周期的管理將數(shù)據(jù)作為資產(chǎn)進(jìn)行管控企業(yè)為了更好管理自身多源異構(gòu)的龐大數(shù)據(jù)，需要通過元數(shù)據(jù) 建立大數(shù)據(jù)目錄，形成跨系統(tǒng)的全面數(shù)據(jù)地圖。企業(yè)通過對數(shù)據(jù)的分析挖掘發(fā) 現(xiàn)新的問題和機遇，只有高質(zhì) 量的數(shù)據(jù)才能保證結(jié)果的正確 性。多源數(shù)據(jù)質(zhì)量駁雜，更需 要通過治

4、理提高數(shù)據(jù)質(zhì)量。大數(shù)據(jù)時代，數(shù)據(jù)的流勱性和時效性迚一步增強，由此對 數(shù)據(jù)安全、數(shù)據(jù)生命周期的管控要求也迚一步增強。越來越多的企業(yè)將數(shù)據(jù)視作 一種資產(chǎn)，對這類特殊的資 產(chǎn)如何進(jìn)行管理，如何進(jìn)行 價值評估也是數(shù)據(jù)治理重要 的組成部分。01大數(shù)據(jù)時代數(shù)據(jù)的特點02大數(shù)據(jù)時代的數(shù)據(jù)治理03典型案例目錄CO N T E N T S數(shù)據(jù)治理咨詢 數(shù)據(jù)治理產(chǎn)品 數(shù)據(jù)治理實施數(shù)據(jù)治理是自上而下的系統(tǒng)工程數(shù)據(jù)治理是全企業(yè)的、長期的系統(tǒng)工程，企業(yè)需要將數(shù)據(jù)治理作為企業(yè)戰(zhàn)略的一部分，而不是某個部門某一時期的工作。數(shù)據(jù)治理之初，需要對企業(yè)內(nèi)外部進(jìn)行調(diào)研，制定相應(yīng)的目標(biāo)、組織和規(guī)范、要劃分階段并明確各 階段重點工作。在

5、企業(yè)中建立專門的數(shù)據(jù)治理機構(gòu)數(shù)據(jù)治理機構(gòu)的建立是企業(yè)數(shù)據(jù)治理必不可少的一個環(huán)節(jié)，通過數(shù)據(jù)治理機構(gòu)保障數(shù)據(jù)治理工作落 實到各個部門和系統(tǒng)。數(shù)據(jù)治理機構(gòu)還肩負(fù)著制定數(shù)據(jù)治理相關(guān)規(guī)章制度、流程、考核方式等工作。分析明確企業(yè)數(shù)據(jù)治理實施專題數(shù)據(jù)治理包含多方面的工作，數(shù)據(jù)治理機構(gòu)需要根據(jù)整體目標(biāo)和實際情況，確定自身數(shù)據(jù)治理主要 進(jìn)行哪些方面的提升。01大數(shù)據(jù)時代數(shù)據(jù)的特點02大數(shù)據(jù)時代的數(shù)據(jù)治理03典型案例目錄CO N T E N T S數(shù)據(jù)治理咨詢 數(shù)據(jù)治理產(chǎn)品 數(shù)據(jù)治理實施數(shù)據(jù)治理的主要技術(shù)與產(chǎn)品元數(shù)據(jù)數(shù)據(jù)質(zhì)量數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)建模管理數(shù)據(jù)安全管理主數(shù)據(jù)管理數(shù)據(jù)生命周期管理.開發(fā)過程管理元數(shù)據(jù)：企業(yè)數(shù)據(jù)治

6、理的基礎(chǔ)建立企業(yè)全局性的數(shù)據(jù)字典 和數(shù)據(jù)地圖功能，對整個系 統(tǒng)數(shù)據(jù)定義和數(shù)據(jù)流向一目 了然元數(shù)據(jù)：形成全面的數(shù)據(jù)地圖Hadoop平臺數(shù)據(jù)鏈路關(guān)系型數(shù)據(jù)庫鏈路元數(shù)據(jù)系統(tǒng)可以支持關(guān)系型、MPP、分布式等多種類型數(shù)據(jù)庫和相關(guān)ETL作業(yè)、BI工具，形成跨 系統(tǒng)的完整地圖。元數(shù)據(jù)：對企業(yè)的數(shù)據(jù)資產(chǎn)情況一目了然數(shù)據(jù)質(zhì)量：對企業(yè)各環(huán)節(jié)數(shù)據(jù)進(jìn)行檢核企業(yè)數(shù)據(jù)產(chǎn)生加工分析的各個環(huán)節(jié)都可能產(chǎn)生數(shù)據(jù)質(zhì)量問題，通過創(chuàng)建數(shù)據(jù)質(zhì)量檢核規(guī)則，對 企業(yè)數(shù)據(jù)的準(zhǔn)確性、一致性等進(jìn)行檢核。數(shù)據(jù)質(zhì)量：對檢核結(jié)果進(jìn)行匯總分析根據(jù)數(shù)據(jù)質(zhì)量檢核結(jié)果，從多個維度進(jìn)行統(tǒng)計分析，發(fā)現(xiàn)企業(yè)系統(tǒng)、部門、加工鏈路中的薄弱環(huán)節(jié)。數(shù)據(jù)標(biāo)準(zhǔn)：對企業(yè)各類標(biāo)準(zhǔn)進(jìn)

7、行統(tǒng)一展示和應(yīng)用企業(yè)基礎(chǔ)標(biāo)準(zhǔn)、指標(biāo)標(biāo)準(zhǔn)、公共代碼等各類標(biāo)準(zhǔn)，需要通過統(tǒng)一的平臺進(jìn)行發(fā)布，以保證全企業(yè)都可以查詢和使用。數(shù)據(jù)標(biāo)準(zhǔn)：實現(xiàn)對數(shù)據(jù)標(biāo)準(zhǔn)的規(guī)范管理企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)相關(guān)的管理規(guī)范，如標(biāo)準(zhǔn)變更的流程等，通過系統(tǒng)功能保障其實現(xiàn)。01大數(shù)據(jù)時代數(shù)據(jù)的特點02大數(shù)據(jù)時代的數(shù)據(jù)治理03典型案例目錄CO N T E N T S數(shù)據(jù)治理咨詢 數(shù)據(jù)治理產(chǎn)品 數(shù)據(jù)治理實施覆蓋全企業(yè)的數(shù)據(jù)治理實施工作數(shù)據(jù)治理是一項“規(guī)劃+產(chǎn)品功能+實施”缺一 不可長期系統(tǒng)性工作，數(shù)據(jù)治理要取得成效，最 終還是要落地到實施層面。數(shù)據(jù)治理的落地實施往往不是一個系統(tǒng)、一個部門的事，需要企業(yè)多個或者全部部門共同參不。數(shù)據(jù)治理的實施不僅包

8、括功能層面的，還包括內(nèi) 容層面的，比如數(shù)據(jù)標(biāo)準(zhǔn)的持續(xù)更新，數(shù)據(jù)質(zhì)量 檢核規(guī)則的整理和實施等。數(shù)據(jù)治理實施數(shù)據(jù)標(biāo)準(zhǔn)梳理及落地數(shù)據(jù)標(biāo)準(zhǔn)是全企業(yè)需要共同遵循的規(guī)范，其建立過程中需要相關(guān)部門共同進(jìn)行討論和審批；而標(biāo)準(zhǔn) 一旦發(fā)布，也需要相關(guān)部門嚴(yán)格遵守，以此規(guī)范新建系統(tǒng)以及有條件的改造舊系統(tǒng)。數(shù)據(jù)治理實施質(zhì)量問題發(fā)現(xiàn)及解決數(shù)據(jù)質(zhì)量不企業(yè)眾多部門和系統(tǒng)密切相關(guān)，數(shù)據(jù)質(zhì)量的檢核規(guī)則也需要各部門/系統(tǒng)集思廣益，對經(jīng) 常出現(xiàn)問題或者重要的環(huán)節(jié)進(jìn)行質(zhì)量監(jiān)控；對于發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題，各部門/系統(tǒng)需要積極進(jìn)行整 改，才能保證數(shù)據(jù)質(zhì)量不斷提升。01大數(shù)據(jù)時代數(shù)據(jù)的特點02大數(shù)據(jù)時代的數(shù)據(jù)治理03典型案例目錄CO N T

9、 E N T SXX行數(shù)據(jù)申請服務(wù)管理是將原來各分行通過郵件進(jìn)行數(shù)據(jù)申請的過程在數(shù)據(jù)標(biāo)準(zhǔn)平臺上規(guī)范化；數(shù)據(jù)標(biāo)準(zhǔn)平臺對全部系統(tǒng)數(shù)據(jù)字典進(jìn)行定期、及時的更新，保證其反映各系統(tǒng)現(xiàn)狀；分行和總行其 他部門用戶可以通過數(shù)據(jù)字典選擇需要的數(shù)據(jù)并提出數(shù)據(jù)申請。案例1：某大型國有銀行數(shù)據(jù)申請服務(wù)數(shù)據(jù)申請需要經(jīng)過分行技術(shù)/業(yè)務(wù)部門、分行數(shù)據(jù)主管部門、總行主管部門等多個層級的審批，規(guī)范了企業(yè)內(nèi)部數(shù)據(jù)分發(fā)的過程；定期對經(jīng)常被申請的數(shù)據(jù)、分行申請數(shù)據(jù)量、分行申請數(shù)據(jù)是否重復(fù)等進(jìn)行分析，以便更好的提供 相關(guān)服務(wù)。案例1：某大型國有銀行數(shù)據(jù)申請服務(wù)案例2：某電信運營商數(shù)據(jù)質(zhì)量兩級聯(lián)動某運營商集團(tuán)要求各省各公司定期上報關(guān)鍵KPI指標(biāo)數(shù)據(jù)并進(jìn)行檢核，發(fā)現(xiàn)的數(shù)據(jù)質(zhì)量問題也會責(zé)成各省分析原因并進(jìn)行解決。在各省數(shù)據(jù)質(zhì)量系統(tǒng)上可以設(shè)置和查詢上報集團(tuán)的時間、上報內(nèi)容、是否成功上報等信息。案例2：某電信運營商數(shù)據(jù)質(zhì)量兩級聯(lián)動案例3：某保險公司數(shù)據(jù)模型標(biāo)準(zhǔn)化將數(shù)據(jù)標(biāo)準(zhǔn)應(yīng)用于企業(yè)現(xiàn)有建模工具，要求新建模型時必須應(yīng)用已有數(shù)據(jù)標(biāo)準(zhǔn)，并對其進(jìn)行檢查， 檢查通過后，才在系統(tǒng)中創(chuàng)建相關(guān)表。XX保險在系統(tǒng)中不僅對模型變更進(jìn)行審批，還可以查看所有已有模型以及變更記錄。XX保險案例3：某保險公司數(shù)據(jù)模型標(biāo)準(zhǔn)化石竹公司簡介石竹軟件：數(shù)據(jù)治理領(lǐng)域的專業(yè)軟件開發(fā)商及服務(wù)提供商。