數(shù)字化轉(zhuǎn)型中的大數(shù)據(jù)治理架構(gòu)

數(shù)字化轉(zhuǎn)型中的大數(shù)據(jù)治理架構(gòu)3普元大數(shù)據(jù)治理架構(gòu)實踐1

數(shù)字化時代大數(shù)據(jù)向服務(wù)化發(fā)展2

大數(shù)據(jù)治理架構(gòu)與關(guān)鍵技術(shù)分析目錄突破狹義虧聯(lián)網(wǎng)的限制，訃識虛擬與現(xiàn)實的本質(zhì)：虛擬時空的交易與現(xiàn)實時空的交付互聯(lián)網(wǎng)信息虧通網(wǎng)上銀行、銀證通、銀保通移勱互聯(lián)網(wǎng)時間自由空間自由手機(jī)銀行、移勱支付互聯(lián)網(wǎng)+虛擬時空&現(xiàn)實時空消費(fèi)金融、工業(yè)4.0虛擬時空交易與現(xiàn)實時空交付的數(shù)字化時代人、物、商業(yè)數(shù)字化連接的商業(yè)模式消費(fèi)者的生活方式日益數(shù)字化。人們可以在仸何時間、仸何地點利用線上、線下渠道體驗無縫購物，運(yùn)用社交媒體表達(dá)自我，而一旦發(fā)現(xiàn)供應(yīng)商的服務(wù)欠佳，也比以往更迫切地更換服務(wù)商企業(yè)也希望綜合運(yùn)用多種技術(shù)支持，將已有能力向社會開放，改善客戶聯(lián)系，在創(chuàng)造社會價值的同時實現(xiàn)企業(yè)價值發(fā)展趨勢：未來的企業(yè)必將成為數(shù)字化企業(yè)紅領(lǐng)集團(tuán)通過業(yè)務(wù)創(chuàng)新實現(xiàn)由客戶需求直接驅(qū)勱工廠的運(yùn)作模式以大數(shù)據(jù)為驅(qū)勱的企業(yè)數(shù)字化轉(zhuǎn)型以大數(shù)據(jù)為驅(qū)勱的企業(yè)數(shù)字化轉(zhuǎn)型紅領(lǐng)集團(tuán)通過業(yè)務(wù)創(chuàng)新實現(xiàn)由客戶需求直接驅(qū)勱工廠的運(yùn)作模式接入園區(qū)31個部門、涉及85個業(yè)務(wù)領(lǐng)域，335個數(shù)據(jù)分類，3981工作項。先后完成了公安、工商等15家人口、法人信息高關(guān)聯(lián)度局辦的信息納入政務(wù)資源于平臺。蘇州工業(yè)園區(qū)在信息化發(fā)展規(guī)劃中提出了“三庫、三通、九樞紐”的信息化總體發(fā)展框架。園區(qū)云計算平臺蘇州工業(yè)園區(qū)政務(wù)信息共享企業(yè)通居民通政務(wù)通人口基礎(chǔ)庫地理信息庫企業(yè)基礎(chǔ)庫…健康樞紐教育樞紐社區(qū)樞紐公安樞紐交通樞紐社保樞紐三通九樞紐三庫根據(jù)大數(shù)據(jù)咨詢公司NewVantagePartners近期發(fā)布的調(diào)查報告，在接受調(diào)查的企業(yè)中，2012年僅有12%仸命了首席數(shù)據(jù)官，而2016年這一比例上升到54%54%12%2008-2009年世界金融危機(jī)，第一位CDO誕生趨勢：CDO辦公室成為數(shù)字化企業(yè)的標(biāo)準(zhǔn)崗位2016年2012年數(shù)據(jù)采集研發(fā)團(tuán)隊數(shù)據(jù)中心從成本中心轉(zhuǎn)變?yōu)槔麧欀行?，向外部提供服?wù)數(shù)據(jù)中心由數(shù)據(jù)管理轉(zhuǎn)變?yōu)閿?shù)據(jù)服務(wù)，為業(yè)務(wù)創(chuàng)新服務(wù)大數(shù)據(jù)服務(wù)數(shù)據(jù)中心趨勢：數(shù)字化企業(yè)的數(shù)據(jù)中心向大數(shù)據(jù)服務(wù)轉(zhuǎn)型對外產(chǎn)品對外產(chǎn)品對內(nèi)應(yīng)用對內(nèi)應(yīng)用對內(nèi)應(yīng)用對內(nèi)應(yīng)用對外產(chǎn)品對外產(chǎn)品三方數(shù)據(jù) 業(yè)務(wù)創(chuàng)新趨勢：大數(shù)據(jù)平臺由功能化平臺向服務(wù)化平臺轉(zhuǎn)型數(shù)據(jù)開發(fā)數(shù)據(jù)發(fā)布網(wǎng)絡(luò)數(shù)據(jù)通信數(shù)據(jù)信用數(shù)據(jù)客戶數(shù)據(jù)采集數(shù)據(jù)IT/OT圖像視頻傳感器數(shù)據(jù)社交媒體為全業(yè)務(wù)域業(yè)務(wù)創(chuàng)新需求提供服務(wù)大數(shù)據(jù)業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新交易運(yùn)營生產(chǎn)分析非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)實時流數(shù)據(jù)實時流數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)非/結(jié)構(gòu)化數(shù)據(jù)面向分析業(yè)務(wù)大數(shù)據(jù)風(fēng)險控制生產(chǎn)預(yù)測經(jīng)營決策分析生產(chǎn)運(yùn)營交易分析分析分析服務(wù)服務(wù)服務(wù)大數(shù)據(jù)治理網(wǎng)絡(luò)數(shù)據(jù)通信數(shù)據(jù)信用數(shù)據(jù)客戶數(shù)據(jù) 業(yè)務(wù)創(chuàng)新交易業(yè)務(wù)創(chuàng)新運(yùn)營大數(shù)據(jù)治理是大數(shù)據(jù)平臺服務(wù)化的關(guān)鍵傳感器數(shù)據(jù)社交媒體IT/OT圖像視頻用大數(shù)據(jù)治理連接大數(shù)據(jù)與業(yè)務(wù)創(chuàng)新大數(shù)據(jù)實時流數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)非/結(jié)構(gòu)化數(shù)據(jù) 業(yè)務(wù)創(chuàng)新治理服務(wù)數(shù)據(jù)服務(wù)數(shù)據(jù)開發(fā)數(shù)據(jù)發(fā)布采集數(shù)據(jù)三方數(shù)據(jù) 數(shù)據(jù)業(yè)務(wù)創(chuàng)新分析分析生產(chǎn)生產(chǎn)運(yùn)營人力運(yùn)營財務(wù)交易交易數(shù)據(jù)待修改數(shù)據(jù)標(biāo)準(zhǔn)信息項初審版本1.1包含標(biāo)準(zhǔn)項關(guān)聯(lián)代碼主題標(biāo)準(zhǔn)名稱英文名項(選擇代述碼)1.1傳統(tǒng)數(shù)據(jù)治理存在組織架構(gòu)復(fù)雜、管理范圍狹窄、管理流程復(fù)雜、人工錄入多等弊端傳統(tǒng)數(shù)據(jù)治理難以解決大數(shù)據(jù)平臺的問題大量的錄入工作復(fù)雜的管理流程狹窄的管理范圍龐大的組織架構(gòu)量規(guī)則的檢核任務(wù)編寫人員度量規(guī)則刪除審批通過通知提出人修訂通知使用度修改Y檢核方法審批邀請專家提供意見度量規(guī)則暫存池（含退回）N修改刪除退回新增審批退回退回通知通知具體編寫人員NN檢核方法完成通知檢核方法停用級聯(lián)停用系統(tǒng)名C創(chuàng)R讀U更系統(tǒng)1系統(tǒng)2提交問題提升方案報告生成報數(shù)據(jù)質(zhì)量明告細(xì)報告度量規(guī)則信息中心審批數(shù)據(jù)質(zhì)量提升需求檢核執(zhí)行質(zhì)量問題存在質(zhì)量問題主動錄入質(zhì)量問題質(zhì)量問題級別判斷Y問題關(guān)閉通知主管業(yè)務(wù)部門N申請主動關(guān)審批確認(rèn)質(zhì)量問題級聯(lián)停用檢核任務(wù)檢核任務(wù)檢核任務(wù)檢核任務(wù)停用刪除修改啟用檢核任務(wù)待執(zhí)行池確認(rèn)修改標(biāo)準(zhǔn)代碼通知具體編寫人員檢核方法編寫申請反饋IT任務(wù)分配通知IT修改檢核方法判斷是否質(zhì)量問題選擇執(zhí)行系統(tǒng)主管業(yè)務(wù)部門標(biāo)準(zhǔn)編號主管業(yè)務(wù)部門N修改檢核方法信息項名稱表單詳見1.12.5.2檢核方法查詢退回申請人表單詳見下表英文名通過初審上傳附件比對版本描述版本導(dǎo)出報表標(biāo)準(zhǔn)編號關(guān)聯(lián)系統(tǒng)執(zhí)行結(jié)果分析標(biāo)準(zhǔn)描復(fù)審初審系統(tǒng)檢查、報告需生成檢核方法計劃任務(wù)超時預(yù)警導(dǎo)出報表設(shè)置執(zhí)行時間（周期）檢核方法生成檢核任務(wù)制定預(yù)警級別數(shù)據(jù)標(biāo)準(zhǔn)模塊存量生成檢核計劃需求生成檢核計劃通知IT執(zhí)行源系統(tǒng)執(zhí)行啟用通知導(dǎo)出報表導(dǎo)出質(zhì)量問題報表生成結(jié)果導(dǎo)入申請退回通知修訂退回通知反饋問題結(jié)果反饋其他模塊檢核方法數(shù)據(jù)默認(rèn)預(yù)警級別定義數(shù)據(jù)質(zhì)量評分?jǐn)?shù)據(jù)質(zhì)量儀表盤主題填寫問題情況說明及改進(jìn)計劃標(biāo)準(zhǔn)批量生成度量規(guī)則檢核方法編寫單項添加度量規(guī)則檢核結(jié)果映射信息標(biāo)準(zhǔn)元數(shù)據(jù)度量規(guī)則數(shù)據(jù)選擇質(zhì)量問題主管部門 度量規(guī)則查詢檢核方法啟用通知IT編寫檢核方法檢核方法審批通知申請修改編寫人手工錄入檢核計劃檢核方法分配檢核方法修改編寫超時預(yù)警 Y 檢核任務(wù)信息中心生成sql度量規(guī)則閉N用大數(shù)據(jù)治理連接業(yè)務(wù)創(chuàng)新與大數(shù)據(jù)用自勱化，自劣化，智能化的大數(shù)據(jù)治理找到數(shù)據(jù)，提供數(shù)據(jù)，使用數(shù)據(jù)，治理數(shù)據(jù)共享使用管理開發(fā)資產(chǎn)管理運(yùn)營分析開發(fā)利用共享協(xié)作數(shù)據(jù)保障大數(shù)據(jù)治理3普元大數(shù)據(jù)治理架構(gòu)實踐1

數(shù)字化時代大數(shù)據(jù)向服務(wù)化發(fā)展2

大數(shù)據(jù)治理架構(gòu)與關(guān)鍵技術(shù)分析目錄缺乏服務(wù)化數(shù)據(jù)工具鏈復(fù)雜敏感數(shù)據(jù)易泄露數(shù)據(jù)質(zhì)量難提升數(shù)據(jù)難查找數(shù)據(jù)難使用目前的大數(shù)據(jù)平臺難以滿足數(shù)字化時代要求技術(shù)維度管理維度業(yè)務(wù)維度管理提升業(yè)務(wù)支撐技術(shù)平臺大數(shù)據(jù)治理管理/業(yè)務(wù)/技術(shù)的大數(shù)據(jù)治理全面提升創(chuàng)新能力通過大數(shù)據(jù)治理，提供數(shù)據(jù)服務(wù)，從管理中心轉(zhuǎn)變?yōu)榉?wù)中心通過大數(shù)據(jù)治理，變現(xiàn)數(shù)據(jù)價值，從成本中心轉(zhuǎn)變?yōu)槔麧欀行臄?shù)據(jù)開發(fā)運(yùn)維全棧能力團(tuán)隊管理職責(zé)管理思路管理組織大數(shù)據(jù)治理：重新定位數(shù)據(jù)管理部門創(chuàng)新數(shù)據(jù)管理傳統(tǒng)數(shù)據(jù)管理專業(yè)的服務(wù)團(tuán)隊提供數(shù)據(jù)服務(wù)方便別人數(shù)據(jù)管理數(shù)據(jù)應(yīng)用自己應(yīng)用開發(fā)業(yè)務(wù)…分析應(yīng)用n通過大數(shù)據(jù)治理，降低業(yè)務(wù)對技術(shù)依賴，充分發(fā)揮業(yè)務(wù)創(chuàng)新潛能數(shù)據(jù)通道+數(shù)據(jù)應(yīng)用能力大數(shù)據(jù)治理：提供全面的業(yè)務(wù)創(chuàng)新能力創(chuàng)新數(shù)據(jù)管理傳統(tǒng)數(shù)據(jù)管理業(yè)務(wù)模式業(yè)務(wù)范圍業(yè)務(wù)自劣開發(fā)分析應(yīng)用1分析應(yīng)用2數(shù)據(jù)部門開發(fā)實現(xiàn)業(yè)務(wù)業(yè)務(wù)需求大數(shù)據(jù)治理全自劣的數(shù)智能化的數(shù)據(jù)服務(wù)發(fā)布自勱化的數(shù)據(jù)獲取全自勱的數(shù)據(jù)資產(chǎn)采集智能化監(jiān)控大數(shù)據(jù)平臺大數(shù)據(jù)治理：提供智能化自勱化的技術(shù)平臺數(shù)據(jù)資產(chǎn)平臺數(shù)據(jù)監(jiān)控平臺數(shù)據(jù)發(fā)布平臺業(yè)務(wù)應(yīng)用業(yè)務(wù)應(yīng)用據(jù)服務(wù)開發(fā)為數(shù)據(jù)標(biāo)準(zhǔn)添加技術(shù)屬性在集成點檢查數(shù)據(jù)質(zhì)量關(guān)聯(lián)業(yè)務(wù)語義與技術(shù)可視化管理企業(yè)資產(chǎn)自勱獲取數(shù)據(jù)信息大數(shù)據(jù)服務(wù)智能化數(shù)據(jù)管理能力服務(wù)化從需求開始控制數(shù)據(jù)質(zhì)量持續(xù)積累檢核規(guī)則自勱化質(zhì)量評分管理核心數(shù)據(jù)定義識別與管理業(yè)務(wù)語義大數(shù)據(jù)治理的十二個技術(shù)原則101287911612534可視化管理企業(yè)數(shù)據(jù)資產(chǎn)大數(shù)據(jù)適配器Spark，HDFS，Hive，HBase，Sqoop，F(xiàn)lume，Pig商業(yè)版本適配器TranswarpDataHub，ClouderaCDH，F(xiàn)usionInsight，HortonworksHDP數(shù)據(jù)庫適配器Oracle，DB2，MySQL,Teradata，Sybase，SQLServer，Greenplum，PostgreSQL等多種數(shù)據(jù)庫建模工具適配器ERWin，Powerdesigner等設(shè)計模型ETL工具適配器PrimetonDI，Datastage，PowerCenter，PentahoKettle，SAPDataSerive可視化工具適配器PrimetoniData，Cognos，OBIEE,SAPBO，Tableau，MSTR，QlikView腳本適配器對Shell、Perl等腳本采用SQL解析的方式進(jìn)行ETL作業(yè)映射關(guān)系元數(shù)據(jù)采集，存儲過程，DDLNLP適配器自勱分析各種非結(jié)構(gòu)化文本，自勱分析業(yè)務(wù)元數(shù)據(jù)MetaDataHadoop/Spark自勱獲取數(shù)據(jù)信息華為、星環(huán)業(yè)務(wù)文檔存儲過程數(shù)據(jù)庫自勱化自勱化自勱化自勱化腳本報表服務(wù)DatabaseETL

（TheDataLifecycle）創(chuàng)建獲取

6歸檔/恢復(fù)7清除分析DataQuality集成以元數(shù)據(jù)為核心，打通數(shù)據(jù)生命周期，從源頭保證數(shù)據(jù)質(zhì)量。從需求開始控制數(shù)據(jù)質(zhì)量

5維護(hù)使用2規(guī)范定義

3開發(fā)上線1計劃數(shù)據(jù)生命周期Pipeline4應(yīng)用Data采集熱點數(shù)據(jù)大數(shù)據(jù)治理常規(guī)數(shù)據(jù)營銷數(shù)據(jù)大數(shù)據(jù)服務(wù)智能化熱點數(shù)據(jù)常規(guī)數(shù)據(jù)產(chǎn)品需求客戶需求客戶需求大數(shù)據(jù)DataLake能力服務(wù)化提供各種數(shù)據(jù)管理服務(wù)，如質(zhì)量、元數(shù)據(jù)、標(biāo)準(zhǔn)、監(jiān)控、發(fā)布共享的服務(wù)，將治理平臺變?yōu)榉?wù)平臺。業(yè)務(wù)與技術(shù)關(guān)聯(lián)服務(wù)使業(yè)務(wù)人員自劣設(shè)計報表提供影響/血統(tǒng)分析服務(wù)追溯全企業(yè)信息資產(chǎn)質(zhì)量評分服務(wù)評估業(yè)務(wù)服務(wù)質(zhì)量資產(chǎn)地圖服務(wù)提供企業(yè)數(shù)據(jù)資產(chǎn)全景圖數(shù)據(jù)管理平臺標(biāo)準(zhǔn)化服務(wù)幫劣設(shè)計應(yīng)用數(shù)據(jù)模型數(shù)據(jù)管理能力服務(wù)化數(shù)據(jù)發(fā)布共享服務(wù)數(shù)據(jù)監(jiān)控服務(wù)元數(shù)據(jù)服務(wù)數(shù)據(jù)質(zhì)量服務(wù)數(shù)據(jù)開發(fā)服務(wù)數(shù)據(jù)標(biāo)準(zhǔn)服務(wù)3大數(shù)據(jù)治理架構(gòu)實踐1

數(shù)字化時代大數(shù)據(jù)向服務(wù)化發(fā)展2

大數(shù)據(jù)治理架構(gòu)與關(guān)鍵技術(shù)分析目錄接入園區(qū)31個部門、涉及85個業(yè)務(wù)領(lǐng)域，335個數(shù)據(jù)分類，3981工作項。先后完成了公安、工商等15家人口、法人信息高關(guān)聯(lián)度局辦的信息納入政務(wù)資源于平臺。蘇州工業(yè)園區(qū)在信息化發(fā)展規(guī)劃中提出了“三庫、三通、九樞紐”的信息化總體發(fā)展框架。園區(qū)云計算平臺蘇州工業(yè)園區(qū)“三庫、三通、九樞紐”建設(shè)企業(yè)通居民通政務(wù)通人口基礎(chǔ)庫地理信息庫企業(yè)基礎(chǔ)庫…健康樞紐教育樞紐社區(qū)樞紐公安樞紐交通樞紐社保樞紐三通九樞紐三庫蘇州工業(yè)園區(qū)數(shù)據(jù)資源云平臺實現(xiàn)以元數(shù)據(jù)為基礎(chǔ)的政務(wù)于業(yè)務(wù)創(chuàng)新模式（資產(chǎn)、開發(fā)、運(yùn)營、監(jiān)控）四中心一個技術(shù)支撐平臺，一個融合庫，全面實現(xiàn)蘇州工業(yè)園的數(shù)據(jù)資產(chǎn)資源化以元數(shù)據(jù)為基礎(chǔ)梳理服務(wù)目錄將服務(wù)目錄編目幵與數(shù)據(jù)對接將下屬企/事業(yè)單位的數(shù)據(jù)能力接入政務(wù)資源于平臺梳理業(yè)務(wù)元數(shù)據(jù)，形成業(yè)務(wù)元數(shù)據(jù)的統(tǒng)一管理將業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)對應(yīng)自勱形成業(yè)務(wù)化的數(shù)據(jù)地圖針對每個業(yè)務(wù)項對查詢分類，幫劣業(yè)務(wù)用戶自自劣獲取數(shù)據(jù)普元提供的數(shù)據(jù)自劣分析平臺，讓阿里大數(shù)據(jù)平臺內(nèi)的數(shù)據(jù)業(yè)務(wù)化，成為數(shù)據(jù)存儲平臺與業(yè)務(wù)人員之間溝通的橋梁，讓業(yè)務(wù)人員可直接使用大數(shù)據(jù)平臺內(nèi)的數(shù)據(jù)。浙江電力數(shù)據(jù)自劣化分析平臺2.建立全方位的業(yè)務(wù)應(yīng)用視圖統(tǒng)一標(biāo)準(zhǔn)1.實現(xiàn)業(yè)務(wù)人員自劣分析提高效率通過余2000項業(yè)務(wù)數(shù)據(jù)項的梳理，建立數(shù)據(jù)視圖，規(guī)范數(shù)據(jù)資產(chǎn)管理體系。規(guī)范化業(yè)務(wù)數(shù)據(jù)標(biāo)準(zhǔn)，推勱國網(wǎng)數(shù)數(shù)據(jù)字典梳理體系的落地化進(jìn)程，統(tǒng)一浙江電網(wǎng)35個主要項數(shù)據(jù)標(biāo)準(zhǔn)。實現(xiàn)業(yè)務(wù)人員的自劣分析，有業(yè)務(wù)人員直接從數(shù)據(jù)平臺制作報表的比例由原來的15張擴(kuò)大到110張，大大節(jié)省IT支撐人員使用成本。數(shù)據(jù)自劣分析-提高浙江電力數(shù)據(jù)業(yè)務(wù)分析效力13個主題域，即客戶、員工、位置、訂座、票務(wù)、航班、航班計劃、財務(wù)、資產(chǎn)、設(shè)備、維修、運(yùn)價、銷售、產(chǎn)品庫存。針對每個主題域給出了業(yè)務(wù)實體目錄及定義，實體總數(shù)227個。通過對數(shù)據(jù)倉庫貼源層業(yè)務(wù)系統(tǒng)表的核查及分析，給出了每個業(yè)務(wù)實體對應(yīng)的數(shù)據(jù)庫表與系統(tǒng)。

01數(shù)據(jù)主題域

02

數(shù)據(jù)實體◆03

業(yè)務(wù)系統(tǒng)基亍業(yè)務(wù)元數(shù)據(jù)的業(yè)務(wù)數(shù)據(jù)地圖，使業(yè)務(wù)方能迅速獲