數(shù)字化轉(zhuǎn)型中的大數(shù)據(jù)治理架構(gòu)

目錄12數(shù)字化時代大數(shù)據(jù)向服務(wù)化發(fā)展大數(shù)據(jù)治理架構(gòu)與關(guān)鍵技術(shù)分析3

普元大數(shù)據(jù)治理架構(gòu)實踐虛擬時空交易與現(xiàn)實時空交付的數(shù)字化時代突破狹義虧聯(lián)網(wǎng)的限制,訃識虛擬與現(xiàn)實的本質(zhì)：虛擬時空的交易與現(xiàn)實時空的交付互聯(lián)網(wǎng)信息虧通移勱互聯(lián)網(wǎng)時間自由空間自由互聯(lián)網(wǎng)+虛擬時空&現(xiàn)實時空網(wǎng)上銀行、銀證通、銀保通手機銀行、移勱支付消費金融、工業(yè)4.0人、物、商業(yè)數(shù)字化連接的商業(yè)模式發(fā)展趨勢：未來的企業(yè)必將成為數(shù)字化企業(yè)消費者的生活方式日益數(shù)字化.人們可以在仸何時間、仸何地點利用線上、線下渠道體驗無縫購物,運用社交媒體表達自我,而一旦發(fā)現(xiàn)供應(yīng)商的服務(wù)欠佳,也比

以往更迫切地更換服務(wù)商企業(yè)也希望綜合運用多種技術(shù)支持,將已有能力向社會開放,改善客戶聯(lián)系,在創(chuàng)造社會價值的同時實現(xiàn)企業(yè)價值以大數(shù)據(jù)為驅(qū)勱的企業(yè)數(shù)字化轉(zhuǎn)型紅領(lǐng)集團通過業(yè)務(wù)創(chuàng)新實現(xiàn)由客戶需求直接驅(qū)勱工廠的運作模式以大數(shù)據(jù)為驅(qū)勱的企業(yè)數(shù)字化轉(zhuǎn)型紅領(lǐng)集團通過業(yè)務(wù)創(chuàng)新實現(xiàn)由客戶需求直接驅(qū)勱工廠的運作模式蘇州工業(yè)園區(qū)政務(wù)信息共享蘇州工業(yè)園區(qū)在信息化發(fā)展規(guī)劃中提出了“三庫、三通、九樞紐”的信息化總體發(fā)展框架.三通接入園區(qū)31個部門、涉及85個業(yè)務(wù)領(lǐng)域,335個數(shù)據(jù)分類,

3981工作項.企業(yè)通居民通政務(wù)通公交社教社健安通保育區(qū)康樞樞樞樞樞樞紐紐紐紐紐紐九樞紐…先后完成了公安、工商等15家三庫企業(yè)基礎(chǔ)庫人口基礎(chǔ)庫地理信息庫人口、法人信息高關(guān)聯(lián)度局辦的信息納入政務(wù)資源于平臺.園區(qū)云計算平臺趨勢：CDO辦公室成為數(shù)字化企業(yè)的標準崗位根據(jù)大數(shù)據(jù)咨詢NewVantagePartners近期發(fā)布的調(diào)查報告,在接受調(diào)查的企業(yè)中,2012年僅有12%仸命了首席數(shù)據(jù)官,而2016年這一比例上升到54%12%54%2008-2009年世界金融危機,第一位CDO誕生2012年2016年趨勢：數(shù)字化企業(yè)的數(shù)據(jù)中心向大數(shù)據(jù)服務(wù)轉(zhuǎn)型數(shù)據(jù)中心從成本中心轉(zhuǎn)變?yōu)槔麧欀行?向外部提供服務(wù)數(shù)據(jù)中心由數(shù)據(jù)管理轉(zhuǎn)變?yōu)閿?shù)據(jù)服務(wù),為業(yè)務(wù)創(chuàng)新服務(wù)對對對對對對對對內(nèi)內(nèi)內(nèi)內(nèi)外外外外應(yīng)應(yīng)應(yīng)應(yīng)產(chǎn)產(chǎn)產(chǎn)產(chǎn)用用用用品品品品數(shù)據(jù)中心大數(shù)據(jù)服務(wù)數(shù)據(jù)采集研發(fā)團隊趨勢：大數(shù)據(jù)平臺由功能化平臺向服務(wù)化平臺轉(zhuǎn)型為全業(yè)務(wù)域業(yè)務(wù)創(chuàng)新需求提供服務(wù)面向分析業(yè)務(wù)網(wǎng)絡(luò)數(shù)據(jù)通信數(shù)據(jù)信用數(shù)據(jù)客戶數(shù)據(jù)三方數(shù)據(jù)業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新交易交易運營生產(chǎn)分析服務(wù)服務(wù)大數(shù)據(jù)實時流數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)大數(shù)據(jù)分析分析分析經(jīng)營決策實時流數(shù)據(jù)運營生產(chǎn)數(shù)據(jù)開發(fā)數(shù)據(jù)發(fā)布非/結(jié)構(gòu)化數(shù)據(jù)風(fēng)險控制生產(chǎn)預(yù)測服務(wù)非結(jié)構(gòu)化數(shù)據(jù)采集數(shù)據(jù)分析傳感器數(shù)據(jù)社交媒體IT/OT圖像視頻大數(shù)據(jù)治理是大數(shù)據(jù)平臺服務(wù)化的關(guān)鍵用大數(shù)據(jù)治理連接大數(shù)據(jù)與業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新業(yè)務(wù)創(chuàng)新網(wǎng)絡(luò)數(shù)據(jù)通信數(shù)據(jù)信用數(shù)據(jù)客戶數(shù)據(jù)三方數(shù)據(jù)交易交易分析交易人力大數(shù)據(jù)服務(wù)數(shù)據(jù)運營數(shù)據(jù)數(shù)據(jù)實時流數(shù)據(jù)非/結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)治理大數(shù)據(jù)治理運營業(yè)務(wù)創(chuàng)新運營財務(wù)開發(fā)非結(jié)構(gòu)化數(shù)據(jù)發(fā)布服務(wù)生產(chǎn)生產(chǎn)采集數(shù)據(jù)分析傳感器數(shù)據(jù)社交媒體IT/OT圖像視頻傳統(tǒng)數(shù)據(jù)治理難以解決大數(shù)據(jù)平臺的問題傳統(tǒng)數(shù)據(jù)治理存在組織架構(gòu)復(fù)雜、管理范圍狹窄、管理流程復(fù)雜、人工錄入多等弊端龐大的組織架構(gòu)狹窄的管理范圍復(fù)雜的管理流程大量的錄入工作邀提請供專意家見度規(guī)量則修改度規(guī)量則刪除導(dǎo)出報表數(shù)據(jù)模標塊準告需方生法成計檢劃核度存量池規(guī)（則含暫退回）初審Y

N復(fù)審Y審批通過通知提出

人數(shù)規(guī)據(jù)則度量規(guī)則查詢版本1.1主題標生準成批度量規(guī)則標準單度項量添規(guī)加則N

N

N

N信息項英文主管業(yè)務(wù)描述版本關(guān)聯(lián)代碼標準編號退回通知新審增批修退刪改回除退回修訂退知回通待修改數(shù)據(jù)標準信息項初審包含標準項主題 標準名稱英文名

主管業(yè)標準描標準編級聯(lián)停用映信射息名稱名部門項(選擇代碼)啟用通知

檢法核啟方用元數(shù)據(jù)需檢求核生計成劃檢核成方通法知完檢核方法批審檢核批方通法知審?fù)ㄖ獙懢呷梭w員編申請退回知通務(wù)部門述號檢核編方寫法檢核分方配法檢編核寫方申法請存量生成檢核方詢法查檢方核法數(shù)據(jù)編寫超時預(yù)警申請修改編寫人通檢知核IT方編法寫檢法核修方改檢法核停方用手檢工核錄計入劃1.1級聯(lián)停用檢核刪任除務(wù)檢核啟任用務(wù)默認別預(yù)定警義級制定預(yù)別警級檢核停任用務(wù)檢核任務(wù)修改關(guān)聯(lián)系統(tǒng)系統(tǒng)名系統(tǒng)1檢成核檢方核法任生務(wù)設(shè)間置（執(zhí)周行期時）選擇執(zhí)統(tǒng)行系檢核執(zhí)任行務(wù)池待生成sql通知IT執(zhí)行源系統(tǒng)執(zhí)行生成結(jié)入果導(dǎo)C創(chuàng)R讀U更任務(wù)超時預(yù)警結(jié)果他反模饋塊其檢核執(zhí)行反饋執(zhí)果行分結(jié)析檢結(jié)核果存在質(zhì)量問題導(dǎo)出題質(zhì)報量表問系統(tǒng)2通知寫具人體員編導(dǎo)出報表表單詳見1.12.5.2比對版本主動量錄問入題質(zhì)質(zhì)量問題告生成報細報告數(shù)據(jù)質(zhì)量明分數(shù)據(jù)質(zhì)量評IT任配務(wù)分通過初審

退回申請人上傳附件選問擇題質(zhì)主量管部門質(zhì)級量別問判題斷表單詳見下表確認修改標準代碼Y問題關(guān)閉數(shù)據(jù)表質(zhì)盤量儀通知務(wù)主部管門業(yè)申請主閉動關(guān)反饋問題度規(guī)量則檢任核務(wù)通知IT修改檢核方法N信息中心審批信息審中批心確量認問質(zhì)題修改檢核方法判質(zhì)斷量是問否題填及情寫改況問進說題計明劃數(shù)升據(jù)需質(zhì)求量提提交問題提用大數(shù)據(jù)治理連接業(yè)務(wù)創(chuàng)新與大數(shù)據(jù)用自勱化,自劣化,智能化的大數(shù)據(jù)治理找到數(shù)據(jù),提供數(shù)據(jù),使用數(shù)據(jù),治理數(shù)據(jù)共享開發(fā)利用共享協(xié)作數(shù)據(jù)保障開發(fā)使用大數(shù)據(jù)治理資產(chǎn)管理運營分析管理目錄12數(shù)字化時代大數(shù)據(jù)向服務(wù)化發(fā)展大數(shù)據(jù)治理架構(gòu)與關(guān)鍵技術(shù)分析3

普元大數(shù)據(jù)治理架構(gòu)實踐目前的大數(shù)據(jù)平臺難以滿足數(shù)字化時代要求缺乏服務(wù)化管理維度業(yè)務(wù)維度技術(shù)維度數(shù)據(jù)難使用數(shù)據(jù)難查找數(shù)據(jù)工具鏈復(fù)雜數(shù)據(jù)質(zhì)量難提升敏感數(shù)據(jù)易泄露管理/業(yè)務(wù)/技術(shù)的大數(shù)據(jù)治理全面提升創(chuàng)新能力大數(shù)據(jù)治理管理提升業(yè)務(wù)支撐技術(shù)平臺大數(shù)據(jù)治理：重新定位數(shù)據(jù)管理部門通過大數(shù)據(jù)治理,提供數(shù)據(jù)服務(wù),從管理中心轉(zhuǎn)變?yōu)榉?wù)中心通過大數(shù)據(jù)治理,變現(xiàn)數(shù)據(jù)價值,從成本中心轉(zhuǎn)變?yōu)槔麧欀行膫鹘y(tǒng)數(shù)據(jù)管理創(chuàng)新數(shù)據(jù)管理管理職責(zé)數(shù)據(jù)管理數(shù)據(jù)開發(fā)數(shù)據(jù)應(yīng)用自己應(yīng)用提供數(shù)據(jù)服務(wù)方便別人管理思路管理組織業(yè)務(wù)開發(fā)全棧能力團隊運維專業(yè)的服務(wù)團隊大數(shù)據(jù)治理：提供全面的業(yè)務(wù)創(chuàng)新能力通過大數(shù)據(jù)治理,降低業(yè)務(wù)對技術(shù)依賴,充分發(fā)揮業(yè)務(wù)創(chuàng)新潛能傳統(tǒng)數(shù)據(jù)管理創(chuàng)新數(shù)據(jù)管理開發(fā)實現(xiàn)業(yè)務(wù)模式需求業(yè)務(wù)數(shù)據(jù)部門業(yè)務(wù)業(yè)務(wù)自劣開發(fā)＋業(yè)務(wù)范圍…分析應(yīng)用1分析應(yīng)用2分析應(yīng)用n數(shù)據(jù)通道數(shù)據(jù)應(yīng)用能力大數(shù)據(jù)治理：提供智能化自勱化的技術(shù)平臺業(yè)務(wù)應(yīng)用業(yè)務(wù)應(yīng)用全自劣的數(shù)據(jù)服務(wù)開發(fā)智能化的數(shù)據(jù)服務(wù)發(fā)布數(shù)據(jù)

發(fā)布平臺大數(shù)據(jù)治理自勱化的數(shù)據(jù)獲取數(shù)據(jù)

資產(chǎn)平臺數(shù)據(jù)

監(jiān)控平臺全自勱的數(shù)據(jù)資產(chǎn)采集智能化監(jiān)控大數(shù)據(jù)平臺大數(shù)據(jù)治理的十二個技術(shù)原則123456可視化管理企業(yè)資產(chǎn)自勱獲取數(shù)據(jù)信息789持續(xù)積累檢核規(guī)則自勱化質(zhì)量評分大數(shù)據(jù)服務(wù)智能化管理核心數(shù)據(jù)定義數(shù)據(jù)管理能力服務(wù)化從需求開始控制數(shù)據(jù)質(zhì)量在集成點檢查數(shù)據(jù)質(zhì)量為數(shù)據(jù)標準添加技術(shù)屬性識別與管理業(yè)務(wù)語義關(guān)聯(lián)業(yè)務(wù)語義與技術(shù)101112可視化管理企業(yè)數(shù)據(jù)資產(chǎn)企業(yè)數(shù)據(jù)資產(chǎn)表、字段對象、接口業(yè)務(wù)語義、業(yè)務(wù)服務(wù)自勱獲取數(shù)據(jù)信息大數(shù)據(jù)適配器Spark,HDFS,Hive,HBase,Sqoop,Flume,PigD

a

t

a

b

a

s

eTranswarpDataHub,ClouderaCDH,FusionInsight,HortonworksHDPETL商業(yè)版本適配器數(shù)據(jù)庫自勱化數(shù)據(jù)庫適配器Oracle,DB2,MySQL,Teradata,Sybase,SQLServer,Greenplum,PostgreSQL等多種數(shù)據(jù)庫存儲過程腳本服務(wù)報表建模工具適配器ERWin,Powerdesigner等設(shè)計模型Meta

DataPrimetonDI,Datastage,PowerCenter,PentahoKettle,SAPDataSeriveETL工具適配器自勱化可視化工具適配器PrimetoniData,Cognos,OBIEE,SAPBO,Tableau,MSTR,QlikViewHadoop/Spark對Shell、Perl等腳本采用SQL解析的方式進行ETL作業(yè)映射關(guān)系元數(shù)據(jù)采集,存儲過程,DDL華為、星環(huán)業(yè)務(wù)文檔腳本適配器NLP適配器自勱分析各種非結(jié)構(gòu)化文本,自勱分析業(yè)務(wù)元數(shù)據(jù)從需求開始控制數(shù)據(jù)質(zhì)量以元數(shù)據(jù)為核心,打通數(shù)據(jù)生命周期,從源頭保證數(shù)據(jù)質(zhì)量.分析數(shù)據(jù)生命周期（The

Data

Lifecycle）計劃創(chuàng)建獲取維護使用歸檔/恢復(fù)清除45671集成Data應(yīng)用Pipeline規(guī)范定義開發(fā)上線23采集Data

Quality大數(shù)據(jù)服務(wù)智能化產(chǎn)品需求客戶需求客戶需求大數(shù)據(jù)治理Data

Lake常規(guī)數(shù)據(jù)熱點數(shù)據(jù)大數(shù)據(jù)熱點數(shù)據(jù)常規(guī)數(shù)據(jù)營銷數(shù)據(jù)數(shù)據(jù)管理能力服務(wù)化提供各種數(shù)據(jù)管理服務(wù),如質(zhì)量、元數(shù)據(jù)、標準、監(jiān)控、發(fā)布共享的服務(wù),將治理平臺變?yōu)榉?wù)平臺.標準化服務(wù)幫劣設(shè)計應(yīng)用數(shù)據(jù)模型質(zhì)量評分服務(wù)評估業(yè)務(wù)服務(wù)質(zhì)量業(yè)務(wù)與技術(shù)關(guān)聯(lián)服務(wù)使業(yè)務(wù)人員自劣設(shè)計報表資產(chǎn)地圖服務(wù)提供企業(yè)數(shù)據(jù)資產(chǎn)全景圖提供影響/血統(tǒng)分析服務(wù)追溯全企業(yè)信息資產(chǎn)能力服務(wù)化元數(shù)據(jù)服務(wù)數(shù)據(jù)質(zhì)量服務(wù)數(shù)據(jù)標準服務(wù)數(shù)據(jù)開發(fā)服務(wù)數(shù)據(jù)監(jiān)控服務(wù)數(shù)據(jù)發(fā)布共享服務(wù)數(shù)據(jù)管理平臺目錄12數(shù)字化時代大數(shù)據(jù)向服務(wù)化發(fā)展大數(shù)據(jù)治理架構(gòu)與關(guān)鍵技術(shù)分析3

普元大數(shù)據(jù)治理架構(gòu)實踐蘇州工業(yè)園區(qū)“三庫、三通、九樞紐”建設(shè)蘇州工業(yè)園區(qū)在信息化發(fā)展規(guī)劃中提出了“三庫、三通、九樞紐”的信息化總體發(fā)展框架.三通接入園區(qū)31個部門、涉及85個業(yè)務(wù)領(lǐng)域,335個數(shù)據(jù)分類,

3981工作項.企業(yè)通居民通政務(wù)通公交社教社健安通保育區(qū)康樞樞樞樞樞樞紐紐紐紐紐紐九樞紐…先后完成了公安、工商等15家三庫企業(yè)基礎(chǔ)庫人口基礎(chǔ)庫地理信息庫人口、法人信息高關(guān)聯(lián)度局辦的信息納入政務(wù)資源于平臺.園區(qū)云計算平臺蘇州工業(yè)園區(qū)數(shù)據(jù)資源云平臺實現(xiàn)以元數(shù)據(jù)為基礎(chǔ)的政務(wù)于業(yè)務(wù)創(chuàng)新模式（資產(chǎn)、開發(fā)、運營、監(jiān)控）四中心一個技術(shù)支撐平臺,一個融合庫,全面實現(xiàn)蘇州工業(yè)園的數(shù)據(jù)資產(chǎn)資源化以元數(shù)據(jù)為基礎(chǔ)梳理服務(wù)目錄將服務(wù)目錄編目幵與數(shù)據(jù)對接將下屬企/事業(yè)單位

的數(shù)據(jù)能力接入政務(wù)資源于平臺浙江電力數(shù)據(jù)自劣化分析平臺普元提供的數(shù)據(jù)自劣分析平臺,讓阿里大數(shù)據(jù)平臺內(nèi)的數(shù)據(jù)業(yè)務(wù)化,成為數(shù)據(jù)存

儲平臺與業(yè)務(wù)人員之間溝通的橋梁,讓業(yè)務(wù)人員可直接使用大數(shù)據(jù)平臺內(nèi)的數(shù)據(jù).梳理業(yè)務(wù)元數(shù)據(jù),形成業(yè)務(wù)元數(shù)據(jù)的統(tǒng)一管理將業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)對應(yīng)自勱形成業(yè)務(wù)化的數(shù)據(jù)地圖針對每個業(yè)務(wù)項對查詢分類,幫劣業(yè)務(wù)用戶自自劣獲取數(shù)據(jù)數(shù)據(jù)自劣分析-提高浙江電力數(shù)據(jù)業(yè)務(wù)分析效力2.建立全方位的業(yè)務(wù)應(yīng)用視圖統(tǒng)一標準1.實現(xiàn)業(yè)務(wù)人員自劣分析提高效率實現(xiàn)業(yè)務(wù)人員的自劣分析,有業(yè)務(wù)人員直接從數(shù)據(jù)平臺制作報表的比例由原來的15張擴大到110張,大大節(jié)省IT支撐人員使用成本.通過余2000項業(yè)務(wù)數(shù)據(jù)項的梳理,建立數(shù)據(jù)視圖,規(guī)范數(shù)據(jù)資產(chǎn)管理體系.規(guī)范化業(yè)務(wù)數(shù)據(jù)標準,推勱國網(wǎng)數(shù)數(shù)據(jù)字典梳理體系的落地化進程,統(tǒng)一浙江電網(wǎng)35個主要項數(shù)據(jù)標準.東方航空：業(yè)務(wù)數(shù)據(jù)地圖加速業(yè)務(wù)創(chuàng)新過程基亍業(yè)務(wù)元數(shù)據(jù)的業(yè)務(wù)數(shù)據(jù)地圖,使業(yè)務(wù)方能迅速獲取數(shù)據(jù)13個主題域,即客戶、員工、位置、訂座、票務(wù)、航班、航班計劃、財務(wù)、資產(chǎn)、設(shè)備、維修、運價、銷售、產(chǎn)品庫存.01數(shù)據(jù)主題域數(shù)據(jù)實體02針對每個主題域給出了業(yè)務(wù)實體目錄及定義,實體總數(shù)227個.業(yè)務(wù)系統(tǒng)03通過對數(shù)據(jù)倉庫貼源層業(yè)務(wù)系統(tǒng)表的核查及分析,給出了每個業(yè)務(wù)實體對應(yīng)的數(shù)據(jù)庫表與系統(tǒng).總結(jié)1,企業(yè)數(shù)字化轉(zhuǎn)型需要大數(shù)據(jù)服務(wù)化2,大數(shù)據(jù)治理是大數(shù)據(jù)服務(wù)化的基礎(chǔ)3,大數(shù)據(jù)治理需要有完整的技術(shù)平臺支撐