【數(shù)據(jù)平臺】華為大數(shù)據(jù)平臺規(guī)劃方案匯報相關兩份資料

上海聯(lián)通大數(shù)據(jù)平臺規(guī)劃方案匯報目錄二、大數(shù)據(jù)平臺整體規(guī)劃一、大數(shù)據(jù)應用發(fā)展趨勢大數(shù)據(jù)所謂“大數(shù)據(jù)”，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達到截取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的信息。。大數(shù)據(jù)處理技術代表了新一代的技術架構，這種架構通過高速獲取數(shù)據(jù)并對其進行分析和挖掘，從海量形式各異的數(shù)據(jù)源中更有效地抽取出富含價值的信息。從大量數(shù)據(jù)中挖掘高價值知識是各界對于大數(shù)據(jù)的一個共識。海量數(shù)據(jù)可廣泛獲得，所稀缺的是如何從中挖掘出智慧和觀點?！狦oogle首席經(jīng)濟學家HalVarian大數(shù)據(jù)主要被用于分析和決策，企業(yè)用以分析的數(shù)據(jù)越全面，分析的結果就越接近于真實。大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力，并將其與已知業(yè)務的各個細節(jié)相融合，對企業(yè)產(chǎn)生新的價值。大數(shù)據(jù)對電信運營商的應用價值體現(xiàn)31542自助分析、生產(chǎn)管道可視化、資源解耦隨需而動，營銷實時，以業(yè)務效率提升為標志。提升業(yè)務效率數(shù)據(jù)集中到數(shù)據(jù)中心，多數(shù)據(jù)源管理，透明服務支持，實時的決策和預測能力提升整體經(jīng)營管理水平。增強管理水平數(shù)據(jù)開放服務、與OTT廠商合作的后向收費、廣告等新業(yè)務.創(chuàng)新商業(yè)模式互聯(lián)網(wǎng)化的電子渠道全景體驗、個性化商品推薦、LBS位置營銷、面向客戶個體的深度洞察提升客戶體驗以技術驅(qū)動為標志，內(nèi)存計算、MPP、CEP…分而治之的分布式計算讓運營商實時高效決策….技術高效、低成本上海聯(lián)通數(shù)據(jù)平臺現(xiàn)狀精細化營銷數(shù)據(jù)中心營賬系統(tǒng)經(jīng)分(BI)GN口上網(wǎng)話單終端(DM)VAC短彩信中心語音通話詳單客服接觸記錄流媒體平臺詳單位置信令話單基站信息116114企業(yè)黃頁信息渠道應用助銷信息經(jīng)過一二期的建設，精細化運營平臺的數(shù)據(jù)中心，已經(jīng)成為上海聯(lián)通最大、內(nèi)容最豐富的數(shù)據(jù)倉庫；隨著數(shù)據(jù)量的增長，需要對基礎架構做長遠規(guī)劃；有必要深入挖掘數(shù)據(jù)價值，研究新的商業(yè)模式，將成本中心轉(zhuǎn)化為利潤中心5擴展性增量式的、幾乎無限的擴展可用性要求系統(tǒng)總是在線運行靈活性靈活可動態(tài)改變的數(shù)據(jù)模型擴展性縱向擴展橫向擴展分布式資源集中計算和存儲分布可用性單份數(shù)據(jù)數(shù)據(jù)復制一致性不要使用分布式事務處理大數(shù)據(jù)處理的需求和特點低成本運營一體化運營精細化運營全網(wǎng)運營實時、智能化運營集中化建設、管理和維護可不斷線性擴展提高資源綜合利用率標準化功能組件，可共享可復用按業(yè)務量、按需支付BASS與BOSS、CRM的一體化BSS與MSS、OSS、VAS等跨域一體化對外部客戶和應用的一體化片區(qū)化、網(wǎng)格化管理長尾市場、小眾市場的支撐個性化、短周期需求的滿足異地客戶、家庭客戶、集團客戶一點接入、全網(wǎng)服務、全網(wǎng)客戶畫像全國統(tǒng)一套餐、全網(wǎng)營銷、統(tǒng)一客服實時數(shù)據(jù)獲取、處理、分析智能化主動事件觸發(fā)智能管道移動互聯(lián)網(wǎng)業(yè)務運營發(fā)展趨勢對業(yè)務支撐平臺的集中化要求對數(shù)據(jù)架構的集中化要求集中化、大容量、高擴展、高可用數(shù)據(jù)庫平臺：支持全網(wǎng)型數(shù)據(jù)、跨域數(shù)據(jù)的整合，形成集中化管理的的企業(yè)級數(shù)據(jù)中心高性能：支持3G時代更高的實時性要求、支持動態(tài)資源共享：支持多租戶管理、資源動態(tài)按需供應可重用、標準化組件：形成可重用組件，支持一次開發(fā)、各省共享的模式，形成規(guī)模型效益數(shù)據(jù)集中化趨勢使得運營商面臨著海量數(shù)據(jù)的存儲及分析問題，大數(shù)據(jù)在支撐移動業(yè)務發(fā)展趨勢中，充當重要角色。電信運營商數(shù)據(jù)集中化趨勢7電信運營面臨的大數(shù)據(jù)挑戰(zhàn)移動互聯(lián)網(wǎng)和個人消費領域業(yè)務擴展和CEM導致海量數(shù)據(jù)的及時分析帶來挑戰(zhàn)運營商一體化集中運營和透明管控，催生巨大的經(jīng)營分析數(shù)據(jù)倉庫，對大數(shù)據(jù)的存儲、性能、開放帶來挑戰(zhàn)DPI和信令監(jiān)測，產(chǎn)生的大量事件在存儲和用戶通信行為分析的實時處理性能帶來挑戰(zhàn)ICT融合，核心網(wǎng)絡、運營支撐和VAS業(yè)務數(shù)據(jù)的融合催生海量UserProfile并集，對大數(shù)據(jù)的關聯(lián)分析計算效能帶來挑戰(zhàn)移動互聯(lián)網(wǎng)流量井噴與客戶行為分析業(yè)務融合、能力互通帶來數(shù)據(jù)融合提升客戶體驗要求分析網(wǎng)絡服務數(shù)據(jù)IT系統(tǒng)集中化和行業(yè)數(shù)據(jù)價值挖掘BSSBI數(shù)據(jù)：河南17個地市，每天抽取正常用戶數(shù)7000多萬，撥備用戶數(shù)3000多萬，DW層用戶表總量1億多條；語音清單每天2.7億條數(shù)據(jù)，GPRS清單每天4.2億條數(shù)據(jù)；賬務每天4.7億條數(shù)據(jù)；GPRS文件每個100M左右，其它文件25M。日接口數(shù)據(jù)量：2000G，其中話單220G，WAP清單300G，

工單服務200G，

用戶、帳務300G，其它980G。每月124TB數(shù)據(jù)量入庫，歷史數(shù)據(jù)保留1年，總數(shù)據(jù)量1.45PB。按照用戶數(shù)簡單測算,6.5億用戶下，總數(shù)據(jù)量》10PB!聯(lián)通總部3G互聯(lián)網(wǎng)訪問記錄查詢及分析系統(tǒng)：全國每日新增10TB數(shù)據(jù)，每月近萬億條記錄，要存放6個月，約2PB的上網(wǎng)記錄數(shù)據(jù)。上網(wǎng)記錄入庫時間小于30分鐘，原始上網(wǎng)記錄保留6個月。上網(wǎng)查詢速度不高于1秒，并發(fā)查詢數(shù)1000請求/秒。集群規(guī)模188個數(shù)據(jù)節(jié)點，存儲容量2.6PB傳統(tǒng)數(shù)據(jù)倉庫無法有效存儲日益增長的業(yè)務數(shù)據(jù)存儲需求基礎數(shù)據(jù)（用戶資料，產(chǎn)品訂購信息）：15G/日*365+40G*12月=5T/年考慮20%的業(yè)務增長率后為：6T/年用戶上網(wǎng)數(shù)據(jù)話單數(shù)據(jù)：250T/年考慮20%的業(yè)務增長率后為：300T/年MR數(shù)據(jù)話單數(shù)據(jù)：634G/日634G/日*365

=227T/年考慮20%的業(yè)務增長率后為：272T/年BSS數(shù)據(jù)新增新增評估中日使用流量（TB）6月10月隨著業(yè)務發(fā)展數(shù)據(jù)量的增加，隨著應用復雜導致的數(shù)據(jù)量增加，這些數(shù)據(jù)量導致了數(shù)據(jù)存儲和處理壓力；數(shù)據(jù)倉庫無法線性擴容，管理難度加大，成本高擴容壓力大，效率下降等傳統(tǒng)數(shù)據(jù)倉庫只保存處理后的匯總數(shù)據(jù)。在大數(shù)據(jù)架構下需要對用戶原始話單進行長期保存。需要擴容大量存儲空間。大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題

用戶層現(xiàn)平臺的數(shù)據(jù)保存周期大數(shù)據(jù)的數(shù)據(jù)保存周期應用層KR/CB/DM層永久保留至少2年數(shù)據(jù)存儲層MK層永久保留至少2年DW層5個月永久保留數(shù)據(jù)獲取層ODS層3~7天永久保留面對海量的數(shù)據(jù)壓力，需要大數(shù)據(jù)平臺提供可供線性擴容的存儲能力。每個應用需求的變化就是一場災難。由于數(shù)據(jù)處理與業(yè)務的緊密關聯(lián)可能需要對中間每個處理環(huán)節(jié)進行逐個調(diào)整。重新生成數(shù)據(jù)的周期也非常緩慢。由于傳統(tǒng)數(shù)據(jù)倉庫的數(shù)據(jù)處理流程與業(yè)務保持緊密關聯(lián)。整個數(shù)據(jù)加工流程為最終應用服務。為緩解存儲壓力在數(shù)據(jù)抽取和清洗階段會過濾掉與業(yè)務無關的數(shù)據(jù)記錄和字段。大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題數(shù)據(jù)源明細數(shù)據(jù)層

（DW）匯總層（MK）報表數(shù)據(jù)標簽庫指標數(shù)據(jù)客戶統(tǒng)一視圖……應用層DW&MK操作型數(shù)據(jù)ODS層Oracle數(shù)據(jù)庫精細化營銷架構短信中心經(jīng)分DMVACGN話單流媒體客服系統(tǒng)計費中心MC話單彩信中心MR數(shù)據(jù)BSS用戶互聯(lián)網(wǎng)聯(lián)系方式（總部研究院）241234現(xiàn)網(wǎng)數(shù)據(jù)平臺是傳統(tǒng)關系型數(shù)據(jù)庫架構。大量的用戶上網(wǎng)、用戶行為等半結構化和非結構化數(shù)據(jù)無法保存和處理，缺乏非結構化數(shù)據(jù)的處理能力。用戶上網(wǎng)行為等互聯(lián)網(wǎng)行為數(shù)據(jù)以結構化數(shù)據(jù)方式保存至數(shù)據(jù)倉庫中。傳統(tǒng)數(shù)據(jù)倉庫無法有效應對大數(shù)據(jù)分析需求1現(xiàn)網(wǎng)每日用戶上網(wǎng)HTTP話單達14億條。每月匯總的記錄條數(shù)也近30億條。隨著移動互聯(lián)網(wǎng)正在迅猛增長，傳統(tǒng)數(shù)據(jù)倉庫將很難駕馭，無法滿足數(shù)據(jù)處理時限和事務處理需求。3面對海量的數(shù)據(jù)壓力，需要大數(shù)據(jù)平臺提供快速的處理能力。大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題傳統(tǒng)數(shù)據(jù)倉庫組網(wǎng)將是大數(shù)據(jù)分析的瓶頸現(xiàn)網(wǎng)精細化營銷平臺的數(shù)據(jù)庫既存放著所有采集的原始數(shù)據(jù)，又承擔所有的數(shù)據(jù)加工任務，還承載所有報表和業(yè)務應用的數(shù)據(jù)存儲和計算。缺乏對數(shù)據(jù)分層分級及生命周期的有效管理。系統(tǒng)核心架構為Oracle數(shù)據(jù)庫+小型機+磁陣。數(shù)據(jù)存放在磁陣上，計算時由數(shù)據(jù)庫服務器從磁陣讀到本地后進行計算結果。隨著數(shù)據(jù)量增長，磁盤I/O、網(wǎng)絡帶寬、數(shù)據(jù)庫服務器的處理能力將存在瓶頸，處理時延嚴重。由于傳統(tǒng)架構的可擴展性差，無法滿足大數(shù)據(jù)的計算的擴容需求。為應對海量數(shù)據(jù)處理需求，大數(shù)據(jù)將從集中數(shù)據(jù)庫向分布式數(shù)據(jù)庫進行轉(zhuǎn)變。計算和存儲資源都由x86服務器提供。因為在移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)上需要有新領域的突破，不同于傳統(tǒng)通信業(yè)務分析特點，需要對內(nèi)容等非結構化、大容量信息進行有效分析，傳統(tǒng)的架構處理吃力。關系數(shù)據(jù)庫引入對XML的支持仍然無法有效處理ETL大數(shù)據(jù)使得現(xiàn)有的數(shù)據(jù)處理方法面臨新問題傳統(tǒng)數(shù)據(jù)倉庫無法有效處理新型的業(yè)務數(shù)據(jù)主要關鍵技術

自然語言理解，文本分詞、語義分析，情感分析或者大規(guī)模計算技術

非結構化數(shù)據(jù)索引技術，如搜索引擎倒排索引技術

多媒體處理，包括圖像識別，語音識別，多媒體索引等技術

……傳統(tǒng)數(shù)據(jù)倉庫無法有效支撐數(shù)據(jù)合作運營由于保存原始話單數(shù)據(jù)周期較短，合作運營無法追溯歷史原始數(shù)據(jù)?，F(xiàn)網(wǎng)傳統(tǒng)主數(shù)據(jù)庫的設計只適用與向上層提供既定好的數(shù)據(jù)分析任務結果。對外開放底層數(shù)據(jù)將大大消耗系統(tǒng)資源，影響主庫正常的數(shù)據(jù)處理流程。同時數(shù)據(jù)的處理方式及結果也恐難以滿足合作運營的需要。大數(shù)據(jù)平臺的架構將數(shù)據(jù)分層管理。在各層提供數(shù)據(jù)開放接口，以滿足不同數(shù)據(jù)需求。將更有效支撐數(shù)據(jù)合作運營。同時歷時數(shù)據(jù)能促使合作在第一時間就開展起來。目錄二、大數(shù)據(jù)平臺整體規(guī)劃一、大數(shù)據(jù)應用發(fā)展趨勢上海聯(lián)通大數(shù)據(jù)平臺目標架構及定位準實時采集批量采集Hadoop平臺MPP，基于X86平臺主數(shù)據(jù)倉庫分布式數(shù)據(jù)庫基于X86平臺數(shù)據(jù)采集（云化ETL，流數(shù)據(jù)處理、爬蟲）數(shù)據(jù)層獲取層能力層精細化營銷智能運營物聯(lián)網(wǎng)應用應用商店客服應用基礎分析能力數(shù)據(jù)挖掘能力實時分析能力自助分析能力多維分析能力數(shù)據(jù)共享能力指標應用報表應用主題分析專題分析互聯(lián)網(wǎng)GN口半結構化、非結構化數(shù)據(jù)BSS經(jīng)分DMVACMC話單業(yè)務平臺結構化數(shù)據(jù)數(shù)據(jù)源分布式文件系統(tǒng)HDFS記錄明細數(shù)據(jù)HBaseM/RHive記錄匯總數(shù)據(jù)數(shù)據(jù)統(tǒng)一服務和開放SQL、FTP、WS、MDX、API、……分布式數(shù)據(jù)庫（MPP）：存儲加工、關聯(lián)、匯總后的業(yè)務數(shù)據(jù)，并提供分布式計算，支撐數(shù)據(jù)深度分析和數(shù)據(jù)挖掘能力，向主數(shù)據(jù)倉庫輸出KPI和高度匯總數(shù)據(jù)。主數(shù)據(jù)倉庫（與MPP合設）：存儲指標數(shù)據(jù)、KPI數(shù)據(jù)和高度匯總數(shù)據(jù)。Hadoop云平臺：負責存儲海量的流量話單數(shù)據(jù)，提供并行的計算和非結構化數(shù)據(jù)的處理能力，實現(xiàn)低成本的存儲和低時延、高并發(fā)的查詢能力。數(shù)據(jù)開放接口：向大數(shù)據(jù)應用方提供大數(shù)據(jù)平臺的能力。數(shù)據(jù)采集（ETL）：負責源數(shù)據(jù)的采集、清洗、轉(zhuǎn)換和加載包括：1、把原始數(shù)據(jù)加載到Hadoop平臺。2、把加工后的數(shù)據(jù)加載分布式數(shù)據(jù)庫和主數(shù)據(jù)倉庫應用層HDFS：分布式文件系統(tǒng)有較強的容錯性可在x86平臺上運行，減少總體成本可擴展，能構建大規(guī)模的應用HBase：非結構化NoSQl分布式數(shù)據(jù)庫

基于分布式文件系統(tǒng)HDFS，保證數(shù)據(jù)安全列式存儲，節(jié)省存儲空間提供大數(shù)據(jù)量的高速讀寫操作Hive：分布式關系型數(shù)據(jù)庫數(shù)據(jù)可保存在HDFS，可提供海量的數(shù)據(jù)存儲類SQL的查詢語句，提供大數(shù)據(jù)的統(tǒng)計和分析操作，適合海量數(shù)據(jù)的批處理通過MapReduce實現(xiàn)大規(guī)劃并行計算MapReduce：大規(guī)劃并行計算引擎可將任務分布并行運行在一個集群服務器中Hadoop平臺提供了海量數(shù)據(jù)的分布式存儲與處理的框架?；诜掌鞅镜氐挠嬎闩c存儲資源，Hadoop集群可以擴展到上千臺服務器。同時，Hadoop在設計時充分考慮了硬件設備的不可靠因素，在軟件層面提供數(shù)據(jù)和計算的高可靠保證。大數(shù)據(jù)平臺：Hadoop主要功能HBaseMapReduceHiveHDFS快速的數(shù)據(jù)讀取大數(shù)據(jù)存儲統(tǒng)計復雜計算并行處理SharedNothing代表數(shù)據(jù)庫：GreenPlum、Vertica、Teradata適合大數(shù)據(jù)量的OLAP應用缺點優(yōu)點線性擴展：X86平臺高可用性較低新型MPP數(shù)據(jù)庫主要構建在x86平臺上，為無共享架構（ShareNothing），依靠軟件架構上的創(chuàng)新和數(shù)據(jù)多副本機制，實現(xiàn)系統(tǒng)的高可用性和可擴展性。負責深度分析、復雜查詢、KPI計算、數(shù)據(jù)挖掘以及多變的自助分析應用等，支持PB級的數(shù)據(jù)存儲。大數(shù)據(jù)平臺：

分布式數(shù)據(jù)庫新型MPP分布式數(shù)據(jù)庫基于開放平臺x86服務器大規(guī)模的并發(fā)處理能力無單點故障，可線性擴展多副本機制保證數(shù)據(jù)安全支撐PB級的數(shù)據(jù)量支持SQL，開放靈活數(shù)據(jù)分級存儲原則數(shù)據(jù)融合與分級存儲實施按數(shù)據(jù)血緣按邏輯層次按業(yè)務種類按設備網(wǎng)絡劃分按設備物理地址在線、近線、離線按訪問頻度內(nèi)存數(shù)據(jù)庫按響應及時性內(nèi)存數(shù)據(jù)庫數(shù)據(jù)生命周期中在線數(shù)據(jù)對高性能存儲的需求，以及隨著數(shù)據(jù)生命周期的變更，逐漸向一般性能存儲的遷移，是分級存儲管理的一條主線。同時兼顧考慮其他分級原則，共同作用影響數(shù)據(jù)遷移機制?；谏芷诨谠L問壓力基于業(yè)務用途基于物理屬性分級原則高性能磁盤庫磁帶光盤庫中低性能磁盤庫將核心模型（即中度匯總的模型）通過改造融入到現(xiàn)有主數(shù)據(jù)倉庫的核心模型中，減少數(shù)據(jù)冗余，提升數(shù)據(jù)質(zhì)量。將主數(shù)據(jù)倉庫中的歷史數(shù)據(jù)和清單數(shù)據(jù)遷移到低成本分布式數(shù)據(jù)庫，減輕主數(shù)據(jù)倉庫的計算與存儲壓力并支撐深度數(shù)據(jù)分析。數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)1、核心模型融入主數(shù)據(jù)倉庫主數(shù)據(jù)倉庫2、歷史數(shù)據(jù)遷移到分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫1’、清單數(shù)據(jù)入MPP數(shù)據(jù)庫大數(shù)據(jù)平臺：

數(shù)據(jù)分級存儲Hadoop平臺主數(shù)據(jù)倉庫報表數(shù)據(jù)標簽庫指標數(shù)據(jù)客戶統(tǒng)一視圖……信息子層話單數(shù)據(jù)非結構化數(shù)據(jù)信息子層：報表數(shù)據(jù)、多維數(shù)據(jù)、指標庫等數(shù)據(jù)來源于匯總層。匯總層：主題域之間進行關聯(lián)、匯總計算。匯總數(shù)據(jù)服務于信息子層，目的是為了節(jié)約信息子層數(shù)據(jù)計算成本和計算時間。輕度匯總層：主題域基于明細層數(shù)據(jù)，進行多維度的、用戶級的匯總。明細數(shù)據(jù)層：主題域進行拆分、關聯(lián)。是對ODS操作型數(shù)據(jù)按照主題域劃分規(guī)則進行的拆分及合并ODS層：數(shù)據(jù)來源于各生產(chǎn)系統(tǒng)，通過ETL工具對接口文件數(shù)據(jù)進行編碼替換和數(shù)據(jù)清洗轉(zhuǎn)換，不做關聯(lián)操作。未來也可用于準實時數(shù)據(jù)查詢。明細數(shù)據(jù)層

（DW）輕度匯總層（MK）高度匯總層（MK）應用庫精細化營銷分布式數(shù)據(jù)庫MPP其他應用1其他應用2應用層：應用系統(tǒng)的私有數(shù)據(jù)，應用的業(yè)務數(shù)據(jù)。精細化營銷做為大數(shù)據(jù)平臺的一個上層應用，有由大數(shù)據(jù)平臺提供數(shù)據(jù)支撐數(shù)據(jù)訪問SQLFTPHSQLAPIETL數(shù)據(jù)采集ETL互聯(lián)網(wǎng)GN口非結構化數(shù)據(jù)BSS經(jīng)分DMVACMC話單業(yè)務平臺結構化數(shù)據(jù)數(shù)據(jù)源獲取層12123344大數(shù)據(jù)平臺：

數(shù)據(jù)分層源數(shù)據(jù)導入ETL，進行數(shù)據(jù)的清洗、轉(zhuǎn)換和入庫?；A數(shù)據(jù)加載到主數(shù)據(jù)倉庫，規(guī)劃保存3年清洗、轉(zhuǎn)換后的ODS加載到分布式數(shù)據(jù)庫規(guī)劃保存1+1月，在分布式數(shù)據(jù)庫內(nèi)完成明細數(shù)據(jù)和輕度匯總數(shù)據(jù)加工生成，規(guī)劃保存2年ODS數(shù)據(jù)和非結構化數(shù)據(jù)，如爬到的網(wǎng)頁數(shù)據(jù)ftp到Hadoop平臺做長久保存非結化數(shù)據(jù)分析處理在Hadoop平臺完成，產(chǎn)生的結果加載到分布式數(shù)據(jù)庫生成KPI和高度匯總數(shù)據(jù)加載到主數(shù)據(jù)倉庫。Hadoop平臺主數(shù)據(jù)倉庫報表數(shù)據(jù)標簽庫客戶統(tǒng)一視圖……信息子層話單數(shù)據(jù)非結構化數(shù)據(jù)明細數(shù)據(jù)層

（DW）輕度匯總層（MK）高度匯總層（MK）應用庫分布式數(shù)據(jù)庫MPP數(shù)據(jù)訪問SQLFTPHSQLAPIETL數(shù)據(jù)采集ETL互聯(lián)網(wǎng)GN口非結構化數(shù)據(jù)BSS經(jīng)分DMVACMC話單業(yè)務平臺結構化數(shù)據(jù)數(shù)據(jù)源獲取層123465業(yè)務應用通過數(shù)據(jù)訪問接口獲取所需求數(shù)據(jù)。7精細化營銷其他應用1其他應用2指標數(shù)據(jù)大數(shù)據(jù)平臺：

數(shù)據(jù)處理流程消息采集文件采集話單預處理信令預處理Gn話單位置信令DCNBSS炫鈴VAC短彩平臺物聯(lián)網(wǎng)客服平臺1*10GE1*GE2*GES9300S9300分布式數(shù)據(jù)庫集群新建ETL、分布式數(shù)據(jù)庫和Hadoop集群各自獨立組網(wǎng)。分別通過10GE網(wǎng)口接入?yún)R聚交換機。Hadoop集群…1*10GEETL集群…1*10GE…大數(shù)據(jù)平臺的組網(wǎng)20Pcap數(shù)據(jù)（DPI）互聯(lián)網(wǎng)路由器路由器防火墻WAP網(wǎng)站W(wǎng)WW網(wǎng)站分光鏡像DPI數(shù)據(jù)爬取數(shù)據(jù)爬取數(shù)據(jù)采集Agentcollector日志采集網(wǎng)元設備(GGSN\PDSN\WAP網(wǎng)關、NET網(wǎng)關)/Apache日志核心設備話單互聯(lián)網(wǎng)頁面數(shù)據(jù)正向采集用戶行為數(shù)據(jù)反向采集互聯(lián)網(wǎng)數(shù)據(jù)建設方案基于Hadoop構建大數(shù)據(jù)的用戶行為分析系統(tǒng)系統(tǒng)提供了核心的分布式云存儲、分布式并行計算、分布式數(shù)據(jù)倉庫、分布式列數(shù)據(jù)庫整體解決方案方案延伸基于Hadoop的大數(shù)據(jù)解決方案提供了基礎的云存儲和云計算的能力，基于該技術框架可進行應用的擴展和衍生?；谟脩艋ヂ?lián)網(wǎng)訪問行為分析結果，形成詳細的戶興趣愛好列表，可進行即時、精準的廣告投放大數(shù)據(jù)平臺有助于提升現(xiàn)網(wǎng)分析能力21系統(tǒng)構成系統(tǒng)主要包含數(shù)據(jù)采集子系統(tǒng)、數(shù)據(jù)入庫子系統(tǒng)、數(shù)據(jù)存儲子系統(tǒng)、數(shù)據(jù)查詢與分析子系統(tǒng)采用Hadoop/HBase作為上網(wǎng)記錄存儲方案采用MapReduce/Hive作用統(tǒng)計分析和數(shù)據(jù)挖掘工具關鍵性指標數(shù)據(jù)存儲上網(wǎng)記錄入庫時間：一般小于30分鐘，實際約10分鐘歷史5個月+當前月數(shù)據(jù)查詢上網(wǎng)記錄查詢速度：不高于1秒（不含用戶訪問查詢頁面的時間）并發(fā)查詢數(shù)目：1000請求/秒大數(shù)據(jù)平臺有效提升數(shù)據(jù)查詢速度以手機上網(wǎng)詳單查詢?yōu)閼冒咐?2項目背景運營商建設有多套垂直的網(wǎng)管子系統(tǒng)，目前系統(tǒng)數(shù)據(jù)集中程度不夠，還未形成統(tǒng)一的數(shù)據(jù)標準和數(shù)據(jù)共享框架，對運營支撐的支撐力度不夠，而網(wǎng)絡運維分析在面向服務轉(zhuǎn)型的過程中對數(shù)據(jù)的匯聚和共享要求極為迫切，因此需要建立統(tǒng)一的網(wǎng)管資源池網(wǎng)管資源池主要負責各個垂直網(wǎng)管子系統(tǒng)信令數(shù)據(jù)、日志數(shù)據(jù)的、告警數(shù)據(jù)的統(tǒng)一管理，實現(xiàn)跨平臺的數(shù)據(jù)整合、數(shù)據(jù)應用和數(shù)據(jù)共享等功能，網(wǎng)管統(tǒng)一資源池需提供海量歷史數(shù)據(jù)的查詢功能，滿足運維人員日常信息查詢和信息追溯的需要。系統(tǒng)與呼叫中心、工單系統(tǒng)對接，實現(xiàn)快速的數(shù)據(jù)交付（工單生成、告警觸發(fā)）難點分析多個垂直網(wǎng)管系統(tǒng)的數(shù)據(jù)結構千差萬別，抽取后的數(shù)據(jù)無法關聯(lián)形成統(tǒng)一的數(shù)據(jù)集合，傳統(tǒng)關系型數(shù)據(jù)庫優(yōu)勢無法體現(xiàn)系統(tǒng)需要滿足OLAP類應用分析，并面向上層應用提供一致性的數(shù)據(jù)查詢，傳統(tǒng)的關系型數(shù)據(jù)庫受限于數(shù)據(jù)體量和數(shù)據(jù)種類，無法滿足多類型的海量數(shù)據(jù)的查詢和分析要求系統(tǒng)需同時從多個數(shù)據(jù)源實現(xiàn)數(shù)據(jù)庫數(shù)據(jù)、信令數(shù)據(jù)和日志數(shù)據(jù)的采集，傳統(tǒng)的ETL工具無法滿足流式數(shù)據(jù)的采集要求，導致進程擁塞。建設方案基于不同的數(shù)據(jù)源及應用分析模式采用Flume、Sqoop等系統(tǒng)工具完成結構化和非結構化數(shù)據(jù)的導入基于HDFS實現(xiàn)海量歷史數(shù)據(jù)的存儲Hive組件可通過SQL命令完成大數(shù)據(jù)的統(tǒng)計分析，并與傳統(tǒng)關系型數(shù)據(jù)庫配合完成分析結果數(shù)據(jù)的存放HBase主要應用于歷史數(shù)據(jù)的查詢，例如：查詢1天全網(wǎng)所有隱形故障告警數(shù)據(jù)大數(shù)據(jù)平臺適應復雜數(shù)據(jù)結構的數(shù)據(jù)整合應用謝謝！數(shù)據(jù)治理解決方案主打膠片

-xx大學案例-目錄行業(yè)現(xiàn)狀與挑戰(zhàn)HW數(shù)據(jù)治理解決方案解決方案價值分析成功案例介紹數(shù)據(jù)治理領域及功能概念市場空間驅(qū)動力客戶需求客戶痛點數(shù)據(jù)治理：概念專注于將數(shù)據(jù)作為企業(yè)的價值資產(chǎn)進行應用和管理的過程和管理機制。能夠消除數(shù)據(jù)的不一致性，建立規(guī)范的數(shù)據(jù)應用標準，提高組織數(shù)據(jù)質(zhì)量，實現(xiàn)數(shù)據(jù)廣泛共享，并能夠?qū)?shù)據(jù)作為組織的寶貴資產(chǎn)服務于業(yè)務、管理、戰(zhàn)略決策中，發(fā)揮數(shù)據(jù)資產(chǎn)的商業(yè)價值。有助于組織更好的遵循內(nèi)外部有關數(shù)據(jù)使用和管理的監(jiān)管法規(guī)。高校數(shù)據(jù)治理的背景

大部分高校已完成校園網(wǎng)絡、信息系統(tǒng)、數(shù)字平臺的建設。建設初期，信息系統(tǒng)多以業(yè)務部門牽頭分別進行，缺乏全校統(tǒng)一的系統(tǒng)規(guī)劃和數(shù)據(jù)標準。雖然已經(jīng)積累了大量的業(yè)務數(shù)據(jù)，但普遍存在數(shù)據(jù)質(zhì)量不高、冗余數(shù)據(jù)大量存在、數(shù)據(jù)可用性不高和各業(yè)務部門之間數(shù)據(jù)共享難度較大等問題，已經(jīng)嚴重制約高校日常管理和教學水平的提升。因此亟需通過全校級別的數(shù)據(jù)治理流程體系來進行數(shù)據(jù)的全生命周期管理。數(shù)據(jù)治理的必要性概念市場空間驅(qū)動力客戶需求客戶痛點協(xié)調(diào)共享困難部門管理隔閡數(shù)據(jù)有沒有，數(shù)據(jù)在哪里，數(shù)據(jù)怎么取，數(shù)據(jù)怎么認都不知道接口費高昂需要與多部門反復協(xié)調(diào)，耗費精力進行整合去重、判斷正誤、對比沖突，效率低下，費時費力還費錢。質(zhì)量不高，集成困難數(shù)據(jù)缺失、錯誤、不完整形態(tài)復雜：電子表格、紙質(zhì)材料缺乏標準使數(shù)據(jù)關聯(lián)難度大，難以進行大數(shù)據(jù)分析數(shù)據(jù)孤島普遍各自為政，自成一體管理分割，業(yè)務分離來源責權不清無人負責，多頭來源流程不清，同步不暢多個系統(tǒng)，多份數(shù)據(jù)4種典型問題原因：重流程，輕數(shù)據(jù)，缺標準總結：數(shù)據(jù)治理勢在必行。市場空間概念市場空間驅(qū)動力客戶需求客戶痛點數(shù)字化校園三大平臺共享數(shù)據(jù)庫統(tǒng)一身份認證統(tǒng)一信息門戶業(yè)務系統(tǒng)建設綜合事務支持主數(shù)據(jù)平臺一站式服務移動校園科學決策支持全量數(shù)倉高質(zhì)量/全維度輔助決策支持一表通戰(zhàn)略發(fā)展支持數(shù)據(jù)=戰(zhàn)略資產(chǎn)大數(shù)據(jù)、人工智能制度規(guī)范建設學科建設競爭力、影響力中職獨立學院二、三本一般高職省屬本科部分211重點本科重點高職主流211部分985全國頂尖高校1、從中職、高職、一般本科、重點本科到頂尖高校，都有數(shù)據(jù)治理需求。2、不同學校的建設層次不同，需求層次不同，目標不同，業(yè)務縱深很長，業(yè)務生命周期很長。3、數(shù)據(jù)治理與物聯(lián)網(wǎng)、云計算、移動互聯(lián)網(wǎng)關系密切，基于底層IT資源，基于各信息管理系統(tǒng)，服務于上層應用，是整個高校信息化體系的核心樞紐。政策概念市場空間驅(qū)動力客戶需求客戶痛點政策解讀概念市場空間驅(qū)動力客戶需求客戶痛點信息系統(tǒng)整合共享互聯(lián)互通、信息共享、業(yè)務協(xié)同覆蓋全國、統(tǒng)一標準、上下聯(lián)動、資源共享實現(xiàn)一數(shù)一源、伴隨式數(shù)據(jù)采集完善教育數(shù)據(jù)標準規(guī)范促進數(shù)據(jù)分級分層有效共享，避免數(shù)據(jù)重復采集優(yōu)化業(yè)務管理、提升公共服務、促進決策支持

互聯(lián)網(wǎng)+政務服務連接教育政務信息數(shù)據(jù)和社會宏觀治理數(shù)據(jù)，建立“互聯(lián)網(wǎng)+政務服務”網(wǎng)上辦事大廳實現(xiàn)政務服務統(tǒng)一申請、集中辦理、統(tǒng)一反饋和全流程監(jiān)督，分步實施教育政務數(shù)據(jù)的共享開放，做到事項清單標準化、辦事指南規(guī)范化、審查工作細則化和業(yè)務辦理協(xié)同化，實現(xiàn)“一張表管理”和“一站式服務”讓百姓少跑腿、數(shù)據(jù)多跑路，增強人民群眾獲得感。數(shù)據(jù)治理一站式服務業(yè)務上云不同層級用戶的需求層次概念市場空間驅(qū)動力客戶需求客戶痛點數(shù)字化校園三大平臺共享數(shù)據(jù)庫統(tǒng)一身份認證統(tǒng)一信息門戶業(yè)務系統(tǒng)建設綜合事務支持主數(shù)據(jù)平臺一站式服務移動校園科學決策支持全量數(shù)倉高質(zhì)量/全維度輔助決策支持一表通戰(zhàn)略發(fā)展支持數(shù)據(jù)=戰(zhàn)略資產(chǎn)大數(shù)據(jù)、人工智能制度規(guī)范建設學科建設競爭力、影響力中職獨立學院二、三本一般高職省屬本科部分211重點本科重點高職主流211部分985全國頂尖高校復旦大學西安電子科大武漢理工大學xx農(nóng)業(yè)大學武漢城市職院……武漢音樂學院1、通過調(diào)研溝通，準確了解用戶現(xiàn)狀，幫助用戶定位其當前的信息化建設現(xiàn)狀和數(shù)據(jù)資源條件要點3、通過實際案例，與用戶就現(xiàn)狀和目標達成共識，確定建設內(nèi)容邊界。尤其注意避免設定不切實際的目標2、一般只能從當前現(xiàn)狀出發(fā)，以上一級為目標考慮建設方案?？缂壗ㄔO通常難以實現(xiàn)（資金/時間/管理機制）xx師范大學武漢大學概念市場空間驅(qū)動力客戶需求客戶痛點數(shù)字化校園三大平臺共享數(shù)據(jù)庫統(tǒng)一身份認證統(tǒng)一信息門戶業(yè)務系統(tǒng)建設綜合事務支持主數(shù)據(jù)平臺一站式服務移動校園科學決策支持全量數(shù)倉高質(zhì)量/全維度輔助決策支持一表通戰(zhàn)略發(fā)展支持數(shù)據(jù)=戰(zhàn)略資產(chǎn)大數(shù)據(jù)、人工智能制度規(guī)范建設學科建設競爭力、影響力中職獨立學院二、三本一般高職省屬本科部分211重點本科重點高職主流211部分985全國頂尖高校復旦大學西安電子科大武漢理工大學xx農(nóng)業(yè)大學武漢城市職院……武漢音樂學院xx師范大學武漢大學1、不同層次、不同建設階段的高校、職校均為潛在客戶要點2、負責部門：信息中心。校領導對項目推進有巨大作用我們的客戶是誰？我們的客戶是誰？概念市場空間驅(qū)動力客戶需求客戶痛點數(shù)字化校園三大平臺共享數(shù)據(jù)庫統(tǒng)一身份認證統(tǒng)一信息門戶業(yè)務系統(tǒng)建設綜合事務支持主數(shù)據(jù)平臺一站式服務移動校園科學決策支持全量數(shù)倉高質(zhì)量/全維度輔助決策支持一表通戰(zhàn)略發(fā)展支持數(shù)據(jù)=戰(zhàn)略資產(chǎn)大數(shù)據(jù)、人工智能制度規(guī)范建設學科建設競爭力、影響力云服務要點3、針對不同的客戶需求重點，分別建議如下:云服務數(shù)據(jù)集成共享云服務核心主數(shù)據(jù)治理云服務全量數(shù)據(jù)治理云服務全量數(shù)據(jù)治理管理制度咨詢客戶需求：他們關注什么？概念市場空間驅(qū)動力客戶需求客戶痛點1、數(shù)據(jù)治理對學校的價值是什么？為什么需要做數(shù)據(jù)治理？2、數(shù)據(jù)治理有哪些成果？如何向全校和領導證明和體現(xiàn)這些成果？3、學校需要提供哪些資源和配套工作？分別需要各部門做什么？4、希嘉（HW）的數(shù)據(jù)治理與傳統(tǒng)三大平臺方案的區(qū)別？5、數(shù)據(jù)標準如何確定？如何落地執(zhí)行？1、當前虛擬化用的挺好的…為什么要上云？2、設備=資產(chǎn)，但購買云服務…？長期成本？3、上云后現(xiàn)在部門這些人怎么安排？職責如何調(diào)整？部門被拿掉…?4、HW云服務與當前的虛擬化平臺異同點？數(shù)據(jù)治理相關云服務相關6、數(shù)據(jù)交換能否實現(xiàn)足夠的實時性？如何保障高實時場景需求？7、治理后生成的數(shù)倉與當前共享庫什么關系？有哪些可能選項？8、原有的數(shù)據(jù)交換共享如何平滑無風險遷移到新建的數(shù)倉中？9、(HW)數(shù)據(jù)工具的功能、易用性如何？學校是否有能力接手管理？10、數(shù)據(jù)質(zhì)量問題如何發(fā)現(xiàn)？如何有效提升數(shù)據(jù)質(zhì)量？11、如何確保數(shù)據(jù)安全？如何保護個人隱私？5、私有云與公有云如何打通好互操作?6、云端(公有云)數(shù)據(jù)安全如何保障？7、云端(公有云)的業(yè)務性能、連續(xù)性如何保障？如何運維監(jiān)控？8、大量數(shù)據(jù)從本地流向公有云對出口壓力？延遲？9、…？10、…？12、如何利用數(shù)據(jù)輔助決策、報表等過程？客戶需求：他們?yōu)槭裁搓P注？概念市場空間驅(qū)動力客戶需求客戶痛點1、管理痛點：共享庫管理困難，數(shù)據(jù)問題太多2、業(yè)務驅(qū)動：一站式服務，高基表，一表通，決策支持3、領導要求：很多校領導對數(shù)據(jù)重要性的認知和站位高于信息中心4、發(fā)展覺悟：希望提升部門在學校的地位（從輔助服務部門變成核心戰(zhàn)略部門），為全校提供信息化綜合服務能力，被領導、各部門、師生認可，提升存在感，建立良好服務形象。5、政策驅(qū)動：信息化2.0，本科評估，診斷與改進1、2、3、4、數(shù)據(jù)治理相關云服務相關6、同行示范：本地區(qū)、本級別的高校走到前面去了7、行業(yè)趨勢：云大物移5、6、7、8、客戶痛點：概念市場空間驅(qū)動力客戶需求客戶痛點

問題描述1數(shù)據(jù)資產(chǎn)不清晰共享庫之外的數(shù)據(jù)散落在全校各處，沒有人知道這些數(shù)據(jù)的分布、內(nèi)容、質(zhì)量、管理權、責任人。即使是共享庫，除了信息中心自己，校內(nèi)其他部門也不清楚有哪些數(shù)據(jù)可用。這種現(xiàn)狀與國家要求及行業(yè)發(fā)展趨勢差距巨大。1共享庫覆蓋數(shù)據(jù)太少三大平臺中的共享庫只覆蓋了核心的主數(shù)據(jù)（學校基本信息、人員基本信息），只承擔了數(shù)據(jù)交換共享的職能。共享庫遠遠達不到合格的“數(shù)據(jù)中心”的要求。數(shù)據(jù)不夠完整，大量的管理業(yè)務數(shù)據(jù)、線下表格數(shù)據(jù)、日志數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)都沒有納入進行存儲和管理。而且共享庫的技術架構（RDB）也不能支持海量異構數(shù)據(jù)的一體化服務和分析計算。2缺乏標準規(guī)范共享庫中的數(shù)據(jù)通常是按照MIS中的樣子原樣照搬，并未進行元數(shù)據(jù)和代碼表的統(tǒng)一。即使有名義上的“校級數(shù)據(jù)標準”，但沒有相應的技術和管理措施保障落地執(zhí)行。數(shù)據(jù)交換基本依賴各廠商之間自己協(xié)調(diào)，困難重重，進度很慢，難以管理。

問題描述4大量視圖管理困難數(shù)據(jù)交換通常是通過共享庫中構建視圖來實現(xiàn)，與MIS系統(tǒng)耦合緊密，無法復用。經(jīng)過長時間運行后，大量視圖的歸屬、用途、是否活動經(jīng)常無人知曉，學校老師自己難以管理（通常是由廠商負責維護管理）。當學校嘗試使用共享庫去支持一站式服務、數(shù)據(jù)分析、決策支持等場景時，才發(fā)現(xiàn)數(shù)據(jù)很亂難以識別。5接口費問題新上MIS業(yè)務系統(tǒng)需要與其他系統(tǒng)數(shù)據(jù)對接的時候，經(jīng)常被廠家要求交接口費（2萬~10萬不等），經(jīng)常導致矛盾，增加校方成本。接口費不是一次性的，可能需要收很多次。6數(shù)據(jù)質(zhì)量無保障共享庫中數(shù)據(jù)的完整性、準確性依賴于MIS系統(tǒng)的運行質(zhì)量，通常難以保障。在數(shù)據(jù)交換場景下，共享庫建設廠商可以不承擔數(shù)據(jù)準確性責任。但是在大數(shù)據(jù)分析和決策支持場景下，數(shù)據(jù)不夠準確將直接導致分析結果與現(xiàn)實不符或決策失敗。傳統(tǒng)三大平臺廠商對數(shù)據(jù)質(zhì)量問題缺乏處理經(jīng)驗和能力?？蛻敉袋c：概念市場空間驅(qū)動力客戶需求客戶痛點人事管理系統(tǒng)更多系統(tǒng)…學工管理系統(tǒng)科研管理系統(tǒng)財務管理系統(tǒng)資產(chǎn)管理系統(tǒng)共享庫教學信息、科研信息、財務數(shù)據(jù)等財務共享數(shù)據(jù)教務共享數(shù)據(jù)人事共享數(shù)據(jù)……教師人員基本信息、學生基本信息、組織機構信息等教師人員基本信息、組織機構信息等中間庫中間庫中間庫中間庫中間庫中間庫圖書館管理系統(tǒng)中間庫教務管理系統(tǒng)中間庫后勤管理系統(tǒng)中間庫ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖ETL/視圖共享庫覆蓋有限質(zhì)量不高缺乏標準規(guī)范視圖管理困難管理受制于人數(shù)據(jù)接口高額接口費數(shù)據(jù)資產(chǎn)散落各處難以整合利用質(zhì)量無人負責管理歸屬不清概念市場空間驅(qū)動力客戶需求客戶痛點

問題描述1數(shù)據(jù)資產(chǎn)不清晰通過全校業(yè)務和數(shù)據(jù)調(diào)研，盤點清理數(shù)據(jù)資源，通過治理形成集成化、標準化的統(tǒng)一數(shù)據(jù)資源。同時，輸出數(shù)據(jù)U/C矩陣、數(shù)據(jù)流向圖等知識信息，使數(shù)據(jù)來源具備權威性；數(shù)據(jù)歸屬到明確責任部門、責任崗位；數(shù)據(jù)供需關系、流動路徑有明確信息，從而形成清晰的全校數(shù)據(jù)資產(chǎn)。1共享庫覆蓋數(shù)據(jù)太少基于調(diào)研得到的數(shù)據(jù)資源分布情況，全面采集數(shù)據(jù)，形成全量數(shù)據(jù)倉庫。采集對象包括業(yè)務系統(tǒng)的在線數(shù)據(jù)、線下電子表格文件數(shù)據(jù)、日志類數(shù)據(jù)和互聯(lián)網(wǎng)端數(shù)據(jù)，覆蓋面遠超共享庫。全量數(shù)據(jù)倉庫將支持綜合性跨部門流程服務、決策分析、數(shù)據(jù)挖掘、可視化等應用場景，同時也可以替代原有的共享庫作用。2缺乏標準規(guī)范基于調(diào)研情況設計校級數(shù)據(jù)標準，并利用校標對數(shù)據(jù)倉庫進行定義和建模，使治理后的成果數(shù)據(jù)符合統(tǒng)一的標準規(guī)范。同時后期還會推行數(shù)據(jù)標準遵循規(guī)范在全校推行落地數(shù)據(jù)標準。

問題描述4大量視圖管理困難在一站式服務平臺、微服務、移動校園等新興綜合化應用開發(fā)場景下，通過ROMA平臺將數(shù)據(jù)以API接口對外提供服務，屏蔽了底層架構復雜性，解除了APP與底層數(shù)據(jù)之間的緊耦合關系。原有的基于視圖的ETL過程，僅在傳統(tǒng)的數(shù)據(jù)交換場景小范圍保留使用。5接口費問題數(shù)據(jù)倉庫建設完成后，所有的數(shù)據(jù)資源發(fā)布均通過該平臺完成，學校擁有完全自主的數(shù)據(jù)管理權，不再需要向廠商支付接口費。（最多只需要支付一次性費用進行數(shù)據(jù)采集）6數(shù)據(jù)質(zhì)量無保障數(shù)據(jù)治理過程中，會通過DLG對數(shù)據(jù)進行質(zhì)量檢查，配置質(zhì)量規(guī)則和質(zhì)量指標，進行檢查后輸出數(shù)據(jù)質(zhì)量評估報告，并通過不同手段進行質(zhì)量問題處理，最終使數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量達到使用要求?？蛻粜枨螅何覀?nèi)绾螏椭麄兘鉀Q問題？目錄行業(yè)現(xiàn)狀與挑戰(zhàn)HW數(shù)據(jù)治理解決方案HW解決方案價值分析成功案例介紹數(shù)據(jù)治理解決方案–總體方案架構教務學工資產(chǎn)財務科研迎新就業(yè)校友黨建一卡通…….圖書館線下業(yè)務數(shù)據(jù)上網(wǎng)記錄無線連接身份認證網(wǎng)絡安全日志數(shù)據(jù)學?；緮?shù)據(jù)學生基本數(shù)據(jù)教學管理數(shù)據(jù)人事管理數(shù)據(jù)科研管理數(shù)據(jù)后勤管理數(shù)據(jù)日志分析數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)歷史數(shù)據(jù)全量數(shù)倉主題數(shù)據(jù)集DWS數(shù)倉組件數(shù)據(jù)治理服務數(shù)據(jù)標準制定數(shù)據(jù)結構采集數(shù)據(jù)質(zhì)量檢核數(shù)據(jù)接口監(jiān)控歷史數(shù)據(jù)備份有效數(shù)據(jù)識別數(shù)據(jù)采集集成制度規(guī)范咨詢DLG數(shù)據(jù)湖治理元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)自產(chǎn)產(chǎn)管理校級數(shù)據(jù)標準數(shù)據(jù)管理知識庫數(shù)據(jù)管理規(guī)范年終考核職稱評審教學資源離校主題迎新主題一網(wǎng)通辦數(shù)據(jù)字典MRS大數(shù)據(jù)組件線上業(yè)務數(shù)據(jù)CDMDLF數(shù)據(jù)共享數(shù)據(jù)交換數(shù)據(jù)采集數(shù)據(jù)采集…ROMA數(shù)據(jù)服務決策支持數(shù)據(jù)挖掘流程服務…….應用開發(fā)RDS數(shù)據(jù)庫組件序號產(chǎn)品名稱功能在方案中的作用1CDM實現(xiàn)數(shù)據(jù)全量遷移[1]數(shù)據(jù)采集[2]實現(xiàn)數(shù)據(jù)共享2DLF數(shù)據(jù)湖工廠，含：[1]數(shù)據(jù)基礎服務（DLFCommon），提供DLF服務的身份、授權框架實現(xiàn)，包含權限管理和消息通知。[2]數(shù)據(jù)集成服務（DI）,提供同構/異構數(shù)據(jù)源之間批量數(shù)據(jù)遷移,支持FILE、DB、DW、NoSQL等數(shù)據(jù)源。[3]數(shù)據(jù)開發(fā)服務（DS）,管理多種大數(shù)據(jù)服務，提供一站式的大數(shù)據(jù)開發(fā)環(huán)境、全托管的大數(shù)據(jù)調(diào)度能力,可進行數(shù)據(jù)建模、腳本開發(fā)、工作流編排、運維監(jiān)控等操作，完成整個數(shù)據(jù)的處理分析流程。[4]數(shù)據(jù)治理服務（DG）,一站式數(shù)據(jù)治理平臺，對數(shù)據(jù)資產(chǎn)進行梳理、質(zhì)量監(jiān)控、標準化、清洗等操作，提供數(shù)據(jù)資產(chǎn)相關的標準建設、資產(chǎn)管理、質(zhì)量監(jiān)控、安全共享。[1]數(shù)據(jù)采集[2]數(shù)據(jù)集成[3]數(shù)據(jù)質(zhì)量監(jiān)控和清洗轉(zhuǎn)換3RDS基于RDB（關系型數(shù)據(jù)庫）的數(shù)據(jù)庫平臺，提供傳統(tǒng)數(shù)據(jù)庫能力。[1]作為ODS容器[2]實現(xiàn)數(shù)據(jù)共享4DWS基于MPP架構的數(shù)據(jù)倉庫平臺，提供海量結構化數(shù)據(jù)的存儲和計算架構。[1]承載治理后形成的成果數(shù)據(jù)[2]實現(xiàn)自動化的歷史數(shù)據(jù)留存。5MRS基于Hadoop架構的數(shù)據(jù)倉庫平臺，提供海量數(shù)據(jù)（主要針對日志類數(shù)據(jù)）的存儲和計算架構，及流處理、機器學習、消息訂閱等組件。[1]承載海量日志數(shù)據(jù)、互聯(lián)網(wǎng)數(shù)據(jù)[2]提供并行架構的海量數(shù)據(jù)處理和機器學習建模計算能力。6DLG數(shù)據(jù)湖治理，提供元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)資產(chǎn)管理等功能。[1]對數(shù)據(jù)治理進行過程管理，承載數(shù)據(jù)的結構信息、關系信息、質(zhì)量信息。7ROMA云計算框架下的應用和數(shù)據(jù)集成。包括服務集成、消息集成、數(shù)據(jù)集成等全連接，支撐跨“多云”應用、數(shù)據(jù)、服務、資源等的協(xié)同，達到互通、內(nèi)外互通、多云互通。包含:FDI:類ETL，實現(xiàn)數(shù)據(jù)的抽取、簡單轉(zhuǎn)換、加載。支持RDBMS、MSG、FILE等數(shù)據(jù)轉(zhuǎn)換。APIConnect:包含API網(wǎng)關（服務網(wǎng)關，支持服務注冊以及服務管控）、LiveData（服務編排、DB數(shù)據(jù)開放）、APIMarket（公共服務發(fā)布、服務訂閱）MQS：基于RocketMQ內(nèi)核，增加消息統(tǒng)一接入管控模塊（Connector）、服務發(fā)現(xiàn)模塊NameServer、跨中心路由模塊(Router)，實現(xiàn)消息從發(fā)送方到消費方的路由和全鏈路監(jiān)控。[1]實現(xiàn)成果數(shù)據(jù)的封裝發(fā)布數(shù)據(jù)治理解決方案–數(shù)據(jù)治理軟件功能數(shù)據(jù)治理解決方案–數(shù)據(jù)治理軟件功能云數(shù)據(jù)遷移CDM功能截圖源數(shù)據(jù)連接增量抽取字段映射定時任務數(shù)據(jù)治理解決方案–數(shù)據(jù)治理軟件功能數(shù)據(jù)湖工廠DLF功能截圖數(shù)據(jù)管理腳本開發(fā)作業(yè)調(diào)度作業(yè)監(jiān)控數(shù)據(jù)治理解決方案–數(shù)據(jù)治理軟件功能數(shù)據(jù)湖治理DLG功能截圖檢測規(guī)則質(zhì)量檢測結果數(shù)據(jù)血緣關系數(shù)據(jù)治理解決方案–數(shù)據(jù)治理軟件功能集成平臺ROMA功能截圖服務集成總覽API封裝API分組訪問控制數(shù)據(jù)治理解決方案–數(shù)據(jù)治理服務內(nèi)容序號工作內(nèi)容工作內(nèi)容簡述1校級標準制定參考教育部推薦標準，引用國家強制標準，引入當前事實標準，形成最終的校級數(shù)據(jù)執(zhí)行標準。校標包含數(shù)據(jù)子集分類定義、元數(shù)據(jù)模型標準、代碼標準、編碼規(guī)則、命名規(guī)則、交換規(guī)范等。校標所涵蓋的數(shù)據(jù)范圍就是數(shù)據(jù)治理輸出的成果數(shù)據(jù)的范圍目標。依據(jù)校標在HWDWS中進行建表，形成成果數(shù)據(jù)的結構框架。2數(shù)據(jù)調(diào)研對學校各部門的業(yè)務、組織架構、、數(shù)據(jù)等進行調(diào)研了解。主要包括業(yè)務范圍、組織機構、工作流程、數(shù)據(jù)來源、數(shù)據(jù)字典、數(shù)據(jù)形態(tài)、供需關系、交換共享要求、數(shù)據(jù)質(zhì)量問題、標準資源、數(shù)據(jù)分析需求等進行調(diào)研了解。3數(shù)據(jù)識別根據(jù)數(shù)據(jù)調(diào)研的結果，利用數(shù)據(jù)字典識別數(shù)據(jù)含義，與數(shù)據(jù)標準進行對照，標識數(shù)據(jù)權威來源，確定采集對象、采集范圍和技術參數(shù)。5數(shù)據(jù)采集對目標數(shù)據(jù)，利用HWDLF的DI（數(shù)據(jù)集成）組件進行采集。其中數(shù)據(jù)庫和表格數(shù)據(jù)存儲在臨時庫ODS中，等待進行清洗治理。//?日志數(shù)據(jù)通過HWFusioninsight的Flume組件捕獲存盤，利用DI（數(shù)據(jù)集成）組件進行采集、解析、轉(zhuǎn)換。（通常對日志數(shù)據(jù)無需質(zhì)量檢測）？//序號工作內(nèi)容工作內(nèi)容簡述6質(zhì)量檢查利用HWDLF的DG（數(shù)據(jù)治理）組件對ODS數(shù)據(jù)執(zhí)行質(zhì)量檢測。制定各種質(zhì)量規(guī)則（如非空性、唯一性、數(shù)值分布、數(shù)值波動情況）。根據(jù)每個字段應有的質(zhì)量屬性將質(zhì)量規(guī)則綁定到字段上。執(zhí)行質(zhì)量檢查，形成數(shù)據(jù)質(zhì)量報告，以便評估數(shù)據(jù)質(zhì)量狀況7清洗轉(zhuǎn)換質(zhì)量提升根據(jù)質(zhì)量報告的內(nèi)容，評估數(shù)據(jù)質(zhì)量問題的內(nèi)容、程度。對于規(guī)則性問題，通過ETL的轉(zhuǎn)換規(guī)則實現(xiàn)質(zhì)量提升。對于數(shù)據(jù)缺失、內(nèi)容錯誤等問題，將問題數(shù)據(jù)和質(zhì)量報告提交到數(shù)據(jù)對應的負責部門，由部門進行核實、填報。數(shù)據(jù)修正后錄入MIS中，通過再次采集、檢查直至質(zhì)量合格。8成果數(shù)據(jù)生成將清洗轉(zhuǎn)換完成、符合質(zhì)量標準的數(shù)據(jù)導入至DWS中的建模完成的表格中，形成符合校標的、質(zhì)量達標、內(nèi)容完整的成果數(shù)據(jù)。9數(shù)據(jù)封裝發(fā)布DWS中的成果數(shù)據(jù)由HWROMA平臺進行封裝，以API接口向各APP提供數(shù)據(jù)服務。10管理咨詢服務通過前述過程分析學校在數(shù)據(jù)管理方面的薄弱環(huán)節(jié)、不合理管理模式，與校方一起設計和制定數(shù)據(jù)管理相關的規(guī)范和制度并推廣執(zhí)行，從根本上改變管理漏洞、部門矛盾、不規(guī)范操作，使數(shù)據(jù)治理的成果能夠長期持續(xù)、不斷進步?，F(xiàn)狀調(diào)研數(shù)據(jù)采集數(shù)據(jù)識別標準制定標準確認抽取集成質(zhì)量檢查反饋修正清洗轉(zhuǎn)換數(shù)倉建模成果數(shù)據(jù)入庫歷史數(shù)據(jù)積累數(shù)據(jù)封裝發(fā)布部署軟件工具數(shù)據(jù)治理數(shù)據(jù)平臺采集建模清洗轉(zhuǎn)換制度規(guī)范建設管理辦法考核評估管理機制操作規(guī)范生命周期采集識別清洗治理成果發(fā)布數(shù)據(jù)治理解決方案–數(shù)據(jù)治理工作內(nèi)容實施團隊咨詢服務架構制度設計數(shù)據(jù)標準遵從數(shù)據(jù)標準管理數(shù)據(jù)生產(chǎn)職責數(shù)據(jù)質(zhì)量保障數(shù)據(jù)安全職責應用開發(fā)規(guī)范交換共享規(guī)范數(shù)據(jù)管理規(guī)范制度規(guī)范實施學校管理機構治理需求和目標確認項目啟動部門數(shù)據(jù)調(diào)研數(shù)據(jù)來源確認校標設計制定字典匹配識別人工內(nèi)容識別采集對象確定數(shù)據(jù)字典技術團隊部標、國標按標準分類建模歷史數(shù)據(jù)存檔數(shù)據(jù)建模計算數(shù)據(jù)交換共享數(shù)據(jù)封裝發(fā)布應用程序調(diào)用數(shù)據(jù)生成入庫APIETL或DBView日志采集XLS采集DB采集數(shù)據(jù)集中質(zhì)量規(guī)則綁定質(zhì)量檢核輸出非標數(shù)據(jù)清洗轉(zhuǎn)換質(zhì)量問題分類質(zhì)量合規(guī)質(zhì)量合規(guī)結構質(zhì)量問題質(zhì)量規(guī)則設計數(shù)據(jù)糾錯補全反饋質(zhì)量問題設計清洗轉(zhuǎn)換規(guī)則業(yè)務部門內(nèi)容質(zhì)量問題校級數(shù)據(jù)標準數(shù)倉主題分類數(shù)據(jù)管理知識庫元數(shù)據(jù)模型標準代碼集編碼規(guī)范對象命名規(guī)范接口交換標準數(shù)據(jù)質(zhì)量標準數(shù)據(jù)資產(chǎn)目錄元數(shù)據(jù)庫數(shù)據(jù)U/C矩陣編碼規(guī)范數(shù)據(jù)血緣關系質(zhì)量規(guī)則庫數(shù)據(jù)質(zhì)量報告數(shù)據(jù)域知識域管理域制度實施執(zhí)行數(shù)據(jù)管理機構數(shù)據(jù)分類、命名、技術架構、邏輯架構、物理架構、管理架構、開發(fā)架構、整合流程和架構…數(shù)據(jù)頂層設計標準定稿成果輸出標準流據(jù)數(shù)流流量質(zhì)數(shù)據(jù)治理解決方案–數(shù)據(jù)治理工作流程數(shù)據(jù)治理解決方案–數(shù)據(jù)治理交付成果【1】校級數(shù)據(jù)標準數(shù)據(jù)子集和元數(shù)據(jù)模型【4】管理知識庫數(shù)據(jù)現(xiàn)狀報告標準代碼集數(shù)據(jù)U/C矩陣數(shù)據(jù)資產(chǎn)目錄元數(shù)據(jù)庫【2】成果數(shù)據(jù)

全量、高質(zhì)量、標準化學?；A數(shù)據(jù)集數(shù)據(jù)流向關系學生管理數(shù)據(jù)集數(shù)據(jù)質(zhì)量規(guī)則庫教職工管理數(shù)據(jù)集數(shù)據(jù)質(zhì)量綁定關系教學管理數(shù)據(jù)集數(shù)據(jù)質(zhì)量報告資產(chǎn)管理數(shù)據(jù)集ETL接口映射/轉(zhuǎn)換信息科研管理數(shù)據(jù)集……財務管理數(shù)據(jù)集日志數(shù)據(jù)集【5】制度規(guī)范數(shù)據(jù)標準更新發(fā)布規(guī)范……數(shù)據(jù)標準遵從規(guī)范權威數(shù)據(jù)管理責任【3】軟件體系PowerDesigner：數(shù)據(jù)模型管理數(shù)據(jù)質(zhì)量保障職責HWRDS：結構化數(shù)據(jù)容器數(shù)據(jù)安全保障職責HWDLI、CDM：數(shù)據(jù)集成遷移數(shù)據(jù)開發(fā)調(diào)用規(guī)范HWDWS：數(shù)據(jù)倉庫存儲計算數(shù)據(jù)共享交換規(guī)范HWDLG：元數(shù)據(jù)、質(zhì)量等數(shù)據(jù)管理考核體系HWROMA：數(shù)據(jù)封裝發(fā)布……數(shù)據(jù)治理解決方案–數(shù)據(jù)治理軟件功能數(shù)據(jù)標準UC矩陣表數(shù)據(jù)質(zhì)量報告數(shù)據(jù)流向關系目錄行業(yè)現(xiàn)狀與挑戰(zhàn)HW：云端數(shù)據(jù)治理解決方案云端數(shù)據(jù)治理解決方案價值分析成功案例介紹方案價值：序號

價值總結價值闡述1云服務大大降低信息中心運營成本云服務可以讓所有資源得到充分利用，其中包括價格昂貴的服務器以及各種網(wǎng)絡設備，工作人員的共享使成本降低。2可以應對一些特殊的場景比如選課高峰期等應用場景，云服務可以根據(jù)業(yè)務場景靈活的進行資源的彈性伸縮，保障業(yè)務運行穩(wěn)定。3動態(tài)可擴展性強由于“云”的規(guī)模可以動態(tài)伸縮，這樣就可以不用加大投資硬件設備的力度來滿足應用和用戶規(guī)模增長的需要，同時也無形起到了降低成本的作用。4能快速搭建應用云服務能夠快速搭建學校應用，比如現(xiàn)在要開發(fā)一個網(wǎng)站，就不必擔心是否需要花巨資購買硬件來集群5數(shù)據(jù)治理統(tǒng)一數(shù)據(jù)標準和管理規(guī)范

確定校級數(shù)據(jù)標準，統(tǒng)一部門代碼、專業(yè)代碼、數(shù)據(jù)含義和統(tǒng)計口徑6數(shù)據(jù)整合，構建全量數(shù)據(jù)倉庫

整合各部門業(yè)務系統(tǒng)的數(shù)據(jù)、各崗位使用的表格數(shù)據(jù)、各項報表中記錄的數(shù)據(jù)、教學平臺、課件資源，構建分類主題庫。7明確數(shù)據(jù)歸屬，提升質(zhì)量

消除多頭管理，一數(shù)一源；梳理業(yè)務流程，使數(shù)據(jù)與業(yè)務對應8共享交換，查閱檢索，應用支持

實現(xiàn)各部門數(shù)據(jù)互聯(lián)互通，消除數(shù)據(jù)孤島；為管理、教學、服務提供支持。云端數(shù)據(jù)治理解決方案–數(shù)據(jù)治理方案特色目標：綜合數(shù)據(jù)應用為決策輔助、跨部門流程運行、數(shù)據(jù)分析挖掘等綜合數(shù)據(jù)應用提供資源將數(shù)據(jù)作為價值資產(chǎn)進行管理和運營全量數(shù)據(jù)治理管理信息系統(tǒng)——數(shù)據(jù)庫線下文檔數(shù)據(jù)——電子表格機器設備數(shù)據(jù)——日志高質(zhì)量標準先行——統(tǒng)一數(shù)據(jù)表達規(guī)范質(zhì)量檢查——發(fā)現(xiàn)數(shù)據(jù)問題數(shù)據(jù)糾錯——解決數(shù)據(jù)問題工具化交付-能力賦予用戶Archon ——數(shù)據(jù)庫數(shù)據(jù)Exdata ——電子表格Immortal ——日志數(shù)據(jù)爬蟲工具 ——互聯(lián)網(wǎng)數(shù)據(jù)體系化的交付成果-持續(xù)管理校級數(shù)據(jù)標準全量數(shù)據(jù)體系數(shù)據(jù)管理知識庫數(shù)據(jù)管理制度規(guī)范目標：實現(xiàn)共享交換實現(xiàn)各業(yè)務之間的數(shù)據(jù)共享交換數(shù)據(jù)視為應用運行的副產(chǎn)品僅包含用于共享的主數(shù)據(jù)管理信息系統(tǒng)——數(shù)據(jù)庫線下文檔數(shù)據(jù)機器設備數(shù)據(jù)外部引入數(shù)據(jù)數(shù)據(jù)質(zhì)量并未重點數(shù)據(jù)標準未制定，或未認真執(zhí)行數(shù)據(jù)質(zhì)量并未看做實施方的責任質(zhì)量問題對共享交換不構成嚴重影響難以繼承維護的黑盒式交付手工操作——難以維護腳本、代碼——難以理解編程實現(xiàn)——難以更新魚,非漁——難以持續(xù)一次性的、有限的交付成果共享交換庫數(shù)據(jù)標準、全量數(shù)據(jù)體系知識庫、管理規(guī)范希嘉數(shù)據(jù)治理體系傳統(tǒng)數(shù)據(jù)治理體系目錄行業(yè)現(xiàn)狀與挑戰(zhàn)HW智慧環(huán)境監(jiān)測解決方案HW解決方案價值分析成功案例介紹成功案例介紹–xx師范大學

深入業(yè)務調(diào)研數(shù)據(jù)資產(chǎn)梳理數(shù)據(jù)標準建立數(shù)據(jù)開放共享規(guī)章制度建設

example成功案例介紹–xx師范大學

5623個數(shù)據(jù)來源單位8類數(shù)據(jù)集分類55類數(shù)據(jù)類296個數(shù)據(jù)子類數(shù)據(jù)資產(chǎn)成果4931個數(shù)據(jù)項2.47億條記錄數(shù)成功案例介紹–xx師范大學

成功案例介紹–xx師范大學

58數(shù)據(jù)缺失情況

有字段無數(shù)據(jù)無字段無數(shù)據(jù)無表缺失項

有字段未錄入有表無字段未設計表合計人事處556131教務處85133學工（含招就）478951科研8510研究生121570國資（含設備處）411016

4341762013003成功案例介紹–xx師范大學

調(diào)研成果調(diào)研成果校級數(shù)據(jù)標準校級代碼標準各項數(shù)據(jù)的權威來源部門的數(shù)據(jù)供需關系全校范圍內(nèi)統(tǒng)一了數(shù)據(jù)表達、交換和理解的規(guī)范，是實現(xiàn)數(shù)據(jù)交換的前提，是數(shù)據(jù)倉庫的內(nèi)容邊界明確了各項數(shù)據(jù)的供應來源，后續(xù)的采集、集中、共享、質(zhì)量都有了明確的負責部門，是數(shù)據(jù)采集的來源依據(jù)。明確了數(shù)據(jù)去向目標，后續(xù)的交換、供應都有了明確的目標對象是數(shù)據(jù)交換的依據(jù)，消除數(shù)據(jù)孤島的目標。成功案例介紹–xx師范大學

數(shù)據(jù)中心8類數(shù)據(jù)集55個數(shù)據(jù)類296個數(shù)據(jù)子類5328個數(shù)據(jù)項2.47億條記錄1146個

待補充人事研究生院學工國資辦科研教務房產(chǎn)辦公管學院教師教院就業(yè)處離退處設備處統(tǒng)戰(zhàn)圖書館外事工會校醫(yī)院校友會宣傳部校辦招標辦組織部財務2444643277845832755596697431885125146159686351743237505財務處房產(chǎn)辦國資辦外事處基建處教師教院教務處科技處離退處校辦設備處后勤保障部圖書館學工處研究生院人事處組織部校友會數(shù)據(jù)孤島已經(jīng)基本打通服務于部門間數(shù)據(jù)交換成功案例介紹–xx師范大學

服務于信息中心綜合業(yè)務數(shù)據(jù)中心8類數(shù)據(jù)集55個數(shù)據(jù)類296個數(shù)據(jù)子類53