電信運營商大數(shù)據(jù)解決方案

1、電信運營商大數(shù)據(jù)解決方案1電信運營商大數(shù)據(jù)解決方案1一數(shù)據(jù)處理技術的演進二主流分析型數(shù)據(jù)庫技術介紹、對比及選型三電信運營商大數(shù)據(jù)平臺2目錄一數(shù)據(jù)處理技術的演進二主流分析型數(shù)據(jù)庫技術介紹、對比及選型三什么是大數(shù)據(jù)大數(shù)據(jù)指不用隨機分析法（抽樣調(diào)查）這樣的捷徑，而采用對所有數(shù)據(jù)進行分析處理的方法維克托邁爾舍恩伯格“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產(chǎn)全球領先的信息技術研究和分析公司Gartner一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉、多樣的數(shù)據(jù)類

2、型和價值密度低四大特征麥肯錫3什么是大數(shù)據(jù)大數(shù)據(jù)指不用隨機分析法（抽樣調(diào)查）這樣的捷徑，而大數(shù)據(jù)4V特征?隨時隨地產(chǎn)生數(shù)據(jù)，數(shù)據(jù)量更大?以“低成本”的方式獲得“可接受” 的數(shù)據(jù)分析結果?Cheap：“廉數(shù)據(jù)”VolumeVariety?數(shù)據(jù)具有多樣性?數(shù)據(jù)來源多、類型多?Multi-X：同一對象多維描述?對處理速度要求更高?實時和在線?Swift：“快數(shù)據(jù)”VelocityValue?價值密度低更多高價值的數(shù)據(jù)產(chǎn)生對有價值數(shù)據(jù)進行“提純”大數(shù)據(jù)的目的BigDataBigMoney4大數(shù)據(jù)4V特征?隨時隨地產(chǎn)生數(shù)據(jù)，數(shù)據(jù)量更大?以“低成本”的數(shù)據(jù)庫技術是大數(shù)據(jù)處理的關鍵?大數(shù)據(jù)處理流程數(shù)據(jù)獲取數(shù)

3、據(jù)ETL數(shù)據(jù)存儲數(shù)據(jù)分析數(shù)據(jù)服務數(shù)據(jù)庫技術是大數(shù)據(jù)的關鍵！5數(shù)據(jù)庫技術是大數(shù)據(jù)處理的關鍵?大數(shù)據(jù)處理流程數(shù)據(jù)獲取數(shù)據(jù)ET數(shù)據(jù)處理技術的演進分布式技術提出谷歌提出分布式文件系統(tǒng)、分布式數(shù)據(jù)庫和分布式計算框架，奠定大數(shù)據(jù)技術基礎實時計算技術提出流計算、圖計算、交互式分析、內(nèi)存計算等技術不斷演進19952000200520102015SQL/ACID傳統(tǒng)關系型數(shù)據(jù)庫的崛起，提出面向企業(yè)應用的商業(yè)智能，面向數(shù)據(jù)倉庫的數(shù)據(jù)分析（OLAP）技術興起大數(shù)據(jù)Hadoop技術提出開源ApacheHadoop逐漸興起，大幅推進互聯(lián)網(wǎng)大數(shù)據(jù)應用混合技術架構興起Spark、Flink等新一代分析引擎融入大數(shù)據(jù)平臺6數(shù)

4、據(jù)處理技術的演進分布式技術提出谷歌提出分布式文件系統(tǒng)、分布數(shù)據(jù)處理框架的演進RDBMPP數(shù)據(jù)庫Hadoop7數(shù)據(jù)處理框架的演進RDBMPP數(shù)據(jù)庫Hadoop7數(shù)據(jù)處理框架-RDB(Relational Database)?特點單服務器、小型機?集中式數(shù)據(jù)和業(yè)務處理?ACID(Atomicity、Consistency、Isolation、Durability)?Scale-Up?OLTP(On-LineTransactionProcessing)，響應時間敏感?成本低?缺點大數(shù)據(jù)處理性能較差?容災性較差?穩(wěn)定性有局限?業(yè)務和數(shù)據(jù)處理規(guī)模有限?擴展性和靈活性較差?8數(shù)據(jù)處理框架-RDB(Rela

5、tional Database數(shù)據(jù)處理框架-MPP?特點Massively ParallelProcessing?多服務器、多節(jié)點，多任務并行執(zhí)行?數(shù)據(jù)分布式存儲和計算?ACID?Scale-out?OLAP(Online AnalyticalProcessing)?商業(yè)化?缺點擴展規(guī)模有限?對并發(fā)的支持有限?節(jié)點增刪維護工作較復雜?不支持非結構化數(shù)據(jù)?成本較高?9數(shù)據(jù)處理框架-MPP?特點Massively ParalleHadoop生態(tài)系統(tǒng)Hadoop，允許使用簡單的編程模型，以跨集群分布式的方式，處理大型數(shù)據(jù)集。具有可靠、高效、可伸縮的特點。它的目的，是從單一的服務器到上千臺機器進行擴展

6、，從而利用各自的本地計算和存儲資源。是一個能夠讓用戶輕松構建和使用的分布式計算平臺。用戶可以輕松地在Hadoop上開發(fā)和運行處理海量數(shù)據(jù)的應用程序。Hadoop在應用層面檢測與處理各類錯誤，因此能夠在一個集群內(nèi)實現(xiàn)高可用性。并且Hadoop已經(jīng)成為大數(shù)據(jù)行業(yè)的標準，形成了一個健康活躍的生態(tài)系統(tǒng)?？煽啃?、高擴展性、高效性、高容錯性、低成本。10Hadoop生態(tài)系統(tǒng)Hadoop，允許使用簡單的編程模型，以數(shù)據(jù)處理框架-Hadoop?特點?多服務器、多節(jié)點的集群架構?大數(shù)據(jù)多任務的分布式處理?HDFS(HadoopDistributedFileSystem)分布式文件系統(tǒng)、流式訪問?MapReduc

7、e曹沖稱象，分而治之?可靠、高效、高擴展（Scale-out）、高容錯、低成本?可處理多種格式數(shù)據(jù)源，非結構化、半結構化數(shù)據(jù)?開源?缺點?對SQL的支持有限?無法高效存儲大量小文件?不支持多用戶寫入及任意修改文件?缺乏專業(yè)的支持服務11數(shù)據(jù)處理框架-Hadoop?特點?多服務器、多節(jié)點的集群架構數(shù)據(jù)處理框架的對比數(shù)據(jù)庫框架分析性能擴展性容災性數(shù)據(jù)類型業(yè)務場景支持全SQL能異構數(shù)據(jù)整合成本RDB一般較差較差結構化OLTP不支持中等MPP好局限局限結構化OLAP能不支持較高Hadoop好好較好（非）結構化OLAP部分支持低沒有最好的技術，只有最合適的技術。?針對業(yè)務需求“有的放矢”。?12數(shù)據(jù)處理

8、框架的對比數(shù)據(jù)庫框架分析性能擴展性容災性數(shù)據(jù)類型業(yè)務一數(shù)據(jù)處理技術的演進二主流分析型數(shù)據(jù)庫技術介紹、對比及選型三電信運營商大數(shù)據(jù)平臺13目錄一數(shù)據(jù)處理技術的演進二主流分析型數(shù)據(jù)庫技術介紹、對比及選型三移動互聯(lián)網(wǎng)用戶流量激增，手機數(shù)據(jù)化、寬帶化趨勢明顯用戶分布流量分布時間分布移動互聯(lián)網(wǎng)：通信功能= 80：20數(shù)據(jù)來源：Infoma 2013數(shù)據(jù)來源：Cisco 2013數(shù)據(jù)來源：GSMA 2013全球移動互聯(lián)網(wǎng)用戶數(shù)量激增，已3倍于固定互聯(lián)網(wǎng)用戶數(shù)量移動互聯(lián)網(wǎng)流量激增，2012年底，移動互聯(lián)網(wǎng)應用使用時間激增，是移動數(shù)據(jù)流量占比超過13%使用通信服務時間的4倍中國移動互聯(lián)網(wǎng)發(fā)展有相類似的趨勢，截

9、至2013年6月，中國手機網(wǎng)民已達4.6億，上半年移動互聯(lián)網(wǎng)接入流量同比增長62.6%（CNNIC、工信部）移動互聯(lián)網(wǎng)用戶流量激增，手機數(shù)據(jù)化、寬帶化趨勢明顯用戶分布流4G、M2M將大大加快移動網(wǎng)絡數(shù)據(jù)業(yè)務和流量增長4G驅(qū)動流量增長M2M終端數(shù)量大幅度增長2014年，M2M設備數(shù)量接近智能終端4G、M2M將大大加快移動網(wǎng)絡數(shù)據(jù)業(yè)務和流量增長ABI Research 2013.09數(shù)據(jù)來源：Ericsson 2013.11數(shù)據(jù)來源：ABI Research 20122013年4G網(wǎng)絡將占到全球流量的20%，2016年將超過3G網(wǎng)絡流量，2018年將占據(jù)超過2/3的移動網(wǎng)絡流量。2013-2018

10、年，4G流量的年復合增長率達到82.2%。2018年數(shù)據(jù)業(yè)務收入占運營商的份額的47.3%2012年9月Verizon LTE網(wǎng)絡建成不到2年，用戶達到11M，占Verizon用戶總數(shù)約12%，流量消耗占全網(wǎng)流量的35%以上。2013年1月，4G流量占比50%，2013年11月，4G流量超過64%，視頻是主要業(yè)務2017年，全球4G終端產(chǎn)生的數(shù)據(jù)流量是非4G終端的8倍，每月數(shù)據(jù)流量超過10EB 1EB=1000PB（CISCO VNI 2013）4G、M2M將大大加快移動網(wǎng)絡數(shù)據(jù)業(yè)務和流量增長4G驅(qū)動流量面對巨大流量，移動運營商面臨強大的挑戰(zhàn)移動互聯(lián)網(wǎng)服務商專業(yè)SNS超過7.1億用戶超過100

11、萬基站電商點新音評聞SNS樂地問圖答電信運營商博客視優(yōu)惠券圖頻片微博簽論到壇消息經(jīng)分系統(tǒng)數(shù)據(jù)規(guī)模接近10PB每分鐘超過800萬通話每秒上網(wǎng)流量超過40GB每天信令數(shù)據(jù)超過1PB2G、3G、4G、WIFI 管道數(shù)據(jù)類型多樣、數(shù)據(jù)巨大、處理速度要求高，同時也存在質(zhì)量問題，是電信運營商大數(shù)據(jù)的主要來源面對巨大流量，移動運營商面臨強大的挑戰(zhàn)移動互聯(lián)網(wǎng)服務商專業(yè)S需要融合巨大的管道數(shù)據(jù)和業(yè)務數(shù)據(jù)雖然結構化的業(yè)務數(shù)據(jù)雖然價值含量很高，但是管道數(shù)據(jù)卻提供了用戶的數(shù)據(jù)消費、社交網(wǎng)絡、行為軌跡、內(nèi)容偏好等業(yè)務數(shù)據(jù)中無法提供的重要信息，這對用戶刻畫、套餐設計、用戶體驗提升等個人和企業(yè)產(chǎn)品設計所需依據(jù)均有巨大幫助A

12、+Abis信令Mc信令Gn+Gb信令Gn-IuPS信令Wifi、Radius信令4G X2等信令DNS 數(shù)據(jù)語音等業(yè)務數(shù)據(jù)網(wǎng)絡優(yōu)化日志+結構化數(shù)據(jù)決策支持精準營銷業(yè)務創(chuàng)新需要建立采集、存儲、分析、交互等全方位能力，其中既包括傳統(tǒng)已經(jīng)具備的能力，也包括需要新建的大數(shù)據(jù)能力需要融合巨大的管道數(shù)據(jù)和業(yè)務數(shù)據(jù)雖然結構化的業(yè)務數(shù)據(jù)雖然價值互聯(lián)網(wǎng)公司通常采用混合架構解決大數(shù)據(jù)問題互聯(lián)網(wǎng)公司目前主要采用Hadoop、Streaming、RDBMS、NoSQL等技術應對大數(shù)據(jù)4V挑戰(zhàn)，例如Yahoo針對日志數(shù)據(jù)進行兩種處理，并與業(yè)務系統(tǒng)結合（后期嘗試Spark技術）示例：Yahoo數(shù)據(jù)處理流程By Tim T

13、ully (Distinguished Engineer/Architect, Yahoo)/wp-content/uploads/2013/10/Tully-SparkSummit4.pdf互聯(lián)網(wǎng)公司通常采用混合架構解決大數(shù)據(jù)問題互聯(lián)網(wǎng)公司目前主要采大數(shù)據(jù)技術在互聯(lián)網(wǎng)公司得到成功應用Google在全球多個數(shù)據(jù)中心大規(guī)?；旌喜渴鸷驼{(diào)度數(shù)據(jù)處理能力，系統(tǒng)利用率高達80%+，2011年MapReduce系統(tǒng)每天處理1000PB左右輸入數(shù)據(jù)，支撐其核心業(yè)務，包括搜索、廣告、地圖、郵件、社區(qū)等業(yè)務。針對不同的數(shù)據(jù)處理需求提供多種數(shù)據(jù)處理系統(tǒng)。隨著技術能力提高，將大數(shù)據(jù)處理能力服務化。Facebook以

14、Hadoop為基礎建設了包括流計算、實時計算、離線分析在內(nèi)的各種大數(shù)據(jù)系統(tǒng)系統(tǒng)。2012年每天要處理25億條消息、用戶點擊Like按鈕的次數(shù)達到27億次、上傳3億張照片。Graph Search可以檢索10億用戶、2400億圖片和1萬億次訪問。目前已經(jīng)支持多區(qū)域數(shù)據(jù)同步。Facebook Puma每天處理超過200億事件，延遲小于30秒Twitter利用Hadoop和Pig工具完成數(shù)據(jù)的批量分析，并進行決策支持和數(shù)據(jù)挖掘，利用Storm每天實時推送1億活躍用戶的5億消息Amazon為被托管應用提供了多租戶、按使用付費的大數(shù)據(jù)服務，整合了非結構化（S3）、結構化（RDS、SimpleDB、Dyn

15、amoDB）數(shù)據(jù)，通過并行計算EMR能力，將數(shù)據(jù)放入RedShift用于最終的數(shù)據(jù)展現(xiàn)等目的。大數(shù)據(jù)技術在互聯(lián)網(wǎng)公司得到成功應用Google在全球多個數(shù)據(jù)分析型數(shù)據(jù)庫分析型數(shù)據(jù)庫是面向分析應用的數(shù)據(jù)庫，可以對數(shù)據(jù)進行統(tǒng)計分析和即席查詢等挖掘數(shù)據(jù)價值的工作。傳統(tǒng)數(shù)據(jù)庫是以事務處理為主，大數(shù)據(jù)時代的主要應用則是數(shù)據(jù)分析。數(shù)據(jù)庫三大陣營：OldSQL、NoSQL、NewSQL分析NewSQL分析事務互聯(lián)網(wǎng)OldSQL事務NoSQL互聯(lián)網(wǎng)OldSQL一種架構支持多類應用OldSQL+NoSQL+NewSQL多種架構支持多類應用14分析型數(shù)據(jù)庫分析型數(shù)據(jù)庫是面向分析應用的數(shù)據(jù)庫，可以對數(shù)據(jù)進大數(shù)據(jù)下的分

16、析型數(shù)據(jù)庫OldSQLNewSQLNoSQL?行存儲?列式存儲?列式存儲?關系型?關系型?Key-Value?ACID?ACID?靈活性?SMP?MPP?MPP?分布式計算，分布式文件系統(tǒng)?內(nèi)存計算（InMemoryComputing）?新的硬件：FlashCard，SSD，高速網(wǎng)絡、Infiniband15大數(shù)據(jù)下的分析型數(shù)據(jù)庫OldSQLNewSQLNoSQL?行OldSQL?OldSQL是指傳統(tǒng)的關系型數(shù)據(jù)庫，借助于數(shù)學概念和方法來處理數(shù)據(jù)。數(shù)據(jù)規(guī)范化：關系型數(shù)據(jù)庫的數(shù)據(jù)存儲是為了更高的規(guī)范性，把數(shù)據(jù)分隔成最小的邏輯表(關系表)以避免重復，獲得最精簡的空間利用。事務性：SQL數(shù)據(jù)庫支持對

17、事務原子性細粒度控制，并且易于回滾事務。16OldSQL?OldSQL是指傳統(tǒng)的關系型數(shù)據(jù)庫，借助于NewSQL?NewSQL是對各種新的可擴展、高性能的關系型數(shù)據(jù)庫的統(tǒng)稱。既能夠提供OldSQL的質(zhì)量保證，也能提供較強的可擴展性。17NewSQL?NewSQL是對各種新的可擴展、高性能的關系NoSQL?。?大數(shù)據(jù)類型的多元化急速增長，OldSQL不滿足分布式技術架構的適用性NotOnlySQL，泛指非關系型的分布式數(shù)據(jù)庫。18NoSQL?。?大數(shù)據(jù)類型的多元化急速增長，OldSQL不滿OldSQL&NoSQL&NewSQL總結海量數(shù)據(jù)實時分析Vertica/Impala19OldSQL&No

18、SQL&NewSQL總結海量數(shù)據(jù)實時分析V目前主流分析型數(shù)據(jù)庫對比類型存儲方式運算方式系統(tǒng)架構支持SQLOldSQL行/列式存儲磁盤RDBMS支持較差較差傳統(tǒng)數(shù)據(jù)分析Scale-up商業(yè)OldSQL行式存儲磁盤RDBMS支持較差較差WEB應用Scale-up開源OldSQL行式存儲內(nèi)存RDBMS支持一般較差低成本內(nèi)存運算Scale-up商業(yè)NoSQL分布式文檔存儲內(nèi)存/磁盤C/S分布式集群不支持較好較好對象存儲及處理Scale-out開源NoSQL分布式K-V存儲內(nèi)存/磁盤C/S分布式集群不支持較好較好數(shù)據(jù)鍵值關系突出Scale-out開源NoSQL分布式列式存儲內(nèi)存/磁盤Hadoop需插件好

19、好海量存儲與擴展Scale-out開源NoSQL分布式HDFS內(nèi)存Hadoop類SQL很好好實時分析Scale-out開源NoSQL分布式HDFS磁盤Hadoop類SQL好好批處理分析Scale-out開源NewSQL行式存儲磁盤C/S分布式集群支持好較好二次訂制開發(fā)Scale-up開源NewSQL分布式存儲磁盤MPP支持好好數(shù)據(jù)倉庫Scale-out開源NewSQL分布式列式存儲內(nèi)存/磁盤MPP支持很好好即席查詢Scale-out商業(yè)20大數(shù)據(jù)處理能力容災性應用場景擴展性開放性目前主流分析型數(shù)據(jù)庫對比類型存儲方式運算方式系統(tǒng)架構支持SQ分析型數(shù)據(jù)庫選型思路成本可擴展性數(shù)據(jù)查詢能力穩(wěn)定性&容災

20、能力架構選擇數(shù)據(jù)分析運算能力數(shù)據(jù)存儲方式?jīng)Q定性因素關鍵因素一般因素分析需求數(shù)據(jù)格式21分析型數(shù)據(jù)庫選型思路成本可擴展性數(shù)據(jù)查詢能力穩(wěn)定性&容災能力一數(shù)據(jù)處理技術的演進二主流分析型數(shù)據(jù)庫技術介紹、對比及選型三電信運營商大數(shù)據(jù)平臺22目錄一數(shù)據(jù)處理技術的演進二主流分析型數(shù)據(jù)庫技術介紹、對比及選型三一大數(shù)據(jù)平臺總體架構二運行分析視圖三規(guī)劃支撐視圖四決策支撐視圖23目錄一大數(shù)據(jù)平臺總體架構二運行分析視圖三規(guī)劃支撐視圖四決策支撐視電信運營商大數(shù)據(jù)平臺-背景網(wǎng)絡建設初期階段?階段一：先期基于路測數(shù)據(jù)、投訴數(shù)據(jù)進行簡單分析；后引入MR數(shù)據(jù)進行深度覆蓋分析；?階段二：網(wǎng)絡規(guī)劃建設簡單、粗糙，直接在空白區(qū)域建設

21、。網(wǎng)絡精細化建設階段?基于現(xiàn)網(wǎng)23類運行數(shù)據(jù)，建立了基于移動網(wǎng)絡“O域+B域”數(shù)據(jù)的分析方法體系；?在長春、成都、重慶、廣州、蘭州、上海6重要城市進行推廣和驗證。?探索六城市精細化建設支撐，并固化方法模型。大數(shù)據(jù)平臺化階段?基于“以我為主、自主研發(fā)”原則，搭建大數(shù)據(jù)分析平臺，進行迭代式開發(fā)，實現(xiàn)方法固化。?逐步實現(xiàn)全網(wǎng)數(shù)據(jù)的統(tǒng)一采集、解析與存儲管理；?開發(fā)大數(shù)據(jù)平臺，實現(xiàn)規(guī)?；⒕珳驶ㄔO支撐。?缺乏針對用戶、業(yè)務和終端進行深入關聯(lián)分析；通過運行數(shù)據(jù)挖掘分析，實現(xiàn)網(wǎng)絡優(yōu)化精準分析、提升網(wǎng)絡建維優(yōu)的精準性和有效性24電信運營商大數(shù)據(jù)平臺-背景網(wǎng)絡建設初期階段?階段一：先期基于電信運營商大數(shù)據(jù)平臺

22、-建設總體思路分析關聯(lián)要素B側價值發(fā)現(xiàn)人在哪用戶群體的行為軌跡分析3G4G干什么用戶群體特征分析分析定位問題支撐引導規(guī)劃怎么樣不同業(yè)務體驗分析維度接口時間O側網(wǎng)絡定位小區(qū)覆蓋能力評估終端網(wǎng)絡性能、質(zhì)量網(wǎng)絡性能反饋網(wǎng)絡問題業(yè)務用戶投訴區(qū)域三大落地支撐網(wǎng)絡運維優(yōu)化，改善網(wǎng)絡質(zhì)量支撐網(wǎng)絡規(guī)劃建設，提高資源投放精準度支撐客戶維系，場支撐精準市推廣25電信運營商大數(shù)據(jù)平臺-建設總體思路分析關聯(lián)要素B側價值發(fā)現(xiàn)人電信運營商大數(shù)據(jù)平臺-方法體系全面梳理序號分類123456789OSS側10數(shù)據(jù)1112131415161718192021222323類數(shù)據(jù)系統(tǒng)建立現(xiàn)網(wǎng)分析方法體系-數(shù)據(jù)源序號分類分析模塊1無線

23、側資源情況基礎數(shù)據(jù)2網(wǎng)絡覆蓋DT/CQT數(shù)據(jù)3資源瓶頸IU-PS（掛表采集）/Gn數(shù)據(jù)網(wǎng)絡與資4網(wǎng)絡性能CDR（平臺采集）源5網(wǎng)絡結構MR數(shù)據(jù)6多網(wǎng)協(xié)同無線話統(tǒng)數(shù)據(jù)7終端情況無線參數(shù)8用戶情況核心網(wǎng)參數(shù)9用戶畫像告警數(shù)據(jù)10用戶與終群體特征分析無線側呼叫記錄數(shù)據(jù)端114G轉網(wǎng)用戶分析設備版本及補丁12感知分析設備與板卡負荷數(shù)據(jù)13用戶軌跡無線COUNTER數(shù)據(jù)業(yè)務情況核心網(wǎng)報表數(shù)據(jù)（核心網(wǎng)COUNTER 14業(yè)務與應15業(yè)務分布及特征數(shù)據(jù)）用16業(yè)務質(zhì)量投訴數(shù)據(jù)17趨勢分析話單數(shù)據(jù)18聯(lián)合分析配套資源配置及運行情況19資源重點投放用戶信息綜合專題20LTE部署區(qū)域月度話單數(shù)據(jù)21LTE站址分析

24、BSS側數(shù)語音詳單22流量經(jīng)營數(shù)據(jù)詳單據(jù)23總覽總覽套餐信息24簡報簡報終端數(shù)據(jù)庫24個分析模塊全方位支撐-項目室內(nèi)外站、建筑物、物理站址分析下行覆蓋、上行干擾、上行干擾分析網(wǎng)絡資源、空口效率、載波負荷分析網(wǎng)絡側性能指標、問題小區(qū)分析站高、站密、重疊覆蓋、有效性分析2、3、4G多網(wǎng)絡協(xié)同分析終端統(tǒng)計、終端與用戶及業(yè)務分析用戶情況總體分析用戶屬性、消費、時間、業(yè)務等標簽用戶結構及用戶偏好分析4G轉網(wǎng)用戶及潛在4G用戶分析用戶各類業(yè)務感知分析各級別用戶遷徙及單用戶軌跡分析語音數(shù)據(jù)業(yè)務、分類主流業(yè)務分析總體業(yè)務情況及分類業(yè)務情況語音、CSFB、數(shù)據(jù)業(yè)務質(zhì)量分析小區(qū)數(shù)、用戶數(shù)、業(yè)務量等發(fā)展趨勢覆蓋、結

25、構、資源、感知綜合分析場景、網(wǎng)格、扇區(qū)等區(qū)域價值分析LTE部署區(qū)域及部署建議分析LTE站址可用性及合理性分析終端、流量、閑時包及業(yè)務內(nèi)容營銷資源、用戶、業(yè)務、網(wǎng)絡、終端總覽全國級及省級基本簡報和自定義簡報10個應用方向用戶畫像、聚類及簽轉分析用戶基于軌跡和感知的投訴支撐用戶黏性和潛在離網(wǎng)預判業(yè)務主流業(yè)務的感知分析及回溯各粒度價值區(qū)域分析網(wǎng)絡質(zhì)量性能預警及回溯網(wǎng)絡網(wǎng)絡調(diào)整與技術演進支撐多維度的網(wǎng)絡規(guī)劃方案終端終端特征、性能評估體系流量經(jīng)營支撐經(jīng)營26電信運營商大數(shù)據(jù)平臺-方法體系全面梳理序號分類1234567電信運營商大數(shù)據(jù)平臺-平臺能力平臺能力?可實現(xiàn)對2/3/4G現(xiàn)網(wǎng)各接口及設備數(shù)據(jù)的解析能

26、力，能夠滿足現(xiàn)網(wǎng)網(wǎng)絡優(yōu)化需求；可滿足全國B+O數(shù)據(jù)的存儲與處理；實現(xiàn)一體化解析、存儲與管理；與數(shù)據(jù)中心共享資源，著重網(wǎng)絡分析應用；?具備商業(yè)智能數(shù)據(jù)分析能力，可對外開放接口，實現(xiàn)海量數(shù)據(jù)的可視化分析；?5*N：滿足縱向從集團到省、市、縣、網(wǎng)格，橫向從N個專業(yè)線條的多層次、全鏈條支撐需求，同時可逐步對外部行業(yè)應用需求進行適配。網(wǎng)絡資源精準投放基于投訴問題定位內(nèi)部現(xiàn)網(wǎng)用戶維系精準營銷API接口開放外部各行業(yè)應用27電信運營商大數(shù)據(jù)平臺-平臺能力平臺能力?可實現(xiàn)對2/3/4電信運營商大數(shù)據(jù)平臺-平臺架構元數(shù)據(jù)管理輔助業(yè)務應用輔助開發(fā)運維元數(shù)據(jù)共享元數(shù)據(jù)分析元數(shù)據(jù)共享元數(shù)據(jù)存儲元數(shù)據(jù)采集元模型管理網(wǎng)絡

27、規(guī)劃仿真可研/技術方案設計/施工/后評價評估優(yōu)化數(shù)據(jù)展現(xiàn)層GIS呈現(xiàn)圖表表格中間層Job調(diào)度數(shù)據(jù)調(diào)度查詢轉換數(shù)據(jù)共享查詢代理數(shù)據(jù)采集代理GIS引擎MPP數(shù)據(jù)庫OLTPHIVESQLSAS數(shù)據(jù)處理層MapReduce內(nèi)存數(shù)據(jù)庫SPARKRModelerB側數(shù)據(jù)解析A/Iu口解析C/D口解析COUNTER解析B側預統(tǒng)ETL層Gn口解析IuPS解析S1口解析MR解析Gn預統(tǒng)MR性能終端數(shù)據(jù)KPI參數(shù)數(shù)據(jù)層賬單詳單CDRIuPS基礎投訴業(yè)務位置負荷版本網(wǎng)優(yōu)平臺BSS系統(tǒng)上網(wǎng)詳單系統(tǒng)網(wǎng)管系統(tǒng)掛表采集數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量改進數(shù)據(jù)質(zhì)量監(jiān)控數(shù)據(jù)質(zhì)量分析核查指標管理質(zhì)量問題管理核查執(zhí)行調(diào)度數(shù)據(jù)質(zhì)量模型管理數(shù)據(jù)質(zhì)

28、量信息采集28電信運營商大數(shù)據(jù)平臺-平臺架構元數(shù)據(jù)管理輔助業(yè)務應用輔助開發(fā)一大數(shù)據(jù)平臺總體架構二運行分析視圖三規(guī)劃支撐視圖四決策支撐視圖29目錄一大數(shù)據(jù)平臺總體架構二運行分析視圖三規(guī)劃支撐視圖四決策支撐視1、端到端網(wǎng)絡優(yōu)化整體思路貫通“端管云”的全鏈條網(wǎng)絡優(yōu)化支撐方案，為端到端網(wǎng)絡優(yōu)化的各個環(huán)節(jié)提供數(shù)據(jù)分析支撐。用戶終端無線接入核心網(wǎng)絡應用服務?終端情況終端性能分析?網(wǎng)絡覆蓋網(wǎng)絡資源多網(wǎng)協(xié)同聯(lián)合分析站址合理性?參數(shù)核查網(wǎng)絡性能?業(yè)務質(zhì)量IMSI端LAC/CIRNC_IPSGSN_IP管GGSN_IPDST_IPDNS_IP云SP_IP301、端到端網(wǎng)絡優(yōu)化整體思路貫通“端管云”的全鏈條網(wǎng)絡2、

29、端到端網(wǎng)絡優(yōu)化終端情況和終端性能?端終端情況：結合B側數(shù)據(jù)、核心網(wǎng)用戶面數(shù)據(jù)及終端庫，實現(xiàn)針對終端類型、品牌、制式和能力等方面聚類統(tǒng)計和地理化呈現(xiàn)。終端性能：建立終端無線性能評價體系，對現(xiàn)網(wǎng)主流活躍終端進行網(wǎng)絡性能評判，支撐網(wǎng)優(yōu)建設、優(yōu)化的有效性投放。?終端情況多種GIS展現(xiàn)形式終端用戶業(yè)務三個維度聯(lián)合分析01%終端性能基于RNC呼叫記錄及各類不同事件原因進行分類統(tǒng)計，針對終端建立無線網(wǎng)絡性能評價機制，進行量化參考。-1150異常比例低，EcIo高02%I950003%04%05%06%iPad(A1430)iPadmini(A1490)華為E5220s-1異常比例高，EcIo高07%三星GT

30、-I9502 三星SM-N9002 三星GT-iPhone4S(A1387)-1250iPadAir(A1475) -1350三星SM-N9005 iPhone5C(A1529)iPhone4S(A1431)iPhone5C(A1526)iPhone5S(A1528)iPhone4S(A1387)iPhone5S(A1530)三星GALAXYNOTE2GT-N7100iPhone 15(A429)OPPOOPPOX909三星GALAXYS4GT-I9500華為AscendG730三星SM-G3502I iPhone5S(A1533)三星GT-I9082Phone5(A1428)三星GT-I93

31、00iPhone5A1429i00MI2012121UHTCD816wGNexus5TechwishTR105MI2012061三星GT-I9152LI2013012 MMMI-IONEPlus1聯(lián)想A820iPhone4(A332)MI2SHTC802wiPhone4(A1332)三星GT-N7100魅族M040酷派7295A三星SM-G3502 iPadmini(A1455)三星SM-N900 iPad2A1396三星SM-N9006三星SM-G9006V HTCPG58130三星GT-N7102魅族MXM353三星GT星SM-G7106 -三I9082i派7295+聯(lián)想A850 酷MI2

32、0131212014012ZTEAD3812SonyXperiaC酷派7295華為G610-U00比較各品牌終端的綜合表現(xiàn)華為G750-T00華為G700-0.000.0%-2.00-4.00-6.000.2%MI2013023 酷派72690.4%0.6%0.8%1.0%1.2%1.4%1.6%1.8%2.0%-1450honor3C酷派7295 魅族MXM351-1550三星GT-I9100GHTCT528wYUGEC三星GT-I9100三星GT-S7562 WM630MI2012052三星GT-I8262D三星GT-I8552三星GT-S7562i三星SM-G3812三星GALAXYWI

33、NGT-I8552酷派7296華為G520-0000-8.00-10.00-12.00篩選個別型號表現(xiàn)差終端iPad(A1430)三星SM-N900202三星GT-I9O5三星GALAXYNT2-18PhneE4SG(AT3星GT-I91o5iP三admnii(A40055)三星SM-N900三星GT-IX0Y8S24GT-I9500ALA9N7100HTCD67)81w三0GTT-三921I30MI20星1211TechwishIR0星02G506T1-I91522MIM聯(lián)I想-OAN8E2P0uls)MM2I2S013012星GHTC-N8iP701h2w0o0ne4(A13三星三SM-N

34、90酷06派7295A魅族三M星04SM0-G35023酷派7295ho7nor3C三星S聯(lián)M想-GA9800酷6V派295iP魅ad2A13H9T6C三PY三GU星5G星G8ES1TCM3-W0I9-M0G876213i006+三星T-N7102族MXM魅3族5M1XM353HTCT52酷w派72三星GTM-SI270華516為220G55220-三星GT-I08262D三星G三T星-I9G1T0-0I8552三星GT-I910G三星T-S7562i96三星GALAXYWINGT-0000MI3WTCT328w三H星GT-S7572三星SM-G3812I8552HTC606w-1650三星G

35、T-S7572HTCT328wM3IW-14.00-16.00iPadmini(A1490ihoniePM5hCo2I(nA0e11535C12(2A125021iPhone4S(A14華為5220sS-1E15Pho5(A53S1ii(A29hone4OPPPiOhOoneiPP4Oa華SdXA(A為90i1r(3A81475)三星M-iiPPPhone5iPhone4(Ton5A為U00iPh4E2A9GD6318e1華華為ZG2750-T00SyonrX0p1e2ia492I)6)5G3e0三星SM-95華為G700-U00酷1)派7LGNexus58 2N9005M0)I2013023

36、(SA(A1)412583)A9sc7)ndG酷7派A133230-1C)307269Redmi1S MI2013029-1750異常比例低，EcIo低HTC606w-18.00-20.00異常比例高，EcIo低312、端到端網(wǎng)絡優(yōu)化終端情況和終端性能?端終端情況：結合B3、端到端網(wǎng)絡優(yōu)化網(wǎng)絡資源和多網(wǎng)協(xié)同?管網(wǎng)絡資源：從業(yè)務量及設備負荷、網(wǎng)絡側資源情況、網(wǎng)絡資源擁塞情況及關聯(lián)分析等多個維度，分別對網(wǎng)絡中小區(qū)的資源使用情況進行分析和呈現(xiàn)。多項協(xié)同：通過對2/3/4G網(wǎng)絡性能的綜合分析，反應2/3/4G網(wǎng)絡業(yè)務、終端、用戶的協(xié)同發(fā)展狀況。?網(wǎng)絡資源多維度可選的網(wǎng)重點扇區(qū)詳絡資源橫向?qū)Ρ燃毿畔@取

37、高負荷及擁塞小區(qū)一目了然分析粒度小區(qū)扇區(qū)任意切換多網(wǎng)協(xié)同天面維度分段指標展示多個組合維度分析234G網(wǎng)間協(xié)同全面的網(wǎng)間協(xié)同指標展示323、端到端網(wǎng)絡優(yōu)化網(wǎng)絡資源和多網(wǎng)協(xié)同?管網(wǎng)絡資源：從業(yè)務4、端到端網(wǎng)絡優(yōu)化聯(lián)合分析和站址合理性?管聯(lián)合分析：結合現(xiàn)網(wǎng)覆蓋、結構、感知、資源各方面分析結果，針對每個扇區(qū)給出優(yōu)化建議，為現(xiàn)網(wǎng)實際規(guī)劃優(yōu)化提供參考。站址合理性：建立終端無線性能評價體系，對現(xiàn)網(wǎng)主流活躍終端進行網(wǎng)絡性能評判，支撐網(wǎng)優(yōu)建設、優(yōu)化的有效性投放。?聯(lián)合分析重點小區(qū)鉆取詳細信息，明確問題所在站址合理性網(wǎng)格維度匯總問題扇區(qū)，提供優(yōu)化建議從結構和覆蓋兩GIS展示各方面綜合評定各級別小區(qū)小區(qū)站址合理性綜

38、合感知、覆蓋、結構、資源四方面給出扇區(qū)聯(lián)合分析結果334、端到端網(wǎng)絡優(yōu)化聯(lián)合分析和站址合理性?管聯(lián)合分析：結合5、端到端網(wǎng)絡優(yōu)化業(yè)務質(zhì)量云指標呈現(xiàn)原因排查聯(lián)合定位分析處理?業(yè)務質(zhì)量：采用信令面XDR數(shù)據(jù)對語音業(yè)務、數(shù)據(jù)業(yè)務以及其他各類業(yè)務的運行質(zhì)量，指導網(wǎng)絡優(yōu)化與規(guī)劃。從用戶/終端/網(wǎng)元等維度呈現(xiàn)業(yè)務質(zhì)量指標從數(shù)據(jù)流程和信令流程維度分析異常情況成因從地理維度定位小區(qū)，從地址維度定位網(wǎng)元針對發(fā)現(xiàn)的問題提出進一步核查與處理的建議問題網(wǎng)元定位查找分析呈現(xiàn)TOP網(wǎng)元問題原因分析鉆取345、端到端網(wǎng)絡優(yōu)化業(yè)務質(zhì)量云指標呈現(xiàn)原因排查聯(lián)合定位分析6、投訴跟蹤處理投訴分析投訴收集投訴挖掘原因定位優(yōu)化建設投訴分

39、析從投訴時間、位置、原因、類別、等級、客戶等多個維度綜合分析投訴數(shù)據(jù)，全面呈現(xiàn)投訴問題分布，輔助問題查找。投訴信息一鍵導出多維度分析全網(wǎng)投訴356、投訴跟蹤處理投訴分析投訴收集投訴挖掘原因定位優(yōu)化建設7、投訴跟蹤處理用戶畫像投訴收集投訴挖掘原因定位優(yōu)化建設常見投訴問題?時間地點提供不清問題描述太過模糊我今天上午在XX大廈附近上網(wǎng)，網(wǎng)絡總是不好，圖片顯示不出來。?查詢投訴用戶的手機號碼快速定位用戶用戶畫像109種標簽描繪每個用戶提供6大類用戶標簽的選擇多重篩選定位具體用戶自然屬性：性別、年齡用戶屬性：VIP等級、入網(wǎng)時長、簽約套餐消費屬性：ARPU、MOU、DOU終端屬性：終端型號、終端能力偏好

40、屬性：業(yè)務偏好、時間偏好、地理偏好367、投訴跟蹤處理用戶畫像投訴收集投訴挖掘原因定位優(yōu)化建設8、投訴跟蹤處理用戶軌跡和感知分析投訴收集投訴挖掘原因定位優(yōu)化建設用戶軌跡?B+O感知分析多種形式展示不同維度分析結果?個體軌跡輔助定位單個用戶、查找用戶投訴具體位置。群體軌跡分析群體的地理聚集度及業(yè)務聚集度，評價不同區(qū)域的群體分布。個體用戶軌跡點群體用戶軌跡趨勢圖?用戶軌跡結合用戶感知，B側及O側數(shù)據(jù)關聯(lián)分析，精準定位用戶投訴問題的精確時間及位置。378、投訴跟蹤處理用戶軌跡和感知分析投訴收集投訴挖掘原因定9、投訴跟蹤處理網(wǎng)絡性能和網(wǎng)絡穩(wěn)定性投訴收集投訴挖掘原因定位優(yōu)化建設網(wǎng)絡性能從接入性、保持性、

41、移動性、完整性、互操作等角度全方位評估網(wǎng)絡性能。數(shù)據(jù)、圖表、GIS多問題小區(qū)分析直維度聯(lián)合展示指標接篩選質(zhì)差小區(qū)網(wǎng)絡穩(wěn)定性深入分析斷站、退服等影響用戶感知的故障告警，輔助查找網(wǎng)絡穩(wěn)定性問題。斷站次數(shù)及時長分析斷站原因分析?從用戶感知映射網(wǎng)絡問題，從網(wǎng)絡覆蓋、性能、穩(wěn)定性多方位定位網(wǎng)絡問題，完成KQI到KPI的轉化。389、投訴跟蹤處理網(wǎng)絡性能和網(wǎng)絡穩(wěn)定性投訴收集投訴挖掘原因10、投訴跟蹤處理優(yōu)化建設投訴收集用戶投訴為出發(fā)點?以投訴為切入點，通過用戶感知查找網(wǎng)絡問題，不斷推進網(wǎng)絡優(yōu)化建設。支撐運維優(yōu)化建設?從需求熱點、投訴重點、網(wǎng)絡短板等分析結論出發(fā)，提升運維優(yōu)化水平。投訴挖掘原因定位優(yōu)化建設?

42、從客戶投訴/用戶感知入手，提升網(wǎng)絡整體支撐保障能力與客戶感知。?以解決客戶投訴為核心，發(fā)現(xiàn)感知問題，查找網(wǎng)絡原因，指導優(yōu)化建設，形成網(wǎng)絡優(yōu)化閉環(huán)。感知問題投優(yōu)化建設訴網(wǎng)絡問題3910、投訴跟蹤處理優(yōu)化建設投訴收集用戶投訴為出發(fā)點?以投云計算是挖掘大數(shù)據(jù)價值的核心基礎傳統(tǒng)數(shù)據(jù)分析處理基于云計算的大數(shù)據(jù)處理DBMSDWUnstructureClustertransactionETLAnalysisAnalysisStreamMultiple data sources(MapReduce)?面向結構化數(shù)據(jù)，非結構化處理效率低?具備結構化/非結構化混合分析的能力,大數(shù)據(jù)多為非結構化?基于機昂貴硬件（小

43、型機+磁盤陣列）或一體?基于高性能、高可靠性硬件保障系統(tǒng)性能和可靠性。消費級硬件，以常態(tài)化硬件故障為設計出發(fā)點，不依賴?硬件平臺兼容性差件環(huán)境下常常無法部署：在跨代硬件或跨廠商硬?基于通用硬件，平臺兼容性好，可跨代，跨廠商硬件部署?擴展性高，業(yè)內(nèi)有上萬節(jié)點級部署案例，大陸有千節(jié)點級部?擴展性達到PB級之上可選廠商較少，易綁定署Traditional DB/DW MPP DW+HadoopTBPBDistributed architectureEB ?ZB46云計算是挖掘大數(shù)據(jù)價值的核心基礎傳統(tǒng)數(shù)據(jù)分析處理基于云計算的中國移動“大云”2.5 云計算平臺結算集中化經(jīng)分經(jīng)分系統(tǒng)ETL/DM系統(tǒng)信令系

44、統(tǒng)網(wǎng)應用物聯(lián)移動互聯(lián)網(wǎng)資源池系統(tǒng)云計算業(yè)務平臺IDC服務2.0產(chǎn)品體系2.5新增產(chǎn)品2.5功能增強PaaS 產(chǎn)品“大云”產(chǎn)品IaaS 產(chǎn)品數(shù)據(jù)管理/分析類實時交易類商務智能平臺BI-PaaS計算/存儲資源池SQL并行數(shù)據(jù)挖BC-RDB數(shù)據(jù)庫搜索引擎彈性計算掘工具集并行數(shù)據(jù)BC-SEBC-ECBC-PDM抽取轉換BC-ETLK-VBC-HugeTable數(shù)據(jù)倉庫系統(tǒng)BC-kvDB數(shù)據(jù)庫CloudMaster系統(tǒng)監(jiān)臺控安和全管管理CloudSecurity平理BC-BSP 數(shù)據(jù)并行框架BC-oNest對象存儲彈性塊存儲BC-EBS內(nèi)存處理引擎BC-Hadoop數(shù)據(jù)存儲和分析平臺BC-DME47中國

45、移動“大云”2.5 云計算平臺結算集中化經(jīng)分經(jīng)分系統(tǒng)ET分交大數(shù)據(jù)基礎平臺（BC-Hadoop & BC-HBase）I析易云計APP算AAA管SAASS理BC-HadoopBC-Hadoop：開源社區(qū)有很多將所需的特性打包形成獨特的大數(shù)據(jù)平臺產(chǎn)品Hadoop的發(fā)布，但是沒有一項可以滿足大云現(xiàn)有數(shù)據(jù)分析需求。BC-Hadoop應用，包括HugeTable、PDM、BC-SE等?大規(guī)模：據(jù)集群支持4000節(jié)點組成單個大數(shù)HBase 分布式NoSQL數(shù)據(jù)庫?高性能：監(jiān)控和管理工具性擴展提供聚合的IO訪問能力，線?多租戶：相對隔離的手段提供多用戶計算和存儲能力MapReduce 并行計算框架?高可用

46、：提供Hadoop主控節(jié)點，即NameNode和Job Tracker的高可用能力?標準接口HDFS 分布式文件系統(tǒng)的接口不兼容，提供向下兼容的接口：消除開源Hadoop升級造成/cmri/48分交大數(shù)據(jù)基礎平臺（BC-Hadoop & BC-HBase分交圖計算平臺（BC-BSP）I析易云APP計算AAA管SAASS理BC-BSP挖掘需求而研發(fā)的并行計算框架，針對迭代計算，計算效率優(yōu)于：針對社交網(wǎng)絡分析、用戶精準營銷、搜索引擎PageRankMapReduce計算等圖計算領域的數(shù)據(jù)框架MasterBSPRun a JobBSPSummit JobBSP產(chǎn)品特性ProgramJobClient

47、MasterInitialize?Job搜索引擎PageRank、Client最短路徑等算法需大taeHeart BeatB量迭代計算，基于MR traeH實現(xiàn)具有較大數(shù)據(jù)同步開銷；BSP并行計算模型更適于圖、矩陣ZooKeeperWorkerServerWorkerServerBSPPeerBSPPeerBSPPeerBSPPeer計算； trtttLaunch ttaaraeeaeTasks.rtrtLaunch?支持大規(guī)模集群，可aaaaHBeHBeeeeTasks以達到4000節(jié)點HBHBBarrier?支持海量數(shù)據(jù)計算，Synchronization用戶迭代步驟可以設WorkerTa

48、skWorkerWorkerTaskWorkerTaskWorkerTaskBarrierServerServerWorkerServerWorkerServerServerServerServerWorker定ServerSynchronization?提供用戶開發(fā)接口，Worker1Worker n一方面可以與BC-PDM系統(tǒng)整合，一方面也可以單獨使用/cmri/49分交圖計算平臺（BC-BSP）I析易云APP計算AAA管SA海量結構化數(shù)據(jù)存儲系統(tǒng)（HugeTable）IAAS分析PAAS交易PAAS云計算管理基于Hadoop的海量結構化數(shù)據(jù)存儲系統(tǒng)，利用低成本硬件提供高性能的數(shù)據(jù)加載、索

49、引查詢和并行分析能力，對外提供易于應用集成的數(shù)據(jù)訪問接口?大容量：支持PB級別的數(shù)據(jù)存儲能力?低成本：基于PC架構，不需要外接集中存儲設備?高性能：秒級別索引查詢、數(shù)據(jù)并行掃描?可靠性：數(shù)據(jù)冗余備份永不丟失；全系統(tǒng)無單點?可定制：根據(jù)應用需求選擇索引類型及存儲引擎?接口豐富：提供標準的JDBC/ODBC/ SQL接口；提串行Scan接口和分布式MapReduce接口?外圍工具：支持數(shù)據(jù)、性能、故障、配置、日志管理功能；支持外部數(shù)據(jù)并行加載；支持數(shù)據(jù)快速備份、恢復海量結構化數(shù)據(jù)存儲系統(tǒng)（HugeTable）IAAS分析PA分交分布式NoSQL數(shù)據(jù)庫（BC-KVDB）I析易云APP計AAA算SAA

50、管SS理BC-RDB強系統(tǒng)操作維護功能、優(yōu)化性能并提高系統(tǒng)可靠性。提供一個高并發(fā)、高可擴展的鍵值對存：根據(jù)訂購關系存儲(閱讀基地)、用戶個人信息存儲(彩云)等應用需求和相關規(guī)范，增儲系統(tǒng)。Zk節(jié)點集群Master節(jié)點集群ClientzkzkMM?大規(guī)模：支持Root file Root file RS1Clientindexindex.RS2成統(tǒng)一數(shù)據(jù)庫1000節(jié)點組網(wǎng)形zkMClient?高性能：支持讀寫緩存，提供告客戶端子系統(tǒng)元數(shù)據(jù)管理子系統(tǒng)訴的數(shù)據(jù)讀寫能力，支持高性能硬件優(yōu)化網(wǎng)絡通信管理組件?一致性：支持數(shù)據(jù)強一致性和最終一致性?可靠性：數(shù)據(jù)冗余備份永不丟失Root fileMeta f

51、ileKV-Range；全系統(tǒng)無單點RangerServer服務層RangerServer服務層RangerServer服務層?數(shù)據(jù)模式：提供支持存儲引擎訪問控制接口層存儲引擎訪問控制接口層存儲引擎訪問控制接口層Query義的復雜數(shù)據(jù)定義schema定CellCache存儲引擎存儲引擎CacheSSD?外圍工具：支持數(shù)據(jù)、性能、故存儲引擎障、配置、日志管理功能；支持存儲節(jié)點存儲節(jié)點DataFile外部數(shù)據(jù)并行加載；支持數(shù)據(jù)快速備份、恢復存儲節(jié)點存儲節(jié)點集群子系統(tǒng)51分交分布式NoSQL數(shù)據(jù)庫（BC-KVDB）I析易云APP計分交分布式關系數(shù)據(jù)庫（BC-RDB）I析易云APP計AAA算管SAAS

52、S理BC-RDB高可用的特性。主要應用于海量數(shù)據(jù)的實時在線交易處理系統(tǒng)。是一款分布式關系數(shù)據(jù)庫。即具有關系數(shù)據(jù)庫的特性，同時具備可擴展、SQL92，傳統(tǒng)交易型應用可實現(xiàn)平滑遷移BC-RDB支持海量數(shù)據(jù)的高性能多節(jié)點術使得在海量數(shù)據(jù)存儲下獲得高性能。并行計算和多節(jié)點并行加載技處理應用服務器高擴展性采用水平擴展share nothing，設計容量架構，可以64節(jié)點動態(tài)負載均衡管理終端高可用性存儲采用節(jié)點內(nèi)置硬盤，提供三副本，保障數(shù)據(jù)及服務的高可用性低成本采用置大容量硬盤，可搭建在廉價的X86集群架構，存儲采用節(jié)點內(nèi)節(jié)點1節(jié)點NZK1ZK MDBXA監(jiān)控系統(tǒng)集群上，成本遠遠低于UNIX系統(tǒng)PC機集群

53、可以部署于自帶硬盤的分布式事采用兩階段提交分布式事務，務支持節(jié)點數(shù)據(jù)之間的完整性和一致性保證多務器，不需要小型機和磁盤陣列x86服時保證用戶操作的事務性，同52分交分布式關系數(shù)據(jù)庫（BC-RDB）I析易云APP計AAA算并行數(shù)據(jù)挖掘系統(tǒng)（BC-PDM）IAAS分析PAAS交易PAAS云計算管理BC-PDM：支持SaaS模式的海量數(shù)據(jù)并行處理、分析與挖掘系統(tǒng)。適用于經(jīng)營決策、用戶行為分析、精準營銷、網(wǎng)絡優(yōu)化、移動互聯(lián)網(wǎng)等領域的智能數(shù)據(jù)分析與挖掘應用應用各種海量數(shù)據(jù)處理、挖掘應用主要特點?高效豐富的數(shù)據(jù)ETL操作：支持數(shù)據(jù)清洗、轉換、集成等7大類45種ETL?海量數(shù)據(jù)的挖掘算法：支持分類、聚類、關

54、聯(lián)分析等3大類共15種算法?海量數(shù)據(jù)探索能力：支持數(shù)據(jù)統(tǒng)計、變量分析、分布特征探索等?大規(guī)模社交網(wǎng)絡分析：支持網(wǎng)絡特征分析、社團發(fā)現(xiàn)和演化、社團展示等?多模式數(shù)據(jù)接口：支持與RDB直接交換數(shù)據(jù)、支持Hive、CSV格式數(shù)據(jù)?支持SaaS服務模式：Web瀏覽器使用，并可支持應用共享?支持豐富的用戶UI：支持Web圖形化方式創(chuàng)建數(shù)據(jù)分析邏輯，支持SQL腳本方式，支持CLI命令行方式?支持二次開發(fā)：Java API、Web ServiceWeb GUI/工作流引擎SQL腳本CLI命令行廣域網(wǎng)數(shù)據(jù)交換并行數(shù)據(jù)ETL并行數(shù)據(jù)探索并行數(shù)據(jù)挖掘社交網(wǎng)絡分析用戶權限管理MapReduceHadoopDFSHu

55、geTable任務數(shù)據(jù)分割block2PC節(jié)點元數(shù)據(jù)服務器任務分解block3PC節(jié)點子任務M 2任務分發(fā)服務器block1block2block1block3PC節(jié)點block1PC節(jié)點R jblock2PC節(jié)點M 1M 2M iR 1R 2R j分布式集群管理服務器block3PC節(jié)點PC節(jié)點M 1PC節(jié)點R 1PC節(jié)點R 2M i并行數(shù)據(jù)挖掘系統(tǒng)（BC-PDM）IAAS分析PAAS交易PA商務智能平臺（BI-PAAS）產(chǎn)品定位利用云計算的強大并行計算和分布存儲能力，結合ETL、DM 、工作流技術，構建一個BI Paas平臺，提供強大的在線分析和支持決策工具集，以方便用戶快速定制、組裝、搭

56、建相應的商務智能信息分析系統(tǒng)產(chǎn)品特性BI PaaS系統(tǒng)主要包括二部分：?開發(fā)套件：開發(fā)套件包括ETL設計器、報表設計器、集成器等一系列圖形開發(fā)工具集，將各類BI能力以元數(shù)據(jù)描述的方式進行封裝，供開發(fā)者進行離線BI應用開發(fā)。?BI PaaS Server：包括應用層、平臺層、BI能力層、基礎設施層、資源層。支撐BI應用的部署、運行。分交I析易云APP計AAA算SAA管SS理54商務智能平臺（BI-PAAS）產(chǎn)品定位利用云計算的強大并行計“大云”應用案例之一：大數(shù)據(jù)ETL業(yè)務滾詳單類5000現(xiàn)網(wǎng)3.2天，減少為0.8天時間減少現(xiàn)網(wǎng)時間云ETL時間絕對值4000節(jié)約近2.5天流程（min）（min）

57、加速比例（小時）300014650 1153 4.0358.3現(xiàn)網(wǎng)時間（min）22700 1571 1.7218.8200082100 12931.6213.4HIVE時間（min）91800 11501.5610.81000101500 12251.224.611490 325 1.512.8012891011現(xiàn)網(wǎng)90分鐘減少為10分鐘出月表類140僅為1/10時間減120少絕對100現(xiàn)網(wǎng)時間云ETL時云ETL腳本值（小（min）間（min）MR時間加速比例時）80現(xiàn)網(wǎng)時間（min）流程390 10 無9.001.360HIVE時間（min）流程4130 59 403.251.540MR時

58、間流程560 14 無4.280.8流程680 25無2.500.920流程7130 47 無2.761.90流程3流程4流程5流程6流程755“大云”應用案例之一：大數(shù)據(jù)ETL業(yè)務滾詳單類5000現(xiàn)網(wǎng)3“大云”應用案例之二：大數(shù)據(jù)查詢業(yè)務帳詳單系統(tǒng)存儲數(shù)量急劇膨脹，傳統(tǒng)架構難以滿足當前業(yè)務運營要求，系統(tǒng)面臨擴容難題?某地市應用，每個月帳詳單總體數(shù)據(jù)量采集預處原始理計算1計算2數(shù)據(jù)10TB融合處理?話單通過HTLoad工具批量加載消息?帳詳單查詢通過SQL或NativeAPI接口進行HugeTable1表HugeTable表2?復雜分析則通過MR接口進行?HugeTable支持數(shù)據(jù)按照Join

59、 key預先進營業(yè)廳系統(tǒng)行數(shù)據(jù)劃分，減少join過程中數(shù)據(jù)在節(jié)點間的拷貝營業(yè)廳1營業(yè)廳2營業(yè)廳3營業(yè)廳4應用效果加載：支持數(shù)據(jù)并行加載，數(shù)據(jù)加載保證完整性和可靠性；：查詢：在高并發(fā)條件下，數(shù)據(jù)查詢性能一般可達到網(wǎng)絡頸IO（對于千兆以太網(wǎng)單節(jié)點可達1GB）或磁盤IO瓶更新：可支持單條或批量數(shù)據(jù)增刪改查操作，聚合更新帶寬可達網(wǎng)絡;壓縮：對數(shù)據(jù)內(nèi)容進行高效壓縮，節(jié)省磁盤、網(wǎng)絡IO，節(jié)省存儲空間；IO極限；56“大云”應用案例之二：大數(shù)據(jù)查詢業(yè)務帳詳單系統(tǒng)存儲數(shù)量急劇膨“大云”應用案例之三：大數(shù)據(jù)挖掘業(yè)務3個地市公司直接使用BC-PDM建模，驗證BC-PDM在功能、性能、易用性上能滿足現(xiàn)網(wǎng)需求，應用效

60、果顯著地市公司1新業(yè)務提升模型：通過客戶細分與手機報業(yè)務匹配，實現(xiàn)精確營銷。Kmeans算法，10節(jié)點云平臺。效果：業(yè)務1用戶滲透率提高48%，業(yè)務1收入提高64%業(yè)務1用戶數(shù)提高76%地市公司3欠費風險監(jiān)控與個人客戶信用度應用：8節(jié)點云平臺。最終目的重要前提欠費風險控制第二次第一批5000437030609.811148136561第二次第二批800024447071.3867646362地市公司2客戶的識別模型：C45分類算法，6節(jié)點云平臺。模型準確性較好，極大提升了營銷效率，也極大節(jié)約了成本外來工其它首次參加試點用戶數(shù)減少工單量欠費情況欠費人數(shù)回收金額500013642923.16149