曙光Xdata大數(shù)據(jù)平臺介紹

1、曙光Xdata大數(shù)據(jù)平臺介紹大數(shù)據(jù)應(yīng)用場景1大數(shù)據(jù)系統(tǒng)架構(gòu)2算法及適用場景3大數(shù)據(jù)解決方案4XData系列產(chǎn)品5成功案例分享6大數(shù)據(jù)應(yīng)用場景大數(shù)據(jù)系統(tǒng)架構(gòu)追求自下而上的穩(wěn)定，數(shù)據(jù)價值則追求自上而下的價值挖掘大數(shù)據(jù)本身，是在海量行業(yè)數(shù)據(jù)的基礎(chǔ)上，去偽存真，解決某一個特定的問題項目2項目3大數(shù)據(jù)依附于某一行業(yè)，解決行業(yè)實際問題，才能體現(xiàn)出大數(shù)據(jù)的價值項目1大數(shù)據(jù)項目實施技術(shù)層面業(yè)務(wù)層面從業(yè)務(wù)的角度進行數(shù)據(jù)深入分析挖掘，找出業(yè)務(wù)規(guī)律，從而進行業(yè)務(wù)層面的改進并列關(guān)系需要對多類型異構(gòu)大量的數(shù)據(jù)進行處理，采用傳統(tǒng)的方法不能滿足所有需求，需要有一個高性能、高穩(wěn)定、高擴展的平臺進行支撐整合行業(yè)生產(chǎn)、運營、營銷

2、、管理等多方面的數(shù)據(jù)從企業(yè)不同層級人員、不同業(yè)務(wù)支撐方向兩個方面，進行全面數(shù)據(jù)應(yīng)用分析挖掘大數(shù)據(jù)思維大數(shù)據(jù)系統(tǒng)挑戰(zhàn)數(shù)據(jù)展示的挑戰(zhàn)如何穩(wěn)定的收集多源異構(gòu)的數(shù)據(jù)及整合內(nèi)部數(shù)據(jù)數(shù)據(jù)源的挑戰(zhàn)數(shù)據(jù)分析的挑戰(zhàn)如何根據(jù)具體業(yè)務(wù)需求，定制針對性的分析模型如何根據(jù)不同的客戶群體，用不同的形式展示數(shù)據(jù)大數(shù)據(jù)應(yīng)用場景1大數(shù)據(jù)系統(tǒng)架構(gòu)2算法及適用場景3大數(shù)據(jù)解決方案4XData系列產(chǎn)品5成功案例分享6大數(shù)據(jù)系統(tǒng)實現(xiàn)要素數(shù)據(jù)展示數(shù)據(jù)分析數(shù)據(jù)來源數(shù)據(jù)交換數(shù)據(jù)收集數(shù)據(jù)清洗傳統(tǒng)數(shù)據(jù)分析架構(gòu)業(yè)務(wù)處理服務(wù)器Oracle業(yè)務(wù)處理服務(wù)器SQL ServerWeb服務(wù)器中央數(shù)據(jù)庫服務(wù)器數(shù)據(jù)抽取清洗轉(zhuǎn)換服務(wù)器分析服務(wù)器數(shù)據(jù)集市數(shù)據(jù)集市多

3、維分析工具報表工具數(shù)據(jù)挖掘工具以數(shù)據(jù)倉庫、數(shù)據(jù)集市的形式存在；面對日常報表出數(shù)據(jù)，滿足管理匯報需要；根據(jù)業(yè)務(wù)需求進行數(shù)據(jù)提取，如財務(wù)收入等；對單業(yè)務(wù)的分析較好，對跨業(yè)務(wù)的分析較弱；缺乏深入去挖掘數(shù)據(jù)，缺乏全局的分析思維；在企業(yè)運行方面，高投入、低產(chǎn)出；傳統(tǒng)BI基于大數(shù)據(jù)的系統(tǒng)架構(gòu)數(shù)據(jù)接入采集代理后端日志清洗內(nèi)部數(shù)據(jù)數(shù)據(jù)源互聯(lián)網(wǎng)資料外部數(shù)據(jù)Web Services數(shù)據(jù)消費DashBoard實時監(jiān)控數(shù)據(jù)統(tǒng)計數(shù)據(jù)分析其他應(yīng)用緩存重用存儲計算數(shù)據(jù)服務(wù)基于流式計算的實時清洗數(shù)據(jù)緩存集群HadoopSparkNoSQL數(shù)據(jù)質(zhì)量監(jiān)控大數(shù)據(jù)應(yīng)用場景1大數(shù)據(jù)系統(tǒng)架構(gòu)2算法及適用場景3大數(shù)據(jù)解決方案4XData系

4、列產(chǎn)品5成功案例分享6數(shù)據(jù)分析決策樹神經(jīng)網(wǎng)絡(luò)邏輯斯蒂回歸預(yù)測響應(yīng)用戶特征分析個性化推薦降維分析聚類決策樹ALS聚類協(xié)同過濾SVMPCA集成算法分類SVMlinear regressionnaive Bayes聚類k-meansbisecting k-meansGMM推薦ALSSVDCollaborative filtering降維PCALDA其他sequential pattern model evaluation6am-9am9am-12pm12pm-5pm5pm-7pm7pm-11pm11pm-6am10%20%30%6am-9am9am-12pm12pm-5pm5pm-7pm7pm-11

5、pm11pm-6am10%20%30%6am-9am9am-12pm12pm-5pm5pm-7pm7pm-11pm11pm-6am10%20%30%ComputerSmartphonesTablet6am-9am9am-12pm12pm-5pm5pm-7pm7pm-11pm11pm-6am30%20%10%TV大數(shù)據(jù)應(yīng)用場景1大數(shù)據(jù)系統(tǒng)架構(gòu)2算法及適用場景3大數(shù)據(jù)解決方案4XData系列產(chǎn)品5成功案例分享6項目需求需要根據(jù)具體項目的需求，進行此部分內(nèi)容整理，包括客戶需求、系統(tǒng)架構(gòu)設(shè)計等大數(shù)據(jù)應(yīng)用場景1大數(shù)據(jù)系統(tǒng)架構(gòu)2算法及適用場景3大數(shù)據(jù)解決方案4XData系列產(chǎn)品5成功案例分享6Xdata產(chǎn)

6、品體系ParaStor/HDFSXData-ETLXData-SDHXData-MPPXData-AUSXData-MBMXData-EDUXData-ETL多源異構(gòu)數(shù)據(jù)匯聚XData-MPP并行數(shù)據(jù)庫管理集群XData-SDH曙光發(fā)行版HadoopXData-AUS交互分析平臺XData-MBM有線大數(shù)據(jù)分析平臺XData-EDU大數(shù)據(jù)教學(xué)實訓(xùn)平臺ParaStor/HDFS大數(shù)據(jù)存儲管理系統(tǒng)XData-SDH大數(shù)據(jù)分析系統(tǒng)數(shù)據(jù)質(zhì)量管理數(shù)據(jù)安全管理數(shù)據(jù)復(fù)用管理數(shù)據(jù)生命周期管理主數(shù)據(jù)統(tǒng)一編碼資源管理與調(diào)度系統(tǒng)并行計算引擎批處理引擎內(nèi)存計算引擎并行數(shù)據(jù)庫中間件流處理引擎系統(tǒng)管理曙光XData-ET

7、L工具箱NoSQL數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫 分布式文件系統(tǒng)NewSQL數(shù)據(jù)庫數(shù)據(jù)訪問接口（SQL/JDBC/CLI）分析挖掘算法庫（Mahout/MLib/Petuum）元數(shù)據(jù)管理監(jiān)控管理任務(wù)管理調(diào)度管理自定義報表基礎(chǔ)數(shù)據(jù)管理XData管理系統(tǒng)日志數(shù)據(jù)解析圖像識別搜索視頻指紋搜索可視化管理用戶行為分析文本挖掘檢索語音識別搜索個性化推薦XData-SDH一體機產(chǎn)品功能全方位狀態(tài)監(jiān)控展現(xiàn)集群的CPU、溫度、電源狀態(tài)、網(wǎng)絡(luò)可用性等多種監(jiān)控信息智能化服務(wù)管理服務(wù)故障檢測及修復(fù)智能化參數(shù)優(yōu)化建議基礎(chǔ)數(shù)據(jù)管理可視化元數(shù)據(jù)自定義節(jié)點接入數(shù)據(jù)管理任務(wù)管理監(jiān)控任務(wù)操作任務(wù)批量執(zhí)行統(tǒng)一用戶管理多方式用戶認證用戶權(quán)限管理

8、數(shù)據(jù)導(dǎo)入功能SFTP/FTP和HDFS/Hbase數(shù)據(jù)之間互導(dǎo)Oracle/DB2/mysql和HDFS/Hbase之間數(shù)據(jù)互導(dǎo)充分釋放硬件的潛力根據(jù)集群資源的支撐能力，同時保證集群的性能，系統(tǒng)會自動限制集群作業(yè)的提交ParaStor分布式文件系統(tǒng)2010年單一系統(tǒng)16PB2013年中國區(qū)NAS IDC排名第32014年中國區(qū)NASIDC排名第2015年上半年中國區(qū) NASIDC排名第11100+用戶成功應(yīng)用累計銷售容量260+PB總體架構(gòu)索引控制器索引控制器索引控制器索引控制器數(shù)據(jù)控制器數(shù)據(jù)控制器數(shù)據(jù)控制器管理控制器管理控制器管理網(wǎng)數(shù)據(jù)控制器數(shù)據(jù)控制器數(shù)據(jù)控制器歸檔/回遷數(shù)據(jù)遷移數(shù)據(jù)遷移并發(fā)

9、讀寫并發(fā)讀寫并發(fā)讀寫元數(shù)據(jù)讀寫Linux、Windows、MAC客戶端/NFS/CIFS/POSIX API/HDFS/HTTP/FTP/REST/SOAP/SNMPParaStor產(chǎn)品特征產(chǎn)品特性易擴展高性能高可靠易管理多功能糾刪碼節(jié)點分區(qū)分級存儲配額管理WORM磁盤分組歸檔自動功耗控制糾刪碼冗余 N+M:bN+M的理解N：數(shù)據(jù)對象個數(shù)M：校驗對象個數(shù)D1D2D3D4N=4，M=2P1P2D1D2D3D4P1P2D1D2D3D4P1P2M：允許故障的磁盤數(shù)目b的理解允許故障的節(jié)點數(shù)4+2:1Node1DPNode2DPNode3DNode4DNode6Node5Node1DPNode2DPN

10、ode3DNode4D4+2:2可進行數(shù)據(jù)修復(fù)的最小節(jié)點數(shù)：b(N+M)/M + b系統(tǒng)亮點 節(jié)點分區(qū)010203040506070809101112131415161718192021222324252627282930A區(qū)B區(qū)b最大為4，節(jié)點規(guī)模較大時，也只能允許故障4個節(jié)點？劃分多個分區(qū)，縮小節(jié)點故障域30個節(jié)點，4+4：2A區(qū)16個節(jié)點，B區(qū)14個節(jié)點冗余度：2個節(jié)點（b=2）b：每個節(jié)點分區(qū)中允許故障的節(jié)點數(shù)系統(tǒng)亮點 磁盤分組FailFailG1G2G3G44131211101423222120243332313034434241404453525150546362616064737

11、271707483828180849392919095040302010M最大為4，磁盤數(shù)目較大時，也只能允許故障4個磁盤？劃分多個分組，縮小磁盤故障域分區(qū)內(nèi)包含50個磁盤分為4個磁盤分組，G1=G2=13，G3=G4=12冗余度：3個磁盤（M=3）M：每個磁盤分組中允許故障的磁盤數(shù)系統(tǒng)亮點 分級存儲 熱數(shù)據(jù)區(qū)冷數(shù)據(jù)區(qū)新建文件創(chuàng)建時間長訪問頻度低訪問頻度高節(jié)點1SSD/10K SAS + SATA節(jié)點2SSD/10K SAS + SATA節(jié)點內(nèi)分級在線存儲區(qū)高性能存儲節(jié)點SSD/10K SAS近線/離線存儲區(qū)大容量存儲節(jié)點 SATA節(jié)點間分級FILE1FILE2FILE3FILE4FILE5F

12、ILE6數(shù)據(jù)控制器數(shù)據(jù)控制器數(shù)據(jù)控制器索引控制器索引控制器索引控制器索引控制器數(shù)據(jù)控制器數(shù)據(jù)控制器數(shù)據(jù)控制器管理控制器管理控制器客戶端管理網(wǎng)歸檔數(shù)據(jù)遷移并發(fā)讀寫并發(fā)讀寫并發(fā)讀寫數(shù)據(jù)遷移元數(shù)據(jù)讀寫高性能在線存儲高性價比近線存儲歸檔至離線存儲根據(jù)訪問頻率、文件大小、路徑名規(guī)則等策略進行文件分級數(shù)據(jù)全生命周期管理系統(tǒng)亮點 配額管理存儲池FS2FS1Group2Group1user1user2user3user4多粒度多層次配額設(shè)置基于文件系統(tǒng)基于目錄基于用戶組基于用戶300TB40TB60TB50TBdir1dir2dir3dir450TB100TB40TB60TB50TB50TB100TB200T

13、B200TB軟硬閾值限定文件數(shù)量軟閾值容量軟閾值文件數(shù)量硬閾值容量硬閾值 給出告警 可以繼續(xù)寫入 無法寫入系統(tǒng)亮點 自動功耗控制 活躍區(qū)休眠區(qū)休眠區(qū)客戶端WindowsUNIX/LINUXMAC數(shù)據(jù)節(jié)點按分區(qū)使用， 分為活躍區(qū)和休眠區(qū) 活躍區(qū)提供讀寫訪問 活躍區(qū)故障，切換活躍區(qū) 待訪問數(shù)據(jù)位于休眠區(qū)，自動切換 為活躍區(qū) 活躍區(qū)到達容量閾值，切換活躍區(qū) 在視頻監(jiān)控、衛(wèi)星遙感等海量離線存儲應(yīng)用中，可以顯著降低系統(tǒng)功耗休眠區(qū)活躍區(qū)活躍區(qū)*WORM（Write Once Read Many） 全局WORM時鐘，確保WORM時間不受硬件時鐘影響，且不受篡改 支持手動將寫入數(shù)據(jù)置于WORM狀態(tài) 支持設(shè)置自

14、動將寫入數(shù)據(jù)置于WORM狀態(tài)的時間 支持對WORM文件內(nèi)容進行追加寫入操作 支持設(shè)置WORM文件的過期時間 支持WORM日志，記錄存儲系統(tǒng)中的WORM行為。Client寫設(shè)置WORM后，文件只讀讀系統(tǒng)亮點 WORMXData-MPP并行數(shù)據(jù)庫數(shù)據(jù)副本1數(shù)據(jù)副本2數(shù)據(jù)節(jié)點雙副本配置計算節(jié)點 冗余配置管理網(wǎng)絡(luò)業(yè)務(wù)數(shù)據(jù)網(wǎng)絡(luò) 支持雙網(wǎng)絡(luò)集群管理服務(wù)管理任務(wù)管理數(shù)據(jù)寫入數(shù)據(jù)查詢以太網(wǎng)客戶端備份存儲XData-MPP一體機亮點架構(gòu)易于擴展業(yè)界主流架構(gòu)，MPPsharednothing增加節(jié)點，線性提升加載、查詢性能數(shù)據(jù)安全用戶角色權(quán)限管理可靠性服務(wù)節(jié)點多備，提升性能、節(jié)點故障不影響對外服務(wù)的連續(xù)性數(shù)據(jù)雙副

15、本，保證數(shù)據(jù)可靠性關(guān)鍵節(jié)點冗余部署，元數(shù)據(jù)高可用并行處理透明數(shù)據(jù)自動分區(qū)處理，均勻分布在多個節(jié)點，節(jié)點間無共享、無I/O沖突數(shù)據(jù)處理就近原則，減少網(wǎng)絡(luò)開銷靈活性支持自定義查詢執(zhí)行計劃數(shù)據(jù)存儲組織支持節(jié)點動態(tài)伸縮應(yīng)用簡單sql訪問方式，減少用戶學(xué)習(xí)成本多種系統(tǒng)訪問工具，增加系統(tǒng)易用性圖形化管理界面，易于進行系統(tǒng)運維和系統(tǒng)狀態(tài)查詢系統(tǒng)特點線性擴展性價比高多網(wǎng)絡(luò)無單點瓶頸節(jié)點對等Shared-Nothing MPP架構(gòu)X86-64服務(wù)器，硬件無依賴多網(wǎng)絡(luò)通路，管理、數(shù)據(jù)網(wǎng)絡(luò)分離計算節(jié)點按需配置，無master節(jié)點瓶頸節(jié)點角色對等，均可接受客戶端連接自動化部署類SQL訪問應(yīng)用無縫對接使用方便擴展容易自

16、動化安裝部署、簡潔快速兼容SQL92、SQL99，學(xué)習(xí)成本低標準接口JDBC、ODBC、C+、Python圖形化、命令行任務(wù)提交在線擴展、按需分配節(jié)點，用戶透明網(wǎng)絡(luò)切換副本恢復(fù)節(jié)點多備副本切換雙網(wǎng)絡(luò)管理，自動切換機制雙副本數(shù)據(jù)，自動恢復(fù)機制服務(wù)節(jié)點多備，持續(xù)對外服務(wù)查詢自動切換副本，屏蔽故障數(shù)據(jù)監(jiān)控告警圖形化管理自動優(yōu)化圖形化界面，管理系統(tǒng)應(yīng)用集群狀態(tài)監(jiān)控，多種告警機制運行參數(shù)調(diào)整，優(yōu)化系統(tǒng)負載數(shù)據(jù)分布策略 多種數(shù)據(jù)分布策略 事實數(shù)據(jù)分片存儲round-robin、hash,、range、list支持系統(tǒng)規(guī)模動態(tài)伸縮 A1B大表分片小表復(fù)制 配置數(shù)據(jù)全復(fù)制大量DML操作一致性控制A1BA1BA

17、1BXData-MPP測試測試情況數(shù)據(jù)導(dǎo)入性能到達了第一梯隊SDH基準測試性能也達到了跟主要競爭對手相同，kmeans性能也進入第一梯隊MPP的性能給用戶帶了驚喜改變了用戶的看法，展現(xiàn)了團隊的技術(shù)實力參與廠商：阿里、360、華為、浪潮；浪潮出局應(yīng)用特征針對海量結(jié)構(gòu)化數(shù)據(jù)關(guān)聯(lián)分析進行優(yōu)化；可以應(yīng)用在公安、安全、電力等行業(yè)；14小時85分鐘測試性能數(shù)據(jù)分析數(shù)據(jù)查詢47.3s5.43s46s0.35s47.6s4.67s數(shù)據(jù)采集流程 RDMSServer log中間件數(shù)據(jù)源互聯(lián)網(wǎng)資料本地日志 采集集群存儲配置監(jiān)控配置系統(tǒng)設(shè)置執(zhí)行任務(wù) 處理集群運行配置解析處理配置集群系統(tǒng)設(shè)置執(zhí)行線程執(zhí)行線程執(zhí)行線程執(zhí)

18、行線程任務(wù)調(diào)度 表信息設(shè)置表歸檔設(shè)置列式數(shù)據(jù)庫 數(shù)據(jù)訪問接口WebService 數(shù)據(jù)存儲配置數(shù)據(jù)格式配置HDFS文件系統(tǒng) 批處理模式處理批處理架構(gòu) 流處理監(jiān)控系統(tǒng)采集集群監(jiān)控處理集群監(jiān)控接收消息監(jiān)控處理任務(wù)監(jiān)控370TB/天120萬條記錄/s百億條記錄秒級返回XData-AUS交互分析系統(tǒng)XData-AUS是曙光推出的面向多行業(yè)海量數(shù)據(jù)高速、全自由度的交互分析系統(tǒng)。基于內(nèi)存計算、流式計算和分布式搜索引擎技術(shù)，具有如下特點：采用統(tǒng)一的數(shù)據(jù)平臺，對跨部門多系統(tǒng)的數(shù)據(jù)進行整合，統(tǒng)一管理采用自動發(fā)現(xiàn)技術(shù)構(gòu)建存儲分析集群，可對集群規(guī)模進行靈活控制實時數(shù)據(jù)接入框架，支持異構(gòu)多源環(huán)境下的數(shù)據(jù)實時采集同步快

19、速檢索和分析，實現(xiàn)對百億級數(shù)據(jù)集的實時檢索和切面分析預(yù)置行業(yè)業(yè)務(wù)分析指標，提供全業(yè)務(wù)的個體和群體用戶畫像AUS系統(tǒng)架構(gòu)用戶UI及開發(fā)工具包核心計算引擎數(shù)據(jù)索引引擎數(shù)據(jù)接入框架 SIEM APM DWECA 數(shù)據(jù)分析組件數(shù)據(jù)分析語言（MDL）UI數(shù)據(jù)分析引擎APISDK統(tǒng)計分析通路分析預(yù)測分析分類/聚類XData-AUS性能分析運行時間(分鐘)平均解析入庫速度入庫數(shù)據(jù)量入庫記錄數(shù)速度30052.3GB/h261GB14.73w/s標準X86架構(gòu)服務(wù)器：6核*2.4GB，6*480GB SSD硬盤，128GB內(nèi)存測試數(shù)據(jù)量為25億條，總計約261GB測試表明：每小時可入庫52GB數(shù)據(jù)，檢索和聚合分

20、析均可在1s內(nèi)完成檢索類型返回結(jié)果數(shù)量影響數(shù)據(jù)量返回時間單記錄查詢11 20ms數(shù)據(jù)范圍查詢2w2w 1s聚合分析(avg)10500w 100ms聚合排行分析(avg)502000w 150ms聚合排行分析(avg)502y 200ms某線上系統(tǒng)性能指標類型描述數(shù)據(jù)記錄數(shù)2.2億條單記錄大小1KB單條數(shù)據(jù)查詢8ms數(shù)據(jù)過濾查詢1s，返回2000千萬條記錄某項目測試指標 測試背景及內(nèi)容 數(shù)據(jù)類型中國地面逐小時資料，txt格式每條記錄95個字段，包括風(fēng)、降水量、溫度、濕度、氣壓、云等要素信息1主要面向大數(shù)據(jù)的實時檢索分析能力進行測試，包括數(shù)據(jù)檢索、實時統(tǒng)計分析、實時交互分析、穩(wěn)定性、容錯性和高并

21、發(fā)等能力測試 數(shù)據(jù)規(guī)模2012年6月30日地面觀測樣例數(shù)據(jù)，112493條基于提供的樣例數(shù)據(jù)，生成60億條測試數(shù)據(jù)2 測試場景 數(shù)據(jù)導(dǎo)入 數(shù)據(jù)導(dǎo)入的性能 高并發(fā)場景下，快速提取填圖數(shù)據(jù)的能力獲取長時間序列要素數(shù)據(jù)的能力統(tǒng)計分析 ，要素信息的聚合統(tǒng)計能力，數(shù)據(jù)更新，可以實時反映在聚合結(jié)果中3某項目測試指標測試項期望性能并發(fā)數(shù)測試結(jié)果數(shù)據(jù)加載20萬/分鐘44537條/秒，約267萬條/分鐘 長時間序列數(shù)據(jù)查詢查詢結(jié)果2s內(nèi)返回87ms、63ms、83ms、72ms、85ms汛期降水量歷史排名分析查詢結(jié)果2s內(nèi)返回234ms、273ms、253ms、245ms、231ms汛期降水量排行查詢結(jié)果2s內(nèi)

22、返回310ms、325ms、276ms、423ms、313ms日降水量超過閾值日期查詢查詢結(jié)果2s內(nèi)返回487ms、525ms、576ms、523ms、513ms汛期降水量超閾值天數(shù)查詢結(jié)果2s內(nèi)返回688ms、862ms、486ms、548ms、686ms降水量極值(最大值、最小值)及平均值分析查詢結(jié)果2s內(nèi)返回9001.14s、1.19s、1.20s、1.37s、1.42s日最高溫度歷史排名查詢結(jié)果2s內(nèi)返回332ms、299ms、325ms、313ms、319ms日平均溫度排名查詢結(jié)果2s內(nèi)返回221ms、203ms、215ms、178ms、192ms日最高氣溫超過閾值日期查詢查詢結(jié)果2

23、s內(nèi)返回903ms、895ms、919ms、892ms、839ms日最高氣溫超過閾值天數(shù)查詢結(jié)果2s內(nèi)返回267ms、372ms、351ms、278ms、301ms降水要素填圖數(shù)據(jù)獲取500并發(fā)1s內(nèi)返回結(jié)果，900并發(fā)2s內(nèi)返回結(jié)果9001.8s全要素填圖數(shù)據(jù)獲取5s內(nèi)返回結(jié)果3.9s歷年周期要素分析數(shù)據(jù)獲取276ms系統(tǒng)業(yè)務(wù)運維目的對行業(yè)糾紛進行調(diào)解客戶個性化數(shù)據(jù)提取用途用戶行為的分析用戶行為的審計系統(tǒng)響應(yīng)時間統(tǒng)計系統(tǒng)請求數(shù)量統(tǒng)計運維數(shù)據(jù)恢復(fù)，當(dāng)主機發(fā)生數(shù)據(jù)災(zāi)難的時候，使用audit數(shù)據(jù)來恢復(fù)在災(zāi)難期間丟失或者損壞的數(shù)據(jù)實現(xiàn)形式使用統(tǒng)一的信息記錄格式強制記錄跟蹤信息記錄機制對應(yīng)用透明統(tǒng)一收

24、集和傳輸服務(wù)之間的調(diào)用關(guān)系問題的快速定位調(diào)試應(yīng)用邏輯商業(yè)決策的依據(jù)多維度分析和展現(xiàn)準實時信息查詢集中存儲和備份XData-EDU大數(shù)據(jù)實訓(xùn)系統(tǒng)網(wǎng)絡(luò)拓撲Hadoop集群網(wǎng)絡(luò)交換機千兆以太網(wǎng)教學(xué)平臺實驗管理系統(tǒng)節(jié)點教學(xué)投影儀學(xué)生教師教學(xué)web客戶端管理節(jié)點數(shù)據(jù)節(jié)點網(wǎng)絡(luò)交換機學(xué)生web客戶端Xdata-EDU IDE開發(fā)曙光XData-EDU大數(shù)據(jù)實訓(xùn)平臺XData-EDU優(yōu)勢教學(xué)一體化設(shè)備：提供完整的開發(fā)運行環(huán)境以及詳細文檔支持實驗開發(fā)平臺：IDE開發(fā)環(huán)境，封裝有JDK，Hadoop各組間依賴包，預(yù)置實驗參考代碼實驗運行平臺：學(xué)生可以通過Web界面上傳程序包并運行，平臺提供結(jié)果查看和錯誤反饋教學(xué)管

25、理平臺：提供整個平臺的管理功能，包括用戶、資源、課程、實驗過程管理等運維管理平臺：監(jiān)控、告警、服務(wù)管理、參數(shù)配置等功能XData-MBM有線運營商大數(shù)據(jù)分析系統(tǒng)設(shè)計思路XDataMBM是面向廣媒運營商的數(shù)據(jù)分析系統(tǒng)?；诜植际剿阉饕婕夹g(shù)，提供對廣媒行業(yè)海量數(shù)據(jù)資產(chǎn)的檢索和分析服務(wù)。采用統(tǒng)一的數(shù)據(jù)平臺，對不同部門各個系統(tǒng)的數(shù)據(jù)進行整合，統(tǒng)一管理采用自動發(fā)現(xiàn)技術(shù)構(gòu)建存儲分析集群，可對集群規(guī)模進行靈活控制實時數(shù)據(jù)接入框架，支持異構(gòu)多源環(huán)境下的數(shù)據(jù)實時采集同步快速檢索和分析，實現(xiàn)對億級數(shù)據(jù)集的實時檢索和切面分析集成廣媒業(yè)務(wù)分析指標，提供全業(yè)務(wù)的個體和群體用戶畫像設(shè)計思路靈活的數(shù)據(jù)接入框架，整合多源數(shù)

26、據(jù)支持異構(gòu)存儲系統(tǒng)存儲容器類型：FTP、Oracle、MSSql、ES、CSV。數(shù)據(jù)同步配置增量同步、周期調(diào)度、同步拓撲結(jié)構(gòu)數(shù)據(jù)解析、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)清洗實時數(shù)據(jù)寫入接口RESTful、Java、Python設(shè)計思路集成業(yè)務(wù)分析指標靈活組合過濾條件，任意維度數(shù)據(jù)抽取任意時間尺度分析提供全業(yè)務(wù)的個體和群體用戶畫像收視分析、訂購分析、支付分析、消費分析、工單分析應(yīng)用場景實時行為的精準分析為實時推薦系統(tǒng)提供數(shù)據(jù) 統(tǒng)計支持結(jié)合節(jié)目標簽化，定位收 視趨勢用戶收視行為分析精準市場營銷用戶標簽化（全面數(shù)據(jù)下）主動服務(wù)（挽留）精準營銷市場分析全面運維數(shù)據(jù)監(jiān)控預(yù)警網(wǎng)絡(luò)惡化 主動網(wǎng)優(yōu)及運維 促進網(wǎng)絡(luò)資源合理分配，提

27、高建設(shè)準確性和投資準確性 結(jié)合行為系統(tǒng)，分析用戶行為XData-MBM展示系統(tǒng)大數(shù)據(jù)應(yīng)用場景1大數(shù)據(jù)系統(tǒng)架構(gòu)2算法及適用場景3大數(shù)據(jù)解決方案4XData系列產(chǎn)品5成功案例分享6XData部分成功案例北京市公安局某省通信管理局中國農(nóng)業(yè)銀行中國銀聯(lián)青海鹽湖所國家信息安全評測中心北京交通發(fā)展研究中心東莞公安天津市政府采購中心溫州智慧交通氣象局公服中心解放軍理工大學(xué)河北聯(lián)合大學(xué)珠江數(shù)碼意爾康中科院信息工程研究所重慶醫(yī)科大學(xué)中航信貝爾信新華社同濟大學(xué)河南移動北京市公安局某省通信管理局中國農(nóng)業(yè)銀行中國銀聯(lián)青海鹽湖所國家信息安全評測中心北京交通發(fā)展研究中心東莞公安溫州智慧交通氣象局公服中心解放軍理工大學(xué)河北

28、聯(lián)合大學(xué)珠江數(shù)碼意爾康中科院信息工程研究所重慶醫(yī)科大學(xué)中航信貝爾信新華社同濟大學(xué)河南移動珠江數(shù)碼大數(shù)據(jù)分析系統(tǒng)分析場景收視行為分析越秀分公司收視情況分析近一個月共有20006人觀看，共觀看了17218997分鐘，人均觀看時長861分鐘，共有2625680次觀看記錄觀看人數(shù)趨勢分析，每周六都是低谷觀看喜好珠江數(shù)碼大數(shù)據(jù)分析系統(tǒng)分析場景收視行為分析中央一臺高清收視情況分析最近30天觀看人數(shù)趨勢和時間分布情況用戶觀看設(shè)備數(shù)排行及用戶地理分布情況用戶觀看次數(shù)排行及觀看節(jié)目偏好珠江數(shù)碼大數(shù)據(jù)分析系統(tǒng)分析場景收視行為分析2016年春節(jié)聯(lián)歡晚會收視情況分析觀看人數(shù)趨勢和時間分布情況（4小時為單位，支持任意粒度）用戶觀看次數(shù)排行及用戶地理分布情況珠江數(shù)碼大數(shù)據(jù)分析系統(tǒng)分析場景訂購行為分析訂購產(chǎn)品數(shù)量分析過去5年訂購產(chǎn)品數(shù)量品牌排行過去5年數(shù)字電視用戶和互動電視用戶訂購產(chǎn)品數(shù)量趨勢數(shù)字電視用戶和互動電視用戶訂購產(chǎn)品排行曙光助力民航業(yè)低成本迎接大數(shù)據(jù)挑戰(zhàn)Kafka流計算框架YARNHBaseHDFS OS TOSF/JCFAPPLogTAM AgentTLH/MCSS/SIHAirline GUI/IBE/eTerm客戶需求業(yè)務(wù)需求對行業(yè)糾