大數(shù)據(jù)平臺產(chǎn)品線售前資料-V1

1、大數(shù)據(jù)平臺產(chǎn)品線產(chǎn)品產(chǎn)品匯報2015-12-022中國移動云計算平臺典型架構(gòu)存在的明顯缺失云平臺建設(shè)：重IaaS輕PaaS：以提供計算和存儲服務(wù)的資源池建設(shè)為主，形成“薄平臺厚應(yīng)用”多個資源池獨立建設(shè)：資源利用率低，缺乏統(tǒng)籌規(guī)劃和集中運維管控能力，難以發(fā)揮規(guī)?；б娌捎肰Mware等商用虛擬化軟件：技術(shù)路線嚴重依賴廠商，建設(shè)成本居高不下，影響投資效率傳統(tǒng)的運維管理方法：將虛擬資源當做物理資源按日、周進行申請和分配，丟失云平臺資源動態(tài)調(diào)度和服務(wù)彈性伸縮的優(yōu)點應(yīng)用云化：新的應(yīng)用資源豎井：資源池的資源重新被固定、靜態(tài)分配給應(yīng)用；應(yīng)用缺乏足夠的彈性和靈活性應(yīng)用云化難度大：“薄平臺厚應(yīng)用”結(jié)果，每個應(yīng)用

2、自行規(guī)劃、建設(shè)所需的基礎(chǔ)平臺軟件；難以提煉出標準化的軟件服務(wù)組件應(yīng)用云化不徹底：某些應(yīng)用模塊、核心數(shù)據(jù)庫等仍然依賴小型機和專用高端存儲提供的性能，難以遷往資源池市場分析之一：云計算平臺的現(xiàn)狀和分析業(yè)支資源池管理平臺業(yè)支資源池計算資源存儲資源網(wǎng)絡(luò)資源網(wǎng)管資源池管理平臺網(wǎng)管資源池計算資源存儲資源網(wǎng)絡(luò)資源IDC資源池管理平臺IDC資源池計算資源存儲資源網(wǎng)絡(luò)資源CRM云化部分BOSS云化部分經(jīng)分云化部分網(wǎng)管應(yīng)用云化部分網(wǎng)管應(yīng)用云化部分網(wǎng)管應(yīng)用云化部分移動公網(wǎng)應(yīng)用外部租戶外部租戶3云計算的基本特性：租戶、服務(wù)和資源模型（亞信數(shù)據(jù)對NIST Cloud Computing Reference Archit

3、ecture的解讀）租戶和服務(wù)的關(guān)系 按需自助服務(wù)：服務(wù)的開通方式；租戶沒有綁定固定的服務(wù) 廣泛網(wǎng)絡(luò)訪問：服務(wù)的訪問方式；不限定租戶對服務(wù)的訪問方式和位置服務(wù)和資源的關(guān)系 快速可伸縮性：服務(wù)和資源的松耦合關(guān)系；在不中斷服務(wù)的前提下增加、減少務(wù)所使用的資源，實現(xiàn)服務(wù)容量的動態(tài)調(diào)整租戶和資源的關(guān)系： 動態(tài)資源池：租戶和資源的動態(tài)分配關(guān)系；針對每個租戶進行細粒度的資源動態(tài)分配和隔離 可計量服務(wù)：租戶對服務(wù)、資源的使用方式；記錄租戶對服務(wù)和資源的使用量租戶租戶租戶服務(wù)資源資源資源服務(wù)的訪問服務(wù)的訪問資源的供給資源的供給 從煙囪型到分層模型轉(zhuǎn)變：規(guī)劃、投資、建設(shè)、運維等都要從“以應(yīng)用為核心”向“平臺化思

4、維”轉(zhuǎn)變 服務(wù)和資源的解耦：資源按需要快速采購從而靈活增加服務(wù)的容量和性能，對現(xiàn)有采購模式有很大影響4中國移動云計算平臺典型架構(gòu)存在的明顯缺失從“資源池+應(yīng)用云化”向“企業(yè)級云平臺+應(yīng)用上云”的思路轉(zhuǎn)變服務(wù)內(nèi)容：以IaaS和PaaS服務(wù)并重，PaaS服務(wù)以能被多個應(yīng)用共享的標準化平臺服務(wù)為主；應(yīng)用按需申請所需服務(wù)IAAS服務(wù)：采用VMware和Openstack技術(shù)，建設(shè)跨資源池的IaaS服務(wù)平臺PAAS服務(wù)：實現(xiàn)PAAS服務(wù)之間的資源共享和動態(tài)調(diào)度，提供服務(wù)的彈性伸縮能力市場分析之二：云計算平臺的發(fā)展方向（亞信數(shù)據(jù)的觀點）資源池資源池+應(yīng)用云化應(yīng)用云化企業(yè)級云平臺企業(yè)級云平臺+應(yīng)用上云應(yīng)用上

5、云建設(shè)思路自上而下，根據(jù)應(yīng)用云化需求推動資源池的建設(shè)自下而上，根據(jù)云平臺能力建設(shè)推動應(yīng)用平滑、有序部署和遷移到云平臺應(yīng)用開發(fā)支持資源池提供標準化的計算、存儲、網(wǎng)絡(luò)服務(wù)，與應(yīng)用開發(fā)關(guān)聯(lián)度小云平臺提供應(yīng)用所需要的PaaS服務(wù)，應(yīng)用基于云平臺的PaaS服務(wù)進行開發(fā)和部署，關(guān)聯(lián)度高建設(shè)模式應(yīng)用和資源池相對獨立，由各自主管部門規(guī)劃、立項、建設(shè)和運維建議成立“云平臺建設(shè)領(lǐng)導(dǎo)小組”統(tǒng)籌規(guī)劃云平臺能力建設(shè)和應(yīng)用上云步驟，并協(xié)調(diào)、監(jiān)督執(zhí)行硬件采購模式通常按年編制預(yù)算、集中采購云平臺根據(jù)應(yīng)用需求按需提供服務(wù)，需要更及時、更靈活的硬件采購體制運維保障由偏硬件運維服務(wù)的團隊承擔，要求相對簡單對硬件、操作系統(tǒng)、各種Pa

6、aS服務(wù)軟件都要全面深入掌握，要求很高物理資源池物理資源池PAASPAAS平臺平臺大數(shù)據(jù)平臺大數(shù)據(jù)平臺IAASIAAS平臺平臺HadoopHadoop平臺平臺實時計算服務(wù)實時計算服務(wù)集群服務(wù)集群服務(wù)PAASPAAS服務(wù)服務(wù)MPPMPP數(shù)據(jù)庫數(shù)據(jù)庫一體機一體機容器集群容器集群虛擬機集群虛擬機集群通用服務(wù)通用服務(wù)BOSSBOSS服務(wù)服務(wù)企業(yè)級云管企業(yè)級云管理平臺理平臺計算服務(wù)計算服務(wù)X86/X86/小機小機虛擬機虛擬機存儲服務(wù)存儲服務(wù)塊設(shè)備塊設(shè)備文件系統(tǒng)文件系統(tǒng)對象存儲對象存儲網(wǎng)絡(luò)服務(wù)網(wǎng)絡(luò)服務(wù)路由交換路由交換負載均衡負載均衡容器容器安全安全計算資源計算資源存儲資源存儲資源網(wǎng)絡(luò)資源網(wǎng)絡(luò)資源CRMCR

7、M服務(wù)服務(wù)SAASSAAS服務(wù)服務(wù)使用使用IAASIAAS服務(wù)服務(wù)使用使用PAASPAAS服務(wù)服務(wù)MR/HiveMR/HiveSPARK/SparkSQLSPARK/SparkSQLHBASEHBASEStormStormSparkStreamingSparkStreamingRedisRedisImpalaImpalasqlfiresqlfire使用大數(shù)據(jù)服務(wù)使用大數(shù)據(jù)服務(wù)租戶管理租戶管理資源管理資源管理服務(wù)管理服務(wù)管理開發(fā)運維管開發(fā)運維管理理數(shù)據(jù)管理數(shù)據(jù)管理系統(tǒng)管理系統(tǒng)管理通用通用SAASSAAS服務(wù)服務(wù)業(yè)務(wù)支撐業(yè)務(wù)支撐SAASSAAS服務(wù)服務(wù)網(wǎng)絡(luò)管理網(wǎng)絡(luò)管理SAASSAAS服務(wù)服務(wù)管理信

8、息管理信息SAASSAAS服務(wù)服務(wù)我們的產(chǎn)品策略：私有云平臺系統(tǒng)總體架構(gòu)PAAS集群子系統(tǒng)集群子系統(tǒng)產(chǎn)品1/3：PAAS平臺 的功能架構(gòu)PAAS管理子系統(tǒng)管理子系統(tǒng)租戶管理租戶管理資源管理資源管理服務(wù)集群管理服務(wù)集群管理數(shù)據(jù)管理數(shù)據(jù)管理系統(tǒng)管理系統(tǒng)管理資源管理資源管理容器管理容器管理虛機管理虛機管理存儲管理存儲管理彈性集群管理彈性集群管理監(jiān)控分析監(jiān)控分析分布式協(xié)調(diào)分布式協(xié)調(diào)服務(wù)注冊服務(wù)注冊服務(wù)查詢服務(wù)查詢網(wǎng)絡(luò)設(shè)置網(wǎng)絡(luò)設(shè)置負載均衡設(shè)置負載均衡設(shè)置VLANVLAN設(shè)置設(shè)置數(shù)據(jù)管理數(shù)據(jù)管理鏡像存儲鏡像存儲PAAS服務(wù)子系統(tǒng)服務(wù)子系統(tǒng)應(yīng)用應(yīng)用PAASPAAS服務(wù)服務(wù)啟動啟動/ /停止停止擴縮容擴縮容在

9、線升級在線升級監(jiān)控監(jiān)控/HA/HA租戶賬號管理租戶賬號管理租戶資源管理租戶資源管理租戶權(quán)限管理租戶權(quán)限管理資源定義資源定義資源監(jiān)控資源監(jiān)控資源報表資源報表目錄管理目錄管理集群管理集群管理服務(wù)管理服務(wù)管理快照管理快照管理鏡像管理鏡像管理安全管理安全管理平臺監(jiān)控平臺監(jiān)控NATNAT設(shè)置設(shè)置通用通用PAASPAAS服務(wù)服務(wù)開源服務(wù)組件開源服務(wù)組件商用服務(wù)組件商用服務(wù)組件快照存儲快照存儲亞信亞信服務(wù)服務(wù)組件組件亞信亞信服務(wù)服務(wù)框架框架CSFCSF服務(wù)框架服務(wù)框架MSGMSG消息框架消息框架COMCOM流程框流程框架架SECSEC權(quán)限框架權(quán)限框架CACHECACHE緩存緩存框架框架LOG4XLOG4X日

10、志日志AIRuleAIRule規(guī)則規(guī)則AICEPAICEP事件事件AISchedulerAIScheduler調(diào)度調(diào)度AISEAISE搜索搜索AIExceptionAIException異常處理異常處理開源服務(wù)框架開源服務(wù)框架DADBDADB數(shù)據(jù)訪問數(shù)據(jù)訪問框架框架商用服務(wù)框架商用服務(wù)框架開發(fā)運維管理開發(fā)運維管理上線上線/ /發(fā)布發(fā)布運行監(jiān)控運行監(jiān)控故障處理故障處理快照快照遠程命令遠程命令產(chǎn)品2/3：大數(shù)據(jù)平臺建設(shè)的四個階段第一階段：分散建設(shè)階段第二階段：統(tǒng)一服務(wù)階段第三階段：統(tǒng)一管控階段第四階段：云化建設(shè)階段產(chǎn)品2/3：大數(shù)據(jù)云平臺產(chǎn)品總體架構(gòu)服務(wù)層服務(wù)層管理層管理層特定服務(wù)管理特定服務(wù)管理

11、平臺層平臺層批處理服務(wù)批處理服務(wù)實時計算服務(wù)實時計算服務(wù)服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器服務(wù)器存儲服務(wù)存儲服務(wù)MRMRSpark/Spark/SparkSQLSparkSQLStormStormSparkSparkStreamingStreamingHDFSHDFSHbaseHbase通用服務(wù)管理通用服務(wù)管理RedisRedis服務(wù)器服務(wù)器中間件服務(wù)中間件服務(wù)TomcatTomcat服務(wù)服務(wù)服務(wù)管理服務(wù)管理資源管理資源管理安全管理安全管理租戶管理租戶管理監(jiān)控運維監(jiān)控運維LVS/NginLVS/Nginx x服務(wù)服務(wù)KafkaKafka服務(wù)服務(wù)APIAPI接口接口用戶操作接

12、口用戶操作接口命令行接口命令行接口總線總線服務(wù)服務(wù)數(shù)據(jù)服務(wù)管理數(shù)據(jù)服務(wù)管理總線服務(wù)管理總線服務(wù)管理HDFSHDFSYARN/SliderYARN/SliderZookeeperZookeeperLVS/NginxLVS/NginxHive/Hive/TezTez產(chǎn)品2/3：大數(shù)據(jù)平臺產(chǎn)品技術(shù)架構(gòu)-某省移動樣板點u產(chǎn)品設(shè)計目標：基于通用PC硬件和開源軟件的分布式事務(wù)型關(guān)系數(shù)據(jù)庫u 高可靠性：代替oracle等傳統(tǒng)集中事務(wù)型關(guān)系數(shù)據(jù)庫u 平滑遷移：支持現(xiàn)有核心業(yè)務(wù)系統(tǒng)安全、經(jīng)濟、平滑地遷移u 高擴展性：滿足億級用戶規(guī)模數(shù)據(jù)量業(yè)務(wù)處理的系統(tǒng)建設(shè)需求u設(shè)計思路：以BSD license的開源PG為基礎(chǔ)

13、，結(jié)合電信核心業(yè)務(wù)特點(實時、高并發(fā)、億級用戶、海量數(shù)據(jù)存儲)自主開發(fā)相關(guān)模塊，形成自主知識產(chǎn)權(quán)的高可用，高性能，易用的分布式數(shù)據(jù)庫產(chǎn)品u技術(shù)思路：PG+自主功能模塊（運維，監(jiān)控，HA）集成易學(xué)、易用、好用的管理界面和輔助工具， 保證產(chǎn)品的穩(wěn)定性和簡捷性訂制化低成本數(shù)據(jù)安全高可用簡單易用高可靠高性能 High availabilityCluster managementPG Management ToolsNew Hardware SupportADB產(chǎn)品3/3： 亞信分布式數(shù)據(jù)庫ADB（Asiainfo Data Base）mGTM：全局事務(wù)管理器u提供全局事務(wù)ID和快照號：實現(xiàn)事務(wù)并發(fā)控制

14、和事務(wù)隔離u提供全局序列號和時間戳功能產(chǎn)品3 /3 : ADB產(chǎn)品架構(gòu)代理層：處理客戶端的連接請求（主、從節(jié)點內(nèi)）u支持SQL92標準：生成執(zhí)行計劃，將執(zhí)行計劃、全局事務(wù)ID和快照號發(fā)送給數(shù)據(jù)節(jié)點執(zhí)行，對結(jié)果集歸并處理u多協(xié)調(diào)節(jié)點同時接受客戶端連接：提供讀寫可擴展性u對跨節(jié)點操作提供分布式事務(wù)支持u支持跨節(jié)點的關(guān)聯(lián)、聚合類分析操作數(shù)據(jù)層：完成數(shù)據(jù)的存儲和執(zhí)行（主、從節(jié)點內(nèi)）u支持數(shù)據(jù)節(jié)點的分組管理u提供應(yīng)用透明的復(fù)制和分布兩種存儲方式u提供多種分片函數(shù)，支持定制開發(fā)u支持節(jié)點動態(tài)擴容和數(shù)據(jù)自動重平衡亞信分布式數(shù)據(jù)庫提供透明的數(shù)據(jù)分布存儲水平擴展性好無單點故障和秒級切換提供多數(shù)據(jù)副本的強一致性提供透明的ACID特性產(chǎn)品3/3: ADB總體技術(shù)特點功能特點承載復(fù)雜事物環(huán)境下高性能、高可用的OL