云計算（第三版）配套之37第11章中國云計算技術（二）

11.1國內云計算發(fā)展概況11.2國產云存儲技術11.3國產大數據庫技術11.4云視頻監(jiān)控技術11.5阿里巴巴阿里云服務11.6云創(chuàng)存儲萬物云服務11.3.1阿里巴巴OceanBase11.3.2云創(chuàng)存儲數據立方〔DataCube〕3到目前為止，OceanBase支持了收藏夾、直通車報表、天貓評價等OLTP和OLAP在線業(yè)務，線上數據量已經超過千億條記錄。阿里巴巴OceanBaseOceanBase主要是為了解決淘寶網的大規(guī)模數據而產生的，是一個支持海量數據的高性能分布式數據庫系統(tǒng)，到達管理數千億條記錄的規(guī)模，支持在數百TB數據上跨行跨表事務并支持SQL操作。4PootServer/UpdataServer(主)PootServer/UpdataServer(備)ChunkServer/MergeServerChunkServer/MergeServerChunkServer/MergeServerChunkServer/MergeServer阿里巴巴OceanBase系統(tǒng)架構5阿里巴巴OceanBase客戶端基于MySQL數據庫開發(fā)的應用程序、工具能夠直接遷移到OceanBaseRootServer配置效勞器，一般是單臺效勞器。記錄commitlog并通常采用雙機熱備UpdateServer存儲OceanBase系統(tǒng)的增量更新數據。ChunkServer保存基準數據的效勞器，通常是多臺，同一份基準數據通常保存3份并存儲在不同的ChunkServer上MergeServer接收并解析用戶的SQL請求經過詞法分析、語法分析、查詢優(yōu)化等一系列操作后轉發(fā)給相應的ChunkServer或者UpdateServer6Mysql客戶端，JDBC/ODBC等MergsServerMysql協(xié)議MS-SQLMergsServerMysql協(xié)議MS-SQLMergsServerMysql協(xié)議MS-SQLChunkServerCS-SQLChunkServerCS-SQLChunkServerCS-SQLChunkServerUPS-SQLSQL請求讀事務寫事務讀取修改增量阿里巴巴OceanBase數據查詢流程7阿里巴巴OceanBase系統(tǒng)特點及優(yōu)勢主體數據在一段時間內保持相對穩(wěn)定以內存保存增刪改記錄極大地提高了系統(tǒng)寫事務的性能擴充UpdateServer內存即增加了內存中容納的修改量動態(tài)數據效勞器UpdateServer寫commitlog并采取雙機〔甚至多機〕熱備OceanBase按主鍵的范圍查詢對應著連續(xù)的磁盤讀8阿里巴巴OceanBaseUpdateServerChunkServerMergeServerRootServer類似于DBMS中的DB角色，提供跨行跨表事務和很短的查詢修改的響應時間以及良好的一致性具有數據多副本、中等規(guī)模數據粒度、自動負載平衡、宕機恢復、機器plugandplay等特點，系統(tǒng)容量及性能隨時擴展結合ChunkServer和UpdateServer，獲得最新數據，實現數據一致性類似于云計算中的主控機〔如GFSmaster〕，進行機器故障檢測、負載平衡計算、負載遷移調度等9阿里巴巴OceanBase可靠性與可用性OceanBase在ChunkServer中保存了基準數據的多個副本。OceanBase在UpdateServer中保存了增量數據的多個副本。ChunkServer的多個副本可以同時提供效勞。UpdateServer主備之間為熱備，同一時刻只有一臺機器為主UpdateServer提供寫效勞。OceanBase存儲多個副本并沒有帶來太多的本錢。在OceanBase系統(tǒng)中，用戶的讀/寫請求，即讀/寫事務，都發(fā)給MergeServer。10阿里巴巴OceanBase只讀事務執(zhí)行流程如下：1234MergeServer解析SQL語句，詞法分析、語法分析、預處理，最后生成邏輯執(zhí)行方案和物理執(zhí)行方案。MergeServer將請求拆分后同時發(fā)給多臺ChunkServer并發(fā)執(zhí)行，每臺ChunkServer將讀取的局部結果返回MergeServer如果SQL請求涉及多張表格，MergeServer還需要執(zhí)行聯(lián)表、嵌套查詢等操作。MergeServer將最終結果返回給客戶端。11.3.1阿里巴巴OceanBase11.3.2云創(chuàng)存儲數據立方〔DataCube〕12索引SHELLJDBCSQL解析器JobBuilderMetadata并行計算框架分布式文件系統(tǒng)數據立方〔DataCube〕的結構分為用戶接口、索引、SQL解析器、作業(yè)生成器、元數據管理、并行計算架構、分布式文件系統(tǒng)等局部，如以下圖。云創(chuàng)存儲數據立方〔DataCube〕13ZookeeperMaster（備）NameNode（備）Master（主）NameNode（主）SlaveDataNodeSlaveDataNodeSlaveDataNode……日志心跳云創(chuàng)存儲數據立方〔DataCube〕14云創(chuàng)存儲數據立方〔DataCube〕實時性計算的數據本地性數據平衡性15MasterSlave0Slave1……SlaveNSlave0Slave1……SlaveNMasterJobTask0Task1TaskNIntermediateDataResultSet0ResultSet1ResultSetN云創(chuàng)存儲數據立方〔DataCube〕并行計算架構上作業(yè)執(zhí)行過程16并行計算架構的3種分發(fā)方式云創(chuàng)存儲數據立方〔DataCube〕SlaveXSlave0Slave1……SlaveNDataSetDataSetDataSetSlaveXSlave0Slave1……SlaveNDataSetDataSet13SlaveXSlave0Slave1……SlaveNDataSubset1DataSubset2DataSubsetN217MasterSlave0Slave1……SlaveNSlave0Slave1……SlaveNMasterJobTask0Task1TaskNSmallTableResultSet0ResultSet1ResultSetN云創(chuàng)存儲數據立方〔DataCube〕小表與大表的join實例18MapReduce對每個查詢都是直接從分布式文件系統(tǒng)中讀入原始數據文件，I/O代價遠高于數據庫，相對于MapReduce架構以及在其之上的SQL解析器Hive，數據立方引入了一種高效的分布式索引機制，不同于并行數據庫的Shared-nothing和Shared-disk架構，數據立方的數據文件與索引文件都存放在分布式文件系統(tǒng)之上。云創(chuàng)存儲數據立方〔DataCube〕分布式索引19云創(chuàng)存儲數據立方〔DataCube〕B+樹索引20云創(chuàng)存儲數據立方〔DataCube〕數據立方大數據一體機處理海量數據的高效分布式軟/硬件集合的云處理平臺從TB乃至PB級的數據挖掘海量信息的快捷高效處理100Gbps以上量級的數據流實時索引秒級響應客戶請求秒級完成數據處理、查詢和分析工作對入口數據進行實時索引支持數據深度挖掘和商業(yè)智能分析對數據進行分析、清理、分割本章未完待續(xù)百度排名首位的大數