云計(jì)算（第三版）配套之37第11章中國(guó)云計(jì)算技術(shù)（二）

11.1國(guó)內(nèi)云計(jì)算發(fā)展概況11.2國(guó)產(chǎn)云存儲(chǔ)技術(shù)11.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)11.4云視頻監(jiān)控技術(shù)11.5阿里巴巴阿里云服務(wù)11.6云創(chuàng)存儲(chǔ)萬(wàn)物云服務(wù)11.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)11.3.1阿里巴巴OceanBase11.3.2云創(chuàng)存儲(chǔ)數(shù)據(jù)立方〔DataCube〕3到目前為止，OceanBase支持了收藏夾、直通車報(bào)表、天貓?jiān)u價(jià)等OLTP和OLAP在線業(yè)務(wù)，線上數(shù)據(jù)量已經(jīng)超過(guò)千億條記錄。11.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)阿里巴巴OceanBaseOceanBase主要是為了解決淘寶網(wǎng)的大規(guī)模數(shù)據(jù)而產(chǎn)生的，是一個(gè)支持海量數(shù)據(jù)的高性能分布式數(shù)據(jù)庫(kù)系統(tǒng)，到達(dá)管理數(shù)千億條記錄的規(guī)模，支持在數(shù)百TB數(shù)據(jù)上跨行跨表事務(wù)并支持SQL操作。4PootServer/UpdataServer(主)PootServer/UpdataServer(備)ChunkServer/MergeServerChunkServer/MergeServerChunkServer/MergeServerChunkServer/MergeServer11.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)阿里巴巴OceanBase系統(tǒng)架構(gòu)511.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)阿里巴巴OceanBase客戶端基于MySQL數(shù)據(jù)庫(kù)開發(fā)的應(yīng)用程序、工具能夠直接遷移到OceanBaseRootServer配置效勞器，一般是單臺(tái)效勞器。記錄commitlog并通常采用雙機(jī)熱備UpdateServer存儲(chǔ)OceanBase系統(tǒng)的增量更新數(shù)據(jù)。ChunkServer保存基準(zhǔn)數(shù)據(jù)的效勞器，通常是多臺(tái)，同一份基準(zhǔn)數(shù)據(jù)通常保存3份并存儲(chǔ)在不同的ChunkServer上MergeServer接收并解析用戶的SQL請(qǐng)求經(jīng)過(guò)詞法分析、語(yǔ)法分析、查詢優(yōu)化等一系列操作后轉(zhuǎn)發(fā)給相應(yīng)的ChunkServer或者UpdateServer6Mysql客戶端，JDBC/ODBC等MergsServerMysql協(xié)議MS-SQLMergsServerMysql協(xié)議MS-SQLMergsServerMysql協(xié)議MS-SQLChunkServerCS-SQLChunkServerCS-SQLChunkServerCS-SQLChunkServerUPS-SQLSQL請(qǐng)求讀事務(wù)寫事務(wù)讀取修改增量11.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)阿里巴巴OceanBase數(shù)據(jù)查詢流程711.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)阿里巴巴OceanBase系統(tǒng)特點(diǎn)及優(yōu)勢(shì)主體數(shù)據(jù)在一段時(shí)間內(nèi)保持相對(duì)穩(wěn)定以內(nèi)存保存增刪改記錄極大地提高了系統(tǒng)寫事務(wù)的性能擴(kuò)充UpdateServer內(nèi)存即增加了內(nèi)存中容納的修改量動(dòng)態(tài)數(shù)據(jù)效勞器UpdateServer寫commitlog并采取雙機(jī)〔甚至多機(jī)〕熱備OceanBase按主鍵的范圍查詢對(duì)應(yīng)著連續(xù)的磁盤讀811.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)阿里巴巴OceanBaseUpdateServerChunkServerMergeServerRootServer類似于DBMS中的DB角色，提供跨行跨表事務(wù)和很短的查詢修改的響應(yīng)時(shí)間以及良好的一致性具有數(shù)據(jù)多副本、中等規(guī)模數(shù)據(jù)粒度、自動(dòng)負(fù)載平衡、宕機(jī)恢復(fù)、機(jī)器plugandplay等特點(diǎn)，系統(tǒng)容量及性能隨時(shí)擴(kuò)展結(jié)合ChunkServer和UpdateServer，獲得最新數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)一致性類似于云計(jì)算中的主控機(jī)〔如GFSmaster〕，進(jìn)行機(jī)器故障檢測(cè)、負(fù)載平衡計(jì)算、負(fù)載遷移調(diào)度等911.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)阿里巴巴OceanBase可靠性與可用性O(shè)ceanBase在ChunkServer中保存了基準(zhǔn)數(shù)據(jù)的多個(gè)副本。OceanBase在UpdateServer中保存了增量數(shù)據(jù)的多個(gè)副本。ChunkServer的多個(gè)副本可以同時(shí)提供效勞。UpdateServer主備之間為熱備，同一時(shí)刻只有一臺(tái)機(jī)器為主UpdateServer提供寫效勞。OceanBase存儲(chǔ)多個(gè)副本并沒(méi)有帶來(lái)太多的本錢。在OceanBase系統(tǒng)中，用戶的讀/寫請(qǐng)求，即讀/寫事務(wù)，都發(fā)給MergeServer。1011.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)阿里巴巴OceanBase只讀事務(wù)執(zhí)行流程如下：1234MergeServer解析SQL語(yǔ)句，詞法分析、語(yǔ)法分析、預(yù)處理，最后生成邏輯執(zhí)行方案和物理執(zhí)行方案。MergeServer將請(qǐng)求拆分后同時(shí)發(fā)給多臺(tái)ChunkServer并發(fā)執(zhí)行，每臺(tái)ChunkServer將讀取的局部結(jié)果返回MergeServer如果SQL請(qǐng)求涉及多張表格，MergeServer還需要執(zhí)行聯(lián)表、嵌套查詢等操作。MergeServer將最終結(jié)果返回給客戶端。11.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)11.3.1阿里巴巴OceanBase11.3.2云創(chuàng)存儲(chǔ)數(shù)據(jù)立方〔DataCube〕12索引SHELLJDBCSQL解析器JobBuilderMetadata并行計(jì)算框架分布式文件系統(tǒng)數(shù)據(jù)立方〔DataCube〕的結(jié)構(gòu)分為用戶接口、索引、SQL解析器、作業(yè)生成器、元數(shù)據(jù)管理、并行計(jì)算架構(gòu)、分布式文件系統(tǒng)等局部，如下圖。11.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)云創(chuàng)存儲(chǔ)數(shù)據(jù)立方〔DataCube〕13ZookeeperMaster（備）NameNode（備）Master（主）NameNode（主）SlaveDataNodeSlaveDataNodeSlaveDataNode……日志心跳11.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)云創(chuàng)存儲(chǔ)數(shù)據(jù)立方〔DataCube〕1411.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)云創(chuàng)存儲(chǔ)數(shù)據(jù)立方〔DataCube〕實(shí)時(shí)性計(jì)算的數(shù)據(jù)本地性數(shù)據(jù)平衡性15MasterSlave0Slave1……SlaveNSlave0Slave1……SlaveNMasterJobTask0Task1TaskNIntermediateDataResultSet0ResultSet1ResultSetN11.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)云創(chuàng)存儲(chǔ)數(shù)據(jù)立方〔DataCube〕并行計(jì)算架構(gòu)上作業(yè)執(zhí)行過(guò)程16并行計(jì)算架構(gòu)的3種分發(fā)方式11.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)云創(chuàng)存儲(chǔ)數(shù)據(jù)立方〔DataCube〕SlaveXSlave0Slave1……SlaveNDataSetDataSetDataSetSlaveXSlave0Slave1……SlaveNDataSetDataSet13SlaveXSlave0Slave1……SlaveNDataSubset1DataSubset2DataSubsetN217MasterSlave0Slave1……SlaveNSlave0Slave1……SlaveNMasterJobTask0Task1TaskNSmallTableResultSet0ResultSet1ResultSetN11.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)云創(chuàng)存儲(chǔ)數(shù)據(jù)立方〔DataCube〕小表與大表的join實(shí)例18MapReduce對(duì)每個(gè)查詢都是直接從分布式文件系統(tǒng)中讀入原始數(shù)據(jù)文件，I/O代價(jià)遠(yuǎn)高于數(shù)據(jù)庫(kù)，相對(duì)于MapReduce架構(gòu)以及在其之上的SQL解析器Hive，數(shù)據(jù)立方引入了一種高效的分布式索引機(jī)制，不同于并行數(shù)據(jù)庫(kù)的Shared-nothing和Shared-disk架構(gòu)，數(shù)據(jù)立方的數(shù)據(jù)文件與索引文件都存放在分布式文件系統(tǒng)之上。11.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)云創(chuàng)存儲(chǔ)數(shù)據(jù)立方〔DataCube〕分布式索引1911.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)云創(chuàng)存儲(chǔ)數(shù)據(jù)立方〔DataCube〕B+樹索引2011.3國(guó)產(chǎn)大數(shù)據(jù)庫(kù)技術(shù)云創(chuàng)存儲(chǔ)數(shù)據(jù)立方〔DataCube〕數(shù)據(jù)立方大數(shù)據(jù)一體機(jī)處理海量數(shù)據(jù)的高效分布式軟/硬件集合的云處理平臺(tái)從TB乃至PB級(jí)的數(shù)據(jù)挖掘海量信息的快捷高效處理100Gbps以上量級(jí)的數(shù)據(jù)流實(shí)時(shí)索引秒級(jí)響應(yīng)客戶請(qǐng)求秒級(jí)完成數(shù)據(jù)處理、查詢和分析工作對(duì)入口數(shù)據(jù)進(jìn)行實(shí)時(shí)索引支持?jǐn)?shù)據(jù)深度挖掘和商業(yè)智能分析對(duì)數(shù)據(jù)進(jìn)行分析、清理、分割本章未完待續(xù)百度排名首位的大數(shù)據(jù)資料和交流中心百度排名首位的云計(jì)算資料和交流中心終生免費(fèi)的智能硬件大數(shù)據(jù)托管平臺(tái)掃一掃，進(jìn)入萬(wàn)物云終生免費(fèi)的環(huán)境大數(shù)據(jù)共享平臺(tái)掃一掃，進(jìn)入環(huán)境云云創(chuàng)大數(shù)據(jù)

給您一步到位的解決方案！高校Hadoop教學(xué)科研一攬子解決方案云計(jì)算、大數(shù)據(jù)時(shí)代，社會(huì)亟需相關(guān)人才！而高校