大數(shù)據(jù)時代云數(shù)據(jù)庫HBase架構

1、大數(shù)據(jù)時代云數(shù)據(jù)庫HBase架構技術創(chuàng)新，變革未來提綱業(yè)務挑戰(zhàn)帶來的架構演進大數(shù)據(jù)數(shù)據(jù)庫的實際案例業(yè)務的挑戰(zhàn) - 存儲量/并發(fā)計算增大MySQLECS數(shù)據(jù)量變大索引計算力存儲事務SparkHBaseES/Solr100T存儲量大 分布式復雜 成本高分布式化 - 大數(shù)據(jù)方案列存磁盤業(yè)務的挑戰(zhàn) - 結構化業(yè)務增多MySQLECS檢索計算力存儲事務Graph時序時空工程成本 復雜性關系關系NewSQL業(yè)務的挑戰(zhàn) - 引更多的數(shù)據(jù)復雜性分布式延遲靈活性計算復 雜性靈活性Kylin(滿足讀延遲)Hadoop& Spark延遲分布式數(shù)據(jù)庫應對的辦法云化復用資源&彈性 降低成本分層設計降低復雜性分布式提供擴

2、展性計算力延伸算子+SQL基本架構Spark提供計算 能力分布式件系統(tǒng)：盤古分布式安全隔離保障層：QOS純SSDSSD&SATA 混合純SATA分布式件接口：HDFS&API分布式Region - HBase分布式索引 - ES&Solr時序數(shù)據(jù)庫-OpenTSDB圖數(shù)據(jù)庫-JanusGraph時空數(shù)據(jù)庫-GeoMesaCube數(shù)據(jù)庫-KylinSQL標準的SQL口基于存儲計算分離HDFS 與 分布式Region分布式索引分離SQL時空圖時序Cube與分布式Region檢索分離存儲與計算分離 - 存儲按需計費分層負責-規(guī)避工程復雜性-構建各自核心競爭力解決成本的方案盤古QOS純SSDSSD&S

3、ATA 混合純SATAHDFS&API分級存儲分級存儲高壓縮比基礎設施共享 - 庫存壓力分擔存儲與計算分離 - 按需計費 優(yōu)化性能按需計費高壓縮節(jié)點資源資源節(jié)點可用區(qū)A可用區(qū)C節(jié)點節(jié)點節(jié)點節(jié)點資源資源可用區(qū)B資源資源資源資源資源資源資源資源北京區(qū)域杭州區(qū)域降低成本存儲集群 冷熱搭配資源多租戶、與其它業(yè)務共享資源存儲集群 冷存儲集群 熱存儲集群 熱存儲集群 熱存儲集群 冷可用區(qū)A可用區(qū)B同城容災異地容災冷數(shù)據(jù)/備份冷數(shù)據(jù)/備份云數(shù)據(jù)庫基本部署結構高并發(fā)、海量存儲高并發(fā)海量存儲萬列稀疏矩陣1B100M 海量存儲HBase圖片檔網(wǎng)頁病毒對象存儲時序數(shù)據(jù)推薦畫像消息/訂單存儲時空數(shù)據(jù)高并發(fā)海量存儲軌跡

4、氣象網(wǎng)格強同步、海量數(shù)據(jù)聊天消息 訂單/保單存儲用戶特征Feeds流NewSQL實時報表傳感器股票K線監(jiān)控數(shù)據(jù)千萬并發(fā)PB存儲KV基礎存儲動態(tài)列強同步稀疏表SQL二級索引Read Replicas100M的對象存儲高并發(fā)請求訪問 朋友圈新聞SQL、二級索引、動態(tài)列索引查詢、元數(shù)據(jù)庫Cube分析、支持的場景客戶案例 - 某車聯(lián)網(wǎng)公司物聯(lián)網(wǎng)套 件ApsaraDB-HBase流計算 數(shù)據(jù)清洗分析軌跡100萬臺車，每輛車 10s上傳一次，每次1KB1年數(shù)據(jù)存儲300T+，6個月以上數(shù)據(jù)低頻訪問，分級存儲的能力Rowkey設計：Sub(Hash(車輛ID),5)+ 車輛ID + 時間客戶案例 - 某大數(shù)

5、據(jù)控公司ApsaraDB-HBaseAPP ECSECS實時查詢 返回結果Spark算法訓練Spark SQL報表HBase數(shù)據(jù) (在線實時大數(shù)據(jù)存儲)用戶畫像、指紋等爬蟲、手機等原始信息數(shù)據(jù)量200T+ApsaraDB-HBaseECS推薦關系ECSSLA要求高99.99，雙集群保障單集群讀寫高峰QPS 1000w+數(shù)據(jù)量：30TApsaraDB-HBase主備集群推薦關系 實時feedSpark Streaming實時關系寫定期回補關系客戶案例 - 某社交公司ApsaraDB-HBase & PhoenixODPS同步ECSSQL實時查詢批量快速加載交易訂單查詢單表 10000億 +級索引 多個索引字段數(shù)據(jù)量：100T客戶案例 - 某基公司ApsaraDB-HBaseODPSReport實時查詢離線build cube再數(shù)據(jù)同步到HBase中離線建好Cube實時更新數(shù)據(jù)量20T左右客戶案例 - 某