事務(wù)與分析一體化數(shù)據(jù)庫(kù)架構(gòu)

1、HybridDB for MySQL事務(wù)與分析一體化數(shù)據(jù)庫(kù)架構(gòu)產(chǎn)品定義產(chǎn)品能力場(chǎng)景和方案“最多跑一次”1、HTAP產(chǎn)品定位ApsaraDB的自研之路RDS局限性：性能瓶頸容量限制 分析需求HybridDB for MySQL分布式擴(kuò)展性能增強(qiáng)并行處理TB-PB級(jí)的HTAP混合場(chǎng)景POLARDB新一代數(shù)據(jù)庫(kù)產(chǎn)品100TB的事務(wù)處理場(chǎng)景6倍MySQL性能提升自研的原因：用戶需求 產(chǎn)品粘性 市場(chǎng)競(jìng)爭(zhēng)力什么是HTAP數(shù)據(jù)庫(kù)？HTAP：Hybrid Transaction/Analytic Processing.Data事務(wù)處理Data聯(lián)機(jī)分析COMPLEXSLOWHIGH COSTBeforeData

2、SIMPLESMARTERFASTERNOWOLAP擴(kuò)展能力OLTP擴(kuò)展能力HybridDB forMySQLRDSMyCAT+ RDS MySQLPOLARDBHybridDB for MySQL的目標(biāo)定位商業(yè)數(shù)據(jù)庫(kù):Oracle/SQLServer/2、產(chǎn)品能力原生的云數(shù)據(jù)庫(kù)松耦合架構(gòu)分布式并行行列混合完全兼容MySQL生態(tài)HybridDB for MySQLHTAP能力之源HybridDB for MySQL強(qiáng)勁的并行處理，從容應(yīng)對(duì)海量數(shù)據(jù)TB級(jí)/小時(shí)實(shí)時(shí)寫入優(yōu)化提升100+倍查詢性能優(yōu)化壓縮比5-15倍高效壓縮PB級(jí)數(shù)據(jù)管理節(jié)點(diǎn)動(dòng)態(tài)擴(kuò)展HybridDB for MySQL沿承RDS使用

3、體驗(yàn)嚴(yán)格遵循SQL標(biāo)準(zhǔn)支持事務(wù)、DML實(shí)時(shí)可見(jiàn)Benchmark標(biāo)準(zhǔn)：TPC-H/TPC-DS語(yǔ)法增強(qiáng)：CTE/層次查詢/分析函數(shù)繼承MySQL生態(tài)驅(qū)動(dòng)/框架 工具/應(yīng)用沿襲RDS管控管理/安全/運(yùn)維/監(jiān)控適配阿里云上下游工具數(shù)據(jù)管理：DMS 數(shù)據(jù)同步：DTS 數(shù)據(jù)整合：CDP決策支持：QuickBI數(shù)據(jù)級(jí)保護(hù)支持?jǐn)?shù)據(jù)增量訂閱推送并行和恢復(fù)備份多備份集，一鍵上傳OSS服務(wù)級(jí)保護(hù)連接防閃斷無(wú)感知存儲(chǔ)節(jié)點(diǎn)多副本自動(dòng)故障切換平滑擴(kuò)容不停機(jī)IDC級(jí)保護(hù)支持專有云ApsaraStack支持同城容災(zāi)支持兩地三中心部署HybridDB for MySQL服務(wù)穩(wěn)定可靠，全面保護(hù)數(shù)據(jù)資產(chǎn)支持增量訂閱功能內(nèi)核支訂

4、閱增量變化信息支持DDL訂閱支持條件過(guò)濾消費(fèi)端支持KAFKA、RDS、HybridDB for MySQL 專有云優(yōu)先支持，公共云期待中！新增混合計(jì)算規(guī)格火熱邀測(cè)中！極速分析多值子列全文檢索空間檢索BI生態(tài)兼容HybridDB for MySQL新增混合計(jì)算規(guī)格-火熱邀測(cè)中8 core、32 GB, 720G SSD可輕松擴(kuò)展至PB容量強(qiáng)大SQL支持支持MySQL協(xié)議和語(yǔ)法支持TPC-H、TPC-DS benchmark支持Oracle分析函數(shù)、層次查詢毫秒級(jí)分析百億大表、任意維度、毫秒級(jí)分析列式組合索引，多種緩存支持事實(shí)表、維度表，聚集索引支持EVENT便捷的數(shù)據(jù)管理數(shù)據(jù)可見(jiàn)性：數(shù)據(jù)實(shí)時(shí)寫入

5、，實(shí)時(shí)可見(jiàn)Online DDL：加列，增減索引，視圖數(shù)據(jù)變更： Update/Delete/Truncate數(shù)據(jù)交換： 高性能批量數(shù)據(jù)導(dǎo)入和導(dǎo)出HybridDB for MySQL新增混合計(jì)算規(guī)格-毫秒級(jí)分析能力HybridDB for MySQL新增混合計(jì)算規(guī)格-多值子列create table test ( uid bigint,city varchar,tags multivalue delimiter , value_type varchar,brands multivalue delimiter : , value_type varcharint)uidCityTagsBrands1

6、BJA,BX : 80,Y : 702HZB,C,DZ : 653BJB,DY : 78,Z : 90定義：包含多個(gè)子列的列，平行嵌套列1過(guò)濾：select count(*) from testwhere ref(tags,0) in(A, B, C)23分組：select ref(tags,0), count(*) from testwhere ref(tags,0) in(A, B, C) group by ref(tags,0)組合：select * from test where ref(brands,0) in (X, Y) and ref(brands, 1) 804連接：sele

7、ct count(*) from test, test2 where test.uid=test2.uidandref(tags,0) in(A, B, C) and ref(brands, 1) 80HybridDB for MySQL新增混合計(jì)算規(guī)格-全文檢索create table test ( uid bigint,city varchar,title varchar tokenizer ik)uidcitytitle1BJ中華人民共和國(guó)2HZ云棲大會(huì)HTAP專場(chǎng)3BJhello, world全文檢索：支持在SQL中精確全文檢索12檢索1：select count(*) from te

8、stwhere title in (人民, 大會(huì))檢索2：select count(*) from testwhere title in tokenize(云棲大會(huì))and city=HZ3連接&組合：select count(*) from test, test2where test.uid=test2.uidand title in tokenize(云棲大會(huì))HybridDB for MySQL新增混合計(jì)算規(guī)格-空間檢索圓形檢索selectcount(*) from test where geo_in_cycle(poi, “116.3972, 39.9096”, 300)多邊形檢索se

9、lectcount(*) from test where geo_in_polygon(poi,“116.3972 39.9096, 116.43 39.991, .”)位置點(diǎn)檢索 selectcount(*) from test where geo_in_points(poi, “116.3972 39.9096”)uidcitypoi1BJ116.3972, 39.90962HZ120.1313, 90.27273BJ116.4041, 39.9863空間檢索：支持在SQL中快速便捷的空間檢索create table test ( uid bigint,city varchar,poige

10、o2d delimiter ,)RDSMaxComputeOSSStreamComputeMQDataVQlikViewExternal TableHybridDB Table實(shí)時(shí)寫入外表映射QuickBITableau數(shù)據(jù)可視化MySQL Protocol批量流轉(zhuǎn)HybridDB for MySQL新增混合計(jì)算規(guī)格-數(shù)據(jù)流轉(zhuǎn)支持包年包月高性能存儲(chǔ)規(guī)格月價(jià)為按量付費(fèi)7折，包年折上折： 一年8.5折、兩年7折、三年5折3、場(chǎng)景和方案場(chǎng)景特征高吞吐實(shí)時(shí)DML操作要求事務(wù)可見(jiàn)性高并發(fā)典型場(chǎng)景實(shí)時(shí)指標(biāo)監(jiān)控類應(yīng)用實(shí)時(shí)推薦類應(yīng)用新技術(shù)新金融新能源新制造新零售高吞吐業(yè)務(wù)場(chǎng)景交互式分析場(chǎng)景混合場(chǎng)景Hybrid

11、DB for MySQL典型場(chǎng)景實(shí)時(shí)可見(jiàn)，混合分析，在線激活企業(yè)數(shù)據(jù)在線分析場(chǎng)景場(chǎng)景特征實(shí)時(shí)寫入，實(shí)時(shí)可見(jiàn)高并發(fā)在線多維實(shí)時(shí)分析數(shù)據(jù)可適度建模典型場(chǎng)景交易實(shí)時(shí)報(bào)表物流倉(cāng)儲(chǔ)大屏場(chǎng)景特征實(shí)時(shí)寫入、低成本存儲(chǔ)響應(yīng)時(shí)間快，并發(fā)不高數(shù)據(jù)無(wú)法預(yù)建模典型場(chǎng)景營(yíng)業(yè)指數(shù)類應(yīng)用交易歷史庫(kù)類應(yīng)用場(chǎng)景特征實(shí)時(shí)寫入，數(shù)據(jù)集中在線業(yè)務(wù)處理，事務(wù)實(shí)時(shí) 可見(jiàn)。在線實(shí)時(shí)交互式分析典型場(chǎng)景HTAP類場(chǎng)景混合數(shù)倉(cāng)類場(chǎng)景業(yè)務(wù)痛點(diǎn)：天象：基于海量監(jiān)控?cái)?shù)據(jù)深度挖掘異常點(diǎn)與趨勢(shì)， 多維度可視化展示RDS的服務(wù)質(zhì)量性能監(jiān)控類場(chǎng)景：高吞吐類業(yè)務(wù)方案價(jià)值：結(jié)構(gòu)化數(shù)據(jù)、流式數(shù)據(jù)、離線數(shù)據(jù)回流，多種數(shù)據(jù)高并發(fā)寫入PB級(jí)海量數(shù)據(jù)管理提供實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)基

12、座阿里內(nèi)部典型場(chǎng)景結(jié)構(gòu)化數(shù)據(jù)HybridDB for MySQL歸檔數(shù)據(jù)MaxCompute結(jié)構(gòu)化數(shù)據(jù)源RDS元數(shù)據(jù)RDS第三方數(shù)據(jù)離線 回流數(shù)據(jù)同步實(shí)時(shí)數(shù)據(jù)LogAgent消息服務(wù)流式計(jì)算實(shí)時(shí)入庫(kù)實(shí)時(shí)指標(biāo)性能監(jiān)控類應(yīng)用混合數(shù)倉(cāng)類應(yīng)用阿里云SLACDN性能數(shù)據(jù)力助多媒體云服務(wù)的快速發(fā)展CloudPhoto 云相冊(cè)LiveVideo 視頻直播MTS視頻轉(zhuǎn)碼CDN內(nèi)容分發(fā)網(wǎng)絡(luò)支撐阿里云的多媒體服務(wù)解決方案智能圖像解決方案：CloudPhoto+MTS+CDN 視頻類及解決方案：LiveVideo+MTS+CDN持續(xù)穩(wěn)定、能力均衡的數(shù)據(jù)庫(kù)服務(wù) 力助用海外擴(kuò)張雙十一、雙十二背后HybridDB for

13、 MySQL交出的成績(jī)單零售云和物流云所有的訂單數(shù)據(jù) 100% 都在RDS流轉(zhuǎn)，RDS 0 故障 0 丟單RDS服務(wù)質(zhì)量實(shí)時(shí)監(jiān)控，峰值寫入每秒2000萬(wàn)，全天數(shù)據(jù)量400TB+ 菜鳥(niǎo)倉(cāng)儲(chǔ)核心數(shù)據(jù)平臺(tái)，峰值TPS 24萬(wàn)，復(fù)雜查詢QPS 1000+盒馬交易大盤數(shù)據(jù)平臺(tái)，100+張表實(shí)時(shí)更新和任意維度毫秒級(jí)分析業(yè)務(wù)痛點(diǎn)物聯(lián)網(wǎng)數(shù)據(jù)數(shù)據(jù)340億，約40TB；非結(jié)構(gòu)化PDF數(shù)據(jù)，80TB；需要事務(wù)保護(hù)，有標(biāo)簽回寫等更新操作；方案價(jià)值架構(gòu)清晰：可分層建設(shè)滿足用戶建設(shè)信息 化建設(shè)需要。成本可控：結(jié)構(gòu)化數(shù)據(jù)部分為原設(shè)計(jì)方案成本的1/4。運(yùn)維方便：沿用RDS生態(tài)，一個(gè)產(chǎn)品運(yùn) 維。阿里云專有云重點(diǎn)行業(yè)方案。內(nèi)部大

14、數(shù)據(jù)服務(wù)數(shù)據(jù)按需調(diào)用業(yè)務(wù)系統(tǒng)保留1年數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)HybridDB forMySQL大數(shù)據(jù)計(jì)算平臺(tái)數(shù)據(jù)集成 MaxCompute DataIDE查詢系統(tǒng)保留1-5年數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)（PDF）OSS報(bào)表數(shù)據(jù)歸檔數(shù)據(jù)OSS大數(shù)據(jù)應(yīng)用平臺(tái)T+1調(diào)度OTS按時(shí)間維度歸 檔按月歸檔企業(yè)級(jí)解決方案某政務(wù)物聯(lián)網(wǎng)數(shù)據(jù)方案公共服務(wù)提供五年的數(shù)據(jù)服務(wù)應(yīng)用層做查詢集成業(yè)務(wù)痛點(diǎn)很難做T+0分析：需要數(shù)據(jù)搬運(yùn)；DBA與數(shù)據(jù)分析部分存在灰度區(qū)域；基于只讀實(shí)例數(shù)據(jù)分析： 開(kāi)發(fā)復(fù)雜度大；節(jié)點(diǎn)數(shù)越多運(yùn)維成本陡增；額外增加的運(yùn)維成本；方案價(jià)值HTAP能力快速構(gòu)建ODS+DW層T+0分析支持：ODS+離線回流結(jié)果降低開(kāi)發(fā)和運(yùn)維成本

15、明確部門職責(zé)：消除灰色地帶。生態(tài)成熟穩(wěn)定。智能展示應(yīng)用DataVQuickBI云上大數(shù)據(jù)計(jì)算平臺(tái)離線數(shù)據(jù)倉(cāng)庫(kù)DataIDE制式化報(bào)表個(gè)性化報(bào)表儀表盤宏觀分析模型分析數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用預(yù)警監(jiān)測(cè) 自助查詢生產(chǎn)系統(tǒng)數(shù)據(jù)庫(kù)關(guān)系型數(shù) 據(jù)庫(kù)ARDS關(guān)系型數(shù) 據(jù)庫(kù)BRDS關(guān)系型數(shù)據(jù)庫(kù)CRDS關(guān)系型數(shù)據(jù)庫(kù)DECS自建HTAP數(shù)據(jù)庫(kù)HybridDB for MySQL數(shù)據(jù)集成 MaxCompute自建大數(shù)據(jù)計(jì)算平臺(tái)ETLHadoopSpark實(shí)時(shí)同步DTS實(shí)時(shí) 同步企業(yè)級(jí)解決方案云上ODS數(shù)倉(cāng)融合解決方案按需 回流“最多跑一次”HybridDB賦能浙江省行政重大改革實(shí)現(xiàn)民眾辦事前一百項(xiàng)目“最多跑一次”HybridDB

16、系列在浙江省政務(wù)云“最多跑一次”項(xiàng)目中支承核心業(yè)務(wù)，系統(tǒng)架構(gòu)演進(jìn)如下公安海洋人社RDS1RDS2RDS3RDS4讀庫(kù)1讀庫(kù)2讀庫(kù)3讀庫(kù)4數(shù)據(jù)歸集 交換平臺(tái)前置歸集主庫(kù)歸集讀庫(kù)自建Hvie集群T+1歸集清洗RDS數(shù)據(jù)清洗 共享平臺(tái)主題庫(kù)自建Hive集群自建數(shù)據(jù)庫(kù)HybridDB for MySQL公安海洋人社HybridDB for MySQLEMRT+0歸集清洗增量訂閱推送Kafka流式歸集清洗HybridDB for PostgreSQL實(shí)現(xiàn)民眾辦事前一百項(xiàng)目“最多跑一次”HybridDB系列在浙江省政務(wù)云“最多跑一次”項(xiàng)目中支承核心業(yè)務(wù)，系統(tǒng)架構(gòu)演進(jìn)如下公安海洋人社RDS1RDS2RDS3

17、RDS4讀庫(kù)1讀庫(kù)2讀庫(kù)3讀庫(kù)4前置歸集主庫(kù)歸集讀庫(kù)自建Hvie集群T+1歸集清洗RDS自建Hive集群自建數(shù)據(jù)庫(kù)數(shù)據(jù)歸集 交換平臺(tái)數(shù)據(jù)清洗 共享平臺(tái)主題庫(kù)1、架構(gòu)復(fù)雜：運(yùn)維成本高；數(shù)據(jù)鏈路長(zhǎng)：RDS-只讀RDS-Hive-清洗Hive-RDS，跨越 多個(gè)云平臺(tái)；多份數(shù)據(jù)冗余；只能做T+1歸集；各個(gè)ISV之間耦合度高；2、系統(tǒng)瓶頸：容量限制：目前僅歸集部分表，其他數(shù)據(jù)仍在離線中；實(shí)時(shí)性要求：受制于主被同步延遲，只讀庫(kù)中拉取數(shù)據(jù)非實(shí)時(shí)； 擴(kuò)展性要求：現(xiàn)有架構(gòu)基本無(wú)法再行擴(kuò)展；性能要求：支撐全省業(yè)務(wù)共享，并發(fā)寫入，并發(fā)查詢要求高，目 前已出現(xiàn)性能瓶頸。穩(wěn)定性要求：自建數(shù)據(jù)庫(kù)不穩(wěn)定，運(yùn)維成本高。實(shí)現(xiàn)民眾辦事前一百項(xiàng)目“最多跑一次”HybridDB系列在浙江省政務(wù)云“最多跑一次”項(xiàng)目中支承核心業(yè)務(wù)，系統(tǒng)架構(gòu)演進(jìn)如下數(shù)據(jù)歸集 交換平臺(tái)數(shù)據(jù)清洗 共享平臺(tái)主題庫(kù)HybridDB for MySQL公安海洋人社HybridDB for MySQLEMRT+0清洗增量訂閱推送Kafka流式歸集清洗HybridDB for PostgreSQL前置歸集庫(kù)1、架構(gòu)簡(jiǎn)單：運(yùn)維成本可控：由若干RDS實(shí)例變?yōu)?個(gè)數(shù)據(jù)庫(kù)實(shí)例歸集鏈路縮短：DB-Kafka-SparkStream-DB，過(guò)程數(shù)據(jù)不落