2023云棲大會：開源 PolarDB 架構(gòu)演進(jìn)、關(guān)鍵技術(shù)與社區(qū)建設(shè)

阿里云數(shù)據(jù)庫高級產(chǎn)品專家PolarDB開源社區(qū)運(yùn)營負(fù)責(zé)人01開源PolarDB02開源PolarDB關(guān)鍵技術(shù)03開源PolarDB社區(qū)建設(shè)EvolutionofOpenSourcePolarDBArchitectureAPSARA云棲大會技術(shù)趨勢：云計(jì)算加速數(shù)據(jù)庫系統(tǒng)演進(jìn)AWSAurora,RedshiftAWSAurora,RedshiftAzureSQLDatabase發(fā)展歷程SAPHana數(shù)據(jù)庫結(jié)構(gòu)化數(shù)據(jù)在線處理海量數(shù)據(jù)計(jì)算與分析異構(gòu)數(shù)據(jù)類型異構(gòu)數(shù)據(jù)類型空間/時空結(jié)構(gòu)化文本數(shù)據(jù)據(jù)關(guān)系型數(shù)據(jù)庫NoSQL/NewSQL數(shù)據(jù)庫云原生分布式/軟硬一體云原生分布式/軟硬一體化云計(jì)算+數(shù)據(jù)庫挑戰(zhàn)與機(jī)遇計(jì)算機(jī)的本質(zhì)：計(jì)算+存儲+數(shù)據(jù)生產(chǎn)+處理+存儲+消費(fèi)?計(jì)算分析一體化減少數(shù)據(jù)移動?存儲計(jì)算分離資源池化、解耦?云原生+分布式為基礎(chǔ)PolarDB-X3.0/AnalyticDB3.0云原生分布式架構(gòu)結(jié)合云原生資源解耦池化和分布式水平擴(kuò)展的能力。擴(kuò)展能力不受限制，同時也可以利用存儲計(jì)算分離實(shí)現(xiàn)資源獨(dú)立彈性，是PolarDB的主要發(fā)展方向云原生資源解耦與池化技術(shù)是實(shí)現(xiàn)彈性能力的關(guān)鍵BarrierBarrier云原生分布式PolarDB-X3.0/AnalyticDB3.0云原生分布式架構(gòu)結(jié)合云原生資源解耦池化和分布式水平擴(kuò)展的能力。擴(kuò)展能力不受限制，同時也可以利用存儲計(jì)算分離實(shí)現(xiàn)資源獨(dú)立彈性，是PolarDB的主要發(fā)展方向云原生資源解耦與池化技術(shù)是實(shí)現(xiàn)彈性能力的關(guān)鍵BarrierBarrier云原生分布式APSARA云棲大會傳統(tǒng)單機(jī)數(shù)據(jù)庫傳統(tǒng)單機(jī)數(shù)據(jù)庫?擴(kuò)展性不足共享存儲架構(gòu)共享存儲架構(gòu) 共享存儲共享存儲?易于實(shí)現(xiàn)事務(wù)一致性?保證與單機(jī)數(shù)據(jù)庫兼容性?DB節(jié)點(diǎn)擴(kuò)展能力有限?存儲擴(kuò)展受限于共享存儲單節(jié)點(diǎn)單節(jié)點(diǎn)分布式數(shù)據(jù)庫分布式數(shù)據(jù)庫tt本地磁盤本地磁盤本地磁盤本地磁盤本地本地磁盤?具備良好的水平擴(kuò)展能力以及大規(guī)模?存儲和計(jì)算綁定無法獨(dú)立擴(kuò)展?數(shù)據(jù)分片帶來跨節(jié)點(diǎn)處理查詢和事務(wù)?難以保持對單機(jī)數(shù)據(jù)庫兼容性APSARA云棲大會PolarDB是阿里云開源自研的云原生數(shù)據(jù)庫，100%兼容MySQL和PostgreSQL，高度兼容Oracle語法，基于云原生架構(gòu)、存儲計(jì)算分離、軟硬件一體化設(shè)計(jì)，支持云原生的集中式和分布式部署形態(tài)，為用戶提供具備極致彈性、超高性能、海量數(shù)據(jù)、高可用、高性價比的數(shù)據(jù)庫服務(wù)。云原生數(shù)據(jù)庫，覆蓋傳統(tǒng)關(guān)系型數(shù)據(jù)庫全場景?極致彈性、高性能、海量存儲（100TB）、安全可靠?基于分布式架構(gòu)和普通PC服務(wù)器，提供與商用數(shù)據(jù)庫相當(dāng)?shù)哪芰邆涓呖捎?、高可靠、線性擴(kuò)展、低成本、高性能等核心技術(shù)優(yōu)勢分布式?面向海量數(shù)據(jù)存儲、超高并發(fā)吞吐、復(fù)雜計(jì)214企業(yè)級能力3三層解耦，按需收費(fèi) 計(jì)算資源GlobalLockGlobaltrx?資源秒級擴(kuò)縮容，根據(jù)負(fù)載與資源動態(tài)匹配的按量付費(fèi)，對于有間歇、潮汐等場景的可節(jié)省大量成本原生多生產(chǎn)庫和匯聚庫能力生產(chǎn)庫2生產(chǎn)庫3生產(chǎn)庫4匯聚庫分析庫分析庫分析庫?多主多寫架構(gòu)，最大支持32節(jié)點(diǎn)同時寫入，更好的性能和擴(kuò)展能力?214企業(yè)級能力3三層解耦，按需收費(fèi) 計(jì)算資源GlobalLockGlobaltrx?資源秒級擴(kuò)縮容，根據(jù)負(fù)載與資源動態(tài)匹配的按量付費(fèi)，對于有間歇、潮汐等場景的可節(jié)省大量成本原生多生產(chǎn)庫和匯聚庫能力生產(chǎn)庫2生產(chǎn)庫3生產(chǎn)庫4匯聚庫分析庫分析庫分析庫?多主多寫架構(gòu)，最大支持32節(jié)點(diǎn)同時寫入，更好的性能和擴(kuò)展能力?跨節(jié)點(diǎn)動態(tài)調(diào)度，故障秒級完成應(yīng)用SQL數(shù)據(jù)數(shù)據(jù)庫對象數(shù)據(jù)庫Job應(yīng)用SQL數(shù)據(jù)PolarDB端到端Oracle替換方案數(shù)據(jù)庫對象數(shù)據(jù)庫JobOracle?100%兼容MySQL/PG，高度兼容Oracle語法、同城/異地容災(zāi)，完善的去O方案?支持多樣化的芯片和操作系統(tǒng)，全棧?開源開放真正意義上避免“LockIn”原生HTAP同時提供交易和分析能力RO(IMCI)業(yè)務(wù)邏輯RO(IMCI)?一體化云原生HTAP產(chǎn)品，極簡運(yùn)維?內(nèi)存列存索引(In-MemoryColumn術(shù)，實(shí)現(xiàn)分析性能百倍加速集群地址生產(chǎn)庫1 計(jì)算資源GlobalBufferPoolAPSARA云棲大會55體化分布式數(shù)據(jù)庫架構(gòu)體化分布式數(shù)據(jù)庫架構(gòu)?云原生分布式數(shù)據(jù)庫，原生MySQL生態(tài)?支持自動負(fù)載均衡、分布式高可用、分布式事務(wù)、全局二級索引等重要分布式特性?透明分布式提供單機(jī)MySQL的用戶體驗(yàn)TSO/TopologyTopologyCNCluster…CDCCluster一TSO/TopologyTopologyCNCluster…CDCCluster一DNCluster…?開源PolarDB-PG分布式功能程碑v2.2版本開源PolarDB-PG業(yè)級特性、分布式?開源PolarDB-PG分布式功能程碑v2.2版本開源PolarDB-PG業(yè)級特性、分布式發(fā)布里升級企??發(fā)布v2.3.0版本?開源PolarDB-PG發(fā)布企業(yè)級特性v2.2.1版本v2.1版本APSARA云棲大會2021年，阿里云把數(shù)據(jù)庫開源作為重要戰(zhàn)略方向，正式開源自研核心數(shù)據(jù)庫產(chǎn)品2021年，阿里云把數(shù)據(jù)庫開源作為重要戰(zhàn)略方向，正式開源自研核心數(shù)據(jù)庫產(chǎn)品PolarDB。??開源PolarDB-PG高可用功能儲功能KeyTechnologiesofOpenSourcePolarDB開源之路高可用高擴(kuò)展極致彈性高兼容開放生態(tài)V2.2.0企業(yè)級特性ARM適配最新發(fā)布開源之路高可用高擴(kuò)展極致彈性高兼容開放生態(tài)V2.2.0企業(yè)級特性ARM適配最新發(fā)布V2.3.0標(biāo)準(zhǔn)版V2.0.0集群擴(kuò)縮容V2.1.0共識協(xié)議V2.1.1冷熱數(shù)據(jù)分離V1.0.0全內(nèi)核開源APSARA云棲大會PolarDBforXscale，簡稱“PolarDB-X”?基于Paxos協(xié)議，數(shù)據(jù)強(qiáng)一致?少數(shù)派節(jié)點(diǎn)故障，數(shù)據(jù)不丟，不停服?水平擴(kuò)展，按需在線擴(kuò)縮容，不停服?PB級存儲，單實(shí)例突破256節(jié)點(diǎn)(真實(shí)業(yè)務(wù))?千萬級并發(fā)，可抵御雙11流量峰值?存儲資源池化，自動按需伸縮，按需付費(fèi)?擴(kuò)容不遷移數(shù)據(jù)，突發(fā)流量支持秒級升配?存儲快照技術(shù)，分鐘級完成TB級數(shù)據(jù)庫備份?MySQL兼容，全局事務(wù)、二級索引、元數(shù)據(jù)?主流國產(chǎn)操作系統(tǒng)和芯片互認(rèn)證?全局binlog日志，兼容數(shù)據(jù)庫上下游生態(tài)?智能讀寫分離，保障TP流量的穩(wěn)定性?MPP并行查詢，基于只讀副本保障查詢隔離?基于全局TSO時間戳，保證多副本的一致性讀?擁抱MySQL開源社區(qū)，代碼自主可控?產(chǎn)品架構(gòu)簡單開放，社會人才密度高2022.102023.32022.102023.3APSARA云棲大會元數(shù)據(jù)服務(wù)（GlobalMetaService，GMS）?基于無狀態(tài)的SQL引擎提供分布式路由和計(jì)算?處理分布式事務(wù)的2PC協(xié)調(diào)、全局索引維護(hù)等?提供兼容MySQL生態(tài)的binlog協(xié)議和數(shù)據(jù)格式?提供兼容MySQLReplication主從復(fù)制的交互列存節(jié)點(diǎn)（ColumnarReplica，CR）計(jì)算節(jié)點(diǎn)?經(jīng)歷多年實(shí)戰(zhàn)磨練，MySQL語法高度兼容?完整的SQL計(jì)算節(jié)點(diǎn)?經(jīng)歷多年實(shí)戰(zhàn)磨練，MySQL語法高度兼容?完整的SQL解析層，實(shí)現(xiàn)精準(zhǔn)算子下推?Serverless無狀態(tài)，彈性能力對業(yè)務(wù)透明?提供HTAP并行計(jì)算能力，應(yīng)對混合負(fù)載場景數(shù)據(jù)節(jié)點(diǎn)?基于AliSQL內(nèi)核，歷經(jīng)多年考驗(yàn)，穩(wěn)定可靠?基于Paxos強(qiáng)一致協(xié)議，高可用能力進(jìn)一步提升?全局MVCC改造，滿足持金融級一致性要求?RPC協(xié)議改造，提升節(jié)點(diǎn)間通訊性能APSARA云棲大會APOperators?EX：并行采集所有DN的變更日志??EX：并行采集所有DN的變更日志?MR：分布式事務(wù)日志/DDL排序重組?DP：全局日志落盤并提供標(biāo)準(zhǔn)Binlog服務(wù)全局Binlog?兼容事務(wù)(分布式事務(wù)全局排序)例：基于TraceId、TSO信息對Binlog全局排序?兼容分布式DDL例：可支持DDL同步到下游，比如ADB?兼容分布式擴(kuò)縮容例：屏蔽內(nèi)部分片遷移、廣播表、索引等數(shù)據(jù)干擾主備Replication?兼容MySQL生態(tài)的主備復(fù)制?兼容DTS的上下游生態(tài)APSARA云棲大會冷數(shù)據(jù)歸檔支持DDL分布式Savepoint反向索引推薦運(yùn)維能力備份對接miniIO冷數(shù)據(jù)歸檔支持DDL分布式Savepoint反向索引推薦運(yùn)維能力備份對接miniIO二級分區(qū)虛擬列、函數(shù)索引、外鍵開源生態(tài)Kubeblocks適配Canal/CloudCanal適配開源規(guī)劃集中式和分布式一體化單機(jī)平滑演進(jìn)分布式APSARA云棲大會性能提升索引回表優(yōu)化，性能提升400%2PC去事務(wù)日志，性能提升HTAPHTAP行列混存列存副本、向量化引擎標(biāo)準(zhǔn)版集中式架構(gòu)100%兼容MySQL，自研Paxos多數(shù)派協(xié)議滿足RPO=0標(biāo)準(zhǔn)版集中式架構(gòu)100%兼容MySQL，自研Paxos多數(shù)派協(xié)議滿足RPO=0單機(jī)平滑升級分布式APSARA云棲大會企業(yè)版分布式架構(gòu)最小1個節(jié)點(diǎn)擴(kuò)縮容擴(kuò)縮容最多1024個節(jié)點(diǎn)APSARA云棲大會流量回放模擬壓力支持多線程倍速回放流量回放模擬壓力支持多線程倍速回放生成本地文件SQL審計(jì)日志github地址：/polardbAPSARA云棲大會TP型查詢單機(jī)引擎：TP型查詢分布式并行計(jì)算引擎：AP型查詢云原生企業(yè)級數(shù)據(jù)庫云原生企業(yè)級數(shù)據(jù)庫?云原生HTAP混合負(fù)載處理能力開源之路最新發(fā)布企業(yè)級特性分布式特性最新發(fā)布企業(yè)級特性分布式特性企業(yè)級特性?使用64位整數(shù)及原子操作代替基于xid的快照及其互斥鎖操作，減少臨界區(qū)多版本頁CSNSnapshotWALMetaQueue?使用64位整數(shù)及原子操作代替基于xid的快照及其互斥鎖操作，減少臨界區(qū)多版本頁CSNSnapshotWALMetaQueueData/IndexFile預(yù)讀PolarDBVFSInterfaceData/IndexFile預(yù)擴(kuò)展RelationSizeCache事務(wù)層新特性緩存層新特性新特性新特性存儲層新特性TDETDE塊級增量備份?持續(xù)全量備份時，僅備份和上一次有差異的數(shù)據(jù)塊最新發(fā)布最新發(fā)布APSARA云棲大會全面實(shí)現(xiàn)企業(yè)級能力，實(shí)現(xiàn)性能平穩(wěn)倍增，數(shù)據(jù)透明加密和快速備份數(shù)據(jù)/索引頁面預(yù)數(shù)據(jù)/索引頁面預(yù)塊級增量備份塊級增量備份透明數(shù)據(jù)加密透明數(shù)據(jù)加密以上數(shù)據(jù)來源于阿里云內(nèi)部對相同規(guī)格的PolarDBPostgreSQL與社區(qū)PostgreSQL對比統(tǒng)計(jì)。支持包含分布式下多個子表的sharding表，簡化應(yīng)用開發(fā)，理插件化實(shí)現(xiàn)，最小化升級和移植代價計(jì)算層外表接口PolarDB分布式插件外表接口PolarDB分布式插件外表接口分布式計(jì)算引擎動態(tài)下推優(yōu)化引擎元數(shù)據(jù)管理支持包含分布式下多個子表的sharding表，簡化應(yīng)用開發(fā)，理插件化實(shí)現(xiàn)，最小化升級和移植代價計(jì)算層外表接口PolarDB分布式插件外表接口PolarDB分布式插件外表接口分布式計(jì)算引擎動態(tài)下推優(yōu)化引擎元數(shù)據(jù)管理Plan優(yōu)化器分布式sharding全局分布式PlanCache連接池管理數(shù)據(jù)層…抽象和唯一化分布式執(zhí)行計(jì)劃的子計(jì)劃，結(jié)合計(jì)算層和數(shù)據(jù)層雙緩存技術(shù)，實(shí)現(xiàn)執(zhí)行計(jì)APSARA云棲大會打造輕量化可移植化分布式能力，兼具靈活數(shù)據(jù)分片管理和性能線性擴(kuò)展分布式分布式全局分布式全局分布式動態(tài)下推動態(tài)下推優(yōu)化引擎以上數(shù)據(jù)來源于阿里云內(nèi)部對相同規(guī)格的PolarDBPostgreSQL與社區(qū)PostgreSQL對比統(tǒng)計(jì)。OpensourcePolarDBcommunityconstruction開源目的通過開源，引領(lǐng)開源目的通過開源，引領(lǐng)云原生數(shù)據(jù)庫技術(shù)的發(fā)展4、企業(yè)級產(chǎn)品質(zhì)量保證APSARA云棲大會云原生，是未來用云的標(biāo)準(zhǔn)方式用戶運(yùn)營生態(tài)技術(shù)決策技術(shù)委員會研發(fā)團(tuán)隊(duì)使用管理與研發(fā)開源開發(fā)分支共建技術(shù)支持開發(fā)者用戶組用戶運(yùn)營生態(tài)技術(shù)決策技術(shù)委員會研發(fā)團(tuán)隊(duì)使用管理與研發(fā)開源開發(fā)分支共建技術(shù)支持開發(fā)者用戶組其他開源產(chǎn)品集成阿里云數(shù)據(jù)庫開源產(chǎn)品與組件/PolarDB//OpenPolarDB/開源社區(qū)生態(tài)合作伙伴生態(tài)合作伙伴活動更豐富交流互動平臺組織線上和線下的文檔更完善文檔豐富基于用戶旅程和用戶活動更豐富交流互動平臺組織線上和線下的文檔更完善文檔豐富基于用戶旅程和用戶場景梳理豐富共建更簡單發(fā)布生態(tài)合作2.0計(jì)劃為企業(yè)參與社區(qū)提供更明晰的共建指引課程更翔實(shí)攜手高校系統(tǒng)化解讀數(shù)據(jù)庫理論，開展數(shù)據(jù)庫實(shí)踐APSARA云棲大會第2第第2第3生態(tài)建設(shè)易用性核心引擎開放生態(tài)建設(shè)易用性部署更便捷部署更便捷快捷部署一行命令即可在本地APSARA云棲大會PolarDB開源數(shù)據(jù)庫全鏈路伙伴生態(tài)武漢大學(xué)、溫州大學(xué)、華東師范