PolarDB-PG：數(shù)據(jù)庫“0”改造提升企業(yè)級應(yīng)用能力

PolarDB-PG：數(shù)據(jù)庫“0”改造，提升企業(yè)級應(yīng)用能力4、PolarDBforPostgreSQLhttps://apsaradb.github.io/PolarDB-for-PostgreSQL/zh/PolarDB-PG計算節(jié)點PolarDB-PolarDB-PG計算節(jié)點PolarDB-PG計算節(jié)點PolarDB-PG計算節(jié)點共享存儲（ESSD云盤/Ceph/CurveBS/NBD）https://apsaradb.github.io/PolarDB-for-PostgreSQL/zh/本地盤/云盤本地盤/云盤異步:>1s同步:=0,性能備份本地盤30s~5min傳統(tǒng)數(shù)據(jù)庫的問題?擴展性差：加節(jié)點小時級?存儲成本隨節(jié)點數(shù)線性增加管控管控Standby本地盤本地盤/云盤+擴節(jié)點拉數(shù)據(jù)Standby本地盤本地盤/云盤?擴展性：存儲計算分離，按需擴縮容?成本：多個計算節(jié)點共享一份數(shù)據(jù)，降低存儲成本?可靠性：三副本、秒級備份?可用性：毫秒級主備延遲，秒級恢復(fù)SharedSharedStorage傳統(tǒng)的方案計算-存儲分離事務(wù)層LogIndexLogIndex事務(wù)層LogIndexLogIndex緩存層數(shù)據(jù)預(yù)擴展數(shù)據(jù)預(yù)擴展存儲層本頁面數(shù)據(jù)預(yù)讀 部署形態(tài)1：為數(shù)據(jù)庫定制的高性SharedShared-StorageChunkSvrChunkSvrChunkSvr盤（根據(jù)業(yè)務(wù)需要自倚天ARMECSAESSDESSD存儲（PL1/PL2/PL3...）CephCeph/Curve/云盤AP業(yè)務(wù)TP業(yè)務(wù)Sharding2Sharding1Sharding3數(shù)據(jù)同步組件（邏輯復(fù)制）publisher全量AP業(yè)務(wù)TP業(yè)務(wù)Sharding2Sharding1Sharding3數(shù)據(jù)同步組件（邏輯復(fù)制）publisher全量增量OnCommit傳統(tǒng)ETL方案：表結(jié)構(gòu)+全量+增量?獨立的AP系統(tǒng)：存儲、計算增加?TP數(shù)據(jù)導(dǎo)入AP系統(tǒng)：數(shù)據(jù)延遲，時效性不高?運維難度增大計算層存儲層SharedStorage存儲層PolarDB-PG數(shù)據(jù)校驗基于分片存儲的MPP系統(tǒng)提高計算節(jié)點利用率?發(fā)揮所有RO提高計算節(jié)點利用率?發(fā)揮所有RO節(jié)點的計算資源毫秒級數(shù)據(jù)新鮮度（物理流復(fù)制）?TP/AP共享一份數(shù)據(jù)，兩套計算引擎，減少存儲和運維成本CHUNKCHUNKCHUNK據(jù)TPTP業(yè)務(wù)TP型業(yè)務(wù)TP/AP物理隔離（避免CPU/MEM互相影響）單機執(zhí)行：部分節(jié)點，處理高并發(fā)的TP查詢?分布式MPP執(zhí)行：部分節(jié)點，復(fù)雜AP查詢彈性擴展任何節(jié)點均可做為MPP的master節(jié)點?集群計算能力隨時擴展，即時生效，數(shù)據(jù)無需重分布BAgeeeeeeeeennne等價于單機算子Shuffle算子分片掃描算子eBAgeeeeeeeeennne等價于單機算子Shuffle算子分片掃描算子e?MPP：Shuffle算子屏蔽數(shù)據(jù)分布AggSharedShared-StorageVirtualPartition-1表AVirtualPartition-2VirtualPartition-1表BVirtualPartition-2優(yōu)化器執(zhí)行器事務(wù)層存儲層優(yōu)化器執(zhí)行器事務(wù)層存儲層分布式執(zhí)行引擎分布式執(zhí)行器?分布式優(yōu)化器Parser/Analyze/RewriTransformationsPolarDB-CostModelTransformationsAware單機單機ExecutorAggHash/NestLoop/MergeJoinPxDynamicScanPxDynamicScan一致性GlobalSnapshot一致性GlobalSnapshotBroadCast(B)BroadCast(B)GatherNestLoopJoin1.沒有復(fù)用TP型索引2.物化算子導(dǎo)致流水中斷?右側(cè)需要有全量屬性傳統(tǒng)LeftOuterJoin的計劃基于共享索引樹的LeftOuterJoin?右側(cè)：掃描共享存儲的索引?左側(cè)：并行化分片索引掃描GatherNestLoopIndexJoin?最多使用6個CPUCore，受限于單機?其他節(jié)點CPU和MEM沒有利用起來?存儲集群多盤的大IO帶寬沒有利用起來SELECTCOUNT(*)FROMt1,t2WHEREt1.c1=t2.c1TP業(yè)務(wù)ChunkSvrCHUNKCHUNKCHUNK?altersystemsetpolar_enable_px=1;/*+PX(6)*/SELECTCOUNT(*)FROMt1,t2WHEREt1.c1=/*+PX(6)*/ AP業(yè)務(wù)利用共享存儲特性的計劃：CHUNKCHUNKCHUNK/*+PX(30)*//*+PX(30)*/SELECTCOUNT(*)FROMt1,t2WHEREt1.c1=t2.c1?30個CPUCore和內(nèi)存，可繼續(xù)秒級彈性擴展更多計算節(jié)點?充分發(fā)揮存儲集群多盤的大IO帶寬能力AP業(yè)務(wù)CHUNKCHUNKCHUNK?感知共享存儲的ShareIndexScan?效果(時空業(yè)務(wù))?隨CPU數(shù)目線性提升?80CPU，提升71倍共享存儲RTree1.相同并行度時(dop=1)并行度2*16=32彈性擴展CPU，數(shù)據(jù)無需重分布并行度2*16=32并行度4*16=64并行度8*16=128并行度16*16=2562.PolarDB-PG彈性擴展到dop=8時?性能提升7.3倍PolarDB-PG：Shar