阿里云自研數(shù)據(jù)庫POLARDB解讀課件

阿里云

自研數(shù)據(jù)庫POLARDB解讀阿里云

自研數(shù)據(jù)庫POLARDB解讀1產(chǎn)品架構(gòu)產(chǎn)品特性和使用場景產(chǎn)品創(chuàng)新產(chǎn)品架構(gòu)產(chǎn)品特性和使用場景產(chǎn)品創(chuàng)新21

POLARDB

產(chǎn)品架構(gòu)1POLARDB產(chǎn)品架構(gòu)3什么是

POLARDBCloud-Native

云數(shù)據(jù)庫阿里云自主研發(fā)關(guān)系型數(shù)據(jù)庫一款集眾多黑科技于一身的創(chuàng)新產(chǎn)品支持存儲Serverless按數(shù)據(jù)使用量計費的數(shù)據(jù)庫什么是POLARDBCloud-Native云數(shù)據(jù)庫阿4POLARDB：Cloud-Native云數(shù)據(jù)庫采用讀寫分離架構(gòu)。支持大容量OLTP數(shù)據(jù)處理。采用一寫多讀的Active-Active高可用架構(gòu)。支持高并發(fā)讀寫。共享分布式存儲。采用Serverless存儲按量計費。Failover(ActiveR/W-Active

RO)RDMAParallel-Raft

ProtocolDB

Server(Primary)User

SpaceFile

SystemData

Router&

CacheData

ChunkServerA b cDB

Server(Replica)UserSpaceFile

SystemData

Router&

CacheDB

Server(Replica)UserSpaceFile

SystemData

Router&

CacheR/WRead

OnlyRead

OnlyData

ChunkServera B cData

ChunkServera b CPOLARDB：采用讀寫分離架構(gòu)。Failover(Act5為什么阿里云要自主研發(fā)POLARDB技術(shù)發(fā)展的紅利普惠科技創(chuàng)造用戶價值POLARDB“5S”的數(shù)據(jù)理念順應(yīng)從互聯(lián)網(wǎng)應(yīng)用創(chuàng)新到科技研發(fā)創(chuàng)新的趨勢為什么阿里云要自主研發(fā)POLARDB技術(shù)發(fā)展的紅利6云數(shù)據(jù)庫系統(tǒng)進化

=

計算

+

存儲

+

網(wǎng)絡(luò)硬件軟件存儲網(wǎng)絡(luò)DBServerDockerMulti-CoreCPUGPU計算分布式文件系統(tǒng)分布式塊存儲RDMANGLBEthernetInfiniBand內(nèi)存SSDRAID云數(shù)據(jù)庫系統(tǒng)進化=計算+存儲+網(wǎng)絡(luò)硬件軟件存儲網(wǎng)7一切的價值來自于服務(wù)用戶業(yè)務(wù)連續(xù)性業(yè)務(wù)擴展能力數(shù)據(jù)安全全托管數(shù)據(jù)服務(wù)能力強勁OLTP能力上云成本一切的價值來自于服務(wù)用戶業(yè)務(wù)連續(xù)性業(yè)務(wù)擴數(shù)據(jù)安全全托管8POLARDB

的數(shù)據(jù)理念Simplicity，self-serviceServerlessUX，forgetabout

H/WSmartservice，adaptive&intelligentSolution，all-in-onebusinessdata

solutionSinglecloud，unifiedcloud

servicePOLARDB的數(shù)據(jù)理念Simplicity，self-s92

POLARDB

產(chǎn)品特性和使用場景2POLARDB產(chǎn)品特性和使用場景10POLARDB

為云用戶而生極速性能100萬QPS5分鐘擴容毫秒級延遲超大容量100TB應(yīng)需而變彈性伸縮規(guī)格升級只讀節(jié)點增減存儲在線自動擴容100%兼容MySQLMySQL5.6

100%兼容高可靠高可用Snapshot備份容災(zāi)POLARDB為云用戶而生極速性能超大容量應(yīng)需而變彈11POLARDB

Benchmark32c

256G16c

128G8c

64G4c

32G2c

16G2c

4GRDSRead

QPS77717.0256111.1828978.4815169.239711.559472.90POLARDBRead

QPS522198.79258368.42167338.9490223.8442436.6342175.87RDSWrite

QPS28969.4422878.1918172.095166.184325.325417.55POLARDBWrite

QPS88282.9158124.5430281.8315297.166214.976944.850.00100000.00200000.00300000.00400000.00500000.00QPS600000.00POLARDB和MySQL性能比較RDSRead

QPSPOLARDBRead

QPSRDSWrite

QPSPOLARDBWrite

QPSPOLARDBBenchmark32c256G16c112云時代，還需要關(guān)心數(shù)據(jù)容量？！Serverless，只關(guān)心數(shù)據(jù)NextStep, 忘掉硬件云時代，還需要關(guān)心數(shù)據(jù)容量？！Serverless，只關(guān)心數(shù)13云計算讓大變小，也讓小變大云計算“1.0”：虛擬化讓大變小，服務(wù)小應(yīng)用云計算“2.0”：分布式系統(tǒng)讓小變大，服務(wù)大應(yīng)用需求瞬息萬變，計算極速應(yīng)變，省時、省力、省錢云計算讓大變小，也讓小變大云計算“1.0”：虛擬化讓大變小，14云計算讓應(yīng)變帶來自由應(yīng)需而變、隨需所用自由解決了成本的束縛適應(yīng)是為了讓用戶不用適應(yīng)云計算讓應(yīng)變帶來自由應(yīng)需而變、隨需所用自由解決了成本的束縛15場景1

高吞吐量、大數(shù)據(jù)量處理數(shù)據(jù)無限增長巨大的用戶數(shù)持續(xù)刺激業(yè)務(wù)增長多維連接（線上、線下、行業(yè)+）帶來更多數(shù)據(jù)行業(yè)：金融、娛樂、電商等問題處理能力難以應(yīng)對大容量數(shù)據(jù)數(shù)據(jù)量天花板方案高并發(fā)讀寫分離架構(gòu)共享存儲支持100TB級別數(shù)據(jù)場景1高吞吐量、大數(shù)據(jù)量處理數(shù)據(jù)無限增長16場景2

高可用、業(yè)務(wù)彈性能力互聯(lián)網(wǎng)加速變化業(yè)務(wù)瞬息萬變競爭、營銷的應(yīng)變和用戶消費時間窗口行業(yè)：手游、旅游、電商等問題業(yè)務(wù)負載變化響應(yīng)要求越來越高面臨成本和業(yè)務(wù)變化難以平衡的困境方案故障自動恢復(fù)三維彈性伸縮能力場景2高可用、業(yè)務(wù)彈性能力互聯(lián)網(wǎng)加速變化17場景3

上云、遷移新業(yè)務(wù)、創(chuàng)新型業(yè)務(wù)云時代新業(yè)務(wù)變革，也引導(dǎo)傳統(tǒng)業(yè)務(wù)上云新一代數(shù)據(jù)庫解決性能和業(yè)務(wù)能力瓶頸行業(yè)：行業(yè)+，互聯(lián)網(wǎng)+等問題業(yè)務(wù)改造帶來潛在風險成本和業(yè)務(wù)變化難以快速匹配方案100%

MySQL兼容上云遷移工具帶來便捷場景3上云、遷移新業(yè)務(wù)、創(chuàng)新型業(yè)務(wù)18場景4

高可靠、備份容災(zāi)Mission

Critical

業(yè)務(wù)云計算業(yè)務(wù)成為基礎(chǔ)設(shè)施Mission

Critical業(yè)務(wù)不能中斷行業(yè)：金融、電信，互聯(lián)網(wǎng)+等問題自然災(zāi)害、人為誤操作等放大了業(yè)務(wù)損失故障恢復(fù)時間變得難以承受方案多數(shù)據(jù)復(fù)本、Snapshot備份、多級存儲同城容災(zāi)、異地容災(zāi)場景4高可靠、備份容災(zāi)MissionCritical業(yè)193

產(chǎn)品創(chuàng)新3產(chǎn)品創(chuàng)新20創(chuàng)新是一種融合的再生產(chǎn)POLARDB正是融眾多黑科技于一身的融合創(chuàng)新創(chuàng)新是一種融合的再生產(chǎn)POLARDB正是融眾多黑科技于一身的21官網(wǎng)PortalOpen

API產(chǎn)品功能系統(tǒng)接入和業(yè)務(wù)支撐數(shù)據(jù)庫系統(tǒng)DEVOPS運維IDC硬件資源POLARDB云服務(wù)七層模型官網(wǎng)PortalPOLARDB云服務(wù)七層模型22POLARDB

創(chuàng)新“兵器譜”遠程直接內(nèi)存訪問分布式共享存儲數(shù)據(jù)庫物理復(fù)制四維彈性開源生態(tài)POLARDB創(chuàng)新“兵器譜”遠程直接內(nèi)存訪問分布式共享23“兵器譜”能力之一：遠程內(nèi)存直接訪問AppBufferBufferBufferNICTCPNCIDriverIPUser

SpaceKernelHWBufferBufferBufferNICAppTCPNCIDriverIPUser

SpaceKernelHWAppBufferHCAUserSpaceKernelHWBufferHCAAppUser

SpaceKernelHWSOCKETBasedRDMABased“兵器譜”能力之一：遠程內(nèi)存直接訪問AppBufferBuf24“兵器譜”能力之二：分布式共享存儲PolarDBlibpf

sJournal

filePaxosfi

lerootFileSystemMetadata

CacheDirectoryTreeFileMappingTabl

eLBAPBA03481150020→201......headtai

lPBAFileIDLBA200489162010→3160→220247837.........PolarBlock

DeviceChunks BlockMappingTabl

ePolarFS

ClusterNode1Node3PolarDBlibpf

sNode2PolarDBlibpf

s...s

uperbloc

kfi

le

bloc

kpending

t

ail(2)(5)(1)(3)(4)(6)(6)“兵器譜”能力之二：分布式共享存儲PolarDBlibpf25“兵器譜”能力之三：數(shù)據(jù)庫物理復(fù)制主庫只讀邏輯日志邏輯日志數(shù)據(jù)物理日志數(shù)據(jù)主庫邏輯日志

只讀邏輯日志物理日志主庫只讀數(shù)據(jù)物理日志數(shù)據(jù)物理日志POLARSTORE本地存儲集中式存儲本地存儲集中式存儲“兵器譜”能力之三：數(shù)據(jù)庫物理復(fù)制主庫只讀邏輯日志邏輯日志數(shù)26“兵器譜”能力之四：四維彈性Scale

Out/InPOLARDBPOLARDBPOLARDBDataChunkDataChunkStorageScale

UpScaleUp/DownLoad

BalanceSnapshotDataChunkClone

&Disaster

ToleranceFailoverDataChunkDataChunkDataChunk

POLARDB(Primary)POLARDB(Primary)POLARDBLoad

Balance“兵器譜”能力之四：四維彈性ScaleOut/InPOLA27“兵器譜”能力之五：開源生態(tài)POLARSTOREPostgreSQLMySQLNoSQLPOLARDB

Family

持續(xù)擁抱開源“兵器譜”能力之五：開源生態(tài)POLARSTOREPostgr28創(chuàng)新是勇士的激情和責任Thinking,Vision,Imagination,Mission順應(yīng)從應(yīng)用創(chuàng)新到科技研發(fā)創(chuàng)新的時代趨勢創(chuàng)新有很大的風險，可沒有創(chuàng)新，還有什么樂趣創(chuàng)新是勇士的激情和責任Thinking,Vision,I294

認知永遠被刷新4認知永遠被刷新30云計算的技術(shù)進化

->

One

Cloud

OS云從IT時代到互聯(lián)網(wǎng)時代，我們需要向經(jīng)典致敬UNIXRDBMSQLOpen

SourceHPCBig

Data云計算的技術(shù)進化->OneCloudOS云從IT時代31什么是云計算一種更美的技術(shù)：云“操作系統(tǒng)”一種更好的服務(wù)：享受器用而不是為用器所累一種更低的成本：科技不再會因為高不可攀而蒙羞一種更高的效率：致力于提高社會資源轉(zhuǎn)換成商品的生產(chǎn)和交易效率什么