GaussDB云數(shù)據(jù)庫行業(yè)解決方案課件

1、GaussDB云數(shù)據(jù)庫行業(yè)解決方案加速企業(yè)數(shù)字化轉(zhuǎn)型第1頁，共29頁。華為云數(shù)據(jù)庫發(fā)展及GaussDB全新升級GaussDB產(chǎn)品與技術(shù)優(yōu)勢GaussDB未來演進(jìn)趨勢GaussDB加速企業(yè)數(shù)字化轉(zhuǎn)型目錄CONTENTS1234第2頁，共29頁。數(shù)據(jù)庫歷史回顧和趨勢：云化，融合是方向60s 誕生70s 興起關(guān)系型數(shù)據(jù)庫SQL語言80s 發(fā)展SQL事實(shí)標(biāo)準(zhǔn)化 I&O的黃金歲月90s 轉(zhuǎn)型互聯(lián)網(wǎng)數(shù)據(jù)爆發(fā)00s 新玩家4V NoSQL當(dāng)前 演進(jìn)Scale-Out未來 創(chuàng)新層次型數(shù)據(jù)庫IBM網(wǎng)狀型數(shù)據(jù)庫CODASTY關(guān)系模型 白皮書關(guān)系型數(shù)據(jù)庫System R IBM（SQL）ORACLE1st 商用IB

2、M DB2SAPSybaseInformix分布式實(shí)體關(guān)系型面向?qū)ο笮蚑eradata分析New分布式SQL數(shù)據(jù)湖應(yīng)用互聯(lián)網(wǎng)興起NoSQLGoogle Big TableCouchDBCassandraNeo4J MangoDBRedis分布式SQLClustrixNuoDBGoogle SpannerSAP HANA VoltDBOracle in-memory optionHadoop SparkSQL HIVEReplaced？通常不支持事務(wù)及SQL語言，性能、容量、可擴(kuò)展性突出規(guī)模并行處理MS、Oracle、SAP、IBM實(shí)時分析全分析規(guī)模并行處理縱列商業(yè)智能分布式云化HTAP多模圖、

3、時序、帳本AI關(guān)系型數(shù)據(jù)庫Oracle/MySvQL鍵值數(shù)據(jù)庫Redis寬列數(shù)據(jù)庫Cassandra文檔數(shù)據(jù)庫MongoDB圖數(shù)據(jù)庫Neo4JML數(shù)據(jù)解決方案Spark/Tensorflow數(shù)據(jù)湖解決方案融合數(shù)據(jù)分析應(yīng)用場景事務(wù)處理儲存用戶信息等日志等Web應(yīng)用等圖分析、搜索數(shù)據(jù)分析、特征抽取全場景數(shù)據(jù)模型關(guān)系表K-V鍵值對以列簇式存儲KV鍵值對，V結(jié)構(gòu)化圖模型稀疏矩陣關(guān)聯(lián)數(shù)組數(shù)學(xué)基礎(chǔ)關(guān)系代數(shù)，集合論hash tableKV二維數(shù)組嵌套KV圖論線性代數(shù)關(guān)聯(lián)代數(shù)不同類型的數(shù)據(jù)庫基于不同的理論基礎(chǔ)，滿足不同的數(shù)據(jù)管理、處理需求第3頁，共29頁。華為數(shù)據(jù)庫依托華為云整體解決方案和全棧軟硬件創(chuàng)新能力，

4、為客戶服務(wù)智慧城市智能制造數(shù)字化政府智慧金融行業(yè)互聯(lián)網(wǎng)智慧園區(qū)智慧零售智能網(wǎng)聯(lián)汽車云游戲數(shù)據(jù)庫服務(wù)基礎(chǔ)服務(wù)開發(fā)者專業(yè)服務(wù)企業(yè)應(yīng)用IoT物聯(lián)網(wǎng)安全EI企業(yè)智能華為云華為云 Stack統(tǒng)一運(yùn)維管理統(tǒng)一應(yīng)用生態(tài)統(tǒng)一高階服務(wù)18 類 200+ 服務(wù), 190+ 解決方案, 10000+商業(yè)合作伙伴混合云解決方案多元算力第4頁，共29頁。Huawei Confidential6俄羅斯研究所-莫斯科：定位：內(nèi)核算法、數(shù)據(jù)庫自治合作高校：Skolkovo（Prof.Victor Lempitsky）；Higher School of Economics等愛爾蘭研究所：定位：數(shù)據(jù)庫自治、新介質(zhì)、大內(nèi)存合作高校

5、：EPFL、ETH、TUM等歐洲德國研究所：定位：數(shù)據(jù)庫自治、新介質(zhì)、大內(nèi)存合作高校：EPFL、ETH、TUM等以色列研究所：定位：數(shù)據(jù)庫安全能力中心合作高校：以色列理工、特拉維夫大學(xué)等印度研究所-班加羅爾：定位：數(shù)據(jù)庫工具合作高校：印度科學(xué)理工學(xué)院等中國深圳、北京、杭州、上海、南京、西安研究所：定位：數(shù)據(jù)庫內(nèi)核、交付、維護(hù)合作高校：清華、華東師大等加拿大多倫多研究所：定位：OLTP合作高校：滑鐵盧大學(xué)，多倫多大學(xué)等20072011201420172020數(shù)據(jù)庫 技術(shù)原型華為GaussDB 內(nèi)核研發(fā)啟動GaussDB分析型場景商用GaussDB交易型場景商用GaussDB 升級全場景 云服務(wù)7

6、大全球研究所從事基礎(chǔ)研究，10+年數(shù)據(jù)庫領(lǐng)域技術(shù)積累，1000+數(shù)據(jù)庫專項(xiàng)人才，40000+數(shù)據(jù)庫集群（套）華為囊括全球1000+數(shù)據(jù)庫專業(yè)人才，戰(zhàn)略投入超13年第5頁，共29頁。Huawei Confidential7選型安心全場景業(yè)務(wù)，全開放生態(tài)，安全可信非關(guān)系型GaussDB (for Mongo)GaussDB (for Influx)GaussDB (for Cassandra)GaussDB (for Redis)關(guān)系型GaussDB (openGauss) GaussDB (for MySQL) GaussDB (for PostgreSQL)OLTPOLAPGaussDB (D

7、WS)管理省心無縫協(xié)同上層應(yīng)用成 本風(fēng) 險(xiǎn)全 監(jiān) 控80%90%100%數(shù)據(jù)開發(fā)數(shù)據(jù)庫可視化查詢 與開發(fā)服務(wù)數(shù)據(jù)庫管理服務(wù)DAS華為云數(shù)據(jù)庫遷移放心數(shù)據(jù)庫結(jié)構(gòu)+應(yīng)用+數(shù)據(jù)一站式遷移結(jié)構(gòu)遷移(UGO)評估并轉(zhuǎn)換異構(gòu) 數(shù)據(jù)庫語法數(shù)據(jù)遷移/同步(DRS)實(shí)時變化 數(shù)據(jù)捕捉數(shù)據(jù)校驗(yàn)（DRS）增量數(shù)據(jù) 實(shí)時校驗(yàn)流量回放通過業(yè)務(wù)仿真提前感知業(yè)務(wù)穩(wěn)定性和性能第三方數(shù)據(jù)庫GaussDB新一代企業(yè)級數(shù)據(jù)庫，面向金融政企客戶RDS/DDS開源數(shù)據(jù)庫，面向互聯(lián)網(wǎng)等關(guān)系型RDS for MySQL RDS for PostgreSQLOLTP非關(guān)系型DDS(Mongo)單機(jī)社區(qū)版本開源網(wǎng)站：不丟數(shù)據(jù)，不中斷/影響業(yè)務(wù)

8、，遷移成本低，提前仿真感知，透明可視化數(shù)據(jù)庫運(yùn)維數(shù)據(jù)庫實(shí)時性能診斷 與智能優(yōu)化GaussDB數(shù)據(jù)庫：為政企客戶打造傳統(tǒng)商業(yè)數(shù)據(jù)庫一站式上云解決方案第6頁，共29頁。華為云數(shù)據(jù)庫發(fā)展及GaussDB全新升級GaussDB產(chǎn)品與技術(shù)優(yōu)勢GaussDB未來演進(jìn)趨勢GaussDB加速企業(yè)數(shù)字化轉(zhuǎn)型目錄CONTENTS1234第7頁，共29頁。新場景新挑戰(zhàn)：在政企、金融等企業(yè)級客戶業(yè)務(wù)場景更為復(fù)雜對 賬 系 統(tǒng)傳統(tǒng)解決方案創(chuàng)新，但依舊存在問題：對賬系統(tǒng)解決高可用/高可靠問題事后業(yè)務(wù)成本高核心數(shù)據(jù)庫分片，應(yīng)對業(yè)務(wù)演進(jìn) 有一致性問題開源架構(gòu)已經(jīng)30年，傳統(tǒng)HA方案：半同步模式在極端場景可能丟數(shù)據(jù)復(fù)制會導(dǎo)致性

9、能下降核心業(yè)務(wù)Proxy分片1分片2Proxy分片3 分片4分片5分片6ProxyRDSRDSRDS RDSRDSRDS RDSRDSRDS數(shù)據(jù)庫分片分片7分片8分片9Page reads (random)Master(read-write)Secondary(read-only)Secondary(read-only)Redo log writes (seq.)Page writes (random)Log shippingLocal diskLocal diskLocal diskR/WR onlyR only第8頁，共29頁。來自市場的核心訴求TopN 需求和痛點(diǎn)需求描述海量數(shù)據(jù)存儲支持

10、大數(shù)據(jù)量業(yè)務(wù)分布式高擴(kuò)展自動化分庫分表或者非分庫分表，應(yīng)用 透明無縫彈性擴(kuò)容分鐘級彈性擴(kuò)容，應(yīng)用透明強(qiáng)一致事務(wù)支持分布式事務(wù)的強(qiáng)一致性，數(shù)據(jù)0丟失高可用支持跨AZ高可用、跨 Region 容災(zāi)高并發(fā)性能支持大并發(fā)下的極致高性能非中間件式架構(gòu)非 DDM 類方案（或者非 DRDS ）云數(shù)據(jù)庫高性能高擴(kuò)展易運(yùn)維高可用高可靠第9頁，共29頁。GaussDB(for MySQL)新一代企業(yè)級OLTP數(shù)據(jù)庫主備部署最大支持1寫15讀，分鐘級添加只讀實(shí)例，支持讀寫分離，自動負(fù)載均衡全分布式部署分布式高擴(kuò)展：數(shù)據(jù)按shard劃分，讀寫負(fù)載準(zhǔn)線性擴(kuò)展，滿足大規(guī)模業(yè)務(wù)量場景 Shard 1Shard 2Shard

11、 N華為云底座R onlyR/WReplica (read-only)Master (read-write)Replica (read-only)Shared StorageR only第10頁，共29頁。GaussDB(for MySQL)主備版架構(gòu)和優(yōu)勢Page readsRedo log writesCoherence trafficR onlyR/WReplica (read-only)Master (read-write)Replica (read-only)Shared StorageR only極致可靠多維擴(kuò)展海量存儲極致架構(gòu)卓越性能尖端硬件第11頁，共29頁。GaussDB(f

12、or MySQL) 分布式架構(gòu)和優(yōu)勢DFV分布式存儲層db_02db_03db_00db_01db_04db_05業(yè)務(wù)系統(tǒng)分布式SQL引擎GaussDB多點(diǎn)寫入分庫分表業(yè)務(wù)系統(tǒng)業(yè)務(wù)系統(tǒng)分布式事務(wù)SQL解析器SQL執(zhí)行器SQL優(yōu)化器SQL解析器SQL優(yōu)化器SQL執(zhí)行器分布式事務(wù)兼容開源MySQL生態(tài)語法工具連接器開發(fā)生態(tài)超高性能，滿足海量數(shù)據(jù)高并發(fā)場景PB級數(shù)據(jù)百萬級TPS千萬級QPS極致架構(gòu)成就極速擴(kuò)展300s分片擴(kuò)展自動擴(kuò)展存儲空間秒級熱點(diǎn)數(shù)據(jù)遷移第12頁，共29頁。架構(gòu)更優(yōu)GaussDB(for MySQL)能力和演進(jìn)性優(yōu)勢明顯VS性能更強(qiáng) 提升30%計(jì)算存儲分離 + 數(shù)據(jù)庫邏輯下推可靠性

13、更佳 支持跨AZ第13頁，共29頁。GaussDB(openGauss)數(shù)據(jù)庫，靈活應(yīng)對核心交易系統(tǒng)和海量事務(wù)型場景GaussDB(openGauss)分布式版聚焦海量事務(wù)擴(kuò)展場景GaussDB(openGauss)主備版聚焦企業(yè)核心交易場景CORECORECORE并發(fā)線程CPU能源金融政府運(yùn)營商交通數(shù)據(jù)新基建開源社區(qū)版：/zh/第14頁，共29頁。高性能: 支持高吞吐強(qiáng)一致性事務(wù)能力鯤鵬2路服務(wù)器分布式強(qiáng)一致：32節(jié)點(diǎn)1200萬tpmC高可用: 雙活和兩地三中心高可用集群內(nèi)HA，數(shù)據(jù)不丟失，業(yè)務(wù)秒級中斷同城跨AZ容災(zāi)，數(shù)據(jù)不丟失，分鐘級恢復(fù)兩地三中心部署高擴(kuò)展: 容量和性能按需水平擴(kuò)展256

14、節(jié)點(diǎn)擴(kuò)展能力，卓越線性比在線擴(kuò)容易管理: 易遷移，易監(jiān)控，運(yùn)維兼容SQL2003標(biāo)準(zhǔn)語法+企業(yè)擴(kuò)展包數(shù)據(jù)復(fù)制、監(jiān)控運(yùn)維、開發(fā)工具異構(gòu)遷移UGO數(shù)據(jù)同步DRS運(yùn)維管理DAS工具集 Coordinator Node（分布式CBO）GTM(分布式事務(wù))Computing network主備HA切換跨AZ多活 兩地三中心X86/鯤鵬 + EVS存儲電信金融電力政府平安城市適用行業(yè)GaussDB(openGauss)總體架構(gòu)和優(yōu)勢分布式執(zhí)行分布式SQL存儲引擎Data Node分布式執(zhí)行分布式SQL存儲引擎Data Node第15頁，共29頁。面向企業(yè)新型應(yīng)用的云原生多模GaussDB NoSQL系列服

15、務(wù)3倍自動彈性伸縮N-1個10倍10倍分鐘級秒級100T多模 GaussDB NoSQL系列服務(wù)文檔型接口 兼容MongoDB寬列接口 兼容CassandraKey-Value接口 兼容Redis時間序列型接口 兼容InfluxDB第16頁，共29頁。計(jì)算存儲分離架構(gòu)，極致性價比GaussDB NoSQL架構(gòu)應(yīng)用程序1應(yīng)用程序2應(yīng)用程序3應(yīng)用程序NCassandra接口MongoDB接口Redis接口InfluxDB接口Node1Node2Node3Node4NodeN架構(gòu)優(yōu)勢01多個數(shù)據(jù)模型全負(fù)荷分擔(dān) 04N-1個節(jié)點(diǎn)故障容忍可用性數(shù)倍于基于ECS自建或者 開源服務(wù)化的方案海量數(shù)據(jù) 0510

16、0TB10+高可靠 0620+7+03 高性能3倍百倍提升02 計(jì)算存儲分離第17頁，共29頁。GaussDB NoSQL系列服務(wù)計(jì)算存儲分離的架構(gòu)創(chuàng)新社區(qū)版MongoDBGaussDB(for Mongo)性能一個Shard Server節(jié)點(diǎn)承擔(dān)讀寫壓力三個Shard Server分擔(dān)讀寫壓力，相同成本23倍性能。成本存儲成本：兩層復(fù)制，3*3共9副本存儲； 存儲計(jì)算綁定，同步擴(kuò)展；起配成本：副本集3節(jié)點(diǎn)，集群模式11節(jié)點(diǎn)；存儲成本：僅存儲層3副本復(fù)制存儲計(jì)算分別按需擴(kuò)展，降低20%40%成本； 起配成本：只支持集群模式，7節(jié)點(diǎn)起配。HA副本集主備切換，10s。ShardServer間Fai

17、lover，5s。擴(kuò)容小時天級；擴(kuò)容步長3節(jié)點(diǎn)。分鐘級完成，100倍以上性能提升；擴(kuò)容步長1節(jié)點(diǎn)。備份恢復(fù)邏輯備份，小時級?；诳煺盏奈锢韨浞?，分鐘級，10倍性能提升。生態(tài)兼容100%兼容，屏蔽高危、管理類命令。屏蔽convertToCapped、已有表重新Shard；GaussDB(for Mongo)MongosPersistence Layer(三副本)Shard Server (Primary)Shard Server (Primary)Shard Server (Primary)社區(qū)版MongoDBShard Server (Primary)Mongos本地FS本地FS本地FSSha

18、rd Server (Hidden)Shard Server (Secondary)三副本復(fù)制LUNLUNLUNEVSEVSEVS 主要技術(shù)創(chuàng)新存儲計(jì)算分離復(fù)制集卸載到分布式存儲RocksDB存儲引擎基于快照的物理備份On going第18頁，共29頁。實(shí)現(xiàn)分鐘級節(jié)點(diǎn)擴(kuò)縮容擴(kuò)容耗時 十小時級擴(kuò)容耗時 分鐘級華為云GaussDB(for Mongo)社區(qū)自建擴(kuò)容遷移30.0025.0020.0015.0010.005.000.00140001200010000800060004000200000:05:002:20:004:35:006:50:009:05:0011:20:0013:35:001

19、5:50:0018:05:0020:20:0022:35:000:50:003:05:005:20:007:35:002分片 擴(kuò)容到 4分片TIME(5分鐘統(tǒng)計(jì)粒度)OPSOPSLatency8.006.004.002.000.0080001300018000230000:00:100:00:400:01:100:01:400:02:100:02:400:03:100:03:400:04:100:04:400:05:100:05:402節(jié)點(diǎn) 擴(kuò)容到 4節(jié)點(diǎn)TIME(10秒統(tǒng)計(jì)粒度)OPSLatencyOPSLatencyVS第19頁，共29頁。傳統(tǒng)數(shù)據(jù)庫遷移的痛點(diǎn)與訴求172839410511

20、612第20頁，共29頁。云上語法遷移(UGO)評估并轉(zhuǎn)換異構(gòu)數(shù)據(jù) 庫語法數(shù)據(jù)遷移(DRS-數(shù)據(jù)同步)基于日志的實(shí)時變化 數(shù)據(jù)捕捉數(shù)據(jù)校驗(yàn) (DRS-數(shù)據(jù)校驗(yàn)) 基于日志的增量數(shù)據(jù)實(shí)時校驗(yàn)數(shù)據(jù)庫管理服務(wù) (DAS-數(shù)據(jù)開發(fā)) 數(shù)據(jù)庫可視化查詢與 開發(fā)服務(wù)SQL查詢對象開發(fā)實(shí)例管理操作審計(jì)敏感保護(hù)實(shí)時分析SQL診斷SQL洞察慢SQL參數(shù)推薦RDSDDSGaussDB線下商業(yè)數(shù)據(jù)庫數(shù)據(jù)庫遷移工具集華為云數(shù)據(jù)庫數(shù)據(jù)庫開發(fā)與運(yùn)維初始化時執(zhí)行一次持續(xù)采集應(yīng)用SQL遷移評估DML遷移DDL遷移PLSQL遷移流量捕獲流量仿真實(shí)時轉(zhuǎn)換性能分析在線遷移多活災(zāi)備數(shù)據(jù)同步數(shù)據(jù)訂閱行級比對內(nèi)容比對列級比對組合校驗(yàn)持續(xù)

21、運(yùn)行，實(shí)時同步數(shù)據(jù)并比對數(shù)據(jù)準(zhǔn)確性流量回放通過業(yè)務(wù)仿真提前感知業(yè)務(wù)穩(wěn)定性和性能華為云數(shù)據(jù)庫遷移管理云化解決方案，助力您輕松上云，極簡運(yùn)維數(shù)據(jù)庫管理服務(wù)(DAS-云DBA)數(shù)據(jù)庫實(shí)時性能診斷與智能優(yōu)化第21頁，共29頁。華為云數(shù)據(jù)庫發(fā)展及GaussDB全新升級GaussDB產(chǎn)品與技術(shù)優(yōu)勢GaussDB未來演進(jìn)趨勢GaussDB加速企業(yè)數(shù)字化轉(zhuǎn)型目錄CONTENTS1234第22頁，共29頁。云托管計(jì)算存儲分離20182020Q12020Q2202120192020H2未來，華為云數(shù)據(jù)庫將持續(xù)技術(shù)創(chuàng)新與服務(wù)好客戶Serverless第23頁，共29頁。華為云數(shù)據(jù)庫發(fā)展及GaussDB全新升級GaussDB產(chǎn)品與技術(shù)優(yōu)勢GaussDB未來演進(jìn)趨勢GaussDB加速企業(yè)數(shù)字化轉(zhuǎn)型目錄CONTENTS1234第24頁，共29頁。國有某大行核心業(yè)務(wù)已商用GaussDB(openGauss)數(shù)據(jù)庫演進(jìn)方式Core Banking柜臺ERP/OA信用卡xx業(yè)務(wù)系統(tǒng)xx風(fēng)險(xiǎn)貴金屬ATMxx特征識別支付清算POSxx公文系統(tǒng)As IsTo Be華為云Stack 數(shù)據(jù)庫服務(wù)GaussDB (OpenGauss) AZ 1GaussD