深入了解PostgreSQL基于AWS云最佳實(shí)踐

1、深 入 了 解 PostgreSQL 基于 AWS 云端的最佳實(shí)踐議 程原生 PostgreSQL on AWS 最佳實(shí)踐Amazon RDS for PostgreSQL 服務(wù)概述及更新介紹Amazon Aurora PostgreSQL 兼容版架構(gòu)及核心功能概覽Amazon Redshift（兼容 PostgreSQL 語(yǔ)法）云數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)概覽數(shù)據(jù)庫(kù)遷移及參考資源基于 AWS 云端部署 PostgreSQL 的不同方式借助 AWS 基礎(chǔ)架構(gòu)在 Amazon EC2 上自建 PostgreSQL使用 AWS 的托管服務(wù)Amazon Aurora PostgreSQL 兼容版本Amazon R

2、DS for PostgreSQL Amazon Redshift (兼容 PostgreSQL語(yǔ)法)應(yīng)用程序優(yōu)化 擴(kuò)展高可用 數(shù)據(jù)庫(kù)備份數(shù)據(jù)庫(kù)軟件補(bǔ)丁數(shù)據(jù)庫(kù)軟件安裝 操作系統(tǒng)補(bǔ)丁 操作系統(tǒng)安裝 服務(wù)器服務(wù)機(jī)架電力、制冷、網(wǎng)絡(luò)本地?cái)?shù)據(jù)中心由客戶管理由AWS管理應(yīng)用程序優(yōu)化 擴(kuò)展高可用 數(shù)據(jù)庫(kù)備份數(shù)據(jù)庫(kù)軟件補(bǔ)丁數(shù)據(jù)庫(kù)軟件安裝 操作系統(tǒng)補(bǔ)丁操作系統(tǒng)安裝服務(wù)器服務(wù) 機(jī)架電力、制冷、網(wǎng)絡(luò)云端自建數(shù)據(jù)庫(kù)應(yīng)用程序優(yōu)化擴(kuò)展高可用 數(shù)據(jù)庫(kù)備份數(shù)據(jù)庫(kù)軟件補(bǔ)丁數(shù)據(jù)庫(kù)軟件安裝 操作系統(tǒng)補(bǔ)丁操作系統(tǒng)安裝服務(wù)器服務(wù) 機(jī)架電力、制冷、網(wǎng)絡(luò)AWS 數(shù)據(jù)庫(kù)服務(wù)如何選擇部署方式？AWS 數(shù)據(jù)庫(kù)（SQL/NoSQL）服務(wù)概覽關(guān)系

3、型鍵值文檔緩存圖數(shù)據(jù)庫(kù)分類(lèi)賬Amazon NeptuneAmazon RDSAmazonAurora商業(yè)開(kāi)源Amazon ElastiCacheAmazon DynamoDBAmazon DocumentDBAmazon QLDB數(shù)據(jù)倉(cāng)庫(kù)Amazon Redshift支持的主流版本11.1-11.410.1-10.99.6.1-9.6.149.5.2-9.5.189.4.7-9.4.239.3.12-9.3.25支持的預(yù)覽版本PostgreSQL 12 測(cè)試版 1PostgreSQL 12 測(cè)試版 2Amazon RDS for PostgreSQL/rds/databasepreview/A

4、mazon RDS 支持的 PostgreSQL 數(shù)據(jù)庫(kù)版本Amazon RDS 支持的 PostgreSQL 擴(kuò)展和模塊PostgreSQL 支持很多 PostgreSQL 擴(kuò)展和模塊。擴(kuò)展和模塊針對(duì) PostgreSQL 引擎提供的功能進(jìn)行了擴(kuò)展。以下部分說(shuō)明了 Amazon RDS 針對(duì)主要 PostgreSQL 版本支持的擴(kuò)展和模塊。數(shù)據(jù)庫(kù)預(yù)覽環(huán)境中 Amazon RDS 上支持的 PostgreSQL 版本 12.x 擴(kuò)展和模塊Amazon RDS 上支持的 PostgreSQL 版本 11.x 擴(kuò)展和模塊Amazon RDS 上支持的 PostgreSQL 版本 10.x 擴(kuò)展和模

5、塊Amazon RDS 上支持的 PostgreSQL 版本 9.6.x 擴(kuò)展和模塊Amazon RDS 上支持的 PostgreSQL 版本 9.5.x 擴(kuò)展Amazon RDS 上支持的 PostgreSQL 版本 9.4.x 擴(kuò)展和模塊Amazon RDS 上支持的 PostgreSQL 版本 9.3.x 擴(kuò)展對(duì) Amazon RDS 上 PostGIS 的 PostgreSQL 擴(kuò)展支持使用 log_fdw 擴(kuò)展SHOW rds.extensions;rds-postgres-extensions-requestSePcroimndaaryryAmazon RDS 如何確保高可用性（H

6、A）？多可用區(qū)配置為生產(chǎn)數(shù)據(jù)庫(kù)提供企業(yè)級(jí)容錯(cuò) 解決方案每個(gè)數(shù)據(jù)庫(kù)主機(jī)都使用數(shù)據(jù)的完整副本來(lái)管 理一組 Amazon EBS 卷實(shí)例由外部監(jiān)控，以保持對(duì)仲裁的共識(shí)通過(guò)自動(dòng)化或通過(guò) Amazon RDS API 發(fā)起 的故障轉(zhuǎn)移通過(guò) DNS 重定向到新的主實(shí)例檢測(cè)基礎(chǔ)架構(gòu)，而不是數(shù)據(jù)庫(kù)引擎問(wèn)題PSrtiamnadrbyyAvailability Zone 1Availability Zone 2AWS RegionApplicationsSynchronou s replicationAmazon Route 53Amazon RDS 如何獲得讀取可伸縮性？使用 Amazon RDS 只讀副本增加

7、讀取容 量緩解源數(shù)據(jù)庫(kù)的壓力每個(gè)源數(shù)據(jù)庫(kù)最多創(chuàng)建 5 個(gè)副本可在 Amazon CloudWatch 或 AmazonRDS 控制臺(tái)中監(jiān)控復(fù)制滯后時(shí)間支持單區(qū)域或跨區(qū)域只讀副本無(wú)法創(chuàng)建級(jí)聯(lián)只讀副本RegionAsynchronousreplicationAmazon RDS 如何規(guī)劃災(zāi)難恢復(fù)（DR）？Region 1Availability Zone 2SynchronousreplicationSynchronousreplicationAvailability Zone 3Availability Zone 1Availability Zone 4Region 2Asynchronousr

8、eplication使用跨區(qū)域只讀副本作為備用數(shù)據(jù)庫(kù)，以在發(fā) 生災(zāi)難時(shí)進(jìn)行恢復(fù)可以為只讀副本配置多可用區(qū)部署，以減少恢 復(fù)時(shí)間Amazon RDS 如何管理備份恢復(fù)？Transaction LogsAmazon S3ApplicationAmazon EBS VolumeStandby InstanceAmazon S3Region 1Region 2Availability Zone 1Availability Zone 2Primary instanceAmazon EBS Volume兩種選擇 - 自動(dòng)備份和手動(dòng)快照Amazon RDS 利用存儲(chǔ)在 Amazon S3 中的 Amazon

9、 EBS 快照對(duì)于自動(dòng)備份，事務(wù)日志每 5 分鐘存儲(chǔ) 在 Amazon S3 中以支持時(shí)間點(diǎn)恢復(fù)備份無(wú)性能損失，單可用區(qū)會(huì)暫掛IO快照可以跨區(qū)域復(fù)制或與其他帳戶共享存儲(chǔ)應(yīng)用程序應(yīng)用程序應(yīng)用程序SQL事務(wù) 緩存日志記錄SQL事務(wù) 緩存日志記錄SQL事務(wù) 緩存日志記錄SQL事務(wù) 緩存日志記錄SQL事務(wù) 緩存日志記錄SQL事務(wù) 緩存日志記錄存儲(chǔ)存儲(chǔ)存儲(chǔ)存儲(chǔ)每種架構(gòu)都受整體思維方式的限制傳統(tǒng)分布式數(shù)據(jù)庫(kù)堆棧Amazon Aurora 云原生數(shù)據(jù)庫(kù)的核心價(jià)值5 倍于標(biāo)準(zhǔn) MySQL 的吞吐量3 倍于 PostgreSQL 的吞吐量性能相當(dāng)而成本僅為商用數(shù)據(jù)庫(kù)的1/10 可以跨 3 個(gè) AZ,最多 15

10、個(gè)可讀副本 存儲(chǔ) 自增長(zhǎng)，單實(shí)例可達(dá) 64TB可用性高于 99.99%具有容錯(cuò)及自我修復(fù)能力跨 3 個(gè)AZ 復(fù)制 6 個(gè)數(shù)據(jù)副本數(shù)據(jù)持續(xù)備份到 S3實(shí)例故障轉(zhuǎn)移 小于30 秒通過(guò) VPC 進(jìn)行網(wǎng)絡(luò)級(jí) 隔離，支持靜態(tài)存儲(chǔ) 及傳輸時(shí)加密，集群 中的備份、快照和副 本自動(dòng)加密無(wú)需擔(dān)心硬件、軟件補(bǔ)丁、 設(shè)置、配置或備份等數(shù)據(jù) 庫(kù)管理任務(wù)。會(huì)自動(dòng)持續(xù) 監(jiān)控并將其備份到 S3，可 以實(shí)現(xiàn)精細(xì)的 時(shí)間點(diǎn)恢復(fù)兼容 MySQL 和 PostgreSQL 的關(guān)系數(shù)據(jù)庫(kù)，為云打造。 性能和可用性與商用數(shù)據(jù)庫(kù)相當(dāng)，成本只有 1/10。高性能和高可擴(kuò)展性高可用性和高耐用性高度安全完全托管Amazon Aurora 橫向

11、擴(kuò)展、分布式架構(gòu)共享存儲(chǔ)卷讀/寫(xiě)SQL事務(wù) 緩存只讀SQL事務(wù) 緩存只讀SQL事務(wù) 緩存AZ1將 Log 機(jī)制推送至存儲(chǔ)層4/6 寫(xiě)入仲裁與本地跟蹤寫(xiě)入性能讀取橫向擴(kuò)展可用區(qū)+1容錯(cuò)機(jī)制即時(shí)數(shù)據(jù)庫(kù)重做恢復(fù)AZ2AZ3不再需要在性能、可用性與持久性之間做出妥協(xié)！Aurora RWPeer Storage NodesCoalesceAmazon Aurora 存儲(chǔ)層工作原理Amazon Aurora 更少的寫(xiě)操作Amazon Auroraupdate t set y = 6;t-v1 t-v2Blotc-vk3 in MemoryAurora Storaget-v1 t-v2 t-v3no che

12、ckpoint=no FPWPostgreSQLBlotc-vk3 in Memoryt-v1 t-v2Full Blockt-v3WALarchivecheckpoint 4K4Kdatafile8Kupdate t set y = 6;t-v1 t-v2Amazon RDS for PostgreSQL 只讀副本工作原理PostgreSQL RWEBSSnapshotPostgreSQL ROEBSupdateAmazon Aurora 只讀副本工作原理Aurora RWAurora ROupdateAurora Storageupdate in memoryAmazon Aurora 全

13、局?jǐn)?shù)據(jù)庫(kù)Aurora StorageROApplicationR WApplicationROApplicationAvailability zone 1Availability zone 3Availability zone 2Region ARegion BAurora StorageROApplicationApplicationROApplicationAvailability zone 1Availability zone 3Availability zone 2RORWROApplicationRWApplicationRWReporting ApplicationWrite lo

14、g recordsRead blocksAvailability Zone 1Availability Zone 3Availability Zone 2AurorastoragePrimary storageClone storageCloneApplicationAmazon Aurora PostgreSQL 集群緩存管理RWROApplicationApplicationAvailability Zone 1Availability Zone 2Availability Zone 3AurorastorageROROROARsyOncInvalRidaOtion & Updateapg

15、_ccm_enabled=on150,000100,00050,0000200,000250,000300,000400,000350,0000Transactions per Second (TPS)601201802403003604204805406006607207808409009601020 1080 1140 1200SecondsPGBench 20X RO / 1X RW 160GB Cached - Failover at 600 SecondsBaseline CCM Enabled32 seconds340 secondsAurora Serverless 工作原理WA

16、RM POOL OF INSTANCESAPPLICATIONDATABASE END- POINTREQUEST ROUTERAURORAAURORA STORAGE按需啟動(dòng)，不使用時(shí)關(guān)閉自動(dòng)放大/縮小擴(kuò)展時(shí)對(duì)應(yīng)用程序沒(méi)有影響每秒支付，最少 1 分鐘Aurora Serverless 使用場(chǎng)景不常用的應(yīng)用程序新應(yīng)用程序可變工作負(fù)載不可預(yù)測(cè)的工作負(fù)載開(kāi)發(fā)和測(cè)試數(shù)據(jù)庫(kù)多租戶應(yīng)用程序Aurora Serverless 伴隨工作負(fù)載按需動(dòng)態(tài)擴(kuò)展1173349658197113129145161177193209225241257273289305321337353369385401417433449

17、465481497513529545561577593609625641657673689705721TPS300025002000150010005000ACU1286432168421高性能易操作和兼 容安全設(shè)計(jì)吞吐量是PostgreSQL的 2 到 3 倍每個(gè)實(shí)例高達(dá)64 TB的存儲(chǔ)減少寫(xiě)抖動(dòng)準(zhǔn)同步副本自定義只讀終端節(jié)點(diǎn)增強(qiáng)的操作系統(tǒng)監(jiān)控性能洞察在不到30秒的時(shí)間內(nèi)進(jìn)行故障轉(zhuǎn)移自動(dòng)擴(kuò)展存儲(chǔ)客戶指定的故障轉(zhuǎn)移順序高可用性連續(xù)備份和時(shí)間點(diǎn)恢復(fù)多達(dá)15個(gè)可讀的故障轉(zhuǎn)移目標(biāo)輕松配置/補(bǔ)丁即時(shí)崩潰恢復(fù)PostgreSQL 的所有功能可生存緩沖區(qū)緩存所有 RDS for PostgreSQL 擴(kuò)展跨

18、區(qū)域快照副本AWS DMS 支持的入站靜態(tài)加密（AWS KMS）傳輸加密（SSL）默認(rèn)情況下，Amazon VPC行級(jí)安全CategoryAmazon RDS PostgreSQLAmazon Aurora PostgreSQLPerformanceGood performance3x or better performanceScalabilityUp to 5 read replicas. Lag in seconds.Up to 15 read replicas. Lag in millisecondsFailoverAround 60 secondsLess than 30 secon

19、dsStorageHigh AvailabilityBackupInstance Types PricingScales up to 64 TB & up to 80k PIOPS Pre-provisionMulti-AZ is available，Pay for 2 DB instances & 2 copies of storage with MAZ Takes daily snapshot during backup window & captures transaction logsT2, T3, M3, M4, M5, R3, R4, R5Pay for database inst

20、ances & storageDatabase Versions 9.3, 9.4, 9.5, 9.6, 10, 11,12(preview)Innovations with AuroraScales up to 64 TB & no IOPS limit Auto-scales in 10 GB increments Writes 6 copies to 3 AZsPay for DB instances and only 1 copy of storageContinuous, asynchronous backup to S3 (no backup windows)T3, R4, R5P

21、ay for database instances, IO & storage 9.6, 10Fast Database Cloning Auto-scaling Read ReplicasQuery Plan Management、Parallel Query ServerlessGlobal DatabasePostgreSQLColumnarMPPOLAPAmazon RedshiftBackupRestore大規(guī)模并行、非共享、列存儲(chǔ)架構(gòu)領(lǐng)導(dǎo)節(jié)點(diǎn)SQL 終端節(jié)點(diǎn)元數(shù)據(jù)存儲(chǔ)協(xié)調(diào)并行 SQL 處理計(jì)算節(jié)點(diǎn)本地、列存儲(chǔ)并行執(zhí)行查詢數(shù)據(jù)加載/卸載、備份/恢復(fù)Spectrum 節(jié)點(diǎn)直接針對(duì) S3

22、 執(zhí)行查詢SQL clients/BI16 corestoolsJDBC/ODBC128GB RAM128gb ram16TB disk計(jì)算16 co節(jié)res 點(diǎn)1128gb ram16TB disk計(jì)算16 co節(jié)res 點(diǎn)2128gb ram計(jì)算節(jié)點(diǎn)N16 cores16TB disk領(lǐng)導(dǎo)節(jié)點(diǎn)16TB diskAmazon S3.1234AmazonNRedshiftSpectrumLoadQUnuleoraydAWS Database Migration Service 數(shù)據(jù)庫(kù)遷移服務(wù)簡(jiǎn)單易用最少停機(jī)時(shí)間持續(xù)數(shù)據(jù)復(fù)制多數(shù)據(jù)源支持運(yùn)行可靠2. 關(guān)系型數(shù)據(jù)庫(kù)1. 非關(guān)系型數(shù)據(jù)庫(kù)3. 其他數(shù)據(jù)

23、源在停機(jī)時(shí)間盡可能短的狀態(tài)下將您的數(shù)據(jù)庫(kù)遷移至 AWS已有超過(guò) 180000 個(gè)數(shù)據(jù)庫(kù)使用 AWS DMS 完成遷移/dms/free-dms/Amazon Aurora Amazon DynamoDB Amazon Redshift Amazon DocumentDB Amazon RDSAWS Database Migration ServiceAmazon S3何時(shí)使用 AWS DMS 數(shù)據(jù)庫(kù)遷移服務(wù)?遷移遷移關(guān)鍵業(yè)務(wù)系統(tǒng)從 Classic 網(wǎng)絡(luò)遷移到 Amazon VPC遷移數(shù)據(jù)倉(cāng)庫(kù)到 Amazon Redshift歸檔舊數(shù)據(jù)升級(jí)小版本合并多個(gè)數(shù)據(jù)分片到 Amazon Aurora復(fù)制數(shù)據(jù)從而在云端分析數(shù)據(jù)從 NoSQL 遷移到SQL，或者從 SQL 遷移到 NoSQL，或者從 NoSQL 遷移 到 NoSQLAmazon S3Amazon DynamoDBAmazon RedshiftAmazon S3Amazon Aurora源端目標(biāo)端