傅翠云--異地多活數(shù)據(jù)流基礎(chǔ)設(shè)施DRC V3.1

1、異地多活數(shù)據(jù)流基礎(chǔ)設(shè)施異地多活數(shù)據(jù)流基礎(chǔ)設(shè)施DRC- - - - - - 雙11支持571億交易額背后的武器自我介紹 專注于DRC（data replication center） 目前負責(zé)產(chǎn)品規(guī)劃和架構(gòu)設(shè)計 在數(shù)據(jù)庫，高可用，分布式經(jīng)驗比較豐富Agenda DRC介紹 DRC在異地多活 DRC在更多數(shù)據(jù)架構(gòu) DRC在云端如果你是阿里云用戶？如果你是阿里云用戶？場景1：跨域同步RDS美國美國RDS杭州杭州RDSreplication場景2：接入異構(gòu)數(shù)據(jù)迭代、迭代、迭代迭代、迭代、迭代場景3：訂閱增量數(shù)據(jù)APP可擴展性可擴展性 一致性一致性穩(wěn)定性穩(wěn)定性 實時性實時性備份、通知備份、通知數(shù)據(jù)流基礎(chǔ)

2、設(shè)施數(shù)據(jù)流基礎(chǔ)設(shè)施DRCDRC是什么原生復(fù)制原生復(fù)制卡夫卡卡夫卡標(biāo)準(zhǔn)消息標(biāo)準(zhǔn)消息同步同步 異構(gòu)異構(gòu)高可用高可用實時實時分發(fā)分發(fā)Data Replication Center數(shù)據(jù)管道層數(shù)據(jù)管道層Master DBSlave DBMaster DBSlave DBDRC Store（抓取）（抓?。〥RC Congo（同步）（同步）DRC SDK（訂閱）（訂閱）data高可用層高可用層DRC架構(gòu)DRC distributed data集群管理層集群管理層DRC cluster manager統(tǒng)一接入層統(tǒng)一接入層DRC region managerDRC slave storeDRC Store數(shù)據(jù)流

3、基礎(chǔ)設(shè)施DRC 覆蓋阿里所有核心業(yè)務(wù) 服務(wù)于淘寶新一代架構(gòu)淘寶新一代架構(gòu)的核心組件異地多活的武器異地多活的武器DRCDRC淘寶新一代架構(gòu)機房1城市1機房2【同城多機房】只能堆機器【跨城多機房】冷備貴且不靠譜， 多寫跨城調(diào)用延遲大，流量無法切換【阿里異地多活】【阿里異地多活】熱拔插應(yīng)對業(yè)務(wù)峰值流量實時切換數(shù)據(jù)實時恢復(fù)機房3城市2機房4讀讀/寫寫讀讀只只/ 讀讀 寫寫城市3 讀讀/寫寫城市4 讀讀/寫寫淘寶異地雙活支付買家買家賣家賣家商品商品創(chuàng)建 訂單中心商品 管理庫存優(yōu)惠物流訂單會員單元物流商品 管理庫存優(yōu)惠創(chuàng)建 訂單訂單會員一致性一致性 實時性實時性單元 100%中心 100%同步架構(gòu)1 讀寫

4、分離保證實時性保證實時性 保證一致性保證一致性StoreCongo中心讀寫單元只讀單元100%中心100%同步架構(gòu)2 單元封閉避免循環(huán)復(fù)制避免循環(huán)復(fù)制 避免峰值壓力避免峰值壓力StoreCongoStoreCongo中心流量1-N%單元流量N%DRC核心能力低延遲低延遲高可用高可用一致性一致性一致性 數(shù)據(jù)有序 數(shù)據(jù)不丟 數(shù)據(jù)不錯 事務(wù)一致BinlogcommitStoreCongo跨城秒級延遲挑戰(zhàn)5100ms15ms 0.2ms150ms低延遲 跨城延遲大 事務(wù)相關(guān)、DDL影響并發(fā) 讀歷史會影響寫實時 熱點數(shù)據(jù)阻塞非熱點數(shù)據(jù)BinlogcommitStoreCongo高可用 源和目的主備切換

5、任務(wù)高可用 數(shù)據(jù)高可用 下游隔離 核心隔離 監(jiān)控StoreCongoZookeeperCluster ManagerDistributed dataSlave StoreDRC reloader DRC monitorStoreCongo014年雙十一處理規(guī)模2000+個實例實時增量 抓取了約100TB的數(shù)據(jù)量峰值每秒每秒處理了30+GB的數(shù)據(jù)量 數(shù)據(jù)同步：除了交易限流限流，核心庫均無超過秒級延時無超過秒級延時 增量訂閱：17000+個實時下游2014年雙十一實時性DRCDRC經(jīng)歷經(jīng)歷2次次 雙雙11成功支撐成功支撐571億交易億交易最大延遲最大延遲 不超過不超過1秒秒同步距離同步距離 最長最

6、長10000公里公里申請申請10項項 專利專利DRCDRC支持更多數(shù)據(jù)架構(gòu)支持更多數(shù)據(jù)架構(gòu)Region2Region1Zone1高可用分布式數(shù)據(jù)庫Zone2Paxos/DRCZone3DRCStoreStoreCongoCongoCongoCongoRegion2Region1數(shù)據(jù)分發(fā)中心StoreStoreStore離線分析離線分析搜索搜索實時計算實時計算增量中心增量中心消息隊列消息隊列StoreSlave storeStoreSlave storeStoreSlave storeDRCDRC在云端在云端遷移上云 覆蓋2014年50%RDS新增實例 全量+增量，無縫遷移升級版 - - - -

7、 - - DTSMySQLmysqldumpmysqlimportOracle25-page document導(dǎo)入/導(dǎo)出SQL LoaderSQL Server7-page document Import/Export向?qū)ulk Copy ProgramPostgreSQL10-page document pg_dump3-page document某全球知名云計算服務(wù)商阿里云Data Transformation Service 一鍵入云 無縫遷移 兼容異構(gòu)兼容異構(gòu) 一致校驗跨域同步杭州杭州RDS美國美國RDS10% RDS replication不支持不支持跨域 DRC支持跨域RDS同步或者容災(zāi)，對RDS無入侵無入侵 限量公測 杭美RDS實例之間實現(xiàn)7*24小時實時同步DRCRDSDRDS增量訂閱 支持RDS和DRDS 通過SDK訂閱 單機版 集群版 內(nèi)部客戶： Open search CDP DRDS同步，小表廣播 網(wǎng)聚寶等數(shù)據(jù)搜索 限量公測DRC sto