Dmall OS數(shù)字化零售數(shù)據(jù)庫多活架構(gòu)演進(jìn)

1、技術(shù)創(chuàng)新，變革未來Dmall OS數(shù)字化零售數(shù)據(jù)庫多活架構(gòu)演進(jìn)Dmall OS簡介3 個(gè) 場 景商圈綜合體商超社區(qū)社區(qū)便利店 拼團(tuán)到家全球精選O2O2 大 原 則助力 B服務(wù) C2 套 系 統(tǒng)Dmall OS全面系統(tǒng)的數(shù)字化解決方案到店到家一體化全渠道模式降本增效、增加用戶和收入商 家用 戶方便：到店到家全場景一體化安全：專業(yè)供應(yīng)鏈，品牌熟悉豐富：滿足個(gè)性化、一站購齊Mini OS30+省120+連鎖商超13000+門店1.6億+用戶1800萬+MAU數(shù)據(jù)庫架構(gòu)演進(jìn)雞蛋放在1個(gè)籃子里單機(jī)房+ 機(jī)房級故障*難度適中同城雙活混合云架構(gòu)+ 故障域隔離*難度大，成本高異地多活單元化架構(gòu)單機(jī)房雞蛋在1個(gè)

2、籃子混合云架構(gòu)同城雙活異地多活單元化架構(gòu)+ 故障域隔離*難度大，成本高同城雙活 數(shù)據(jù)庫架構(gòu)選型- 要求3機(jī)房MMM2. MGR / PXCMSS1. 源生復(fù)制/半同步- 跨機(jī)房寫延遲3. Sharding + 雙向同步- 同步中間件，架構(gòu)/業(yè)務(wù)改造網(wǎng)絡(luò)延遲 3ms目標(biāo)：單個(gè)機(jī)房不可用，其他機(jī)房可快速承接流量，恢復(fù)核心業(yè)務(wù)同城雙活 整體方案MGR (multi-master)MMMDNS、配置數(shù)據(jù)強(qiáng)一致性MSS業(yè)務(wù)數(shù)據(jù)讀寫性能、業(yè)務(wù)連續(xù)性Master/Slave同城三機(jī)房，Master/Slave + MGR，業(yè)務(wù)改造小混 合 云同城雙活 MGR-based DNS- 數(shù)據(jù)強(qiáng)一致場景- 2個(gè)主機(jī)

3、房，1個(gè)仲裁機(jī)房- MGR高可用：Haproxy- Multi-Master模式，節(jié)點(diǎn)都可寫- MGR版本：8.0.181）auto rejoin 2）expel timeout3）OFFLINE_MODEMGR-0MGR-1MHADNSDNS-api Haproxy哨兵MHADNSDNS-api Haproxy哨兵MGR-2AppApp主機(jī)房1主機(jī)房2仲裁機(jī)房同城雙活 數(shù)據(jù)庫接入層配置 中心AppMSS讀流量機(jī)房內(nèi)閉環(huán)：配置中心 + 智能DNSdb.mysql.read-only.url:dc1:slave.3306.dc1.:3306/xx_dbdc2:slave.3306.dc2.:33

4、06/xx_dbdb.mysql.read-write.url:dc1:master.3306.dc1.:3306/xx_dbdc2:master.3306.dc2.:3306/xx_dbDNSNamesHA存活/延遲監(jiān)控同城雙活 MySQL高可用架構(gòu)- 混合云架構(gòu)，自建機(jī)房*2 + 騰訊云- 應(yīng)用雙活，RPC調(diào)用機(jī)房內(nèi)閉環(huán)- 數(shù)據(jù)庫跨機(jī)房同步，讀寫分離- MGR-based DNS（multi-master）MHA雙活部署，僅監(jiān)控本機(jī)房master切換中心，雙活部署AppAppSSMBGP VIP - 網(wǎng)關(guān)CLB - 網(wǎng)關(guān)注冊 中心注冊 中心切換 中心DNSMHA集群DNS切換 中心MHA集

5、群DNS同城雙活 MySQL容災(zāi)切換 提升新masterAppDNS切換 中心AppMM master域名，更新解析 連接新master 下發(fā)異步任務(wù) 專線恢復(fù)后，及時(shí)處理舊master 解析DNS，重連新master異 步 任 務(wù)切換 中心S原master新master故 障同城雙活 Redis高可用架構(gòu)SentinelSentinelSentinelSentinelSentinelSentinelSentinelSentinelSentinelcachestore仲裁機(jī)房- 2個(gè)主機(jī)房，1個(gè)仲裁機(jī)房- Cache集群：機(jī)房內(nèi)閉環(huán)，低延遲高性能， 本機(jī)房哨兵監(jiān)控- Store集群：跨機(jī)房部署

6、，可接受同城專線 延遲，三機(jī)房哨兵監(jiān)控- 自動(dòng)切換DNSDNSDNS同城雙活 DB PaaS元數(shù)據(jù)存儲(chǔ)：基于MGR（3機(jī)房集群）HA組件：2個(gè)主機(jī)房，雙活部署MHA，Sentinel，NamesHA，切換中心，平臺(tái)改造難度/工作量：中等多機(jī)房支持（比如：multi salt-master，auto_increment）批量容災(zāi)切換同城雙活 數(shù)據(jù)庫架構(gòu)總結(jié)強(qiáng)一致場景：MGR架構(gòu)高性能場景：源生復(fù)制方案3機(jī)房：2主機(jī)房+1仲裁機(jī)房業(yè)務(wù)改造小， 不折騰研發(fā)讀流量機(jī)房內(nèi)閉環(huán)架構(gòu)簡單，成 本可控pros單機(jī)房寫跨機(jī)房延遲非全自動(dòng)切換cons同城雙活混合云架構(gòu)單元化架構(gòu)異地多活單元化 整體架構(gòu)方案中心-g

7、zone數(shù)據(jù)分片1數(shù)據(jù)分片2數(shù)據(jù)分片3.分片1分片2數(shù)據(jù)同步組件DRC分片3專線延遲大，30100ms單元只包含部分?jǐn)?shù)據(jù)單元/中心之間數(shù)據(jù)同步分布式ID，配置中心商家A商家B商家C單元-rzone1單元-rzone2單元-rzone3HttpDNS + 接入網(wǎng)關(guān)- 異步復(fù)制，最終一致AppAppAppApp配置中心流量路由，基于商家ID應(yīng)用讀寫數(shù)據(jù)庫單元內(nèi)閉環(huán)IDIDIDID單元化 數(shù)據(jù)庫架構(gòu)中心-gzoneBACDRCDRCDRC單元-rzone1CAB單元-rzone2BCA數(shù)據(jù)分類A類：zone內(nèi)閉環(huán)，不同步B類：中心-單元，配置下發(fā)C類：單元-中心，數(shù)據(jù)匯總同步原則- 不做行級雙向同步

8、單元化 - 分布式ID0timestamp_ms (41 bits)worker_id, zone_id (10 bits)sequence (12 bits)各zone之間ID不重復(fù)INSERT into table_x(a, b, c) values (?, ?, ?)INSERT into table_x(id, a, b, c) values ($ID, ?, ?, ?)jdbc-java-agent配置中心ID Server批量獲取嵌入ID，改寫SQL白名單ID字段攔截INSERT兼容自增ID研發(fā)無需改代碼單元化 MySQL同步組件Event傳輸、執(zhí)行ACK源zoneB全量同步Bin

9、log解析數(shù)據(jù)過濾Event緩存C目的zoneBEvent解析Event任務(wù)分發(fā)SQL構(gòu)建執(zhí)行C位點(diǎn)存儲(chǔ)ZKDRCmanagerPrometheus任務(wù)調(diào)度ReplicatorApplierMHAMHA監(jiān)控上報(bào)單元化 MySQL同步性能優(yōu)化表名取模DB批量合并SQL構(gòu)建冪等執(zhí)行批量合并SQL構(gòu)建冪等執(zhí)行Applier worker線程2批量合并SQL構(gòu)建冪等執(zhí)行Applier worker線程N(yùn)Applier與目標(biāo)DB同機(jī)房，Replicator與源DB同機(jī)房發(fā)送端binlog過濾，壓縮傳輸protobuf多線程執(zhí)行，批量處理、批量ACKApplier worker線程1Applier協(xié)調(diào)線程

10、ReplicatorEvent拉取/解析Event批量分發(fā)Event批量ACK單元化 MySQL同步binlog打標(biāo)MySQL 參 數(shù) ： binlog_rows_query_log_eventsSQL hint：/*+ DMALL_SQL_HINT_DRC */Binlog Events序列：BEGINRows_queryTable_mapDelete/Update/Write_rowsCOMMITAppDRC中心-gzone單元化 Redis數(shù)據(jù)同步組件單元-rzoneAgentRedis-ShakeRedisFullCheckCenterSentinelSentinelSync-HASyncSUBSCRIBE sentinel :hello，更新哨兵集群地址、master-name同步故障時(shí)，根據(jù)master-name從哨兵獲取Redis集群新拓?fù)浣Y(jié)構(gòu)上報(bào)狀態(tài)，監(jiān)控信息同步任務(wù)調(diào)度psync任務(wù)啟/停增強(qiáng)特性網(wǎng)絡(luò)波動(dòng)，斷點(diǎn)續(xù)傳同步進(jìn)程高可用調(diào)度源/目的Redis faiover， Sentinel聯(lián)動(dòng)目的端部署單元化 DB PaaS平臺(tái)改造工作量：大各zone獨(dú)立部署自動(dòng)化平臺(tái)組件新增gateway層，實(shí)現(xiàn)api聚合DDL工單，需聯(lián)動(dòng)DRC，關(guān)注執(zhí)行順序中心-g