互聯(lián)網(wǎng)異地雙活數(shù)據(jù)庫架構(gòu)課件

1、互聯(lián)網(wǎng)異地雙活數(shù)據(jù)庫架構(gòu)技術(shù)創(chuàng)新，變革未來目 錄多活難點&設(shè)計原則12數(shù)據(jù)庫改造&挑戰(zhàn)3收益&展望4多活難架點構(gòu)&切換多活難點-同城Or異地錯亂沖突環(huán)路一致性多活難點-數(shù)據(jù)問題多活難點如何做好分流和控制？如何解決跨機房延時（訪問&數(shù)據(jù)）？如何解決數(shù)據(jù)安全性？設(shè)計原則-業(yè)務(wù)設(shè)計原則-分區(qū)用戶、商戶、騎手（POI）目 錄多活難點&設(shè)計原則12數(shù)據(jù)庫改造&挑戰(zhàn)3收益&展望4多活難架點構(gòu)&切換多活架構(gòu)-Overview多活架構(gòu)-DRC多活架構(gòu)-DB（SZ）多活架構(gòu)-DB（GZ）多活切換-流量多活切換-DB（GZ）目 錄多活難點&設(shè)計原則12數(shù)據(jù)庫改造&挑戰(zhàn)3收益&展望4多活難架點構(gòu)&切換數(shù)據(jù)庫改造-項

2、目項目改造原因數(shù)據(jù)量周期全量數(shù)據(jù)導入測試環(huán)境、生產(chǎn)環(huán)境數(shù)據(jù)全量同步幾百TB兩周表增加DRC字段表增加毫秒級別的時間戳，方便判斷數(shù)據(jù)有效性十幾萬表五周PK int改bigint自增調(diào)整防止溢出十幾萬表FK改bigintPk調(diào)整防止溢出幾萬表業(yè)務(wù)分類遷移不同類型業(yè)務(wù)要求放入不同集群50+ DB自增調(diào)整防止自增沖突，每個zone起始值錯開幾百套三周原生改DRC原生復(fù)制改成DRC復(fù)制，支持多寫幾百套賬號網(wǎng)段調(diào)整原來賬號限制在一個機房，現(xiàn)在需要支持多個機房數(shù)千賬號全量參數(shù)一致性各個集群參數(shù)必須一致幾百套HA全量部署改造按集群類型調(diào)整HA配置幾百套數(shù)據(jù)庫改造-比較項目改造前改造后實例1200+2000+集

3、群400+800+Proxy800+1600+HA400+800+數(shù)據(jù)量幾百TB翻倍DDL3位數(shù)/周翻倍DML2位數(shù)/周不變機器故障0.5臺/周2臺/周DBA？+1DAL-RejectDRC-沖突DCP-校驗DBA挑戰(zhàn)-數(shù)據(jù)變動無需人工干預(yù)全量、增量、延時校驗、手動校驗數(shù)據(jù)、結(jié)構(gòu)、多維校驗延遲、并發(fā)、時長修復(fù)SQL、配套工具DBA挑戰(zhàn)-數(shù)據(jù)（DCP）每日幾百套集群數(shù)據(jù)校驗日均校驗數(shù)據(jù)60億+分鐘級別校驗頻率發(fā)現(xiàn)和修復(fù)數(shù)據(jù)一致性問題50+DBA挑戰(zhàn)-數(shù)據(jù)（DCP)DBA挑戰(zhàn)-遷移（D-Bus）DB&Table遷移增量、實時同步暫停、斷點續(xù)傳單表、Sharding表數(shù)據(jù)互轉(zhuǎn)數(shù)據(jù)校驗EMHA 配置、

4、切換、聯(lián)動（DAL、DRC）DBA挑戰(zhàn)-HADBA挑戰(zhàn)-DDL-工具控制：空間&延時&鎖&定時&低峰&風險&時長DBA挑戰(zhàn)-DDL-控制類型：多活、非多活 、GlobalZone、多推、 ShardingDBA挑戰(zhàn)-DDL-ShardingMm-ost：多機房一致&延時控制3-5sDBA挑戰(zhàn)-DDL-多機房DBA挑戰(zhàn)-DDL-自助研發(fā)自助：比例超90%數(shù)量：多活工單：4位數(shù)/周DDL表：45位數(shù)/周自動/人工：8：2研發(fā)自助：90%DBA挑戰(zhàn)-DDL目 錄多活難點&設(shè)計原則12數(shù)據(jù)庫改造&挑戰(zhàn)3收益&展望4多活難架點構(gòu)&切換打破單機房（地域）容量瓶頸不受單機房（地域）故障影響動態(tài)調(diào)整各機房流量On