銀行全棧式Scale-out系統(tǒng)架構(gòu)建設(shè)實(shí)踐

1、銀行全棧式Scale-out系統(tǒng)架構(gòu)建設(shè)實(shí)踐金融信息系統(tǒng)轉(zhuǎn)型之路GW風(fēng)險(xiǎn)防控交易處理服務(wù)治理運(yùn)營管理云計(jì)算人工智能區(qū)塊鏈分布式虛擬現(xiàn)實(shí)VS應(yīng)用分布式數(shù)據(jù)分布式l 分布式數(shù)據(jù)庫的一致性與可用性矛盾l 微服務(wù)架構(gòu)的敏捷開發(fā)與復(fù)雜運(yùn)維矛盾開啟轉(zhuǎn)賬 事務(wù)登記簿插入意 向轉(zhuǎn)賬記錄借方扣款更新登記簿流水更新登記簿流水插入流水記 錄借方信息插入流水記 錄貸方信息更新登記簿流水貸方扣款更新登記 簿流水檢驗(yàn)貸方信 息是否合法提交事務(wù)檢驗(yàn)借方信 息是否合法更新登記 簿流水?dāng)帱c(diǎn) A斷點(diǎn) B斷點(diǎn) C對銀行現(xiàn)有系統(tǒng)運(yùn)行中的交易進(jìn)行分析之后， 按照發(fā)生頻度、使用范圍選取典型的交易場景，利 用開源框架，把交易從封閉系統(tǒng)遷移

2、到開放平臺(tái)， 形成“標(biāo)準(zhǔn)化交易組”。針對銀行實(shí)際場景，對數(shù) 據(jù)庫進(jìn)行相同規(guī)模、相同邏輯、相同粒度的訪問、 操作。我行自主提出了一套“分布式事務(wù)數(shù)據(jù)庫評(píng)測指標(biāo)”，將 分布式事務(wù)數(shù)據(jù)庫能力進(jìn)行了分解，成為一項(xiàng)項(xiàng)具體的指標(biāo)， 使得評(píng)測標(biāo)準(zhǔn)更加具體化，評(píng)測結(jié)果更加客觀化。標(biāo)準(zhǔn)化交易組 與 分布式事務(wù)數(shù)據(jù)庫評(píng)測指標(biāo)l 讀寫分離l 負(fù)載均衡l 強(qiáng)一致性l 數(shù)據(jù)重分 布個(gè)性化 功能數(shù)據(jù)庫 支持兼容性l 高可用 l 容錯(cuò)機(jī)制 l 超時(shí)處理l 主備同步l 異地災(zāi)備l 備份/恢復(fù)支持l 平臺(tái)支持l SQL兼容/復(fù)雜 語法支持l 在線擴(kuò)容l 查詢優(yōu)化l 透明性l 批處理性能 l 異構(gòu)數(shù)據(jù)庫傳輸 l 安裝升級(jí)l 運(yùn)維

3、管理l 角色劃分l 系統(tǒng)分析算法 性能可靠性安全 備份性能 測試TPS指標(biāo)leader副本集群無leader副本集群同城 網(wǎng)絡(luò)跨 城 網(wǎng) 絡(luò)存儲(chǔ)實(shí)例數(shù)據(jù)分片1數(shù)據(jù)分片2 數(shù)據(jù)分片3數(shù)據(jù)分片nRaft組存儲(chǔ)實(shí)例存儲(chǔ)實(shí)例數(shù)據(jù)分片1數(shù)據(jù)分片2 數(shù)據(jù)分片3數(shù)據(jù)分片n存儲(chǔ)實(shí)例數(shù)據(jù)分片1數(shù)據(jù)分片2數(shù)據(jù)分片3數(shù)據(jù)分片n存儲(chǔ)實(shí)例數(shù)據(jù)分片1數(shù)據(jù)分片2 數(shù)據(jù)分片3數(shù)據(jù)分片n數(shù)據(jù)分片1數(shù)據(jù)分片2 數(shù)據(jù)分片3數(shù)據(jù)分片n計(jì)算層、管理層跨城網(wǎng)絡(luò)北京IDC1兩副本北京IDC2兩副本西安IDC3一副本北京西安延時(shí)為17ms采用此種部署模式的SQL平均延時(shí)為1.2ms，.95延時(shí)為5ms左右多副本強(qiáng)一致性協(xié)議保障可靠數(shù)據(jù)持續(xù)在

4、線主副本選舉（帶*號(hào)副本）成員變更日志復(fù)制存儲(chǔ)引擎1存儲(chǔ)引擎2存儲(chǔ)引擎3存儲(chǔ)引擎4存儲(chǔ)引擎5副本1*副本2副本3 副本1副本2* 副本3副本1副本2副本3*條件：任何分布式NewSQL云數(shù)據(jù)庫中的數(shù)據(jù)變更需要同步更新到多數(shù)派副本中，才認(rèn)為操作成功更新存儲(chǔ)引擎1中的主副本1數(shù)據(jù)，只有另外兩個(gè)副本1有一個(gè)同步更新，才認(rèn)為操作成功結(jié)論：多數(shù)派中保存最新數(shù)據(jù)，只要多數(shù)派存活，即可對外服務(wù)副本1副本2副本3副本1* 副本2副本2副本3副本1副本3副本1新增服務(wù)器52. 將副本1的leader 遷移到服務(wù)器2服務(wù)器1服務(wù)器2服務(wù)器3服務(wù)器43. 復(fù)制副本1 到服務(wù)器54. 將副本1服務(wù)器1上刪除1. 新增

5、服務(wù)器5加入NewSQL云數(shù)據(jù)庫網(wǎng)絡(luò)副本：副本可以理解為全量數(shù)據(jù)的一份子數(shù)據(jù)，圖中示例為三副本模式圖中副本1+副本2+副本3為一份全量數(shù)據(jù)例如全量數(shù)據(jù)為record1record6，其中一種劃分模式即可為：副本1（record1-record2），副本2（record3-record4），副本3（record5-record6）主副本：提供對外服務(wù)的副本解鎖 版本控制加鎖 版本 控制原子 操作傳統(tǒng)分布式系統(tǒng)事務(wù)分布式NewSQL數(shù)據(jù)庫事務(wù)分布式存儲(chǔ)分布式事務(wù) 執(zhí)行分布式事務(wù) 執(zhí)行分布式事務(wù) 提交分布式存儲(chǔ)分布式事務(wù) 協(xié)調(diào)中心1.提交數(shù)據(jù)2.數(shù)據(jù)路由3.數(shù)據(jù)確認(rèn)3.數(shù)據(jù)確認(rèn)邁向金融級(jí)分布式事 務(wù)

6、提交1.主鎖聲明2.預(yù)寫數(shù)據(jù)1.副鎖聲明2.預(yù)寫數(shù)據(jù)主鎖解鎖前主鎖解鎖后副本同步/異步 解鎖data1data2數(shù)據(jù)實(shí)質(zhì)變化1.處理主鎖記錄2.處理副鎖記錄3.主鎖解鎖4.副鎖解鎖TS 3: 5TS3:PrimaryTS3:鍵值余額:數(shù)據(jù)余額:鎖信息余額:版本借方 賬戶TS 1: 10TS 2:TS 1:TS 2:TS 1:TS 2: DataTS1貸方 賬戶TS 1: 2TS 2:TS 1:TS 2:TS 1:TS 2: DataTS1鍵值余額:數(shù)據(jù)余額:鎖信息余額:版本借方 賬戶TS 1: 10TS 2:TS 3: 5TS 1:TS 2:TS 3: PrimaryTS 1:TS 2: Da

7、taTS1TS 3:貸方 賬戶TS 1: 2TS 2:TS 1:TS 2:TS 1:TS 2: DataTS1TS 3: 7TS 3: PrimaryR1TS 3:1鍵值余額:數(shù)據(jù)余額:鎖信息余額:版本借方 賬戶TS 1: 10TS 2:TS 1:TS 2:TS 1:TS 2: DataTS1貸方 賬戶TS 1: 2TS 2:TS 1:TS 2:2TS 1:TS 2: DataTS1鍵值余額:數(shù)據(jù)余額:鎖信息余額:版本借方 賬戶TS 1: 10TS 2:TS 1:TS 2:TS 1:TS 2: DataTS1TS 3: 5TS 4:TS 3:TS 4:TS 3:TS 4: DataTS3貸方

8、賬戶TS 1: 2TS 2:TS 3: 7TS 1:TS 2:TS 3: PrimaryR1TS 1:TS 2: DataTS1TS 3:鍵值余額:數(shù)據(jù)余額:鎖信息余額:版本借方 賬戶TS 1: 10TS 2:TS 3: 5TS 4:TS 1:TS 2:TS 3:TS 4:TS 1:TS 2: DataTS1TS 3:TS 4: DataTS3貸方 賬戶TS 1:2TS 2:TS 1:TS 2:TS 1:TS 2: DataTS1TS 3: 7TS 4:TS 3:TS 4:TS 3:TS 4: DataTS34處理主鎖記錄處理副鎖記錄主鎖解鎖3副鎖解鎖地區(qū)的 儲(chǔ)集群地區(qū)的 度集群西安IDC3數(shù)

9、據(jù)庫SQL引擎數(shù)據(jù)庫SQL引擎SQLSQL存儲(chǔ)引擎 存儲(chǔ)引擎存儲(chǔ)引擎跨分布式存集群調(diào)度器跨 分布式調(diào)F5F5F5DNS網(wǎng)聯(lián)清算平臺(tái)銀聯(lián)無卡支付平臺(tái)同步隊(duì)列從集群數(shù)據(jù)庫SQL引擎SQL存儲(chǔ)引擎集群調(diào)度器binlo北京IDC1北京IDC2數(shù)據(jù)庫SQL引擎數(shù)據(jù)庫SQL引擎數(shù)據(jù)庫SQL引擎SQL數(shù)據(jù)庫SQL引擎SQL SQLSQL存儲(chǔ)引擎存儲(chǔ)引擎存儲(chǔ)引擎存儲(chǔ)引擎存儲(chǔ)引擎存儲(chǔ)引擎g集群調(diào)度器集群調(diào)度器 集群調(diào)度器集群調(diào)度器北京IDC1北京IDC2西安IDCIDC數(shù)據(jù)庫組件北京IDC1北京IDC2西安IDC計(jì)算層實(shí)例（X86）221調(diào)度管理層實(shí)例（X86221存儲(chǔ)層實(shí)例（X86）442服務(wù)調(diào)用關(guān)系越來越復(fù)

10、雜服務(wù)問題難定位服務(wù)性能瓶頸難分析服務(wù)數(shù)量越來越多3000*3 = 9000記錄參數(shù)Cs：客戶端發(fā)起請求的時(shí)間Cr：客戶端收到處理完請求的時(shí)間Ss：服務(wù)端處理完邏輯的時(shí)間Sr：服務(wù)端收到調(diào)用端請求的時(shí)間Cr-Cs：客戶端調(diào)用時(shí)間Sr-Ss：服務(wù)端處理時(shí)間時(shí)間軸調(diào)用子服務(wù)1t race id = 100parent id = 3, span id = 4Annotations“ foo”Server SendClient Recv客戶端Client Send服務(wù)端Server Recv前端請求（no parent id） span id：1后端調(diào)用1parent id：1span id：2后端調(diào)

11、用2parent id：1span id：3調(diào)用子服務(wù)1 parent id：3 span id：4調(diào)用子服務(wù)2 parent id：3 span id：5時(shí)間軸01020304050同一 trace id : 100基于Google的分布式追蹤模型Dapper實(shí)現(xiàn)零侵入高性能簡單、易用擴(kuò)展DapperSQL引擎存儲(chǔ)引擎集群管理器信息網(wǎng)關(guān)可視化展示時(shí)序數(shù)據(jù)庫信息分析器智能分析器數(shù)據(jù)結(jié)構(gòu)優(yōu)化郵件/短信計(jì)算、存儲(chǔ)優(yōu)化多方式信息反饋保障安全運(yùn)營智能分析助力高效運(yùn)行問題編號(hào)問題描述NO-19應(yīng)用適配Repeatable ReadNO-20執(zhí)行計(jì)劃未匹配索引，應(yīng)用Hint熱點(diǎn)數(shù)據(jù)需要散列或應(yīng)用緩存NO-N微服務(wù)事務(wù)粒度過細(xì)，影響DB性能分布式NewSQL數(shù)據(jù)庫接入層業(yè)務(wù) 中臺(tái) (SaaS)IaaS能力網(wǎng)關(guān)開放平臺(tái)計(jì)算網(wǎng)絡(luò)存儲(chǔ)E S BDapper+TraceID+可視化服務(wù)維護(hù) 保障體系深 度 學(xué) 習(xí)支付 系統(tǒng)核心 用戶核心 賬戶理財(cái) 系統(tǒng)大 數(shù) 據(jù) 平 臺(tái)微服務(wù)數(shù)據(jù)源層計(jì)