2023中興通訊GoldenDB分布式數(shù)據(jù)庫架構及核心功能_第1頁
2023中興通訊GoldenDB分布式數(shù)據(jù)庫架構及核心功能_第2頁
2023中興通訊GoldenDB分布式數(shù)據(jù)庫架構及核心功能_第3頁
2023中興通訊GoldenDB分布式數(shù)據(jù)庫架構及核心功能_第4頁
2023中興通訊GoldenDB分布式數(shù)據(jù)庫架構及核心功能_第5頁
已閱讀5頁,還剩42頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領

文檔簡介

GoldenDB分布式數(shù)據(jù)庫架構及核心功能目錄1分布式數(shù)據(jù)庫概念3

GoldenDB產(chǎn)品架構與核心功能2金融行業(yè)典型案例01分布式數(shù)據(jù)庫概念數(shù)據(jù)庫行業(yè)技術發(fā)展歷史和趨勢時間軸1960s1990s2000s2010s2020sIBM/ORACLE推動OLTPscale

up擴展Google分布式論文發(fā)布電子商務、互聯(lián)網(wǎng)金融大幅發(fā)展HTAP類數(shù)據(jù)出現(xiàn)融合事務處理和分析能力數(shù)據(jù)管理系統(tǒng)分析型數(shù)據(jù)系統(tǒng)事務型數(shù)據(jù)系統(tǒng)NoSQL數(shù)據(jù)庫出現(xiàn)解決分析性能問題事務型數(shù)據(jù)庫仍以縱向擴展為主分布式事務型數(shù)據(jù)庫興起系統(tǒng)架構x86架構的線性擴展必須解決分布式事務強一致的難題高可靠高性能兩地三中心,滿足監(jiān)管 要求滿足互聯(lián)網(wǎng)金融業(yè)務的 高并發(fā)高性能要求智能運維運維復雜度增加自動化運維智能監(jiān)控來源:中國信通院《金融分布式事務數(shù)據(jù)庫白皮書》技術挑戰(zhàn)分布式數(shù)據(jù)庫概念及架構演進來源:中國信通院《金融分布式事務數(shù)據(jù)庫白皮書》概念:分布在一個計算機網(wǎng)絡上的多個邏輯相關的數(shù)據(jù)庫集合。系統(tǒng)通常是地理上分散而邏輯上集中的數(shù)據(jù)庫系統(tǒng),即通過計算機網(wǎng)絡將地理上分散的各個局域節(jié)點連接起來共同組成一個邏輯上統(tǒng)一的數(shù)據(jù)庫系統(tǒng)。因此分布式數(shù)據(jù)庫相比傳統(tǒng)數(shù)據(jù)庫具有物理分布性以及邏輯整體性的特點優(yōu)勢:分布式數(shù)據(jù)處理架構,有效提高系統(tǒng)性能低成本和靈活擴展性好系統(tǒng)的可用性和可靠性強02GoldenDB產(chǎn)品架構與核心功能GoldenDB發(fā)展歷程中信銀行核心下移并行仿真上線首個商用版本中信銀行冠字號文件數(shù)據(jù)庫EBASE-MEM分布式數(shù)據(jù)庫GoldenDB統(tǒng)一門戶同業(yè)平臺江蘇銀行后督系統(tǒng)中信銀行統(tǒng)一卡積分江蘇省農(nóng)信互金平臺2015201620172018200220112007EBASE內(nèi)存數(shù)據(jù)庫DHSS金融分布式數(shù)據(jù)庫201420192020中信銀行信用卡核心投產(chǎn)18年技術積累100%內(nèi)核掌控100+發(fā)明專利銀監(jiān)會一類成果獎金融電子化優(yōu)秀自主創(chuàng)新獎人行科技發(fā)展二等獎南京市科技進步獎年度優(yōu)秀網(wǎng)信產(chǎn)品基礎軟硬件獎獲Gartner報告推薦中信銀行總行核心正式投產(chǎn)(計劃)GoldenDB領跑國產(chǎn)數(shù)據(jù)庫測試工信部信通院“分布式事務數(shù)據(jù)庫”測試唯一滿分通過認證GoldenDB設計目標:滿足銀行核心業(yè)務的關鍵需求實時一致的分布式事務控制全局事務管理機制,確保高并發(fā)下的讀

寫一致性和隔離性。已提交事務回滾機制,提高應用開發(fā)的透明性。滿足金融場景的容災方案快同步和數(shù)據(jù)庫分組技術,確保高并發(fā)下同城RPO=0,RTO<30s,全局

一致的備份恢復技術,確保數(shù)據(jù)誤刪除時能恢復到任意時刻點。不停服務的聯(lián)機重分布日志回放和凍結方案,數(shù)據(jù)重分布對現(xiàn)有業(yè)務無影響。分布式隔離級別,確保鎖影響范圍降低,減少沖突,提升性能。豐富完善的監(jiān)控和運維能力監(jiān)控、統(tǒng)計和告警設計聯(lián)動,確保能夠快速感知系統(tǒng)狀態(tài)變化。自動化的切換和故障恢復能力,確保數(shù)據(jù)庫服務的高可用。Share-nothing分布式架構,各層可線性擴展多樣化集群形態(tài)靈活匹配多種業(yè)務場景:一套GoldenDB集群適配多種業(yè)務場景,提升資源利用率同時實現(xiàn)統(tǒng)一運維管理。GoldenDB采用Share-nothing架構No-ShardingSharding集群計算節(jié)點集群GTMNode

1Node

2OMMNode

n…………APP1APP2客戶端接入層APPN…Distribute

Transaction集群…GoldenDB金融級數(shù)據(jù)強一致解決方案事務自動補償機制,實現(xiàn)分布式事務原子性全局事務樂觀鎖,實現(xiàn)分布式事務隔離性全局活躍事務控制,保證數(shù)據(jù)備份恢復全局一致性事務理論的分布式延伸DDB1(主)DB2(主)DB3(主)DB1(從)DB2(從)DB3(從)table單機數(shù)據(jù)庫:保證事務在事務內(nèi)(原子性-A)、事務間(隔離性-I)和故障時(持久性-D)的一致性(C)。分布式數(shù)據(jù)庫:將數(shù)據(jù)庫事務的ACID理論延伸到分布式架構下。A

IC計算節(jié)點1計算節(jié)點2計算節(jié)點3DB日lo志gtable單機數(shù)據(jù)庫分布式數(shù)據(jù)庫原子性:多條記錄的多次操作要么一起成功,要么一起失敗。原子性:多個數(shù)據(jù)分片上的多次操作要么一起成功,要么一起失敗。隔離性:不同連接(處理線程或進程)不會相互訪問到未提交事務的數(shù)據(jù)。隔離性:多個計算節(jié)點上的不同連接不會相互訪問到在多個數(shù)據(jù)分片內(nèi)未提交事務的數(shù)據(jù)。持久性:事務提交前必須先將日志落盤,機器重啟后不丟失數(shù)據(jù)。持久性:事務提交前必須將日志在分片主、從節(jié)點都得到復制,主節(jié)點故障時從節(jié)點上仍能找回數(shù)

據(jù)。APP1

APP1

APP2APP3分布式事務的難點要實現(xiàn)分布式事務的實時一致性(保證ACID

),難點在哪?部分DB提交失敗,如何保證全局事務的原子性(A)?并發(fā)訪問時,每個事務都不知道其他事務的狀態(tài),如何保證事務之間的隔離性(C)?更近一步地,部分DB提交成功,部分DB提交失敗時,如何保證回滾期間的隔離性(C&A)?以轉(zhuǎn)賬交易為例:交易前2個賬戶資金余額各100,事務T1從賬戶1轉(zhuǎn)賬50到賬戶2;在事務T1提交期間,由于DB1和DB2提交時 間有空隙,若此時事務T2讀取2個賬戶的余 額,會發(fā)現(xiàn)余額之和是50+100=150。因事務之間的隔離性問題產(chǎn)生數(shù)據(jù)讀不一致。存在事務T1對賬戶1上扣錢成功,給賬戶2加錢失敗的情況。因事務內(nèi)部的原子性問題產(chǎn)生數(shù)據(jù)寫不一致性。賬戶1減50賬戶2加50賬戶1提交查詢賬戶1和賬戶2的余額DB1DB2APP1

APP2

計算節(jié)點從賬戶1轉(zhuǎn)賬50元到賬戶2事務T1事務T2賬戶2提交,但提交失敗查詢賬戶1余額查詢賬戶2余額余額50余額100A=100B=100B=100B=100實時強一致分布式事務控制commitA-50,

B+50A-50B+50Global

RollbackB->100A->100RollbackA=100A:100<-50A->50B->50A=50A:100->50APPJDBC/ODBC基于自動補償機制實現(xiàn)分布式事務的原子性,對應用透明。引入GTM徹底解決分布式數(shù)據(jù)庫臟讀問題,保證全局事務的一致性。一階段提交方案,提升系統(tǒng)處理性能。APP2JDBC/ODBCAPP3JDBC/ODBC計算節(jié)點集群全局事務管理器

GTMFailureDB1DB2DB3實時可靠的強一致性分布式事務處理,正確率100%全局一致的備份恢復備份:元數(shù)據(jù)+表數(shù)據(jù)+日志+活躍事務列表;全量、增量備份,定時、實時備份;在線熱備份;與第三方工具集成。恢復:恢復到全局一致狀態(tài);可恢復到任意時間點。分布式數(shù)據(jù)庫恢復到全局一致的數(shù)據(jù)才是可用的。1月1日全量備份數(shù)據(jù)分片1數(shù)據(jù)分片n數(shù)據(jù)分片2...OMM管理臺

(備份策略設置)1月2日增量備份實時備份事務日志,數(shù)據(jù)可恢復到任意時間點。同步備份全局狀態(tài)信息,用該信息將數(shù)據(jù)恢復到全局一致狀態(tài)。GoldenDB數(shù)據(jù)高可靠解決方案組件高可靠兩地三中心系統(tǒng)級高可靠容災方案快同步機制、分組管理、高低水位數(shù)據(jù)高可靠-組件高可靠組件全冗余設計、故障自動切換計算節(jié)點集群:無狀態(tài)設計,故障自動切換。數(shù)據(jù)節(jié)點集群:每個數(shù)據(jù)分片由多個副本組成,一主多備,快同步復制,節(jié)點故障自動切換,

新主選擇交由管理節(jié)點處理。GTM:由多個副本組成,一主多備,實時消息同步復制,節(jié)點故障自動切換,新主選擇交由管理節(jié)點處理。管理節(jié)點:高可用部署,快同步復制,節(jié)點故障自動切換。管理節(jié)點APP1JDBC/ODBCAPP2JDBC/ODBCAPP

nJDBC/ODBC……主數(shù)據(jù)分片1備備主數(shù)據(jù)分片n備備計算節(jié)點集群GTMLoadBalance(F5)主

主備

備數(shù)據(jù)節(jié)點集群數(shù)據(jù)節(jié)點副本間采用多種日志復制技術,滿足不同場景需求,在保證數(shù)據(jù)的高可靠的同時實現(xiàn)高性能。MasterSlave1Slave2事務提交日志寫入日志發(fā)送日志發(fā)送ACK確認

ACK確認校驗判斷

ACK數(shù)目事務提交ACK確認異步復制:方案:主庫寫入日志后即可返回客戶端消息,無需等待日志傳送給從庫;效果:主備復制不影響主節(jié)點事務處理;最大性能模式,

RPO不為0??焱綇椭疲悍桨福号渲玫母北就讲呗詽M足后,主庫返回操作結果給客戶端,策略不滿足時產(chǎn)生告警或切換為只讀;效果:可實現(xiàn)RPO為0,且保證復制性能。關鍵技術:線程池、非阻塞式同步并行復制日志持久化日志持久化高效可靠的數(shù)據(jù)同步技術數(shù)據(jù)高可靠-分組管理DB-SDB-SDB-MAPPDB-SDB-SDB-S問題全節(jié)點的數(shù)據(jù)同步,代價高昂,用戶體驗差目標用更低的代價實現(xiàn)RPO=0方案數(shù)據(jù)節(jié)點按照區(qū)域分組主節(jié)點按照收到組響應數(shù),來給應用回響應只要分組內(nèi)有一份完整數(shù)據(jù)即可數(shù)據(jù)零丟失效果精簡響應,縮短響應時間并保證RPO=0數(shù)據(jù)高可靠-高低水位安全策略水位:主機收到分組響應的數(shù)目,數(shù)目越多水位越高,數(shù)目少則水位低用戶需求模式分組響應>=3分組響應=2分組響應=1分組響應=0數(shù)據(jù)很重要,一定不能丟數(shù)據(jù)高水位=3低水位=1數(shù)據(jù)庫運行正常產(chǎn)生告警,數(shù)據(jù)庫提供讀寫服務產(chǎn)生告警,數(shù)據(jù)庫提供讀寫服務產(chǎn)生告警,數(shù)據(jù)庫僅提供只讀服務用戶體驗很重要,一定不能停服務高水位=2低水位=0數(shù)據(jù)庫運行正常數(shù)據(jù)庫運行正常產(chǎn)生告警,數(shù)據(jù)庫提供讀寫服務產(chǎn)生告警,數(shù)據(jù)庫提供讀寫服務以3分組為例,不同用戶配置的影響:高水位:業(yè)務正常工作的系統(tǒng)環(huán)境安全存在隱患

低水位:業(yè)務維持工作能夠容忍的最低系統(tǒng)環(huán)境危險!!系統(tǒng)正常運行告警!系統(tǒng)正常運行告警!僅提供讀服務系統(tǒng)策略數(shù)據(jù)高可靠-兩地三中心容災本地機房(A)APP……主從主從計算節(jié)點…GTM從Group2Team1管理節(jié)點主

從Group1Team1主智能DNSLoadBalance異地機房(C)APP……從從從從計算節(jié)點…GTM從Group2Team3管理節(jié)點從

從Group1Team3從智能DNSLoadBalance…從

從Group1Team2從

從管理節(jié)點GTM從Group2Team2從

從從同城機房(B)APP…智能DNS

LoadBalance計算節(jié)點…異步復制,RPO<30秒同城災備RPO=0按業(yè)務靈活配置容災策略優(yōu)先本地機房切換,切換對應用全透明數(shù)據(jù)復制按機房響應,降低多副本時延容災切換數(shù)據(jù)全局一致(同城、異地)支持兩地三中心可視化運維管理支持孤島演練GoldenDB性能擴展解決方案多級擴展多級分片在線數(shù)據(jù)重分布讀寫分離性能擴展-多級SCALE-OUT計算節(jié)點、數(shù)據(jù)節(jié)點可橫向線性擴展,滿足性能及容量的各種處理需求計算節(jié)點根據(jù)業(yè)務需要可靈活配置計算節(jié)點數(shù)量,實現(xiàn)處理性能線性擴展計算節(jié)點集群內(nèi)置鏈接池鏈路共享,數(shù)據(jù)庫鏈接數(shù)線性可擴展APPAPIDataBaseAPPJDBC/ODBC計算節(jié)點集群Node

1 Node

2Node

nAPP

…JDBC/ODBC架構演進Scale

out

…DB-SAPP

…JDBC/ODBC…No-ShardingDB-MSharding集群Shard1-M

Shard1-SShardn-MShardn-SSharding集群Shard1-M

Shard1-SShardn-MShardn-S性能測試數(shù)據(jù)-典型核心業(yè)務測試23500450004000035000300002500020000150001000050000核心業(yè)務TPS40000GoldenDB

16分片

GoldenDB

30節(jié)點GoldenDB

16分片達到20000TPS,

30分片40000TPS,滿足核心業(yè)務性能要求性能呈線性增長60504030201003000TPS

10000TPS

20000TPS事務時延(ms)共16條SQLGoldenDB5%20%0%5%10%15%20%25%線性擴展損

率GoldenDB

同類產(chǎn)品在橫向擴展時,GoldenDB整體性能損控 制在5%,遠低于同類產(chǎn)品性能損率,幾?近線性擴展(中信銀行核心業(yè)務下移技術驗證測試數(shù)據(jù))3000TPS時,GoldenDB事務平均時延為15ms20000TPS時,GoldenDB事務平均時延為

52ms性能擴展-分片策略一級按照法人字段國外的客戶到服務器1數(shù)據(jù)行法人客戶類型業(yè)務類型法人1法人2二級按照客戶類型字段國內(nèi)的非重點客戶到服務器2三級按照業(yè)務類型字段國內(nèi)的重點客戶對公業(yè)務到服務器3其他數(shù)據(jù)到服務器4一般客戶重點客戶對公業(yè)務對私業(yè)務精細化控制數(shù)據(jù)在集群中的分布形態(tài)尤其適用于多法人場景,將不同法人的數(shù)據(jù)劃分到不同數(shù)據(jù)Group支持多樣化的分片策略:支持按哈希拆分數(shù)據(jù)集支持按范圍拆分數(shù)據(jù)集支持按列表拆分數(shù)據(jù)集支持單節(jié)點/多節(jié)點復制多級分片功能支持多達5層分區(qū)支持多個分區(qū)鍵使用不同分片策略性能擴展-動態(tài)數(shù)據(jù)重分布支持數(shù)據(jù)節(jié)點的擴容、縮容,能高效地將數(shù)據(jù)均勻分布到數(shù)據(jù)庫集群上,同時保證對在線業(yè)務影響小、且可操作性強:高性能:支持關聯(lián)表表并發(fā)重分布;可操作性好:全程可視化控制,包括執(zhí)行、暫停、繼續(xù)、取消、異常情況下的重試等;使用Map映射的方式保存元數(shù)據(jù)信息,重分布遷移時數(shù)據(jù)切片粒度更細,IO消 更少,重分布操作更加平滑。節(jié)點3節(jié)點1節(jié)點2一致性哈希0612節(jié)點6153節(jié)點49節(jié)點5節(jié)點3節(jié)點1節(jié)點2一致性哈希0612性能擴展--讀寫分離DB-MDB-S計算節(jié)點計算節(jié)點RW/RRLoadbalanceDB-S快同步復制GoldenDB支持將DQL查詢負載均衡到從庫,提升系統(tǒng)資源利用和處理效率。對應用透明:應用無需改造,在數(shù)據(jù)庫運維界面簡單配置即可實現(xiàn)功能;可視化運維管理:支持在線調(diào)整權重,支持在不同集群中使用不同的負載均衡模式;SQL

Hint提示:支持個別高實時性的SQL通過Hint指定至Master執(zhí)行。GoldenDB業(yè)務遷移解決方案數(shù)據(jù)庫語法兼容數(shù)據(jù)在線、離線遷移工具業(yè)務易遷移-全面的語法兼容性兼容標準SQL語法兼容SQL92、99、2003標準語法兼容復雜的SQL語法100%兼容MySQL語法基本兼容SQL標準語法,支持Mysql工具生態(tài)圈強大的分布式優(yōu)化器,復雜SQL語句兼容性和處理性能優(yōu)兼容常用ORACLE語法支持Oracle

OCI接口,支持常見的Oracle函數(shù)、關鍵字等,業(yè)務遷移更高效全局唯一序列值兼容Oracle

Sequence語法單調(diào)遞增性,多模式選擇GoldenDB分布式數(shù)據(jù)庫兼容SQL標準語法,支持MySQL協(xié)議,支持常用的Oracle語法,內(nèi)置強大的分布式SQL優(yōu)化器,業(yè)務遷移難度低。合并下壓分片剪枝AVG等聚合函數(shù)優(yōu)化多步驟執(zhí)行數(shù)據(jù)節(jié)點提示去重消除常數(shù)折疊死代碼消除內(nèi)置強大的SQL優(yōu)化器:條件繁殖group

by重寫distinct下推order

by下推limit下推條件下推并行執(zhí)行……數(shù)據(jù)易遷移-導入導出與在線交易分離1、支持結構化的文本文件導入導出2、支持導出庫表等數(shù)據(jù)字典信息3、支持部分字段導入導出4、支持對數(shù)據(jù)行進行處理后導入導出5、支持斷點續(xù)傳6、支持導入出錯數(shù)據(jù)轉(zhuǎn)SQL語句7、黑白名單權限控制功能1、數(shù)據(jù)批處理2、表結構發(fā)生變化3、業(yè)務遷移場景1、工具靈活可視,易用性好2、數(shù)據(jù)遷移流與交易流分離,降低對聯(lián)機業(yè)務影響3、容錯性高,最大程度完成數(shù)據(jù)導入導出特性計算節(jié)點集群LoadServerAPP文件數(shù)據(jù)遷移流交易流雙向數(shù)據(jù)傳輸服務DTS保證交易一致性:只同步已提交的數(shù)據(jù)拓撲靈活,可擴展性好支持數(shù)據(jù)清洗和轉(zhuǎn)換可視化的數(shù)據(jù)流程管理異構數(shù)據(jù)庫雙向?qū)崟r數(shù)據(jù)同步支撐應用平滑的數(shù)據(jù)遷移,同時可用于數(shù)據(jù)實時分析、業(yè)務數(shù)據(jù)共享等解決方案。......GoldenDBOracle/MySQL等異構數(shù)據(jù)庫雙向?qū)崟r同步服務LogGoldenDB統(tǒng)一運維解決方案統(tǒng)一安裝統(tǒng)一運維統(tǒng)一監(jiān)控GoldenDB運維能力概覽GoldenDB

InSight運維數(shù)據(jù)分析挖掘平臺運維數(shù)據(jù)歸集、分析挖掘及展示,包括SQL診斷、會話診斷、空間診斷、日志分析等。GoldenDB

OMM統(tǒng)一運維管理平臺可視化運維操作平臺。GoldenDB日志集運維日志慢查詢?nèi)罩緦徲嬋罩究梢暬娜罩就诰蛉鞒倘罩靖橤oldenDB

Tool

Suite工具集全鏈路問題診斷工具

GoldenDB

PD操作管理命令行工具dbtool數(shù)據(jù)同步和導入導出工具GoldenDB巡檢、排障操作維護排障一鍵安裝,不停服務升級,保證升級期間的業(yè)務連續(xù)性,支持升級任務編排系統(tǒng)自動巡檢,自動檢測故障,系統(tǒng)主動自愈修復提供集群用戶管理、元數(shù)據(jù)管理、配置下發(fā)和配置比對等功能數(shù)據(jù)重分布操作、備份恢復、主備一致性檢查等運維操作可視化操作運維能力開放:接入第三方平臺,供其他系統(tǒng)調(diào)用和擴展編排GoldenDB提供統(tǒng)一管理門戶和豐富的運維工具,實現(xiàn)高效、智能、可視化運維管理。工具集智能化、極簡化、可視化自動巡檢1集群管理 配置管理2

3安裝升級4統(tǒng)一監(jiān)控5主備一致性檢查6數(shù)據(jù)重分布7備份恢復10安全管理 監(jiān)控告警8

9統(tǒng)一運維平臺GoldenDB

OMMGoldenDB提供統(tǒng)一管理門戶和豐富的運維工具,實現(xiàn)高效、智能、可視化運維管理。統(tǒng)一運維平臺GoldenDBOMM監(jiān)控系統(tǒng)數(shù)據(jù)采集系統(tǒng)資源(內(nèi)存/磁盤....)

日志(慢查詢/審計...)

專業(yè)數(shù)據(jù)(鎖/連接....)第三方監(jiān)控平臺實時狀態(tài)日志分析空間診斷SQL診斷事務診斷配置診斷組件資源日志跟蹤增長趨勢鎖沖突SQL長事務配置比對監(jiān)控告警故障定位重分布建議查詢計劃建議狀態(tài)分析關聯(lián)分析系統(tǒng)資源日志搜索空間分析慢SQL事務回滾狀態(tài)變量運維數(shù)據(jù)分析挖掘平臺GoldenDB

InsightGoldenDB

Insight平臺是可插拔式的,從GoldenDB系統(tǒng)中采集數(shù)據(jù),進行數(shù)據(jù)分析,展示分析結果。提供日志分析、空間、SQL、事務、配置等診斷功能,針對系統(tǒng)問題和瓶頸進行分析和預測,助力運維自動化和智能化。運維數(shù)據(jù)分析挖掘平臺GoldenDB

Insight問題診斷工具-GoldenDB

PDPD基礎功能全鏈路運行狀態(tài)詳情當前運行SQL語句詳情統(tǒng)計信息(表RUID數(shù),傾斜度分析等)數(shù)據(jù)庫進程堆棧信息歷史SQL語句的執(zhí)行信息鎖等待、死鎖等鎖信息.......DDBB狀狀態(tài)態(tài)((主主從復從制復、制恢、復恢進復進度度等)等)應用報錯數(shù)據(jù)庫告警GoldenDB

問題診斷工具:提供從應用經(jīng)計算節(jié)點到數(shù)據(jù)節(jié)點的全鏈路交易跟蹤及問題診斷能力。應用側報錯:自頂而下,根據(jù)流水號定位相關SQL,下沉到DB,定位到數(shù)據(jù)節(jié)點上的相關鏈路DB側告警:自底而上,根據(jù)告警鏈路信息定位到流水號,上浮到計算節(jié)點,定位到對應的交易鏈路應應用用交易流水號

交易流水號計算計節(jié)算點節(jié)點

數(shù)數(shù)據(jù)據(jù)節(jié)節(jié)點點03金融行業(yè)典型案例GoldenDB在中信銀行的實施路徑冠字號系統(tǒng)合作平臺投產(chǎn)金融同業(yè)平臺成功投產(chǎn)核心下移預研啟動卡中心核心下移啟動零售客戶綜合積分系統(tǒng)投產(chǎn)中信銀行門戶網(wǎng)站系統(tǒng)投產(chǎn)總行核心仿真投產(chǎn)卡中心核心生產(chǎn)投產(chǎn)總行核心生產(chǎn)投產(chǎn)歷程:現(xiàn)穩(wěn)中求進,不斷深入總行電子渠道(對私)業(yè)務處理平臺2015年9月2016年11月2016年5月2017年6月2017年4月2018年3月2018年11月2019年10月2019年12月2020年上半年架構變革:從封閉的IBM

AS/400集中式架構遷移到X86服務器的開放分布式架構。代碼轉(zhuǎn)換:應用核心處理邏輯保持不變,通過工具自動轉(zhuǎn)換為JAVA,保護多年的應用積累。分布式數(shù)據(jù)庫取代傳統(tǒng)數(shù)據(jù)庫:分庫分表架構實現(xiàn)系統(tǒng)橫向平滑擴展,滿足金融強一致性分布式事務要求。降低成本:從傳統(tǒng)架構遷移到分布式架構后,可顯著降低硬件成本和開發(fā)成本。RPG/COBOLDB2IBM

i/UNIXIBM中間件小型機改造前架構 改造后架構分布式數(shù)據(jù)庫(GoldenDB)計算節(jié)點1計算節(jié)點2計算節(jié)點nPC

Server(X86)Linux

OS......新應用核心JAVA節(jié)點1PC

Server(X86)Linux

OS技術平臺JAVA新應用核心JAVA節(jié)點2PC

Server(X86)Linux

OS技術平臺JAVA新應用核心JAVA節(jié)點kPC

Server(X86)Linux

OS技術平臺JAVA...中信銀行核心業(yè)務下移項目客戶收益及技術優(yōu)勢客戶收益60%硬件成本30%開發(fā)成本GoldenDB投產(chǎn)運營總體情況投產(chǎn)后總體運行情況:整體運行平穩(wěn)當前數(shù)據(jù)量18.1T,每日新增300G雙11期間:1個小時交易金額達到11億元TPS:1440

CPU

17%

mem

9%交易時延:41ms授權服務

賬戶服務數(shù)據(jù)服務DB112345678910DB2DB40DB39……中間層10臺計算節(jié)點服務器,授權3臺,賬戶5臺,數(shù)據(jù)服務2臺數(shù)據(jù)集群由40個分片構成,單分片表都集中在DB1上。系統(tǒng)經(jīng)過雙11考驗,實際壓力遠低于網(wǎng)聯(lián)壓測,運行平穩(wěn)。計算節(jié)點App1APP2統(tǒng)一檔案管理平臺APP3APP4GTMManager計算節(jié)點APP5F5DBGroup

1DBGroup

2PC

Server

1DBGroup

2DBGroup

3PC

Server

2DBGroup

3DBGroup

4PC

Server

3DBGroup

4DBGroup

5PC

Server

4DBGroup

5DBGroup

6PC

Server

5DBGroup

6DBGroup

1PC

Server

6廣東農(nóng)信檔案管理平臺分布式數(shù)據(jù)庫項目數(shù)據(jù)庫,設置2個計算節(jié)點+6個數(shù)據(jù)節(jié)點,云化部署彈性可擴容??蛻粜枨髽I(yè)務介紹:統(tǒng)一檔案管理平臺,為各類業(yè)務系統(tǒng)、管理系統(tǒng)產(chǎn)生的檔案提供全生命周期集中管理。數(shù)據(jù)規(guī)模:近百張表,其中大表每年產(chǎn)生7億記錄,每年新增數(shù)據(jù)量600G主要痛點:1、DB2性能達到瓶頸,3個月數(shù)據(jù)查詢耗時10分鐘;2、業(yè)務側進行分庫分表,增加業(yè)務難度;3、無法橫向擴容;4、維護成本高解決方案分布式業(yè)務改造:業(yè)務層面進行分布式架構改造,云化部署彈性可擴展。分布式數(shù)據(jù)庫改造:按照未來三年規(guī)劃,從傳統(tǒng)的DB2數(shù)據(jù)庫改造為分布式客戶收益性能改進:3個月的數(shù)據(jù)查詢耗時從10分鐘提升至秒級。業(yè)務簡化:數(shù)據(jù)庫實現(xiàn)分庫分表,簡化業(yè)務邏輯。降低成本:數(shù)據(jù)庫采購成本,維護成本降低。DBGroup

1DBGroup

2DBGroup

3DBGroup

4DBGroup

1DBGroup

2DBGroup

3DBGroup

4GTMGTMManagerManagerDBGroup

1DBGroup

2DBGroup

3DBGroup

4計算節(jié)點LoadServer計算節(jié)點LoadServerDBGroup

5DBGroup

6DBGroup

5DBGroup

6DBGroup

5DBGroup

6計算節(jié)點計算節(jié)點計算節(jié)點計算節(jié)點全渠道應用系全渠道分布統(tǒng)式數(shù)據(jù)庫DBGroup

1DBGroup

2DBGroup

3DBGroup

4DBGroup

5DBGroup

1DBGroup

2DBGroup

3DBGroup

4DBGroup

5GTMGTMManagerManagerDBGroup

1DBGroup

2DBGroup

3DBGroup

4DBGroup

5計算節(jié)點LoadServer計算節(jié)點LoadServer計算節(jié)點計算節(jié)點新核心應用系統(tǒng)新核心分布式數(shù)據(jù)庫3GTMDB

Group1PCServerLoadServerDB

Gro

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論