金融分布式數(shù)據(jù)庫(kù)在核心系統(tǒng)的改造實(shí)踐

1、技術(shù)創(chuàng)新，變革未來(lái)金融分布式數(shù)據(jù)庫(kù)在核心系統(tǒng)的改造實(shí)踐信息技術(shù)創(chuàng)新的大勢(shì)所趨核心系統(tǒng)對(duì)外國(guó)廠商依賴度超過(guò)90%過(guò) 去硬件：小機(jī)、大機(jī)軟件：自主研發(fā)+國(guó)外廠商技術(shù)支持/咨詢 技術(shù)：技術(shù)架構(gòu)與硬件耦合性強(qiáng)核心系統(tǒng)硬件、軟件100%國(guó)產(chǎn)化現(xiàn) 在硬件：虛擬化X86分布式服務(wù)器/云容器 軟件：自主研發(fā)+國(guó)內(nèi)廠商技術(shù)支持/咨詢技術(shù)：自主可控+分布式數(shù)據(jù)庫(kù)+微服務(wù)架構(gòu)分布式數(shù)據(jù)庫(kù)的挑戰(zhàn)Auto Sharding SQL支持程度分布式事務(wù)水平伸縮可用性：99.999% 可靠性：99.999999%強(qiáng)一致性高可用實(shí)踐是檢驗(yàn)的唯一標(biāo)準(zhǔn)關(guān)鍵案例跨IDC同步性能 多IDC靈活部署單機(jī)性能提升性能成本運(yùn)營(yíng)監(jiān)控 智能診斷

2、產(chǎn)品化程度分布式數(shù)據(jù)庫(kù)的挑戰(zhàn)騰訊的土壤騰訊計(jì)費(fèi)托管數(shù)百億賬戶數(shù)據(jù)微信紅包春節(jié)峰值超過(guò)20.8萬(wàn)每秒推廣活動(dòng)峰值為平常的30倍騰訊云服務(wù)各行各業(yè)，超百萬(wàn)開(kāi)發(fā)者足夠的 場(chǎng)景持續(xù)的 投入騰訊數(shù)據(jù)庫(kù)團(tuán)隊(duì)超過(guò)10年持續(xù)投入， 聚集了一批優(yōu)秀人才TDSQL是什么？TDSQL（Tencent Distributed SQL）是騰訊針對(duì)金融行業(yè) 推出的一款自主可控的、高一致性，分布式、HTAP數(shù)據(jù)庫(kù) 產(chǎn)品。目前已為超過(guò)600+金融政企提供數(shù)據(jù)庫(kù)服務(wù)，行業(yè)覆蓋銀 行、保險(xiǎn)、證券信托、互聯(lián)網(wǎng)金融、第三方支付、計(jì)費(fèi)、智 慧零售、物聯(lián)網(wǎng)、政務(wù)、物聯(lián)網(wǎng)等。核心特性數(shù)據(jù)強(qiáng)一致確保多副本架構(gòu)下數(shù)據(jù)強(qiáng)一致，避免故障后導(dǎo)致集群

3、數(shù)據(jù)錯(cuò)亂和丟失。高性能低成本線性水平擴(kuò)展軟硬結(jié)合；支持讀寫分離、秒殺、紅包、全 球同服等超高性能場(chǎng)景。無(wú)論是資源，還是功能，均提供良好的擴(kuò) 展性。金融級(jí)高可用確保99.999%以上高可用；跨區(qū)容災(zāi)；同城雙 活；故障自動(dòng)恢復(fù)。企業(yè)級(jí)安全性便捷的運(yùn)維數(shù)據(jù)庫(kù)防火墻；透明加密；自動(dòng)脫敏等；減 少用戶誤操作/黑客入侵帶來(lái)的安全風(fēng)險(xiǎn)。完善配套設(shè)施，包括智能DBA、自助化運(yùn) 營(yíng)管理臺(tái)。產(chǎn)品體系物理機(jī)虛擬機(jī)審計(jì)服務(wù)數(shù)據(jù)遷移數(shù)據(jù)校驗(yàn)數(shù)據(jù)訂閱數(shù)據(jù)治理SQL防火墻注入檢測(cè)服務(wù)模塊資源池Noshard數(shù)據(jù)庫(kù)分布式數(shù)據(jù)庫(kù)集群存儲(chǔ)節(jié)點(diǎn)運(yùn)營(yíng)操作監(jiān)控平臺(tái)赤兔-運(yùn)營(yíng)管理平臺(tái)高可用分析性能分析鎖的分析SQL優(yōu)化健康診斷扁鵲-智能

4、DBA平臺(tái)計(jì)算節(jié)點(diǎn)讀寫分離SQL改寫分布式事務(wù)關(guān)聯(lián)查詢OLTP計(jì)算引擎OLAP計(jì)算引擎并行計(jì)算流式引擎調(diào)度系統(tǒng)故障遷移資源調(diào)度容量調(diào)度多租戶管理備份系統(tǒng)物理備份邏輯備份數(shù)據(jù)恢復(fù)智能告警扁鵲系統(tǒng)一鍵運(yùn)維運(yùn)營(yíng)管理赤兔監(jiān)控微眾銀行：全國(guó)首家銀行核心上線分布式架構(gòu)張家港銀行：全國(guó)首例銀行傳統(tǒng)核心上線分布式數(shù)據(jù)庫(kù)#4#5#1ZK#2#3MasterSlaveSQLEngin eSQLEngin eSQLEngin eSlaveSlaveMasterSlave強(qiáng)同步強(qiáng)同步異步總行機(jī)房災(zāi)備機(jī)房強(qiáng)同步異步同城異地查詢交易高頻交易貸款結(jié)息日終跑批100毫秒300毫秒3分鐘14分鐘對(duì)比結(jié)果：TDSQL在硬件層面采

5、用傳統(tǒng)的X86服務(wù)器，取代了大型機(jī)、小型機(jī)。以近期上 線核心系統(tǒng)的某商業(yè)銀行為例，傳統(tǒng)的商業(yè)數(shù)據(jù)庫(kù)都采用大型機(jī)、小型機(jī)，綜 合硬件成本大概在4000萬(wàn)到5000萬(wàn)，系統(tǒng)處理能力大約為8000TPS。而 TDSQL相同性能規(guī)格的實(shí)例硬件成本不到1000w， 綜合降低成本75%以上， 吞吐量達(dá)到了6200 TPS,并且支持橫向擴(kuò)展。成本Oracle TDSQL性能Oracle TDSQL小于1千萬(wàn)4千萬(wàn)5千萬(wàn)8000TPS/s6200TPS/s平安銀行：全國(guó)首家傳統(tǒng)核心大機(jī)下移分布式平臺(tái)防火墻APP_DBProxy服務(wù)器Proxy服務(wù)器PROXY集群SET60SET60強(qiáng)同步復(fù)制SET1SET1APPGSLBLVS集群3PROXY集群異地zookeeper1zookeeper2Zookeeper3zookeeper4Zookeeper5schedulerOSSschedulerOSS赤兔管理平臺(tái)APPIDC1APPIDC2LVS集群1VIP1LVS集群2VIP2Master異步 復(fù)制強(qiáng)同步復(fù)制強(qiáng)同步復(fù)制異步復(fù)制SlaveSlaveSlaveSlaveSlave政務(wù)系統(tǒng)：第七次全