華泰證券構(gòu)建分布式高可用數(shù)據(jù) 庫(kù)架構(gòu)的實(shí)踐

華泰證券構(gòu)建分布式高可用數(shù)據(jù)庫(kù)架構(gòu)的實(shí)踐目

錄一、華泰證券集團(tuán)簡(jiǎn)介二、面臨的機(jī)遇與挑戰(zhàn)三、技術(shù)方案四、新開(kāi)源技術(shù)解決方案研究與實(shí)踐華泰證券集團(tuán)簡(jiǎn)介一、華泰證券

全國(guó)領(lǐng)先的大型綜合性證券集團(tuán)，具有龐大的客戶基礎(chǔ)、領(lǐng)先的互聯(lián)網(wǎng)平臺(tái)及敏捷協(xié)同的全業(yè)務(wù)鏈體系，股票代碼601688

主營(yíng)業(yè)務(wù)：經(jīng)紀(jì)及財(cái)富管理、投資銀行、投資及交易、資產(chǎn)管理、海外業(yè)務(wù)

經(jīng)紀(jì)業(yè)務(wù)全市場(chǎng)第一（8.32%）一、華泰證券

用戶數(shù)將近1000萬(wàn)

日活用戶500萬(wàn)，手機(jī)端占比50%以上一、華泰證券—漲樂(lè)財(cái)富通一、華泰證券—漲樂(lè)財(cái)富通面臨的機(jī)遇和挑戰(zhàn)二、機(jī)遇與挑戰(zhàn)背景：華泰集團(tuán)原有的數(shù)據(jù)庫(kù)都是基于商用數(shù)據(jù)庫(kù)+存儲(chǔ)的傳統(tǒng)架構(gòu)。要求：集團(tuán)提出使用開(kāi)源數(shù)據(jù)庫(kù)的要求二、機(jī)遇與挑戰(zhàn)Oracle到MySQL三個(gè)重點(diǎn)考量效率高可用開(kāi)源MySQL數(shù)據(jù)庫(kù)普遍使用的高可用方案是否滿足金融機(jī)構(gòu)的需求SQL優(yōu)化器：目前開(kāi)源數(shù)據(jù)庫(kù)的SQL優(yōu)化器和ORACLE商用數(shù)據(jù)庫(kù)相比，差距明顯。處理能力能否用多臺(tái)服務(wù)器達(dá)到單臺(tái)高性能小型機(jī)的處理能力二、機(jī)遇與挑戰(zhàn)高可用的考量傳統(tǒng)的主從復(fù)制難以滿足金融行業(yè)的要求?共享存儲(chǔ)的?根據(jù)目前的互聯(lián)網(wǎng)策略，大規(guī)模推廣困難。HA半同步復(fù)制?依舊是異步復(fù)制，弱一致性，理論上存在丟失數(shù)據(jù)的可能性，且存在性能損耗NDB場(chǎng)景不適合挑戰(zhàn)：主流方案基本不適合現(xiàn)有的集團(tuán)需求！二、機(jī)遇與挑戰(zhàn)效率的考量SQL效率業(yè)務(wù)高速增長(zhǎng)1、如果數(shù)據(jù)庫(kù)處理效率（從oracle到mysql）不升反而降低，無(wú)法向業(yè)務(wù)部門交代。.客戶數(shù)量每年都在倍增，業(yè)務(wù)品種每年都在高速增加，近幾年、數(shù)據(jù)量每年都在近10倍左右增長(zhǎng).目前開(kāi)源數(shù)據(jù)庫(kù)的SQL優(yōu)化器和ORACLE商用數(shù)據(jù)庫(kù)相比，存在差距。2、僅僅依靠mysql本身，短時(shí)間內(nèi)，難以滿足目前的需求。必須從其他方向找方法。二、機(jī)遇與挑戰(zhàn)處理能力水平擴(kuò)展的考量處理能力?服務(wù)器數(shù)量處理能力?服務(wù)器數(shù)量處理能力MySQL不很好支持高性能小型機(jī)。能否用多臺(tái)服務(wù)器達(dá)到單臺(tái)高性能小型機(jī)的處理能力。技術(shù)方案簡(jiǎn)介三、技術(shù)方案

分布式數(shù)據(jù)庫(kù)中間件的引入（1）通過(guò)分庫(kù)分表，解決MySQL的SQL效率相對(duì)不足的問(wèn)題（2）利用分布式中間件實(shí)現(xiàn)數(shù)據(jù)庫(kù)水平擴(kuò)展的能力（3）通過(guò)讀寫(xiě)分離：解決負(fù)載問(wèn)題分布式數(shù)據(jù)庫(kù)中間件邏輯圖:MySQLAppAppAppID

MEMBE_ID

INFO1pavarotti17……11

pavarotti17MySQL分布式中間件ID

MEMBE_ID

INFOAppAppAppAppAppDB39abcdabcdabcd………Proxy20MySQL核心功能：分庫(kù)分表ID

MEMBE_ID

INFO45test1234test1234……三、技術(shù)方案分庫(kù)分表的原理庫(kù)1字段為條件路由算法ID

MEMBE_ID

INFOID

MEMBE_ID

INFO1

pavarotti17…………1

pavarotti17…………………45test1234test12343459abcdtest1234test1234abcd11

pavarotti17庫(kù)2ID

MEMBE_ID

INFO11

pavarotti1720

abcd39abcdabcdabcd………20分庫(kù)分表原理MySQL1prov=wuhandn1select

*

from

orderswhere

prov

=‘wuhan’db1@mysql1prov=shDBProxydn2db2@mysql2prov=bidn3MySQL2db3@mysql2三、技術(shù)方案

分布式數(shù)據(jù)庫(kù)中間件的引入（1）通過(guò)分庫(kù)分表，解決MySQL的SQL效率相對(duì)不足的問(wèn)題（2）利用分布式中間件實(shí)現(xiàn)數(shù)據(jù)庫(kù)水平擴(kuò)展的能力（3）通過(guò)讀寫(xiě)分離：解決負(fù)載問(wèn)題讀寫(xiě)分離MySQLDMLSQL主從復(fù)制DBProxy心跳檢測(cè)或Select

SQLMySQL三、技術(shù)方案

Galera

Cluster集群技術(shù)的引入原因--高可用方案的幾點(diǎn)考量1金融行業(yè)對(duì)數(shù)據(jù)要求較高，目前難以直接使用類似主從復(fù)制等主流技術(shù)。2?傾向使用數(shù)據(jù)同步的集群，確保沒(méi)有數(shù)據(jù)丟失3?切換快速三、技術(shù)方案

Galera

Cluster特點(diǎn)業(yè)務(wù)連續(xù)性高多主架構(gòu)支持InnoDB存儲(chǔ)引擎同步復(fù)制?無(wú)需主從切換操作?任何節(jié)點(diǎn)都可以進(jìn)行讀寫(xiě)。（安全性）各節(jié)點(diǎn)間無(wú)延遲且節(jié)點(diǎn)宕機(jī)不會(huì)導(dǎo)致數(shù)據(jù)丟失.支持InnoDB存儲(chǔ)引擎，支持事務(wù).GALERA

CLUSTER三、技術(shù)方案

使用Galera

Cluster集群技術(shù)現(xiàn)狀（1）多應(yīng)用上線，使用半年時(shí)間，系統(tǒng)運(yùn)行穩(wěn)定。（2）數(shù)據(jù)量、負(fù)載情況，吞吐情況（3）雙活雙主中心，更加安全（安全的外延）（4）同樣可以實(shí)現(xiàn)讀寫(xiě)分離物理結(jié)構(gòu)示意圖仲裁節(jié)點(diǎn)仲裁節(jié)點(diǎn)DBproxyVIPLVSMySQL3MySQL4集群SDDBproxyFMySQL1MySQL2DBproxyDBproxyLVS集群VIPMySQL1MySQL2MySQL3MySQL4物理結(jié)構(gòu)示意圖仲裁節(jié)點(diǎn)DBproxyDBproxyVIPLVS集群MySQL3MySQL4MySQL1MySQL2主機(jī)房VIPMySQL3MySQL4同步復(fù)制物理結(jié)構(gòu)示意圖仲裁節(jié)點(diǎn)仲裁節(jié)點(diǎn)DBproxyLVS集群VIPDBproxyMySQL3MySQL4MySQL1MySQL2主機(jī)房DBproxyLVS集群VIPMySQL1MySQL2MySQL3MySQL4DBproxy同步復(fù)制新開(kāi)源技術(shù)解決方案研究與實(shí)踐四、新開(kāi)源技術(shù)解決方案研究與實(shí)踐1、現(xiàn)有的MySQL技術(shù)不能完全滿足金2

根據(jù)相關(guān)要求，

3

IB等高性能融證券行業(yè)的要求。（包括Galera部分場(chǎng)景不合適：高可用+性能不損失）盡量不使用傳統(tǒng)存儲(chǔ)架構(gòu)。開(kāi)源技術(shù)不斷成熟

研究背景和目標(biāo)

RDMA等開(kāi)源技術(shù)的引入InfiniBand網(wǎng)絡(luò)借用這種開(kāi)源技術(shù)，可以很靈活的實(shí)現(xiàn)不同機(jī)器間的磁盤高速共享，我們稱為GLS技術(shù)?

RDMA通過(guò)網(wǎng)絡(luò)把資料直接傳入計(jì)算機(jī)的存儲(chǔ)區(qū)，將數(shù)據(jù)從一個(gè)系統(tǒng)快速移動(dòng)到遠(yuǎn)程系統(tǒng)存儲(chǔ)器中，而不對(duì)操作系統(tǒng)造成任何影響。把iSCSI協(xié)議的命令I(lǐng)nfiniBand架構(gòu)是具有高吞吐低延時(shí)的特點(diǎn)和數(shù)據(jù)通過(guò)RDMA的方式跑到例如InfiniBand這種網(wǎng)絡(luò)上（GlobalLinkSystem）。（特點(diǎn)：靈活、高性能、低成本.四、技術(shù)研究分享優(yōu)勢(shì)1、首個(gè)基于MySQL數(shù)據(jù)庫(kù)解決方案：能夠在提供高性能的同時(shí)，提供數(shù)據(jù)零丟失的高可用