華泰證券構建分布式高可用數據 庫架構的實踐

華泰證券構建分布式高可用數據庫架構的實踐目

錄一、華泰證券集團簡介二、面臨的機遇與挑戰(zhàn)三、技術方案四、新開源技術解決方案研究與實踐華泰證券集團簡介一、華泰證券

全國領先的大型綜合性證券集團，具有龐大的客戶基礎、領先的互聯網平臺及敏捷協(xié)同的全業(yè)務鏈體系，股票代碼601688

主營業(yè)務：經紀及財富管理、投資銀行、投資及交易、資產管理、海外業(yè)務

經紀業(yè)務全市場第一（8.32%）一、華泰證券

用戶數將近1000萬

日活用戶500萬，手機端占比50%以上一、華泰證券—漲樂財富通一、華泰證券—漲樂財富通面臨的機遇和挑戰(zhàn)二、機遇與挑戰(zhàn)背景：華泰集團原有的數據庫都是基于商用數據庫+存儲的傳統(tǒng)架構。要求：集團提出使用開源數據庫的要求二、機遇與挑戰(zhàn)Oracle到MySQL三個重點考量效率高可用開源MySQL數據庫普遍使用的高可用方案是否滿足金融機構的需求SQL優(yōu)化器：目前開源數據庫的SQL優(yōu)化器和ORACLE商用數據庫相比，差距明顯。處理能力能否用多臺服務器達到單臺高性能小型機的處理能力二、機遇與挑戰(zhàn)高可用的考量傳統(tǒng)的主從復制難以滿足金融行業(yè)的要求?共享存儲的?根據目前的互聯網策略，大規(guī)模推廣困難。HA半同步復制?依舊是異步復制，弱一致性，理論上存在丟失數據的可能性，且存在性能損耗NDB場景不適合挑戰(zhàn)：主流方案基本不適合現有的集團需求！二、機遇與挑戰(zhàn)效率的考量SQL效率業(yè)務高速增長1、如果數據庫處理效率（從oracle到mysql）不升反而降低，無法向業(yè)務部門交代。.客戶數量每年都在倍增，業(yè)務品種每年都在高速增加，近幾年、數據量每年都在近10倍左右增長.目前開源數據庫的SQL優(yōu)化器和ORACLE商用數據庫相比，存在差距。2、僅僅依靠mysql本身，短時間內，難以滿足目前的需求。必須從其他方向找方法。二、機遇與挑戰(zhàn)處理能力水平擴展的考量處理能力?服務器數量處理能力?服務器數量處理能力MySQL不很好支持高性能小型機。能否用多臺服務器達到單臺高性能小型機的處理能力。技術方案簡介三、技術方案

分布式數據庫中間件的引入（1）通過分庫分表，解決MySQL的SQL效率相對不足的問題（2）利用分布式中間件實現數據庫水平擴展的能力（3）通過讀寫分離：解決負載問題分布式數據庫中間件邏輯圖:MySQLAppAppAppID

MEMBE_ID

INFO1pavarotti17……11

pavarotti17MySQL分布式中間件ID

MEMBE_ID

INFOAppAppAppAppAppDB39abcdabcdabcd………Proxy20MySQL核心功能：分庫分表ID

MEMBE_ID

INFO45test1234test1234……三、技術方案分庫分表的原理庫1字段為條件路由算法ID

MEMBE_ID

INFOID

MEMBE_ID

INFO1

pavarotti17…………1

pavarotti17…………………45test1234test12343459abcdtest1234test1234abcd11

pavarotti17庫2ID

MEMBE_ID

INFO11

pavarotti1720

abcd39abcdabcdabcd………20分庫分表原理MySQL1prov=wuhandn1select

*

from

orderswhere

prov

=‘wuhan’db1@mysql1prov=shDBProxydn2db2@mysql2prov=bidn3MySQL2db3@mysql2三、技術方案

分布式數據庫中間件的引入（1）通過分庫分表，解決MySQL的SQL效率相對不足的問題（2）利用分布式中間件實現數據庫水平擴展的能力（3）通過讀寫分離：解決負載問題讀寫分離MySQLDMLSQL主從復制DBProxy心跳檢測或Select

SQLMySQL三、技術方案

Galera

Cluster集群技術的引入原因--高可用方案的幾點考量1金融行業(yè)對數據要求較高，目前難以直接使用類似主從復制等主流技術。2?傾向使用數據同步的集群，確保沒有數據丟失3?切換快速三、技術方案

Galera

Cluster特點業(yè)務連續(xù)性高多主架構支持InnoDB存儲引擎同步復制?無需主從切換操作?任何節(jié)點都可以進行讀寫。（安全性）各節(jié)點間無延遲且節(jié)點宕機不會導致數據丟失.支持InnoDB存儲引擎，支持事務.GALERA

CLUSTER三、技術方案

使用Galera

Cluster集群技術現狀（1）多應用上線，使用半年時間，系統(tǒng)運行穩(wěn)定。（2）數據量、負載情況，吞吐情況（3）雙活雙主中心，更加安全（安全的外延）（4）同樣可以實現讀寫分離物理結構示意圖仲裁節(jié)點仲裁節(jié)點DBproxyVIPLVSMySQL3MySQL4集群SDDBproxyFMySQL1MySQL2DBproxyDBproxyLVS集群VIPMySQL1MySQL2MySQL3MySQL4物理結構示意圖仲裁節(jié)點DBproxyDBproxyVIPLVS集群MySQL3MySQL4MySQL1MySQL2主機房VIPMySQL3MySQL4同步復制物理結構示意圖仲裁節(jié)點仲裁節(jié)點DBproxyLVS集群VIPDBproxyMySQL3MySQL4MySQL1MySQL2主機房DBproxyLVS集群VIPMySQL1MySQL2MySQL3MySQL4DBproxy同步復制新開源技術解決方案研究與實踐四、新開源技術解決方案研究與實踐1、現有的MySQL技術不能完全滿足金2

根據相關要求，

3

IB等高性能融證券行業(yè)的要求。（包括Galera部分場景不合適：高可用+性能不損失）盡量不使用傳統(tǒng)存儲架構。開源技術不斷成熟

研究背景和目標

RDMA等開源技術的引入InfiniBand網絡借用這種開源技術，可以很靈活的實現不同機器間的磁盤高速共享，我們稱為GLS技術?

RDMA通過網絡把資料直接傳入計算機的存儲區(qū)，將數據從一個系統(tǒng)快速移動到遠程系統(tǒng)存儲器中，而不對操作系統(tǒng)造成任何影響。把iSCSI協(xié)議的命令InfiniBand架構是具有高吞吐低延時的特點和數據通過RDMA的方式跑到例如InfiniBand這種網絡上（GlobalLinkSystem）。（特點：靈活、高性能、低成本.四、技術研究分享優(yōu)勢1、首個基于MySQL數據庫解決方案：能夠在提供高性能的同時，提供數據零丟失的高可用