分布式數(shù)據(jù)庫技術(shù)架構(gòu)的演變與發(fā)展方向

分布式數(shù)據(jù)庫技術(shù)架構(gòu)演變與發(fā)展方向CSDN數(shù)據(jù)庫核心技術(shù)與應(yīng)用實(shí)戰(zhàn)峰會(huì)目錄/ContentsPartone分布式數(shù)據(jù)庫技術(shù)架構(gòu)分類ParttwoPartthreePartfour企業(yè)為何需要分布式數(shù)據(jù)庫企業(yè)典型業(yè)務(wù)場景分布式數(shù)據(jù)庫的技術(shù)架構(gòu)演變Partfive分布式數(shù)據(jù)庫技術(shù)架構(gòu)的未來方向Partsix數(shù)據(jù)庫行業(yè)十三五預(yù)測分布式數(shù)據(jù)庫技術(shù)架構(gòu)分類分布式數(shù)據(jù)庫技術(shù)架構(gòu)分類OralceRACMySQLClusterVerticaGreenPlumHBaseMongoDB分布式數(shù)據(jù)庫技術(shù)架構(gòu)分類MySQLProxyTDDLAtlasD-RDSOceanBaseHotDBFabricCDBCobar2005年

---2015年企業(yè)為何需要分布式數(shù)據(jù)庫企業(yè)為何需要分布式數(shù)據(jù)庫易擴(kuò)展海量用戶海量數(shù)據(jù)高可靠高性能高并發(fā)業(yè)務(wù)要求企業(yè)為何需要分布式數(shù)據(jù)庫私有云數(shù)據(jù)創(chuàng)造價(jià)值分布式開源產(chǎn)品硬件平民化自主研發(fā)自動(dòng)化企業(yè)信息化發(fā)展的趨勢企業(yè)為何需要分布式數(shù)據(jù)庫企業(yè)典型業(yè)務(wù)場景企業(yè)典型業(yè)務(wù)場景目標(biāo)說明指標(biāo)分解海量數(shù)據(jù)系統(tǒng)運(yùn)行一年之后數(shù)據(jù)總量：120T每年數(shù)據(jù)增量：小于等于20%，也即第一年數(shù)據(jù)最大增量：24T單應(yīng)用數(shù)據(jù)20T以上單表有20億條記錄(大省的在1億+條記錄)系統(tǒng)正常運(yùn)行后，不做任何數(shù)據(jù)存儲(chǔ)調(diào)整或二次拆分的情況下，支撐業(yè)務(wù)數(shù)據(jù)持續(xù)增長年限：3年高可用數(shù)據(jù)庫可用性達(dá)到99.99%，即每年僅允許有累計(jì)53分鐘的不可用時(shí)間；定期維護(hù)（包括部署）除外要求可在線數(shù)據(jù)備份，時(shí)間少于11小時(shí)（22：00～08：00）失敗切換時(shí)間小于10s故障恢復(fù)時(shí)間小于30分鐘數(shù)據(jù)復(fù)制延遲時(shí)間（本地：1s，異地：1分鐘）本地同步時(shí)，數(shù)據(jù)丟失量小于1筆交易高性能要求支撐5+個(gè)應(yīng)用的全國訪問支持的并發(fā)量大于2萬數(shù)據(jù)庫交易量大于10萬/s響應(yīng)時(shí)間<1s

最大響應(yīng)時(shí)間<10sQPS大于30萬可擴(kuò)展當(dāng)數(shù)據(jù)量或系統(tǒng)負(fù)載超過我們3年規(guī)劃之后，大部分業(yè)務(wù)系統(tǒng)可通過增加物理服務(wù)器節(jié)點(diǎn)的方式，達(dá)到支持業(yè)務(wù)的持續(xù)發(fā)展或性能線性提高要求性能可擴(kuò)展要求容量可擴(kuò)展數(shù)據(jù)遷移時(shí)可通過規(guī)劃和技術(shù)手段，能做到不影響數(shù)據(jù)庫提供數(shù)據(jù)服務(wù)的質(zhì)量增加物理服務(wù)器節(jié)點(diǎn)，對應(yīng)用模塊透明，不需要修改任何代碼要求可在線擴(kuò)展，擴(kuò)展時(shí)間/對業(yè)務(wù)的影響時(shí)間（如性能下降時(shí)間）小于10小時(shí)擴(kuò)展的線性度應(yīng)該大于70%多中心要求兩地三中心數(shù)據(jù)容災(zāi)及數(shù)據(jù)服務(wù)要求在線，且數(shù)據(jù)中心的每個(gè)節(jié)點(diǎn)都可以提供服務(wù)數(shù)據(jù)同步延遲最長時(shí)間小于1分鐘數(shù)據(jù)服務(wù)切換最大時(shí)間小于3分鐘業(yè)務(wù)服務(wù)切換最大時(shí)間小于10分鐘數(shù)據(jù)丟失量小于100筆交易不同機(jī)房的業(yè)務(wù)數(shù)據(jù)庫組之間，能做到數(shù)據(jù)異步互相復(fù)制；同一份數(shù)據(jù)，同一時(shí)刻只有一個(gè)數(shù)據(jù)中心應(yīng)用模塊能對其進(jìn)行修改，但是全網(wǎng)的數(shù)據(jù)中心都可同時(shí)對其進(jìn)行只讀操作電信行業(yè)某集團(tuán)總部去IOE項(xiàng)目目標(biāo)說明指標(biāo)分解高并發(fā)2013年單量：平時(shí)N00萬，高峰NE00萬

2013年操作平臺(tái)TPS須大于270002014年單量：平時(shí)M000萬，高峰M000萬

2014年操作平臺(tái)TPS須大于400002015年單量：平時(shí)DF00萬，高峰D000萬2015年操作平臺(tái)TPS須大于60000網(wǎng)點(diǎn)數(shù)量：12000+

PDA終端：10W+

子系統(tǒng)PC終端：4個(gè)+/網(wǎng)點(diǎn)

接入平臺(tái)集群應(yīng)用服務(wù)數(shù)量：YX0個(gè)+

數(shù)據(jù)庫連接數(shù)2100/實(shí)例（操作平臺(tái)占130個(gè)）

2014年峰值單量M000W，全國12000個(gè)網(wǎng)點(diǎn)。

操作平臺(tái)N00W單量，優(yōu)化前：數(shù)據(jù)寫入：INSERTKL億次/天數(shù)據(jù)刪除：DELETEKX億次/天操作平臺(tái)N00W單量，優(yōu)化后：數(shù)據(jù)寫入：INSERTX億次/天數(shù)據(jù)刪除：DELETEY億次/天高可用數(shù)據(jù)庫可用性達(dá)到99.99%數(shù)據(jù)服務(wù)或應(yīng)用服務(wù)的任意一個(gè)節(jié)點(diǎn)宕機(jī)，

不影響業(yè)務(wù)系統(tǒng)服務(wù)應(yīng)用展開服務(wù)達(dá)到99.99%數(shù)據(jù)庫中間件達(dá)到99.99%應(yīng)用對列服務(wù)達(dá)到99.99%故障切換時(shí)間小于10秒業(yè)務(wù)系統(tǒng)整體每年僅允許有累計(jì)53分鐘的

不可用時(shí)間，定期維護(hù)（包括部署）除外故障恢復(fù)時(shí)間小于5分鐘數(shù)據(jù)庫的數(shù)據(jù)復(fù)制延遲時(shí)間小于1秒伸縮性應(yīng)用服務(wù)任意增減

支持對操作平臺(tái)中的展開應(yīng)用服務(wù)節(jié)點(diǎn)和數(shù)據(jù)庫實(shí)例進(jìn)行動(dòng)態(tài)擴(kuò)展；對數(shù)據(jù)庫與應(yīng)用服務(wù)解耦后，調(diào)整數(shù)據(jù)節(jié)點(diǎn)或應(yīng)用節(jié)點(diǎn)，互相不影響

業(yè)務(wù)系統(tǒng)的正常服務(wù)。數(shù)據(jù)庫節(jié)點(diǎn)任意增減負(fù)載均衡應(yīng)用服務(wù)支持集群化部署應(yīng)用集群中的節(jié)點(diǎn)可任意增減數(shù)據(jù)服務(wù)支持集群化部署數(shù)據(jù)服務(wù)集群中的數(shù)據(jù)庫節(jié)點(diǎn)可任意增減快遞物流行業(yè)去IOE項(xiàng)目企業(yè)典型業(yè)務(wù)場景8對X86服務(wù)器組成的MySQL數(shù)據(jù)庫存儲(chǔ)層HotDBHotDBExpress_appExpress_appExpress_appxxx_app_1xxx_app_2mmm_app_1mmm_app_2nnn_app_1nnn_app_2快遞物流行業(yè)去IOE項(xiàng)目某某速遞的運(yùn)單數(shù)據(jù)公共服務(wù)的業(yè)務(wù)數(shù)據(jù)指標(biāo)，如下：平均每天1000萬以上運(yùn)單數(shù)據(jù)產(chǎn)生；平均每天8000萬次以上INSERT操作；平均每天1.2億次以上SELECT操作；平均每天1000萬以上UPDATE操作；數(shù)據(jù)保存生命周期

年，每月產(chǎn)生業(yè)務(wù)數(shù)據(jù)GB以上，總數(shù)據(jù)容量TB以上；125002企業(yè)典型業(yè)務(wù)場景分布式數(shù)據(jù)庫的技術(shù)架構(gòu)演變分布式數(shù)據(jù)庫的技術(shù)架構(gòu)演變SSSS分布式數(shù)據(jù)庫的技術(shù)架構(gòu)演變MySQL_Server_1MySQL_Server_2MySQL_ClientJavaMySQL_Cluster_NDB_Management_ServerNDBManagementClientndb_mgm負(fù)載均衡設(shè)備MySQL_Cluster_SQL_NodeMySQL_Cluster_Data_Nodendbd_1ndbd_2ndbd_3ndbd_4節(jié)點(diǎn)宕機(jī)，集群內(nèi)配對節(jié)點(diǎn)接管SQL節(jié)點(diǎn)宕機(jī)，負(fù)載均衡設(shè)備控制不向其發(fā)送數(shù)據(jù)操作請求MySQL_Server_1增加處理節(jié)點(diǎn)ndbd_5ndbd_6增加數(shù)據(jù)節(jié)點(diǎn)分布式數(shù)據(jù)庫的技術(shù)架構(gòu)演變OracleDiamond

配置中心IbatisSpingJDBCTemplatetddlmatrixds(TDataSource)tddlgroupdstddlatomds(withjbossds)JDBCDriverHibernate業(yè)務(wù)邏輯OracleMySQLMySQLIbatisSpingJDBCTemplatetddlmatrixds(TDataSource)tddlgroupdstddlatomds(withjbossds)JDBCDriverHibernate業(yè)務(wù)邏輯分布式數(shù)據(jù)庫的技術(shù)架構(gòu)演變ClientClientClientClientClient數(shù)據(jù)庫中間件在線雙主在線雙主在線雙主SMSMSM分布式數(shù)據(jù)庫技術(shù)架構(gòu)的未來方向分布式數(shù)據(jù)庫技術(shù)架構(gòu)的未來方向應(yīng)用連接池?cái)?shù)據(jù)庫連接池MySQLProtocol通信層（NIO/AIO/BIO）事務(wù)協(xié)調(diào)組件數(shù)據(jù)同步組件數(shù)據(jù)遷移組件資源管理組件HA檢測組件SQL優(yōu)化組件SQL路由組件SQL解析組件MySQLProtocol通信層（NIO/AIO）ApplicationApplication集群管理組件

Manager會(huì)話管理心跳管理內(nèi)存管理線程管理………..監(jiān)控&管理存儲(chǔ)層MySQLMySQLMySQLMySQLMySQLMySQLMySQLMySQLGROUPBY聚合組件結(jié)果集合并組件ORDERBY排序組件SQL執(zhí)行組件現(xiàn)在分布式數(shù)據(jù)庫技術(shù)架構(gòu)的未來方向企業(yè)生產(chǎn)在線交易系統(tǒng)，即OLTP業(yè)務(wù)場景經(jīng)過企業(yè)級驗(yàn)證，成熟穩(wěn)定主流開源數(shù)據(jù)庫產(chǎn)品MySQL海量數(shù)據(jù)存儲(chǔ)海量用戶訪問業(yè)務(wù)場景數(shù)據(jù)分片垂直拆分水平拆分智能分片算法應(yīng)用透明單一的數(shù)據(jù)訪問服務(wù)屏蔽數(shù)據(jù)拆分的復(fù)雜邏輯應(yīng)用服務(wù)透明服務(wù)質(zhì)量高可用高并發(fā)高性能業(yè)務(wù)需求節(jié)點(diǎn)管理實(shí)例管理數(shù)據(jù)庫管理統(tǒng)一訪問管理設(shè)備管理備份管理日志管理系統(tǒng)管理業(yè)務(wù)流程租戶管理策略管理自動(dòng)化管理監(jiān)控管理性能管理告警管理安全管理統(tǒng)一訪問入口數(shù)據(jù)庫標(biāo)準(zhǔn)協(xié)議多租戶隔離一鍵開通服務(wù)能力透明化服務(wù)消費(fèi)可度量數(shù)據(jù)服務(wù)透明服務(wù)可擴(kuò)展服務(wù)需求分布式數(shù)據(jù)庫技術(shù)架構(gòu)的未來方向二地三中心多活HotDB_server_1aHotDB_server_1bHotDB_Cluster_內(nèi)蒙HotDB_server_1aHotDB_server_1bHotDB_Cluster_廊坊HotDB_server_1aHotDB_server_1bHotDB_Cluster_北京內(nèi)蒙->北京ReplicateData北京->內(nèi)蒙ReplicateData廊坊->內(nèi)蒙ReplicateData內(nèi)蒙->廊坊ReplicateData北京->廊坊ReplicateData廊坊->北京ReplicateDatadb1adb1bDatabase_Server_Cluster內(nèi)蒙db2adb2bdbnadbnbdb1adb1bDatabase_Server_Cluster廊坊

db2adb2bdbnadbnbdb1adb1bDatabase_Server_Cluster北

京

db2adb2bdbnadbnb分布式數(shù)據(jù)庫技術(shù)架構(gòu)的未來方向數(shù)據(jù)庫行業(yè)十三五預(yù)測數(shù)據(jù)庫行業(yè)十三五預(yù)測國產(chǎn)數(shù)據(jù)庫進(jìn)入死亡期分布式數(shù)據(jù)庫技術(shù)像虛擬化一樣普及自主研發(fā)與開源數(shù)據(jù)庫融合獨(dú)霸天下實(shí)力派中型和大型企業(yè)數(shù)據(jù)庫私有云化分析型數(shù)據(jù)庫NotonlySQL中小企業(yè)數(shù)據(jù)庫公有云化未來現(xiàn)在公司名稱：上海熱璞網(wǎng)絡(luò)科技有限公司公司地址：上海市閔行區(qū)先