分布式數(shù)據(jù)庫原理和架構(gòu)設(shè)計(jì)

1、分布式數(shù)據(jù)庫原理和架構(gòu)設(shè)計(jì)1234分布式數(shù)據(jù)庫的誕生面對大數(shù)據(jù)-過去和現(xiàn)在開源分布式數(shù)據(jù)庫TiDB適用場景和未來計(jì)劃數(shù)據(jù)爆炸式增長分布式數(shù)據(jù)庫誕生RDBMSNoSQLNewSQLMySQLPostgreSQL Oracle DB2Redis HBase Cassandra MongoDBSpanner OceanBase TiDBCockroachDBWhats wrong with the existingDBs?RDBMSNoSQL分布式數(shù)據(jù)庫誕生2006年之前RDBMS2006年BigTable開啟了NoSQL時(shí)代 缺少SQL支持支持當(dāng)行事務(wù)，缺少跨行 事務(wù)2011年MegaStore支

2、持SQL、ACID2012年Spanner/F1首個(gè)全球分布式數(shù)據(jù)庫面對大數(shù)據(jù)-過去和現(xiàn)在歷史的努力百度的DDBSyoutube的Vitess淘寶的Cobar、TDDL基于Cobar的MyCat360的Atlas京東的JProxyWhats wrong with the Proxy?執(zhí)行計(jì)劃分布式事務(wù)，跨節(jié)點(diǎn)join主從延時(shí)擴(kuò)容復(fù)雜面對大數(shù)據(jù)-過去和現(xiàn)在面對大數(shù)據(jù)-過去和現(xiàn)在OLTP(Online Transation Processing) OLAP(Offline Analytical Processing)面對大數(shù)據(jù)-過去和現(xiàn)在面對大數(shù)據(jù)-過去和現(xiàn)在OLTP+OLAP=HTAP(Hybr

3、id Transational/Analytical Processing)OLTPOLAP面對大數(shù)據(jù)-過去和現(xiàn)在面對大數(shù)據(jù)-過去和現(xiàn)在面對大數(shù)據(jù)-過去和現(xiàn)在開源分布式數(shù)據(jù)庫TiDBWhat is TiDBInspired by the design of Google F1 and GoogleSpannerCompatible with MySQL,at most casesScale is easy7/24 availability,even in case datacenter outagesDesign Goals:100% of the OLTP scene and 80% of

4、the OLAP sceneOpen source核心 特性水平線性擴(kuò)展故障自恢復(fù)高可用SQL支持+ACID事務(wù)+OLAP跨數(shù)據(jù)中心數(shù)據(jù)強(qiáng)一致開源分布式數(shù)據(jù)庫TiDB開源分布式數(shù)據(jù)庫TiDB開源分布式數(shù)據(jù)庫TiDBTiDBServer負(fù)責(zé)接收SQL請求，處理SQL相關(guān)邏輯，通過PD找到所需數(shù)據(jù)的TiKV地址 無狀態(tài)、本身不存儲(chǔ)數(shù)據(jù)，只負(fù)責(zé)計(jì)算，可以無限水平擴(kuò)展PDServer存儲(chǔ)集群元信息（某個(gè)Key存儲(chǔ)在哪個(gè)TiKV節(jié)點(diǎn)）對TiKV集群進(jìn)行調(diào)度和負(fù)載均衡（數(shù)據(jù)遷移、Raft group leader遷移等）分配全局唯一且遞增的事務(wù)IDTiKVServer負(fù)責(zé)存儲(chǔ)數(shù)據(jù)，存儲(chǔ)數(shù)據(jù)基本單位是Reg

5、ion，每個(gè)TiKV節(jié)點(diǎn)負(fù)責(zé)多個(gè) RegionTiKV使用Raft協(xié)議做復(fù)制，保證數(shù)據(jù)一致性和容災(zāi)數(shù)據(jù)在多個(gè)TiKV之間的負(fù)載均衡由PD調(diào)度，以Region為單位調(diào)度開源分布式數(shù)據(jù)庫TiDB高度分層SQL層和KV存儲(chǔ)層分離使用Raft來保證副本一致性和可擴(kuò)展性沒有分布式文件系統(tǒng)開源分布式數(shù)據(jù)庫TiDBRockDBfast and stable不能容忍磁盤故障擴(kuò)展依賴磁盤容量Raft單機(jī)失效，數(shù)據(jù)不丟失不出錯(cuò)分布式協(xié)議，與Paxos等價(jià)，但更易理解RegionHash partitioning or Range partitioning以Region為單位，數(shù)據(jù)分散在各個(gè)節(jié)點(diǎn)，并實(shí)現(xiàn)負(fù)載均衡以R

6、egion為單位Raft group，讀寫都通過Leader進(jìn)行開源分布式數(shù)據(jù)庫TiDB開源分布式數(shù)據(jù)庫TiDB開源分布式數(shù)據(jù)庫TiDB開源分布式數(shù)據(jù)庫TiDB開源分布式數(shù)據(jù)庫TiDB開源分布式數(shù)據(jù)庫TiDB開源分布式數(shù)據(jù)庫TiDB開源分布式數(shù)據(jù)庫TiDB開源分布式數(shù)據(jù)庫TiDB開源分布式數(shù)據(jù)庫TiDB開源分布式數(shù)據(jù)庫TiDBData is tagged with versionKey_version:ValueLock-free snapshot readReading Data from History VersionKey1 - Value Key2 - ValueKeyN- Value

7、Key1-Version2 - ValueKey1-Version1 - ValueKey2-Version3 - Value Key2-Version2 - Value Key2-Version1 - ValueKeyN-Version2 - ValueKeyN-Version1 - Value開源分布式數(shù)據(jù)庫TiDB事務(wù)基于Percolator模型樂觀鎖，適合寫沖突少業(yè)務(wù)default isolation level:Repeatable ReadExternal consistency:Snapshot Isolation+Lock （select for update）開源分布式數(shù)據(jù)庫TiDBselectcount(*)fromuserwherename=TiDB1、計(jì)算盡量靠近存儲(chǔ)節(jié)點(diǎn)，避免RPC2、Filter下推到存儲(chǔ)節(jié)點(diǎn)，返回有效行3、聚合函數(shù)下推存儲(chǔ)節(jié)點(diǎn)進(jìn)預(yù)聚合4、TiDB Server將count值進(jìn)行sum開源分布式數(shù)據(jù)庫TiDBOLAPMySQLTiDB并行掃表/索引不支持支持分布式聚合不支持支持并行Join不支持支持SparkSQL*不支持支持開源分布式數(shù)據(jù)庫TiDB開源分布式數(shù)據(jù)