宗岱Tair分布式KV系統(tǒng)課件

Tair簡介現(xiàn)狀與應用案例Tair特性內(nèi)部架構Tair未來Tair簡介1分布式Key/Value存儲非持久化持久化Tair是什么分布式Key/Value存儲Tair是什么2支持Java、C/C++的客戶端支撐著淘寶絕大部分系統(tǒng)300+臺服務器，每臺能提供22GB（內(nèi)存）

的空間70億+的記錄每秒百萬級別的請求數(shù)1GB/s的數(shù)據(jù)流使用現(xiàn)狀支持Java、C/C++的客戶端使用現(xiàn)狀3應用案例loginbuydetailTair應用案例loginbuydetailTair4Namespace

支持不同的數(shù)據(jù)使用相同的key而內(nèi)容不沖突Version

有效的保護并發(fā)更新Expire key的失效時間控制Counter

服務器端的原子計數(shù)器集合數(shù)據(jù)格式支持

將value視為一個集合，提供對集合中部分數(shù)據(jù)的讀寫接口特性Namespace特性5get/put/deleteincr/decrmget/mdeleteget_items/add_items/remove_itemsAPIget/put/deleteAPI6ClientABCDEMasterSlaveconfigserverdataserversheartbeat系統(tǒng)架構ClientABCDEMasterSlaveconfigse7HA數(shù)據(jù)分布

按負載分布

按機架分布輕量級

非傳統(tǒng)的中心節(jié)點 configserver不可用，不會影響集群的服務

便于用戶使用ConfigServerHAConfigServer8傳統(tǒng)的數(shù)據(jù)分布方法：將key的hash值對機器數(shù)取模

實現(xiàn)簡單

在服務器數(shù)量發(fā)生變化時對原有分布沖擊很大對照表：將key的hash值對一個固定數(shù)取模

固定數(shù)范圍內(nèi)的每個值都與一個節(jié)點相對應

一臺物理機器可以和多個值對應 consistent

hash的一種變型數(shù)據(jù)分布傳統(tǒng)的數(shù)據(jù)分布方法：將key的hash值對機器數(shù)取模數(shù)9兩個節(jié)點Bucket

numberdatanode123456新增一個節(jié)點Bucket

numberdatanode123456對照表兩個節(jié)點Bucketnumberdatanode1192.10客戶端在啟動的時候從configserver獲取對照表，并緩存在本地客戶端根據(jù)對照表完成路由請求對照表變化后？路由ConfigServerDataServerClientversionrequestrequesttable客戶端在啟動的時候從configserver獲取對照表，并緩11RequestPlug-insMdbKdbRequestResponseTairServerStorageEngineResponsePlug-insMigrateDuplicatorFdbRdbBdbDataServerRequestPlug-insMdbKdbRequestR12mdbrdbfdbkdb Kyotocabinetbdb BerkeleyDB存儲引擎mdb存儲引擎13支持使用share

memoryNamespace級別的容量配額Slab的動態(tài)平衡數(shù)據(jù)過期清理LRU的淘汰機制mdb特點支持使用sharememorymdb特點14HashmapSlabListmdb內(nèi)存結(jié)構HashmapSlabListmdb內(nèi)存結(jié)構15ConfigServerHA

宕機對服務基本無影響可以配置的備份數(shù)

數(shù)據(jù)在寫入主節(jié)點后，會異步同步到輔節(jié)點

如果主節(jié)點不可用，則輔節(jié)點自動接管成為主節(jié)點安全的數(shù)據(jù)分布方式

不同機架/機房自動復制

當有節(jié)點不可用時，能自動復制數(shù)據(jù)，保證數(shù)據(jù)的備份數(shù)Tair的容災ConfigServerHATair的容災16商品中心 Cache

單備份雙機房登錄session

全內(nèi)存

雙備份雙機房交易快照

持久化

雙備份雙機房容災案例商品中心容災案例17mdb 22G內(nèi)存

單臺QPS25Wkdb 6*300GSAS

單臺QPS800Tair的性能mdbTair的性能18服務器端統(tǒng)計與監(jiān)控

負載/容量/總條目數(shù)/訪問次數(shù)/命中率/驅(qū)逐次數(shù)

客戶端統(tǒng)計與監(jiān)控

訪問延時統(tǒng)計與監(jiān)控服務器端統(tǒng)計與監(jiān)控統(tǒng)計與監(jiān)控19Tair已經(jīng)在上開源優(yōu)化現(xiàn)有存儲引擎適應不同場景的存儲引擎分級存儲

內(nèi)存->SSD->SAS/SATATair的未來Tair已經(jīng)在上開源Tair的20Q&AThanks！Q&AThanks！21Tair簡介現(xiàn)狀與應用案例Tair特性內(nèi)部架構Tair未來Tair簡介22分布式Key/Value存儲非持久化持久化Tair是什么分布式Key/Value存儲Tair是什么23支持Java、C/C++的客戶端支撐著淘寶絕大部分系統(tǒng)300+臺服務器，每臺能提供22GB（內(nèi)存）

的空間70億+的記錄每秒百萬級別的請求數(shù)1GB/s的數(shù)據(jù)流使用現(xiàn)狀支持Java、C/C++的客戶端使用現(xiàn)狀24應用案例loginbuydetailTair應用案例loginbuydetailTair25Namespace

支持不同的數(shù)據(jù)使用相同的key而內(nèi)容不沖突Version

有效的保護并發(fā)更新Expire key的失效時間控制Counter

服務器端的原子計數(shù)器集合數(shù)據(jù)格式支持

將value視為一個集合，提供對集合中部分數(shù)據(jù)的讀寫接口特性Namespace特性26get/put/deleteincr/decrmget/mdeleteget_items/add_items/remove_itemsAPIget/put/deleteAPI27ClientABCDEMasterSlaveconfigserverdataserversheartbeat系統(tǒng)架構ClientABCDEMasterSlaveconfigse28HA數(shù)據(jù)分布

按負載分布

按機架分布輕量級

非傳統(tǒng)的中心節(jié)點 configserver不可用，不會影響集群的服務

便于用戶使用ConfigServerHAConfigServer29傳統(tǒng)的數(shù)據(jù)分布方法：將key的hash值對機器數(shù)取模

實現(xiàn)簡單

在服務器數(shù)量發(fā)生變化時對原有分布沖擊很大對照表：將key的hash值對一個固定數(shù)取模

固定數(shù)范圍內(nèi)的每個值都與一個節(jié)點相對應

一臺物理機器可以和多個值對應 consistent

hash的一種變型數(shù)據(jù)分布傳統(tǒng)的數(shù)據(jù)分布方法：將key的hash值對機器數(shù)取模數(shù)30兩個節(jié)點Bucket

numberdatanode123456新增一個節(jié)點Bucket

numberdatanode123456對照表兩個節(jié)點Bucketnumberdatanode1192.31客戶端在啟動的時候從configserver獲取對照表，并緩存在本地客戶端根據(jù)對照表完成路由請求對照表變化后？路由ConfigServerDataServerClientversionrequestrequesttable客戶端在啟動的時候從configserver獲取對照表，并緩32RequestPlug-insMdbKdbRequestResponseTairServerStorageEngineResponsePlug-insMigrateDuplicatorFdbRdbBdbDataServerRequestPlug-insMdbKdbRequestR33mdbrdbfdbkdb Kyotocabinetbdb BerkeleyDB存儲引擎mdb存儲引擎34支持使用share

memoryNamespace級別的容量配額Slab的動態(tài)平衡數(shù)據(jù)過期清理LRU的淘汰機制mdb特點支持使用sharememorymdb特點35HashmapSlabListmdb內(nèi)存結(jié)構HashmapSlabListmdb內(nèi)存結(jié)構36ConfigServerHA

宕機對服務基本無影響可以配置的備份數(shù)

數(shù)據(jù)在寫入主節(jié)點后，會異步同步到輔節(jié)點

如果主節(jié)點不可用，則輔節(jié)點自動接管成為主節(jié)點安全的數(shù)據(jù)分布方式

不同機架/機房自動復制

當有節(jié)點不可用時，能自動復制數(shù)據(jù)，保證數(shù)據(jù)的備份數(shù)Tair的容災ConfigServerHATair的容災37商品中心 Cache

單備份雙機房登錄session

全內(nèi)存

雙備份雙機房交易快照

持久化

雙備份雙機房容災案例商品中心容災案例38mdb 22G內(nèi)存

單臺QPS25Wkdb 6*300GSAS

單臺QPS800Tair的性能mdbTair的性能39服