張冬洪-微博研發(fā)中心-DBA-微博Redis定制化之Tribe系統(tǒng)介紹

1Agendav個人介紹v微博REDIS的使用介紹vTribe系統(tǒng)設計的考量vTribe系統(tǒng)性能測試對比vTribe系統(tǒng)運維點滴2vRedis中國用戶組發(fā)起人v微博研發(fā)中心DBA，專注于MySQL和NoSQL架構設計與運維以及自動化平臺責Feed系統(tǒng)相關業(yè)務的數(shù)據(jù)庫運維和業(yè)務保障工作Agendav個人介紹v微博REDIS的使用介紹vTribe系統(tǒng)設計的考量vTribe系統(tǒng)性能測試對比vTribe系統(tǒng)運維點滴460600+個40+TBRead21000+億v使用規(guī)模7000+is600+臺WWrite3500+億erbev定制化演進數(shù)據(jù)存儲在rdb以及記錄數(shù)據(jù)存儲在rdb以及記錄POS后的aof定制定時持久化操作cronsavev無阻塞落地、數(shù)據(jù)持久化aofaof按固定大小滾動aofaof的寫入操作用bio線程處理廢廢棄aof重寫機制fromaof3:1001syncsyncfromaof3:1001syncsync…v主從增量復制的實現(xiàn)?使用rdb+aof+aofposition方式實現(xiàn)?主從只需進行一次全量復制，其余增量，如：主從斷開、切主等OFOFv在線熱升級?主程序存全局數(shù)據(jù)結構；內(nèi)存中的數(shù)據(jù)保存在全局變量里?其他核心處理邏輯封裝到動態(tài)庫?外部程序通過調用動態(tài)庫里相應函數(shù)來讀寫數(shù)據(jù)?升級只需替換動態(tài)庫，無須重新載入數(shù)據(jù)?毫秒級完成升級，無業(yè)務影響v定制化版本總結Agendav個人介紹v微博REDIS的使用介紹vTribe系統(tǒng)設計的考量vTribe系統(tǒng)性能測試對比vTribe系統(tǒng)運維點滴業(yè)務端訪問邏輯較重，每個業(yè)務需要實現(xiàn)一套appbusinesslogicS業(yè)務端訪問邏輯較重，每個業(yè)務需要實現(xiàn)一套appbusinesslogicSouteread/writesplitreadlocalIDC健康檢查，流量切換需要熟，自動擴容系統(tǒng)也較完善masterv當前結構及問題lookupreadreadretry1.1.數(shù)據(jù)遷移通過腳本完成，繁瑣2.擴容/縮容(拆分)需要業(yè)務端更合db0db1db0db1masterslave1masterslave1slaveslave1...........運維痛點運維痛點vTribe系統(tǒng)設計背景開發(fā)痛點高吞吐量=1/3長連接，vTribe系統(tǒng)架構vervTribe系統(tǒng)功能?請求路由?讀寫分離?支持配置讀寫分離以及只讀主庫?負載均衡?支持配置機房優(yōu)先策略?支持round-robin負載均衡策略?配置更新?Proxy自動從configservice抓取配置、并在線更新并保存本地?數(shù)據(jù)聚集?支持配置前綴，將相同前綴的數(shù)據(jù)落到同一個slot中?動態(tài)擴容?支持在線拆分端口?支持自動切換流量可擴展性可用性可擴展性可用性vTribe系統(tǒng)設計目標設計目設計目標?簡化業(yè)務訪問邏輯，讓業(yè)務更專注代碼?減少前后端間耦合，減少變更成本可用性?健康檢查?自動流量切換?自動故障恢復可擴展性?簡單、擴展即加機器?擴展的策略，延遲分配?擴展后也能收縮nfigconfigsyncdb1.配置信息同步2.負載均衡3.nfigconfigsyncdb1.配置信息同步2.負載均衡3.快速失效,慢恢復php/javalibmaster1.modula路由2.讀寫分離3.從庫讀取重試4.從庫負載均衡，支持指定機房策略5.支持多業(yè)務configservicevTribe系統(tǒng)設計一期1.1.配置管理2.db信息3.proxy信息appappbusinesslogicroxydbdb2masterslave1...db1masterslave1...db0slave1...同步cs配置信息配置文件cacheround-robin同步負載均衡同步cs配置信息配置文件cacheround-robin同步負載均衡失效策略快速失效vJava/phpxyproxy2同步db配置信息配置同步oute從庫之間從庫之間{同步db配置信息配置同步oute從庫之間從庫之間{appkey#tc}db0masterslave1...db1masterslave1...本地加速vproxy功能多業(yè)務{appkey#tc多業(yè)務coconfigservice硬hash讀寫分離讀寫分離負載均衡負載均衡讀取重試讀取重試dbdb2masterslave1...客戶端41.前端web將配置信息更新到客戶端41.前端web將配置信息更新到2.每個proxy從redis中讀取配3.web通過修改DNS來完成4.客戶端會通過DNS來syncvconfigService功能 配置信息查詢/修改 配置信息存儲configservice12nfigconfigsyncdb1.在線slot遷移appbusinesslogic支持動態(tài)路由nfigconfigsyncdb1.在線slot遷移appbusinesslogic支持動態(tài)路由roxyvbucketmasterdb1masterslave1...db2masterslave1...slave1db0...vTribe系統(tǒng)設計二期22.流量切換3.協(xié)調phpphp/javalibcoconfigserviceslotslot-manager1.1.key的遷移2.slot相關數(shù)據(jù)結構keykey遷移slotgroupslot1slot2slotgroupslot1slot2v動態(tài)路由routetable group0 group0 group0 group1 group1 slot=hash(key)%num slot2 slot3 slot4group0/db0group1group0/db0slotslot3slotslot4換據(jù)roup0/db0slot換據(jù)roup0/db0slot1slot2g遷移數(shù)同步路由表v在線slot遷移流量流量切migrateslot1togroup2groupgroup1/db1slot1slot3slot4修改路由表coconfigserviceproxyproxy1proxy2...nfigconfigsyncdbslot-managerdb-managerdb2masterslave1...nfigconfigsyncdbslot-managerdb-managerdb2masterslave1...db0masterslave11.動態(tài)擴容縮容2.HA3.健康檢查...vTribe系統(tǒng)設計三期appbusinesslogiccoconfigserviceroxyvvbucketdbdb1masterslave1...keykey遷移Agendav個人介紹v微博REDIS的使用介紹vTribe系統(tǒng)設計的考量vTribe系統(tǒng)性能測試對比vTribe系統(tǒng)運維點滴vTribe系統(tǒng)性能測試?300w/set/get?500線程并發(fā)?Key:21B/value:10BvTribe系統(tǒng)性能測試Agendav個人介紹v微博REDIS的使用介紹vTribe系統(tǒng)設計的考量vTribe系統(tǒng)性能測試對比vTribe系統(tǒng)運維點滴v添加業(yè)務v添加Clusterv基礎配置//從庫掛掉，是否自動剔除auto_eject_hosts:'true'//數(shù)據(jù)分布方式，支持slot和modula//modula=hash(key)%[portnumber]distribution:slot//hash函數(shù)選擇hash:crc32a//優(yōu)先訪問本地從庫local_first:'true'//如果從庫全部掛掉，允許臨時讀取主庫master_emrg_read:'true'//主庫ip配置masters:-1:6070:tc-2:6080