騰訊TBase運(yùn)維平臺(tái)架構(gòu)詳解

1、騰訊TBase運(yùn)維平臺(tái)架構(gòu)詳解技術(shù)創(chuàng)新，變革未來(lái)概述騰訊TBase分布式關(guān)系型數(shù)據(jù)庫(kù)是一款面向海量在線實(shí)時(shí)分布式 事務(wù)交易和MPP實(shí)時(shí)數(shù)據(jù)分析通用型高性能數(shù)據(jù)庫(kù)系統(tǒng)。面對(duì)大 規(guī)模量的機(jī)器管理，實(shí)例管理，如何高效，有效運(yùn)營(yíng)所有數(shù)據(jù)庫(kù) 實(shí)例,我們必需要有一套可靠性高，性能良好的運(yùn)營(yíng)系統(tǒng)。利用運(yùn) 營(yíng)系統(tǒng)提高數(shù)據(jù)庫(kù)服務(wù)的可用性，賦能DBA運(yùn)維能力，解放他們 的生產(chǎn)力，讓他們投入更多的時(shí)間觀注業(yè)務(wù)。本次分享介紹 TBase運(yùn)營(yíng)支撐系統(tǒng)架構(gòu)設(shè)計(jì)，詳細(xì)說(shuō)明各個(gè)組件 作 用，最后介 紹各種可靠性對(duì)部署規(guī)范的要求。云管平臺(tái)架構(gòu)圖12架構(gòu)解說(shuō)目錄CONTENTS云管平臺(tái)總架構(gòu)圖EtcdNode1Node2 lea

2、derNode3CenterConfdbMasterSlave1Slave2MasterSlave1Slave2Agent1Agent2Agent.Agent3N個(gè)數(shù)據(jù)庫(kù)服務(wù)更多數(shù)據(jù)庫(kù)服務(wù)資源池N個(gè)數(shù)據(jù)庫(kù)服務(wù)N個(gè)數(shù)據(jù)庫(kù)服務(wù)架構(gòu)解說(shuō)CenterOSS大腦處理前端請(qǐng)求管理和下發(fā)任務(wù)Confdb元數(shù)據(jù)存儲(chǔ)訪問(wèn)Etcd底座支撐關(guān)鍵數(shù)據(jù)存儲(chǔ)Agent任務(wù)執(zhí)行者狀態(tài)數(shù)據(jù)采集指標(biāo)數(shù)據(jù)采集Etcd12Center3Confdb4Agent5設(shè)計(jì)參考目錄CONTENTSEtcd功能概述運(yùn)營(yíng)平臺(tái)底座， 存儲(chǔ)關(guān)鍵數(shù)據(jù)承擔(dān)功能 高可用自我管理， 多活， 一半以上節(jié)點(diǎn)存活時(shí)可用可用性 C e n ter 監(jiān)控拉起， 告

3、警故障管理 1 、3 、5 、7 . . . , 對(duì)于生產(chǎn) 系統(tǒng)最少要求3 節(jié)點(diǎn)部署要求 可擴(kuò)容， 也可以縮容擴(kuò)展性 Center功能概述可用性及性能一主多從，故障時(shí)自動(dòng)選主，訪問(wèn)到備時(shí)自動(dòng)轉(zhuǎn)發(fā)，支持高并發(fā)，低延遲故障管理crontab定時(shí)腳本監(jiān)控拉起，告警部署要求2個(gè)以上，對(duì)于生產(chǎn)系統(tǒng)建議3節(jié)點(diǎn)，與etcd共用機(jī)器部署擴(kuò)展性可擴(kuò)容，也可以縮容承擔(dān)功能運(yùn)營(yíng)平臺(tái)大腦，接收運(yùn)維指令，派發(fā) 任務(wù)給Agent,調(diào)度任務(wù)Confdb功能概述故障管理 C e n t e r 監(jiān)控拉起， 故障告警承擔(dān)功能 運(yùn)營(yíng)支撐平臺(tái)元數(shù)據(jù)存儲(chǔ)及管理使用組件 C o n f d b 是一個(gè)P o s t g r e S Q

4、 L 單機(jī)主備實(shí)例， 由S t o l o n 提 供管理部署要求 2 個(gè)以上， 對(duì)于生產(chǎn)系統(tǒng)建議3節(jié)點(diǎn)，與e t c d 共用機(jī)器部署可用性 主多從， 故障時(shí)自動(dòng)選主， 并且注冊(cè)主節(jié)點(diǎn)ip 到e t c d 中擴(kuò)展性 可在線擴(kuò)容， 也可以縮容010203040506Agent功能概述部署要求 每一臺(tái)機(jī)器部署一個(gè)A g e n t 服務(wù)01故障管理 c r o n t a b 定時(shí)腳本監(jiān)控拉 起，告警02承擔(dān)功能 任務(wù)執(zhí)行者， 節(jié)點(diǎn)狀態(tài)上 報(bào)， 監(jiān)控指標(biāo)數(shù)據(jù)采集上 報(bào)03設(shè)計(jì)參考數(shù)據(jù)存儲(chǔ) 關(guān)鍵數(shù)據(jù)存儲(chǔ)e t c d日志存儲(chǔ)容量要控制。040105020306任務(wù)管理 任務(wù)拆分成最小單元， 支持

5、 故障續(xù)傳。 固定任務(wù)要錯(cuò)開(kāi)， 并發(fā)數(shù)要控制。 任務(wù)需要有互斥機(jī)制。資源保障 使用C G R O U P 隔離， 保障 管控程序計(jì)算資源足夠。其它規(guī)則 不要隨意引入組件 每個(gè)組件都要監(jiān)控 異地組件不訪問(wèn)系統(tǒng)整體延遲 降級(jí)運(yùn)行， 能不做就不做。交互規(guī)則 異步化， 減少阻塞。 集中批處 理， 減少交互次數(shù)， 提升處理 效能。 超時(shí)機(jī)制不可少， 防止產(chǎn)生僵尸進(jìn)程。硬件，供電及網(wǎng)絡(luò)要求12部署規(guī)劃3性能指標(biāo)參考4多可用區(qū)部署目錄CONTENTS硬件，供電、網(wǎng)絡(luò)及OS要求指令集架構(gòu)X 86 / Arm/ 390 s操作系統(tǒng)推薦Cent OS或者Red Hat7 . 3 及以上/ TLinux/ Suse

6、 12 sp 4機(jī)架要求每個(gè)節(jié)點(diǎn)獨(dú)立機(jī)架， 獨(dú)立供電機(jī)器類型物理機(jī)， 如果只能CVM, 則 需要控制節(jié)點(diǎn)不要存放于 同一臺(tái)母機(jī)上網(wǎng)絡(luò)要求雙網(wǎng)卡高可用bond 單中心部署規(guī)范01E tc d L e a d er C e n ter S l a ve C o n fdb S l a ve機(jī)器 102機(jī)器 2E tc d N o d eC e n ter M a s te r C o n fdb S a l ve03E tc d N o d e C e n ter S l a veC o n fdb M a s te r機(jī)器 3二地三中心部署規(guī)范生產(chǎn)中心 機(jī)器1 ： Conf db M a s t

7、 er + E t c d N o de + C e n ter S l a ve機(jī)器2 ： Conf db S l a ve + E t c d L e ader + C e n ter M a s t er異地災(zāi)備 機(jī)器5 ：C o nf db S l a veE t c d N o deC e n ter S l a ve同城備中心 機(jī)器3 ： Conf db S l a ve + E t c d N o de + C e nt er S l a ve機(jī)器4 ： Conf db S l a ve + E t c d N o de + C e nt er S l a ve異地雙活二中心部署

8、規(guī)范南生產(chǎn)中心 機(jī)器1 ： C o n f d b M a s t e r + E t c d N o d e + C e n t e r S l a v e 機(jī)器2 ： C o n f d b S l a v e + E t c d L e a d e r + C e n t e r S l a v e 機(jī)器3 ： C o n f d b S l a v e + E t c d N o d e + C e n t e r M a s t e r北生產(chǎn)中心 機(jī)器1 ： C o n f d b M a s t e r + E t c d N o d e + C e n t e r S l a v

9、 e 機(jī)器2 ： C o n f d b S l a v e + E t c d L e a d e r + C e n t e r S l a v e 機(jī)器3 ： C o n f d b S l a v e + E t c d N o d e + C e n t e r M a s t e r異地雙活四中心部署規(guī)范機(jī)器3 ： C o n f d b S l a v e + E t c d N o d e + C e n t e r S l a v e機(jī)器4 ： C o n f d b S l a v e + E t c d N o d e + C e n t e r S l a v e南同城

10、備中心 北生產(chǎn)中心 機(jī)器 1 ： C o n f d b M a s t e r + E t c d N o d e + C e n t e r S l a v e 機(jī)器 2 ： C o n f d b S l a v e + E t c d L e a d e r + C e n t e r M a s t e r 南中心機(jī)器5 ： E t c d N o d e南生產(chǎn)中心 機(jī) 器 1 ： C o n f d b M a s t e r + E t c d N o d e + C e n t e r S l a v e 機(jī)器 2 ： C o n f d b S l a v e + E t c d L e a d e r + C e n t e r M a s t e r 北中心機(jī)器 5 ： E t c d N o d e北同城中心 機(jī)器 3 ： C o n f d b S l a v e + E t c d N o d e + C e n t e r S l a v e機(jī)器 4