騰訊數(shù)據(jù)庫的AI技術(shù)架構(gòu)

1、騰訊數(shù)據(jù)庫的AI技術(shù)架構(gòu)技術(shù)創(chuàng)新 變革未來AgendaBackgroundSearch-Based AlgorithmMachine LearningDeep LearningReinforcement LearningCDBTuneEvaluationBackground 如何解決數(shù)據(jù)庫參數(shù)調(diào)優(yōu)問題？配置項(xiàng)多（上百個(gè)）沒有統(tǒng)一標(biāo)準(zhǔn)（名字/作用不同，相互之間的影響等）依靠經(jīng)驗(yàn)調(diào)優(yōu)，人力成本高現(xiàn)存工具存在普適性問題ExpensiveInefficientComplicatedSearch-Based Algorithm 啟發(fā)式搜索方法基于超抽樣縮小范圍，遞歸搜索最優(yōu)配置divide-and-di

2、verge sampling (DDS)the recursive bound-and-search (RBS)可能問題：耗時(shí)較長(zhǎng)，可能局部最優(yōu)Zhu, Y., Liu, J., Guo, M., Bao, Y., Ma, W., & Liu, Z., et al. (2017). BestConfig: tapping the performance potential of systems via automatic configuration tuning. Symposium (pp.338-350).Machine Learning - 傳統(tǒng)機(jī)器學(xué)習(xí)方法識(shí)別Workload特征降維/

3、聚類： Factor Analysis, K-Means識(shí)別Knob與性能相關(guān)性線性/非線性回歸：Lasso, Polynomial自動(dòng)調(diào)優(yōu)Workload匹配，找到最相似負(fù)載配置推薦： Gaussian Process可能問題：對(duì)訓(xùn)練數(shù)據(jù)要求較高，過程復(fù)雜Aken, D. V., Pavlo, A., Gordon, G. J., & Zhang, B. (2017). Automatic Database Management System Tuning Through Large-scale Machine Learning.ACM International Conference on

4、 Management of Data(pp.1009-1024). ACM.Deep Learning - 深度學(xué)習(xí)方法目標(biāo)：降低延時(shí)/提高吞吐）采集內(nèi)部性能指標(biāo)推薦用戶修改有限數(shù)目配置目標(biāo)性能和用戶反饋數(shù)據(jù)采集獲得Workload內(nèi)部metric學(xué)習(xí)調(diào)參過程中內(nèi)部metric的變化規(guī)律學(xué)習(xí)最終需要調(diào)節(jié)的參數(shù)可能的問題：高度依賴訓(xùn)練數(shù)據(jù)的質(zhì)量需要獲得各種負(fù)載和配置的性能數(shù)據(jù)匹配不到類似場(chǎng)景的話，調(diào)優(yōu)結(jié)果可能不理想模型迭代Reinforcement Learning - 強(qiáng)化學(xué)習(xí)方法AlphaGo/Boston Dynamics類似于人類與環(huán)境的交互/學(xué)習(xí)方式強(qiáng)調(diào)state/action/re

5、ward能不能用強(qiáng)化方法進(jìn)行參數(shù)調(diào)優(yōu)？CDBTune 騰訊云數(shù)據(jù)庫智能調(diào)參工具CDBTune使用強(qiáng)化學(xué)習(xí)方法進(jìn)行參數(shù)調(diào)優(yōu)去繁為簡(jiǎn)擺脫以數(shù)據(jù)為中心，強(qiáng)調(diào)調(diào)參的“動(dòng)作”將調(diào)參過程抽象成游戲規(guī)則間隔一定時(shí)間調(diào)參，獲得性能數(shù)據(jù)獎(jiǎng)勵(lì)性能提高獲得正獎(jiǎng)勵(lì)值，下降獲得負(fù)獎(jiǎng)勵(lì)值目標(biāo)調(diào)參時(shí)間（次數(shù)）盡可能短最終獲得較高的期望獎(jiǎng)勵(lì)值CDBTune 基于強(qiáng)化學(xué)習(xí)方法State ActionRewardMetrics性能指標(biāo)（內(nèi)部）選擇某一配置Knob（Action）進(jìn)行執(zhí)行執(zhí)行Action后根據(jù)Metrics性能（外部） 計(jì)算得到應(yīng)該獲得的即時(shí)獎(jiǎng)勵(lì)CDBTune Q-Learning to DQNQ-learning

6、狀態(tài)空間有限動(dòng)作空間有限數(shù)據(jù)庫的狀態(tài)空間（性能指標(biāo)）和動(dòng)作空間（配置組合）特別大相應(yīng)的 Q-learning 中 Q(s,a) 這個(gè)矩陣會(huì)非常大所以需要借助DQN方法進(jìn)行參數(shù)調(diào)優(yōu)DQNQ(s,a,w) Q(s,a)其中w是神經(jīng)網(wǎng)絡(luò)的權(quán)值CDBTune 架構(gòu)與實(shí)現(xiàn)實(shí)現(xiàn)算法類似DeepMind發(fā)布的Nature DQN，采用兩個(gè)Q-Network如上圖所示S為當(dāng)前數(shù)據(jù)庫性能狀態(tài)（內(nèi)部指標(biāo)），S為下一狀態(tài)數(shù)據(jù)庫性能狀態(tài)r為即時(shí)獎(jiǎng)勵(lì)，w為神經(jīng)網(wǎng)絡(luò)參數(shù)，a為采取的動(dòng)作（配置參數(shù)的執(zhí)行）Q為狀態(tài)行為價(jià)值函數(shù)每次獲取一個(gè)Q值最大的動(dòng)作a執(zhí)行獲取新的迭代數(shù)據(jù)并加入記憶池CDBTune 數(shù)據(jù)形式和相關(guān)策略Kno

7、b1 增加不變減少狀態(tài)S：內(nèi)部metric向量每個(gè)配置參數(shù)的調(diào)整，是一個(gè)三維向量，如上圖所示獎(jiǎng)勵(lì)R是一個(gè)標(biāo)量，根據(jù)外部指標(biāo)（吞吐/延時(shí)）計(jì)算性能降低，R 0調(diào)參次數(shù)增加到一定程度，R相應(yīng)減小CDBTune 數(shù)據(jù)形式和相關(guān)策略Replay每次得到后，改變Knobs配置，實(shí)時(shí)采集一次MetricsExploration & Exploitation設(shè)定一個(gè)參數(shù)例如等于0.1隨機(jī)生成一個(gè)數(shù)小于0.1，就隨機(jī)選擇一個(gè)Action否則，選擇當(dāng)前Q值最大的Action進(jìn)行執(zhí)行。網(wǎng)絡(luò)輸出：3*N，N為參數(shù)個(gè)數(shù)；參數(shù)調(diào)整方式如上所示Game Over累積獎(jiǎng)勵(lì)減少到一定值。Current ValueMinMax

8、2Current Min2Max Current減小增加EvaluationConfigurationTPSLatency(ms)MySQL Default9024000DBA7802300CDBTune8151900測(cè)試工具sysbench，測(cè)試腳本oltp_read_write.lua16 個(gè)表 * 20000000 行，共64GB數(shù)據(jù)測(cè)試環(huán)境MySQL 4 core/8GB，網(wǎng)絡(luò)延時(shí) 30ms收斂較慢，仍需進(jìn)一步改進(jìn)和測(cè)試Evaluation基于DQN智能調(diào)參的優(yōu)勢(shì)化繁為簡(jiǎn)，無需對(duì)負(fù)載進(jìn)行精確分類調(diào)參動(dòng)作更符合實(shí)際調(diào)參時(shí)的情況無需獲取足夠多的樣本來，減少前期數(shù)據(jù)采集的工作量利用探索-開發(fā)（Exploration & Exploitation）