美團(tuán)數(shù)據(jù)平臺(tái)轉(zhuǎn)型之旅

1、美團(tuán)數(shù)據(jù)平臺(tái)轉(zhuǎn)型之旅大綱人肉運(yùn)維平臺(tái)化DevOPS智能化人肉運(yùn)維故障不可控沒(méi)技術(shù)含量沒(méi)成就感疲于奔命成長(zhǎng)性很差報(bào)警處理新集群申請(qǐng)優(yōu)化SQL高級(jí)的工作平臺(tái)化運(yùn)維自動(dòng)化CMDB自助DDL（DBA不參與，也不審核，包括Drop）自助DML （DBA不參與，也不審核）賬號(hào)申請(qǐng)日志查詢(xún)一鍵部署MySQL/Proxy升級(jí)拆分運(yùn)營(yíng)化案例一：集群搭建案例一：集群搭建案例一：集群搭建案例一：集群搭建案例一：集群搭建案例二：在線表變更案例二：在線表變更案例二：在線表變更案例二：在線表變更案例二：在線表變更pt-online-schema-change（trigger）MDL鎖死鎖不能添加唯一索引trigger殘留

2、問(wèn)題主從異構(gòu)丟失字段案例二：在線表變更gh-ost（binlog）不能添加唯一索引critical-load(cut-over)gtid myisam遞歸發(fā)現(xiàn)拓?fù)?reset slave)案例三：自助刪表自助（API）Rename觀察一段時(shí)間，可以Rollback，Rename回去永久備份Drop（大表硬連接）運(yùn)營(yíng)廢棄報(bào)表持續(xù)一周不在訪問(wèn)表持續(xù)一周不在使用的索引冗余的索引實(shí)現(xiàn)方式percona user statpt-duplicate-key-checker效果MySQL利用率控制在40%左右慢查詢(xún)控制在萬(wàn)分之一以下三年之癢節(jié)奏慢下來(lái)人員成長(zhǎng)瓶頸平臺(tái)發(fā)展瓶頸開(kāi)發(fā)訴求越來(lái)越多需求實(shí)時(shí)性要求高突破DBADEVOPS技術(shù)顧問(wèn)平臺(tái)=智能化DBA - DevOPSDBA自動(dòng)化開(kāi)發(fā)運(yùn)維自動(dòng)化開(kāi)發(fā)1.慢2.成長(zhǎng)性差3.趨勢(shì)需求的滿(mǎn)足更直接，減少溝通成本MySQL實(shí)時(shí)深度監(jiān)控死鎖慢查詢(xún)大事務(wù)DevOPS成果MySQL分表自動(dòng)化數(shù)據(jù)自助歸檔Binlog日志下載Redis連接查詢(xún)MySQL深度監(jiān)控MySQL錯(cuò)誤日志報(bào)警自動(dòng)化平臺(tái)高速增長(zhǎng)智能化-閉環(huán)DB平臺(tái)發(fā)現(xiàn)問(wèn)題潛在問(wèn)題尋找優(yōu)化點(diǎn)容量評(píng)估解決問(wèn)題自助修復(fù)自動(dòng)修復(fù)容量評(píng)估低利用率SQL索引不當(dāng)大表自增ID溢出廢棄表&索引慢查詢(xún)自助DDL&DML自助清理廢棄自助擴(kuò)容報(bào)警自動(dòng)分析報(bào)警自動(dòng)處理自動(dòng)加索引自動(dòng)擴(kuò)容自