阿里云超大規(guī)模彈性計算節(jié)點自動化運維穩(wěn)定性實踐-唐磊-公開版

唐磊(小唐)2101概述&背景?客戶訴求?業(yè)務(wù)難點02業(yè)界方案03我們的方案?業(yè)界方案?基于專家規(guī)則的自動化運維策略?發(fā)展趨勢?運維評價?發(fā)布熔斷23概述&背景–客戶訴求維護成本高?資源利用率低?IT資源管理和運維復(fù)雜繁瑣?…無人值守口客戶用云述求可控制VM:VM:?智能編排?原子操作?自動化?監(jiān)控&告警?根因診斷穩(wěn)定&可靠：?穩(wěn)定性SLA幸福感提升幸福感4業(yè)務(wù)難點–基礎(chǔ)設(shè)施規(guī)模大200+可用區(qū)(AZ)3000+28數(shù)據(jù)中心區(qū)域(Region)?云計算基礎(chǔ)設(shè)施規(guī)模決定了其運維復(fù)雜度100,000,000+(CPUs,disksetc.)1,000,000+5000+5業(yè)務(wù)難點–產(chǎn)品形態(tài)多、業(yè)務(wù)領(lǐng)域廣熱遷移(無感更換物理機)?X86計算G6通用型R6內(nèi)存型C6計算型D1NE大數(shù)據(jù)型HFC6高主頻算型I本地SSDR5內(nèi)存型G5業(yè)務(wù)難點–產(chǎn)品形態(tài)多、業(yè)務(wù)領(lǐng)域廣熱遷移(無感更換物理機)?X86計算G6通用型R6內(nèi)存型C6計算型D1NE大數(shù)據(jù)型HFC6高主頻算型I本地SSDR5內(nèi)存型G5通用型C5計算型HFG頻通用型ENE絡(luò)增強SN1NE計算網(wǎng)絡(luò)增強SN2NE通用網(wǎng)絡(luò)增強D1大數(shù)據(jù)型F3FPGA計算型D2大數(shù)據(jù)型I本地SSDGA1GPU可視化型F1FPGA計算型異構(gòu)計算裸金屬&高性能計算 高性能數(shù)據(jù)庫ed時)；圖高性能數(shù)據(jù)庫；高性能網(wǎng)站前端機；售賣形態(tài)多業(yè)務(wù)本地盤存儲大數(shù)據(jù)業(yè)務(wù)異構(gòu)GPU業(yè)務(wù)異構(gòu)FPGA業(yè)務(wù)SCC超算業(yè)務(wù)監(jiān)控診斷運維手段有差異6鏈路長技術(shù)難度深鏈路長技術(shù)難度深?LLC一致性?LLC容量QoS?LLC爭搶elMEianSKLICLAtom覆蓋子系統(tǒng)眾覆蓋子系統(tǒng)眾多CPUCPU子系統(tǒng)舉例?IMCfreq?IMCchannel702業(yè)界方案/.anIDGrafanaZabbixWebUI析?OneAgent通用采集?動態(tài)閾值告警自動分析?APITrace分析析TraceIDusZabbixServerMySQLMetricTSDBResourceZabbixClientZabbixClientZabbixClientAppExporteranIDGrafanaZabbixWebUI析?OneAgent通用采集?動態(tài)閾值告警自動分析?APITrace分析析TraceIDusZabbixServerMySQLMetricTSDBResourceZabbixClientZabbixClientZabbixClientAppExporterTagTracingStatus控時代201620172018201920202012BorgMonCNCFBorgMonCNCF發(fā)布yunSLSyunSLSCacti發(fā)布 Metric-加入加入CNCFE22010//03我們的方案/2智能化201320162017201820192010智能化201320162017201820192010我們的方案–ECS監(jiān)控運維體系發(fā)展歷程ECS正式售賣ECS全鏈斷平臺上線監(jiān)控采集接入FlushAgent重構(gòu)接入Flush入落日弓入落日弓環(huán)境問題運發(fā)布熔斷99.自22021/1客戶側(cè)事件完整鏈路追蹤運維引擎運維事件受損事件宕機/夯機性能受損實例類磁盤類客戶側(cè)事件完整鏈路追蹤運維引擎運維事件受損事件宕機/夯機性能受損實例類磁盤類診斷引擎異常抽取數(shù)據(jù)清洗特征計算異常定義維度關(guān)聯(lián)聚合計算聚類分析可靠的底座?數(shù)據(jù)處理：承載百萬級物理機的診斷能力ODPS承載百TB級數(shù)據(jù)傳輸；(hadoop)BLINK確保每日同等數(shù)量級的數(shù)據(jù)實時性(apache-flink)?日志服務(wù)：類似ELK產(chǎn)品棧，提供更完整的數(shù)據(jù)處理能力(數(shù)據(jù)投及強大的計算聚合函數(shù)(map,json,lamda函數(shù)等)?MNS：高效、可靠、安全、便捷、可彈性擴展的分布式消息通知服務(wù)?TDDL：分庫分表解決方案(sharding-jdbc/MyCat)JOB/ElasticJob)查詢分析離線數(shù)據(jù)源集群基礎(chǔ)設(shè)施機型地域BLINKODPSTDDL我們的方案–整體架構(gòu)運維定義NC運維定義NC運維工作流編排VM運維運運維調(diào)度運維評價A/B運維評價A/BTest規(guī)則匹配統(tǒng)一流控規(guī)規(guī)則定義根根因推導(dǎo)監(jiān)監(jiān)控采集監(jiān)控調(diào)度任務(wù)執(zhí)行任務(wù)存儲配置下發(fā)結(jié)果存儲配置存儲在線數(shù)據(jù)在線數(shù)據(jù)控制面虛擬化GUEST硬件組件schedulerX/2告警中心云監(jiān)控其他消費?P95CPU利用率：告警中心云監(jiān)控其他消費?P95CPU利用率：100T/D我們的方案–監(jiān)控數(shù)據(jù)采集口規(guī)模效應(yīng)項entPrometheusNightingaleK8s開源滴滴開源觸發(fā)方式服務(wù)側(cè)服務(wù)側(cè)周期采集按需采集周期采集周期采集百萬級節(jié)點千級別萬級別整度高采集回流分離中結(jié)果實時回流中結(jié)果實時回流報表和告警有限節(jié)點丟失提醒有限節(jié)點丟失提醒不支持不支持采集大盤T+1同步SLS采集大盤T+1同步SLS (張家口) 節(jié)點采集節(jié)點采集口資源最大化利用：資源有限(1-2HT)?調(diào)度器輕量化?采集之間數(shù)據(jù)共享口代碼發(fā)布灰度可控??問題盡早暴露?降低故障爆炸半徑/3我們的方案–運維策略相關(guān)定義?監(jiān)控異常?特征定義?運維規(guī)則?運維動作/4例如客戶事件響應(yīng)的預(yù)期行為；產(chǎn)出例如客戶事件響應(yīng)的預(yù)期行為；產(chǎn)出KeyMetrics數(shù)據(jù)口產(chǎn)生背景：?是否存在過度運維的問題？?對客戶真實體感是什么？口評價度量*：?性能度量?不可用度量?控制面度量口差異化分析：?顯著性差異檢驗-單因素方差分析F檢驗(Welch'sanova)?精準(zhǔn)控制切流比例-功效分析(Cohen’sf)[*]LevyS,etal.PredictiveandAdaptiveFailureMitigationtoAvertProductionCloudVMInterruptions.[C]//OperatingSystemsDesignandImplementation.2020./5MaxCompute對外評價API切流建議模塊方差/功效分析a.每日命中資源詳情b.每日命中資源各維度分布離線結(jié)果表KeyMetric原始數(shù)據(jù)--ADB/SLS加速查詢定時計算任務(wù)過濾器配置特征分類配置Spark算法靜態(tài)維表特征規(guī)則異常計算MaxCompute對外評價API切流建議模塊方差/功效分析a.每日命中資源詳情b.每日命中資源各維度分布離線結(jié)果表KeyMetric原始數(shù)據(jù)--ADB/SLS加速查詢定時計算任務(wù)過濾器配置特征分類配置Spark算法靜態(tài)維表特征規(guī)則異常計算類離線異常特征運維策略A/B上線流程A/BTest灰度切流比例建議口落地方案評價模塊數(shù)據(jù)加速層KeyMetrica.a.歷史異?；胤舃.提前命中程度統(tǒng)計分析c.漏召回詳情分析d.新增命中資源詳情分析口面臨問題?如何與現(xiàn)有的運維體系整合？?如何安全高效的灰度發(fā)布上線？/6我們的方案–業(yè)務(wù)流控口業(yè)務(wù)流控我們的方案–業(yè)務(wù)流控口業(yè)務(wù)流控：?自動運維維持正常水位?有效阻止故障發(fā)生靈活的流控規(guī)則數(shù)據(jù)報表支撐流控維度/784218421等發(fā)布節(jié)奏計算、存儲、網(wǎng)絡(luò)各機型/集群等30+維度我們的方案?業(yè)界大概XX%的生產(chǎn)事故由變更而觸發(fā)?集團全部故障中xx%+和變更相關(guān)?支撐百萬級資源的發(fā)布(千萬級VM)布業(yè)務(wù)方數(shù)百?累計變更次數(shù)n億?發(fā)布次數(shù)n萬2.我們的方案–灰度發(fā)布&熔斷召回率=召回率=熔斷次數(shù)+漏召回次數(shù)?100%效熔斷準(zhǔn)確率=熔斷次數(shù)+