阿里巴巴大數(shù)據(jù)運維之道課件

阿里巴巴大數(shù)據(jù)運維之道

阿里巴巴大數(shù)據(jù)運維之道1目錄運維進階1一體化運維平臺2DataOps實踐3AIOps探索4

目錄運維進階1一體化運維平臺2DataOps實踐3AIOps2運維進階人肉運維（Human

Ops）自動化運維（AutomatedOps

）數(shù)據(jù)化運維（DataOps

）智能運維（AIOps）數(shù)據(jù)決策算法+模型執(zhí)行人的經(jīng)驗結(jié)果數(shù)據(jù)算法+模型結(jié)果執(zhí)行異常響應(yīng)DataOps

AIOps運維進階人肉運維自動化運維數(shù)據(jù)化運維智能運維數(shù)據(jù)決策算法+模3目錄運維進階1一體化運維平臺2DataOps實踐3AiOps探索4

目錄運維進階1一體化運維平臺2DataOps實踐3AiOps4全球運維大會

2018·

上海站

阿里巴巴大數(shù)據(jù)場景物理機10w+GOP

S全球運維大會2018·上海站阿里巴巴大數(shù)據(jù)場景物理機G5運維分層解決方案

運維分層解決方案6一站式運維平臺—運維場景用戶老板監(jiān)控SRE水位咋樣？服務(wù)穩(wěn)定嗎？……服務(wù)穩(wěn)定嗎？為啥作業(yè)掛了？資源咋擴容申請新資源……**模塊超過閾值……機房裁撤調(diào)整新數(shù)據(jù)中心建設(shè)新服務(wù)上線……SRE我們所運維的服務(wù)

一站式運維平臺—運維場景用戶老板監(jiān)控SRE水位咋樣？服務(wù)穩(wěn)定7一站式運維平臺—功能抽象用戶老板監(jiān)控SRE水位咋樣？服務(wù)穩(wěn)定嗎？……服務(wù)穩(wěn)定嗎？為啥作業(yè)掛了？資源咋擴容申請新資源……**模塊超過閾值……機房裁撤調(diào)整新數(shù)據(jù)中心建設(shè)新服務(wù)上線……命令做流我們所運維的服務(wù)UI視圖+AI技術(shù)老板 用戶 監(jiān)控 SRE信息

看流運維平臺需求抽象

一站式運維平臺—功能抽象用戶老板監(jiān)控SRE水位咋樣？服務(wù)穩(wěn)定8目錄運維進階1一體化運維平臺2DataOps實踐3AiOps探索4

目錄運維進階1一體化運維平臺2DataOps實踐3AiOps9運維數(shù)倉DataOps基礎(chǔ)圖出自書《大數(shù)據(jù)之路》

運維數(shù)倉DataOps基礎(chǔ)圖出自書《大數(shù)據(jù)之路》10常見的運維數(shù)據(jù)服務(wù)器集群網(wǎng)絡(luò)應(yīng)用服務(wù)維度（元數(shù)據(jù)）度量（運行時）指標事件日志

常見的運維數(shù)據(jù)服務(wù)器集群網(wǎng)絡(luò)應(yīng)用服務(wù)維度（元數(shù)據(jù)）度量（運行11DataOps架構(gòu)

DataOps架構(gòu)12知識圖譜如何用統(tǒng)一的語言來定義運維數(shù)據(jù)？我們把運維里的對象稱為實體運維領(lǐng)域里實體的關(guān)系，就是一張圖，可以用知識圖譜來定義運維領(lǐng)域關(guān)系 知識圖譜

知識圖譜如何用統(tǒng)一的語言來定義運維數(shù)據(jù)？13知識圖譜——運維搜索整合集團所有運維資源（元數(shù)據(jù)、運維工具系統(tǒng)等）為SRE打造垂直領(lǐng)域搜索服務(wù)，運維習慣的改變，通過搜索到達一切站點功能Map，站內(nèi)垂直搜索

知識圖譜——運維搜索整合集團所有運維資源（元數(shù)據(jù)、運維工具系14知識圖譜——ChatOps服務(wù)狀態(tài)機器狀態(tài)開關(guān)報警事件推送命令執(zhí)行運維操作簡單、重復的工作信息直達減少重復咨詢解放生產(chǎn)力搜索兜底意圖缺陷問答積累自助診斷基礎(chǔ)知識

知識圖譜——ChatOps服務(wù)狀態(tài)機器狀態(tài)開關(guān)報警事件推送命15作業(yè)診斷

作業(yè)診斷16機器診斷

機器診斷17聚類異常檢測關(guān)于算法選擇，Why

DBScan？無需指定聚類組的數(shù)量支持離群點的自動發(fā)現(xiàn)

聚類異常檢測關(guān)于算法選擇，WhyDBScan？18日志異常檢測

如何發(fā)現(xiàn)異常的日志？A.

從千萬行日志中提取出日志打印的模式B.

針對識別的模式，建立對應(yīng)的指標->

時間序列異常檢測

日志異常檢測 如何發(fā)現(xiàn)異常的日志？B.針對識別的模式，建19日志異常檢測

日志異常檢測20運籌優(yōu)化運維

–

“運”->

運籌運維領(lǐng)域存在較多的規(guī)劃問題，需要用運籌優(yōu)化的方法來解決多集群容量均衡動態(tài)調(diào)整用戶配額如何優(yōu)化帶寬任務(wù)參數(shù)智能優(yōu)化……

運籌優(yōu)化運維–“運”->運籌21運籌優(yōu)化—同步任務(wù)優(yōu)化上圖是AB兩個事業(yè)部類似同步作業(yè)的速度分布，如何將成熟BU的作業(yè)優(yōu)化經(jīng)驗快速應(yīng)用到其他BU？

運籌優(yōu)化—同步任務(wù)優(yōu)化上圖是AB兩個事業(yè)部類似同步作業(yè)的速度22運籌優(yōu)化—同步任務(wù)優(yōu)化影響因子分析：源類型宿類型記錄大小字段數(shù)量并發(fā)jvm參數(shù)batchsize出錯限制固定屬性可配屬性固定屬性k-means聚類，找出每類的最佳配置

運籌優(yōu)化—同步任務(wù)優(yōu)化影響因子分析：源類型并發(fā)固定屬性可配屬23運籌優(yōu)化—同步任務(wù)優(yōu)化優(yōu)化前大部分任務(wù)集中在5MB/s的低效同步速度區(qū)間內(nèi)，優(yōu)化后大都在在5～10Mb/s、10MB/s~50MB/s、50MB~100MB/s的高速區(qū)間。優(yōu)化前平均速度2.28MB/s，優(yōu)化后15.9MB/s，均速直接提升7倍?。?！

運籌優(yōu)化—同步任務(wù)優(yōu)化優(yōu)化前大部分任務(wù)集中在5MB/s的低效24目錄運維進階1一體化運維平臺2DataOps實踐3AiOps探索4

目錄運維進階1一體化運維平臺2DataOps實踐3AiOps25AIOps之監(jiān)控自愈

AIOps之監(jiān)控自愈26AIOps之硬件自愈10w級的服務(wù)器上部署硬件相關(guān)信息采集插件，打印硬件狀態(tài)日志經(jīng)過數(shù)據(jù)通道、流計算、OLAP系統(tǒng)，建立起了一份實時硬件狀態(tài)表Center程序通過定時運行SQL任務(wù)，使用規(guī)則判斷硬件異常1數(shù)據(jù)采集鏈路2建模預(yù)測反饋3決策執(zhí)行鏈路一年處理20萬次自愈事件服務(wù)器可用率

99%

AIOps之硬件自愈10w級的服務(wù)器上部署硬件相關(guān)信息采集插27AIOps之資源優(yōu)化

如何給集群的作業(yè)劃分quota組最合理？目標：用最少的資源讓用戶盡可能滿意問題：靜態(tài)劃分缺乏靈活性，無法削峰填谷，資源浪費部分用戶占用大量資源，其他用戶感受差A(yù)IOps之資源優(yōu)化如何給集群的作業(yè)劃分quota組最合理28AIOps之資源優(yōu)化用戶滿意度模型：一套綜合評價體系主要包含用戶資源搶占、等待分配時間、資源滿足率等。用Tdata時序異常檢測模型跟蹤用戶滿意度變化情況。

AIOps之資源優(yōu)化用戶滿意度模型：29AIOps之資源優(yōu)化用指數(shù)平滑模型對未來一周的資源消耗進行預(yù)測，指數(shù)模型包括單指數(shù)、雙指數(shù)和三指數(shù)模型。單指數(shù)模型擬合的是只含水平項，不含趨勢項和季節(jié)效應(yīng)的時間序列。雙指數(shù)模型（Holt模型）擬合含水平項和趨勢項的時間序列。三指數(shù)模型（Holt-Winters模型）擬合含水平、趨勢以及季節(jié)項的