AIOps智能運(yùn)維展望

1、AIOps智能運(yùn)維展望技術(shù)創(chuàng)新，變革未來(lái)在非完美的軟硬件之上，保障業(yè)務(wù)可靠、速、效、安全運(yùn)轉(zhuǎn)直接影響業(yè)務(wù)收益和成本運(yùn)維的重要性到2020年，全球?qū)⒂?00億設(shè) 備、數(shù)上層軟件及服務(wù)互聯(lián)融 物聯(lián) 智能智造電信 電絡(luò)政府故障發(fā)現(xiàn)故障損故障修復(fù)故障規(guī)避運(yùn)維人的痛點(diǎn)運(yùn)維人的痛點(diǎn)運(yùn)維人關(guān)鍵詞救、壓、背鍋、如履薄冰、幸福指數(shù)低、不知道下秒會(huì)發(fā)什么、 睡不了安穩(wěn)覺(jué)、腦袋別在褲腰帶上運(yùn)維現(xiàn)狀：對(duì)突發(fā)故障，仍量依賴(lài)于人分析決策， 效率低、不準(zhǔn)確、不及時(shí)運(yùn)維動(dòng)運(yùn)維控制（動(dòng)化腳本）監(jiān)測(cè)（海量志）故障故障故障故障 發(fā)現(xiàn)損修復(fù)規(guī)避人分析決策挑戰(zhàn)： 域絡(luò)越來(lái)越復(fù)雜挑戰(zhàn)：系統(tǒng)不斷演進(jìn)，規(guī)模、復(fù)雜度、變更頻率增、技術(shù)更新挑戰(zhàn)

2、： 軟件規(guī)模、調(diào)關(guān)系復(fù)雜度、變更頻率逐漸增感謝騰訊視頻 提供圖挑戰(zhàn)：軟件架構(gòu)、程法不斷演進(jìn)必然向： 基于機(jī)器學(xué)習(xí)的智能運(yùn)維 (AIOps)故障 發(fā)現(xiàn)故障損故障 修復(fù)故障 規(guī)避總結(jié)龐、復(fù)雜、多變的軟硬件系統(tǒng)導(dǎo)致故障難以避免人法保證快速準(zhǔn)確決策，以保障業(yè)務(wù)可靠、速、效、安全運(yùn)轉(zhuǎn)運(yùn)維規(guī)則復(fù)雜、多變，法人維護(hù)海量、速、多樣、價(jià)值的監(jiān)控?cái)?shù)據(jù)Gartner Report： AI for IT Operations全球部署率10% in 201750% in 2020通過(guò)AIOps 實(shí)現(xiàn)人運(yùn)維運(yùn)維動(dòng)運(yùn)維AIOps4動(dòng)分析決策眼：全感知 系統(tǒng)運(yùn)狀態(tài)腦：數(shù)據(jù)-決策 數(shù)據(jù)-知識(shí)：基于確定邏輯 的動(dòng)化具運(yùn)維數(shù)據(jù)平臺(tái)

3、： 采樣、 抓包、埋點(diǎn)、撥測(cè)、志 等動(dòng)執(zhí)具：重啟、 回滾、流量調(diào)度、擴(kuò) 縮容、跨機(jī)房遷移等AIOps:AI for IT Operations基于AIOps的運(yùn)維架構(gòu)運(yùn)維腦動(dòng)態(tài)決策（利實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)和運(yùn)維知識(shí)圖譜， 進(jìn)實(shí)時(shí)決策）故障發(fā)現(xiàn)單指標(biāo)異常檢測(cè)多指標(biāo)異常檢測(cè)文本志異常檢測(cè)交易鏈條異常檢測(cè)異常機(jī)器定位多維數(shù)據(jù)定位變更故障定位交易鏈條定位故障規(guī)避智能瓶頸報(bào)表變更風(fēng)險(xiǎn)評(píng)估故障預(yù)測(cè)容量預(yù)測(cè)故障定位統(tǒng)數(shù)據(jù)平臺(tái)動(dòng)化腳本編排部署動(dòng)攔截故障處置遷移可 評(píng)估彈性擴(kuò)縮容決策運(yùn)維知識(shí)圖譜（線下挖掘運(yùn)維歷史數(shù)據(jù)，建立各種畫(huà)像）物理拓?fù)錁I(yè)務(wù)拓?fù)涔收蟼鞑v史故障故障損動(dòng)化任應(yīng)流量指標(biāo)畫(huà)像動(dòng)構(gòu)建動(dòng)構(gòu)建圖構(gòu)建單畫(huà)像預(yù)案構(gòu)

4、建務(wù)腳本畫(huà)像及聚類(lèi)志正常模式畫(huà)像故障先兆畫(huà)像容量畫(huà)像性能瓶頸畫(huà)像交易鏈條畫(huà)像應(yīng)健康畫(huà)像特殊整體畫(huà)像運(yùn)維數(shù)據(jù)質(zhì)量畫(huà)像限流決策各類(lèi)數(shù)據(jù)源志數(shù)據(jù)絡(luò)監(jiān)控中間件監(jiān)控?cái)?shù)據(jù)庫(kù)監(jiān)控存儲(chǔ)監(jiān)控 系統(tǒng)監(jiān)控 應(yīng)監(jiān)控AIOps運(yùn)維腦17腦：知識(shí)圖譜腦：決策算法眼：全感知 系統(tǒng)運(yùn)狀態(tài)運(yùn)維數(shù)據(jù)平臺(tái)：采樣、抓包、 埋點(diǎn)、撥測(cè)、志等：基于確定邏輯 的動(dòng)化具動(dòng)執(zhí)具： 重啟、 回滾、流量調(diào)度、擴(kuò)縮容、 跨機(jī)房遷移等這兩類(lèi)模塊必須借助于當(dāng)前的AI技術(shù)AIOps架構(gòu)：把繁雜的具體運(yùn)維場(chǎng)景拆解成四類(lèi)模塊18腦：知識(shí)圖譜腦：決策算法眼：全感知 系統(tǒng)運(yùn)狀態(tài)運(yùn)維數(shù)據(jù)平臺(tái)：采樣、抓包、 埋點(diǎn)、撥測(cè)、志等：基于確定邏輯 的動(dòng)化具動(dòng)執(zhí)具： 重啟、

5、回滾、流量調(diào)度、擴(kuò)縮容、 跨機(jī)房遷移等AIOps架構(gòu)：把繁雜的具體運(yùn)維場(chǎng)景拆解成四類(lèi)模塊這兩類(lèi)模塊必須借助于當(dāng)前的AI技術(shù)動(dòng)態(tài)決策模塊（利實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)和運(yùn)維知識(shí)圖譜， 進(jìn)實(shí)時(shí)決策）數(shù)據(jù)中心運(yùn)維腦各類(lèi)數(shù)據(jù)源統(tǒng)數(shù)據(jù)平臺(tái)運(yùn)維知識(shí)圖譜（線下挖掘運(yùn)維歷史數(shù)據(jù)，建立各種畫(huà)像）單指標(biāo) 異常檢測(cè)多指標(biāo) 異常檢測(cè)文本志異常檢測(cè)交易鏈條異常檢測(cè)異常機(jī)器 定位多維數(shù)據(jù) 定位變更故障定位交易鏈條定位物理拓?fù)鋭?dòng)構(gòu)建業(yè)務(wù)拓?fù)鋭?dòng)構(gòu)建故障傳播圖構(gòu)建歷史故障單畫(huà)像故障損預(yù)案構(gòu)建動(dòng)化任務(wù)腳本故障規(guī)避智能瓶頸 報(bào)表變更風(fēng)險(xiǎn) 評(píng)估故障預(yù)測(cè)容量 預(yù)測(cè)動(dòng)化腳本編排部署動(dòng)攔遷移可 截評(píng)估彈性擴(kuò)縮容決策應(yīng)流量畫(huà)像指標(biāo)畫(huà)像及聚類(lèi)志正常模式畫(huà)像

6、故障先兆畫(huà)像容量畫(huà)像性能瓶頸畫(huà)像交易鏈條畫(huà)像應(yīng)健康畫(huà)像特殊整體畫(huà)像運(yùn)維數(shù)據(jù)質(zhì)量畫(huà)像限流決策VAE DBSCAN DTW RLFSelf-training 遷移學(xué)習(xí)NLP LSTM DBSCANKDE，DBSCANGMVAE故障發(fā)現(xiàn)VAE Learning to Rank故障定位 E2-UCB決策樹(shù)隨機(jī)森林SST, DiDEVT深度強(qiáng)化學(xué)習(xí) 深度強(qiáng)化學(xué)習(xí)故障處置深度強(qiáng)化學(xué)習(xí)事件關(guān)聯(lián) 事件-指標(biāo)關(guān)聯(lián)波動(dòng)關(guān)聯(lián) 因果分析隨機(jī)森林XGBootDBSCANLCS2LSTM決策樹(shù)監(jiān)督學(xué)習(xí) 強(qiáng)化學(xué)習(xí) 有監(jiān)督但是數(shù)據(jù)帶標(biāo)簽 半監(jiān)督學(xué)習(xí)，遷移學(xué)習(xí)VAENLP LSTM DBSCAN具體運(yùn)維場(chǎng)景架構(gòu)拆解后到的機(jī)器學(xué)

7、習(xí)算法運(yùn)維腦動(dòng)態(tài)決策（利實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)和運(yùn)維知識(shí)圖譜， 進(jìn)實(shí)時(shí)決策）故障發(fā)現(xiàn)單指標(biāo)異常檢測(cè)多指標(biāo)異常檢測(cè)交易鏈條異常檢測(cè)異常機(jī)器定位多維數(shù)據(jù)定位變更故障定位交易鏈條定位故障規(guī)避智能瓶頸報(bào)表變更風(fēng)險(xiǎn)評(píng)估故障預(yù)測(cè)容量預(yù)測(cè)文本志 異常檢測(cè)故障定位統(tǒng)數(shù)據(jù)平臺(tái)動(dòng)化腳本編排部署動(dòng)攔截故障處置遷移可 評(píng)估彈性擴(kuò)縮容決策運(yùn)維知識(shí)圖譜（線下挖掘運(yùn)維歷史數(shù)據(jù)，建立各種畫(huà)像）物理拓?fù)錁I(yè)務(wù)拓?fù)涔收蟼鞑v史故障故障損動(dòng)化任應(yīng)流量指標(biāo)畫(huà)像動(dòng)構(gòu)建動(dòng)構(gòu)建圖構(gòu)建單畫(huà)像預(yù)案構(gòu)建務(wù)腳本畫(huà)像及聚類(lèi)志正常模式畫(huà)像故障先兆畫(huà)像容量畫(huà)像性能瓶頸畫(huà)像交易鏈條畫(huà)像應(yīng)健康畫(huà)像特殊整體畫(huà)像運(yùn)維數(shù)據(jù)質(zhì)量畫(huà)像限流決策各類(lèi)數(shù)據(jù)源志數(shù)據(jù)絡(luò)監(jiān)控中間件監(jiān)控?cái)?shù)據(jù)

8、庫(kù)監(jiān)控存儲(chǔ)監(jiān)控 系統(tǒng)監(jiān)控 應(yīng)監(jiān)控AIOps決策算法舉例：智能故障發(fā)現(xiàn)有監(jiān)督 異常檢測(cè)監(jiān)督 異常檢測(cè)對(duì)百萬(wàn)級(jí)曲線 異常檢測(cè)動(dòng)適配曲線 劇變IMC 2015解決普適性問(wèn)題WWW2018Morning paper報(bào)道IWQOS 2018IPCCC 2018聚類(lèi)+半監(jiān)督學(xué)習(xí)ISSRE 2018Best Paper Award動(dòng)參數(shù)遷移單指標(biāo)異常檢測(cè)算法演進(jìn)：不斷實(shí)踐和迭代認(rèn)知、算法志解析（模板學(xué)習(xí)）基于志 異常檢測(cè)基于志 故障預(yù)測(cè)基于志的AIOps：志處理、異常檢測(cè)、故障預(yù)測(cè)IWQOS 2017增量學(xué)習(xí)、準(zhǔn)確性IWQOS 2018NLP+PU learningSIGMETRICS 2018特征提取+機(jī)

9、器學(xué)習(xí)23腦：知識(shí)圖譜腦：決策算法眼：全感知 系統(tǒng)運(yùn)狀態(tài)運(yùn)維數(shù)據(jù)平臺(tái)：采樣、抓包、 埋點(diǎn)、撥測(cè)、志等：基于確定邏輯 的動(dòng)化具動(dòng)執(zhí)具： 重啟、 回滾、流量調(diào)度、擴(kuò)縮容、 跨機(jī)房遷移等AIOps架構(gòu)：把繁雜的具體運(yùn)維場(chǎng)景拆解成四類(lèi)模塊這兩類(lèi)模塊必須借助于當(dāng)前的AI技術(shù)24傳統(tǒng)專(zhuān)家知識(shí)知識(shí)圖譜去中心化（分布在運(yùn)維專(zhuān)家頭腦中）中心化割裂的連接的人關(guān)聯(lián)，緩慢易錯(cuò)可被人或算法快速查詢(xún)動(dòng)更新、不易維護(hù)動(dòng)更新動(dòng)撰寫(xiě)報(bào)告動(dòng)成圖譜變化報(bào)表與CMDB區(qū)別：動(dòng)配置 vs 動(dòng)挖掘確定 vs 模糊從運(yùn)維數(shù)據(jù)中動(dòng)挖掘：各類(lèi)運(yùn)維主體的各類(lèi)特性和規(guī)律各個(gè)主體之間的各類(lèi)關(guān)聯(lián)關(guān)系新的主體運(yùn)維主體是系統(tǒng)軟硬件及其運(yùn)狀態(tài)軟件： 服務(wù)、

10、微服務(wù)、模塊、中間件、存儲(chǔ)服 務(wù)、數(shù)據(jù)庫(kù)等硬件： 機(jī)房、機(jī)群、機(jī)架、服務(wù)器、虛機(jī)、容 器、硬盤(pán)、TOR交換機(jī)、聚合交換機(jī)、路由器等四類(lèi)監(jiān)控?cái)?shù)據(jù)：指標(biāo)、志事件、Trace、變更運(yùn)維知識(shí)圖譜服務(wù)1容器1物理機(jī)1微服務(wù)1容器2機(jī)架1TOR 交換機(jī)1聚合交換機(jī)1路由器1機(jī)房1部署在容器類(lèi)型1類(lèi)型承載QPS小Net Utilization=80%響應(yīng)時(shí)間=50ms資源使限制CPU=80% Mem=80%容器1.流量部署在容器2.流量容器1.響應(yīng)時(shí)間容器2.響應(yīng)時(shí)間位于位于位于位于位于調(diào)微服務(wù)1.流量微服務(wù)1.響應(yīng)時(shí)間服務(wù)1.流量. 北京市服務(wù)1. 流量. 河北省服務(wù)1.流量 服務(wù)1.流量. 北京市.聯(lián)通

11、物理機(jī)1.流量包含服務(wù)1.流量包含指標(biāo)指標(biāo)指標(biāo)位于 指標(biāo)指標(biāo)指標(biāo)流量機(jī)架1.流量指標(biāo)指標(biāo)指標(biāo) 聚合交換機(jī)1.路由器1.流量機(jī)房1.流量指標(biāo)指標(biāo)包含畫(huà)像指標(biāo)TOR交換機(jī)1.流量畫(huà)像軟硬件主體運(yùn)狀態(tài)主體響應(yīng)時(shí)間聚類(lèi) 畫(huà)像容器響應(yīng)時(shí)間聚類(lèi)中心RT=f(x1,x2,.xn)挖掘、學(xué)習(xí)出來(lái) 的屬性構(gòu)建的關(guān)系由配置動(dòng)構(gòu)建的關(guān)系增趨勢(shì)、季節(jié)性、峰時(shí)段、特 殊、最佳變更時(shí)間段運(yùn)維知識(shí)圖譜構(gòu)建舉例戶可以查詢(xún)?nèi)缦聠?wèn)題，運(yùn)維知識(shí)圖譜動(dòng)回答：假設(shè)下個(gè)的促需要能持2萬(wàn)筆每秒的A應(yīng)交易，那么需要準(zhǔn)備多少臺(tái)容器？視頻站計(jì)劃在周五上線個(gè)熱，需要額外準(zhǔn)備多少臺(tái)容器？按照前A服務(wù)增趨勢(shì)，半年內(nèi)應(yīng)該增加多少新的物理機(jī)？運(yùn)維知識(shí)圖譜應(yīng)1： 容量預(yù)測(cè)27服務(wù)1.KPI A 報(bào)警微服務(wù)1.1 KPI A 報(bào)警存儲(chǔ)系統(tǒng)志事件Y微服務(wù)1.3 KPI C報(bào)警容器1.2.1 KPI A 報(bào)警數(shù)據(jù)庫(kù)志事件X微服務(wù)1.2 KPI A 報(bào)警交換機(jī)志事件U交換機(jī)志事件V依據(jù)絡(luò)協(xié)議人指定依據(jù)歷史志事件 動(dòng)挖掘因果關(guān)系依據(jù)KPI包含關(guān)系動(dòng)配置通過(guò)波動(dòng)相關(guān)等法動(dòng)挖掘因果關(guān)系依據(jù)部署關(guān)系動(dòng)配置動(dòng)快速回答如下問(wèn)題：當(dāng)前服務(wù)故障的根因是什么？對(duì)當(dāng)前故障有何處置建議？當(dāng)前底層故障對(duì)上層的