OneAM智能運(yùn)維平臺(tái)解決方案vPPT課件

1、OneAPM智能運(yùn)維平臺(tái)解決方案用人工智能點(diǎn)亮您的IT數(shù)據(jù)議題1 從人工到人工智能3 邁出AIOps的第一步2 用人工智能點(diǎn)亮您的IT數(shù)據(jù)議題1 從人工到人工智能3 邁出AIOps的第一步2 用人工智能點(diǎn)亮您的IT數(shù)據(jù)當(dāng)前運(yùn)維和業(yè)務(wù)團(tuán)隊(duì)面臨的困境不是沒(méi)有數(shù)據(jù)，而是數(shù)據(jù)太多不是不想分析，而是無(wú)從下手從人工到人工智能挖掘海量數(shù)據(jù)的業(yè)務(wù)價(jià)值統(tǒng)一大數(shù)據(jù)分布式處理技術(shù)智能算法與機(jī)器學(xué)習(xí)業(yè)務(wù)系統(tǒng)將要發(fā)生什么？主動(dòng)響應(yīng)的預(yù)防預(yù)測(cè)性管理降低系統(tǒng)低效對(duì)業(yè)務(wù)的影響多種分散獨(dú)立監(jiān)控工具專業(yè)化專家型人才業(yè)務(wù)系統(tǒng)已經(jīng)發(fā)生了什么？被動(dòng)響應(yīng)的故障恢復(fù)性管理人工運(yùn)維AIOps什么是AIOpsAIOps，即基于人工智能的IT運(yùn)

2、維（Artificial Intelligence for IT Operations） ，是由Gartner定義的IT運(yùn)維管理新類別。AIOps將服務(wù)管理、性能監(jiān)測(cè)、自動(dòng)化結(jié)合在一起，以實(shí)現(xiàn)持續(xù)洞察和改進(jìn)的目標(biāo)，并由大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)進(jìn)行支撐。機(jī)器學(xué)習(xí)大數(shù)據(jù)平臺(tái)AIOps商業(yè)價(jià)值監(jiān)測(cè)（觀察）服務(wù)管理（交互）自動(dòng)化（行動(dòng)）持續(xù)察洞持續(xù)洞察持續(xù)洞察From Gartners ReportAIOps的四個(gè)核心能力AIOps對(duì)海量數(shù)據(jù)進(jìn)行存儲(chǔ)通過(guò)智能算法在數(shù)據(jù)提取時(shí)和存儲(chǔ)后進(jìn)行分析從不同的數(shù)據(jù)源中獲取數(shù)據(jù)對(duì)海量數(shù)據(jù)進(jìn)行高效訪問(wèn)AIOps的技術(shù)棧可視化機(jī)器學(xué)習(xí)算法分析計(jì)算大數(shù)據(jù)數(shù)據(jù)源事件日志監(jiān)控工單

3、任務(wù)全量，海量，多樣性，復(fù)雜性IT數(shù)據(jù)集中統(tǒng)一管理，歷史數(shù)據(jù)存儲(chǔ)，實(shí)時(shí)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)建模，模式識(shí)別，趨勢(shì)識(shí)別，故障隔離智能化選擇，異常檢測(cè)，異常定位，根因分析算法自我修改演進(jìn)，新算法創(chuàng)建多維度，個(gè)性化，角色化，場(chǎng)景化展示數(shù)據(jù)清洗，去重，過(guò)濾，關(guān)聯(lián)，生成新數(shù)據(jù)AIOps的核心價(jià)值故障發(fā)現(xiàn)故障規(guī)避故障止損故障修復(fù)異常檢測(cè)異常定位根因分析異常預(yù)測(cè)AIOps將在5-10年內(nèi)成為ITOM的主流技術(shù)From Gartners Report議題1 從人工到人工智能3 邁出AIOps的第一步2 用人工智能點(diǎn)亮您的IT數(shù)據(jù)OneAPM智能運(yùn)維平臺(tái)解決方案服務(wù)器數(shù)據(jù)存儲(chǔ)數(shù)據(jù)網(wǎng)絡(luò)數(shù)據(jù)應(yīng)用數(shù)據(jù)用戶體驗(yàn)數(shù)據(jù)流量數(shù)據(jù)日志數(shù)

4、據(jù)交易數(shù)據(jù)任意IT數(shù)據(jù)OneAPMAIOps大數(shù)據(jù)實(shí)時(shí)多維分析機(jī)器學(xué)習(xí)大規(guī)模事務(wù)處理海量數(shù)據(jù)實(shí)時(shí)接入服務(wù)分析深度挖掘場(chǎng)景可視化多維指標(biāo)告警數(shù)據(jù)建模OneAPM智能運(yùn)維平臺(tái)的五個(gè)能力層次發(fā)現(xiàn)接入存儲(chǔ)整合梳理關(guān)聯(lián)智能分析多維展示從哪里來(lái)到哪里去IT數(shù)據(jù)全棧IT數(shù)據(jù)發(fā)現(xiàn)與接入篇全棧IT數(shù)據(jù)的采集范圍監(jiān)控對(duì)象采集數(shù)據(jù)IT系統(tǒng)客戶端 數(shù)據(jù)庫(kù)虛擬化 中間件SaaS傳統(tǒng)架構(gòu)業(yè)務(wù)層應(yīng)用軟件層基礎(chǔ)設(shè)施層業(yè)務(wù)系統(tǒng)云架構(gòu)硬件設(shè)備PaaSIaaS交易業(yè)務(wù)流程瀏覽器移動(dòng)APP應(yīng)用/微服務(wù)應(yīng)用代碼數(shù)據(jù)庫(kù)服務(wù)中間件服務(wù)網(wǎng)絡(luò)流量包日志虛擬化網(wǎng)絡(luò)主機(jī)機(jī)房環(huán)境交易量交易金額交易成功率頁(yè)面加載時(shí)間瀏覽器類型用戶IP頁(yè)面加載錯(cuò)誤率C

5、DN質(zhì)量應(yīng)用響應(yīng)時(shí)間應(yīng)用吞吐量應(yīng)用錯(cuò)誤率單個(gè)服務(wù)響應(yīng)時(shí)間單個(gè)服務(wù)吞吐量單個(gè)服務(wù)錯(cuò)誤率交易錯(cuò)誤率交易處理時(shí)間APP頁(yè)面響應(yīng)時(shí)間APP崩潰率APP網(wǎng)絡(luò)請(qǐng)求時(shí)間APP H5頁(yè)面性能JVM內(nèi)存利用率服務(wù)器時(shí)延SQL語(yǔ)句執(zhí)行時(shí)間連接池?cái)?shù)量緩沖區(qū)命中率告警虛擬機(jī)數(shù)量主機(jī)數(shù)量CPU利用率內(nèi)存利用率丟包率平均建鏈時(shí)間網(wǎng)絡(luò)流量磁盤可用容量電源處理器配置項(xiàng)業(yè)務(wù)邏輯IT資產(chǎn)庫(kù)CMDB全棧IT數(shù)據(jù)的采集方式日志采集模擬撥測(cè)SDK/API字節(jié)碼探針網(wǎng)絡(luò)流量采集基礎(chǔ)監(jiān)控協(xié)議IT數(shù)據(jù)SNMP、IPMI、WMI、SMI-S、JMX、GlassFish、JDBC、SSH、Telnet等Java、.Net、PHP、Python、

6、Ruby、Node.js、Andriod、iOS等Rsyslog、NXlog、Kafka、SDK、Restful API等SFLOW、NETFLOW、IPFIX、SPAN、RSPAN、ERSPAN等StatsD、 Web Service、 JSON等URL、Host、Port、 HTTP 、RTSP、RTMP等IT數(shù)據(jù)采集方式的選擇采集方式適用場(chǎng)景基礎(chǔ)監(jiān)控協(xié)議IaaS、PaaS層，服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)、操作系統(tǒng)、中間件、數(shù)據(jù)庫(kù)、應(yīng)用進(jìn)程，物聯(lián)網(wǎng)傳感器等網(wǎng)絡(luò)及協(xié)議可達(dá)的IT資源狀態(tài)和可用性指標(biāo)數(shù)據(jù)采集網(wǎng)絡(luò)流量采集提取網(wǎng)絡(luò)包中攜帶的網(wǎng)絡(luò)性能、用戶體驗(yàn)、應(yīng)用性能、交易等數(shù)據(jù)日志采集收集系統(tǒng)、應(yīng)用、業(yè)務(wù)

7、等日志，進(jìn)行事件、告警、交易等任意可標(biāo)識(shí)信息的采集分析字節(jié)碼探針瀏覽器、移動(dòng)APP用戶體驗(yàn)數(shù)據(jù)采集，探針兼容的（Java、.Net、PHP等解釋型語(yǔ)言開發(fā)）應(yīng)用系統(tǒng)的代碼性能數(shù)據(jù)采集，應(yīng)用調(diào)用鏈路追蹤數(shù)據(jù)采集模擬撥測(cè)通過(guò)定時(shí)任務(wù)模擬用戶訪問(wèn)和系統(tǒng)調(diào)用，主動(dòng)探測(cè)應(yīng)用服務(wù)的可用性指標(biāo)采集SDK/API可根據(jù)數(shù)據(jù)采集（任意數(shù)據(jù)、任意格式）需要，在應(yīng)用開發(fā)過(guò)程中調(diào)用SDK和接口采集數(shù)據(jù)與已有ITOM工具的對(duì)接JDBC，SNMP TRAP，Web Service，OneAPMAIOps海量數(shù)據(jù)處理與存儲(chǔ)篇海量IT數(shù)據(jù)處理的挑戰(zhàn)數(shù)據(jù)規(guī)模高并發(fā)總量大種類多樣格式各異毫秒級(jí)延時(shí)秒級(jí)處理響應(yīng)邏輯復(fù)雜實(shí)效海量IT

8、數(shù)據(jù)處理平臺(tái)指標(biāo)、交易、詳情指標(biāo)、事件歷史大數(shù)據(jù)服務(wù)API 網(wǎng)關(guān)搜索服務(wù)消息服務(wù)交易關(guān)聯(lián) / 拼接服務(wù) / 異常檢測(cè)服務(wù)等歷史數(shù)據(jù)處理實(shí)時(shí)數(shù)據(jù)處理數(shù)據(jù)采集器數(shù)據(jù)采集器數(shù)據(jù)采集器指標(biāo)、事件、日志、交易、詳情、流量業(yè)務(wù)交易、指標(biāo)、告警、詳情時(shí)間序列實(shí)時(shí)數(shù)據(jù)服務(wù)指標(biāo)、事件、日志、交易、詳情、流量業(yè)務(wù)交易、指標(biāo)、告警、詳情數(shù)據(jù)接入數(shù)據(jù)處理數(shù)據(jù)存儲(chǔ)AgentSNMPECHOIPMISDKFLOWLOG開發(fā)運(yùn)維業(yè)務(wù)海量IT數(shù)據(jù)處理平臺(tái)的能力OneAPMAIOps實(shí)時(shí)數(shù)據(jù)管理Streaming data management 歷史數(shù)據(jù)管理Historical data management 指標(biāo)數(shù)據(jù)管理Me

9、tric data ingestion 文本數(shù)據(jù)管理Document text ingestion 日志數(shù)據(jù)管理Log data ingestion 流量數(shù)據(jù)管理Wire data ingestion 通過(guò)NLP（自然語(yǔ)言處理）技術(shù)，對(duì)人類可讀文檔進(jìn)行解析從網(wǎng)絡(luò)上直接捕獲的數(shù)據(jù)包，兼容多種網(wǎng)絡(luò)協(xié)議任何軟硬件設(shè)備生成的日志數(shù)據(jù)，并為訪問(wèn)分析建立索引對(duì)實(shí)時(shí)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化和索引化，以時(shí)間尺度實(shí)時(shí)展示數(shù)據(jù)吸納海量多樣化歷史數(shù)據(jù)，并進(jìn)行索引和持久存儲(chǔ)直接捕獲和使用數(shù)值型數(shù)據(jù)，例如時(shí)間序列數(shù)據(jù)IT數(shù)據(jù)梳理與關(guān)聯(lián)篇THANK YOUSUCCESS2022/7/1824可編輯通過(guò)數(shù)據(jù)模型（Data Modul

10、e）梳理IT數(shù)據(jù)CPU利用率 %數(shù)據(jù)庫(kù)服務(wù)錯(cuò)誤數(shù)數(shù)據(jù)庫(kù)服務(wù)請(qǐng)求數(shù)數(shù)據(jù)庫(kù)平均響應(yīng)時(shí)間數(shù)據(jù)庫(kù)死鎖率內(nèi)存空閑率 %存儲(chǔ)空閑率 %數(shù)據(jù)庫(kù)連接池利用率 %數(shù)據(jù)庫(kù)服務(wù)健康指數(shù)JDBCSNMP數(shù)據(jù)庫(kù)實(shí)例操作系統(tǒng)主機(jī)應(yīng)用指標(biāo)及閾值接口/協(xié)議依賴關(guān)系/拓?fù)鋽?shù)據(jù)模型Data Module開箱即用的數(shù)據(jù)模型和自定義擴(kuò)展應(yīng)用服務(wù)器關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)操作系統(tǒng)Web服務(wù)器虛擬化應(yīng)用性能管理用戶體驗(yàn)管理開箱即用擴(kuò)展自定義新增指標(biāo)及閾值新增接口/協(xié)議修改依賴關(guān)系/拓?fù)渥远x指標(biāo)及閾值自定義接口/協(xié)議自定義依賴關(guān)系/拓?fù)鋽?shù)據(jù)模型 Data Module深度挖掘多個(gè)指標(biāo)對(duì)于服務(wù)質(zhì)量的影響服務(wù)分析深度挖掘如何從IT數(shù)據(jù)中獲得洞察？人

11、工智能算法與分析篇結(jié)合領(lǐng)域知識(shí)的人工智能算法人工智能算法聚類、決策樹、隨機(jī)森林、卷積神經(jīng)網(wǎng)絡(luò)運(yùn)維領(lǐng)域知識(shí)異常檢測(cè)、多維分析、根因分析、故障預(yù)測(cè)行業(yè)運(yùn)維經(jīng)驗(yàn)金融、運(yùn)營(yíng)商、互聯(lián)網(wǎng)、政府、大型企業(yè)AIOpsOneAPM人工智能算法與分析平臺(tái)基礎(chǔ)數(shù)據(jù)層機(jī)器學(xué)習(xí)算法層RMDB事件指標(biāo)日志工單作業(yè)監(jiān)控MQNoSQLTSDBHDFSMPPDBARIMA卡爾曼時(shí)序數(shù)據(jù)分解Holt-Winters奇異譜變換（SST）DiDDBSCANPearson關(guān)聯(lián)分析J-MeasureTwo-sample testAprioriFP-Growth分類聚類決策樹邏輯回歸DNNCNNLSTM/RNNNLPAIOps算法層指標(biāo)分

12、布預(yù)測(cè)指標(biāo)聚類KPI聯(lián)動(dòng)分析KPI事件關(guān)聯(lián)日志事件序列提取日志事件模板提取技術(shù)能力層數(shù)據(jù)源異常標(biāo)記單指標(biāo)異常檢測(cè)多指標(biāo)異常檢測(cè)關(guān)聯(lián)分析故障拓?fù)鋱D故障樹根因分析調(diào)用鏈告警壓縮單故障止損灰度版本止損配置優(yōu)化成本分析容量規(guī)劃資源調(diào)度發(fā)現(xiàn)問(wèn)題定位問(wèn)題解決問(wèn)題其他應(yīng)用層自適應(yīng)異常檢測(cè)多維異常問(wèn)題定位故障根因分析異常預(yù)測(cè)什么是KPI異常檢測(cè)KPI（Key Performance Indicator）：用于反映服務(wù)的健康程度。如：服務(wù)請(qǐng)求數(shù)、拒絕數(shù)、響應(yīng)時(shí)間、流 、訂單等 如：服務(wù) CPU、內(nèi)存、 絡(luò)、磁盤等 KPI 異常行為：潛在的風(fēng)險(xiǎn)、故障、bugs、攻擊. KPI 異常檢測(cè)：用于識(shí)別 KPI 時(shí)序曲線

13、上的異常行為。及早發(fā)現(xiàn)風(fēng)險(xiǎn)，防止其發(fā)展為故障及時(shí)發(fā)現(xiàn)故障，進(jìn)行止損、診斷和修復(fù)運(yùn)維的重要基礎(chǔ)OneAPM自適應(yīng)KPI異常檢測(cè)的特點(diǎn) 普適性檢測(cè)算法動(dòng)態(tài)基帶算法，適用更多不同特點(diǎn)曲線基于遷移算法學(xué)習(xí)，自動(dòng)適配場(chǎng)景變化依據(jù)反饋，對(duì)算法和參數(shù)進(jìn)行優(yōu)選，減少人工干預(yù)對(duì)比14種常用檢測(cè)算法，準(zhǔn)確度排名第一 算法自我容錯(cuò) 場(chǎng)景動(dòng)態(tài)適配 異常精準(zhǔn)檢測(cè)OneAPM自適應(yīng)KPI異常檢測(cè)結(jié)果展示某大型互聯(lián)網(wǎng)公司的KPI檢測(cè)效果 什么是多維分析關(guān)鍵指標(biāo)屬性1屬性2屬性n交易時(shí)間、失敗率、閃退率、銷售額、 訂單數(shù)、PV、轉(zhuǎn)化率、用戶數(shù)、用戶增速、留存率、投訴率. 運(yùn)營(yíng)商、省份、城市、移動(dòng)設(shè)備類型、軟件版本號(hào)、移動(dòng)端模

14、塊、瀏覽器版本、無(wú)線網(wǎng)絡(luò)參數(shù)、服務(wù)器端模塊、后臺(tái)負(fù)載、用戶年齡、用戶性別. 發(fā)現(xiàn)業(yè)務(wù)“關(guān)鍵指標(biāo)KPI”瓶頸，為正確決策提供依據(jù)。例:“響應(yīng)時(shí)間”在什么條件下會(huì)慢？ OneAPM多維異常問(wèn)題分析的特點(diǎn) 自動(dòng)識(shí)別瓶頸條件 基于決策樹分析，從大量多維度數(shù)據(jù)中，自動(dòng)確定影響屬性 基于歷史數(shù)據(jù)的AB測(cè)試，在歷史數(shù)據(jù)中對(duì)比實(shí)驗(yàn)組和對(duì)照組的性能差別，預(yù)測(cè)可能的優(yōu)化方案效果 預(yù)測(cè)優(yōu)化效果 便捷的可視化系統(tǒng)，人員可對(duì)過(guò)程和結(jié)果進(jìn)行核對(duì)，排除可能的干擾數(shù)據(jù)，重新分析，得到正確結(jié)果 過(guò)程和結(jié)果可視化 OneAPM多維異常問(wèn)題分析結(jié)果展示如何從IT數(shù)據(jù)中獲得洞察？多維數(shù)據(jù)場(chǎng)景展示篇面向場(chǎng)景的多維數(shù)據(jù)分析和可視化場(chǎng)景化

15、和可視化封裝什么人什么時(shí)間什么問(wèn)題如何處理面向不同場(chǎng)景的多維儀表盤面向不同場(chǎng)景的多維指標(biāo)告警面向不同人員的場(chǎng)景可視化示例OneAPM智能運(yùn)維平臺(tái)解決方案的特點(diǎn)10億+條事件分析，單服務(wù)器處理時(shí)間小于10秒快85%數(shù)據(jù)存儲(chǔ)壓縮比，每秒處理十萬(wàn)條記錄，僅需一臺(tái)4核普通配置虛擬機(jī)低多指標(biāo)聯(lián)動(dòng)分析，針對(duì)不同人員的場(chǎng)景可視化展現(xiàn)炫全棧、全量數(shù)據(jù)采集，覆蓋所有IT數(shù)據(jù)全無(wú)需外部專用數(shù)據(jù)庫(kù)，數(shù)據(jù)存儲(chǔ)沒(méi)有時(shí)間限制無(wú)TCO，行業(yè)中最低總體擁有成本廉10分鐘輔助根因分析，提升排障效率準(zhǔn)自研大數(shù)據(jù)分布式計(jì)算框架、機(jī)器學(xué)習(xí)算法智All IT Data，One Analytics Platform，More Intelligence議題1 從人工到人工智能3 邁出AIOps的第一步2 用人工智能點(diǎn)亮您的IT數(shù)據(jù)如果您認(rèn)同以下問(wèn)題，那么AIOps將非常適合您 您已在使用一些運(yùn)維工具，但它們分散獨(dú)立，您總是需要在不同工具間來(lái)回操作 您期望在更短的時(shí)間（如，30分鐘）內(nèi)定位故障發(fā)生根因 您期望擁有自己的工作臺(tái)，將職責(zé)范圍內(nèi)的信息聚焦在一個(gè)界面 您總被不準(zhǔn)確的告警信息所干擾，急切希望提升告警的準(zhǔn)確度 您覺(jué)得您的應(yīng)用系統(tǒng)存在優(yōu)化空間，卻找不到優(yōu)化的切入點(diǎn) 您期望在故障發(fā)生前盡早發(fā)現(xiàn)系統(tǒng)潛在問(wèn)題 您期望能靈活的生成工作報(bào)表，并通過(guò)炫酷的大屏幕展示IT運(yùn)維成果 您期望