黃泳：全鏈路監(jiān)控在嘉銀科技的落地實(shí)踐

分享人:黃泳GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站02嘉銀告警管理03嘉銀智能可觀測(cè)實(shí)踐04未來展望GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站GOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站嘉銀科技基礎(chǔ)設(shè)施概覽GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站嘉銀復(fù)雜業(yè)務(wù)下的監(jiān)控告警挑戰(zhàn)GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站告警數(shù)據(jù)清洗、降噪告警數(shù)據(jù)清洗、降噪GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站基于VictoriaMetrics的Prometheus集群架構(gòu)A機(jī)房VmalertVmalertVmalertVmalertAlertmanagerAlertmanagerAlertmanagerAlertmanagerGrafanaAPIGrafanaAPIGOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站GOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站嘉銀監(jiān)控告警流程監(jiān)控告警全生命周期管理監(jiān)控告警全生命周期管理GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站嘉銀統(tǒng)一監(jiān)控告警平臺(tái)建設(shè)GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站嘉銀四層監(jiān)控體系建設(shè)依賴關(guān)系依賴關(guān)系GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站告警過多的問題怎么解?GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站聯(lián)動(dòng)CMDB識(shí)別告警資源DDGOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站告警降噪流程設(shè)計(jì) 否否否GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站GOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站全面的數(shù)據(jù)決定智能化的起點(diǎn)GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站優(yōu)質(zhì)的數(shù)據(jù)決定智能化的高度一站式全棧覆蓋異構(gòu)可觀測(cè)數(shù)據(jù)源應(yīng)用監(jiān)控?cái)?shù)據(jù)庫(kù)監(jiān)控一站式全棧覆蓋異構(gòu)可觀測(cè)數(shù)據(jù)源應(yīng)用監(jiān)控?cái)?shù)據(jù)庫(kù)監(jiān)控控控AIOPSAIOPSGOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站建設(shè)統(tǒng)一監(jiān)控指標(biāo)數(shù)據(jù)底座,夯實(shí)多場(chǎng)景的數(shù)據(jù)支撐能力GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站智能化可觀測(cè)場(chǎng)景落地三板斧GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站先知——洞察之眼分析數(shù)智化AI通過性能指標(biāo)和告警數(shù)據(jù)根據(jù)評(píng)價(jià)算法對(duì)業(yè)務(wù)健康度進(jìn)行GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站先知——挑戰(zhàn):沒有放之四海而皆準(zhǔn)的檢測(cè)算法–環(huán)比：對(duì)比值的變化率?單點(diǎn)比較：xj?xj—1>threshold?突增：xj>過去同一周期時(shí)刻的值*max_threshold?突降：xj<過去同一周期時(shí)刻的值*min_thresholdGOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站先知——趨勢(shì)預(yù)測(cè)案例拿GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站先知——智能巡檢ARIMAARIMAGOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站先知——智能巡檢系統(tǒng)案例GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站先決——挑戰(zhàn):如何快速實(shí)現(xiàn)根因分析?51512436GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站先決——根因分析定位常見方案主要面向指標(biāo)異動(dòng)場(chǎng)景，首先監(jiān)控整體的指標(biāo)，合?根因?qū)傩越M合不是根因，需要經(jīng)過人工分析，才能基于調(diào)用軌跡的根因組件定位：當(dāng)監(jiān)控到系統(tǒng)發(fā)生故性能下降和失效）時(shí)，通過調(diào)用軌跡數(shù)據(jù)，找到大量?為大量組件進(jìn)行因果挖掘存在復(fù)雜度和準(zhǔn)確性兩方基于知識(shí)圖譜和專家規(guī)則，提取離散異常事件后，基GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站先決——故障根因分析流程以嘉銀內(nèi)部的SREOncall相應(yīng)處理故障過程為例，人工經(jīng)驗(yàn)與自動(dòng)化路線，雙向賦能，既保證AI在落地過程中的安全生成故障復(fù)盤報(bào)告,故障事件生成故障復(fù)盤報(bào)告,故障事件，故障現(xiàn)象，故障故障診斷Agent根據(jù)告警事件，告警資源自動(dòng)生成故障診斷事件流，輔助工程GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站先決——故障根因分析案例適用場(chǎng)景：基于智能巡檢，故障診斷平臺(tái)，且監(jiān)控觀測(cè)數(shù)據(jù)接入完善的中低復(fù)GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站先行——故障自愈流程設(shè)計(jì)發(fā)布平臺(tái)自動(dòng)化變更ssGOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站先行——故障自愈案例(自治+推薦)GOGOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站GOPS全球運(yùn)維大會(huì)暨XOps技術(shù)創(chuàng)新峰會(huì)2024·北京站未來展望GOGOPS全球