天眼數(shù)字化應用實時監(jiān)控解決方案

業(yè)務架構師天眼-數(shù)字化應用實時監(jiān)控解決方案目錄CONTENTS1建設背景思路2平臺整體概述3核心功能介紹建設背景思路01問題挑戰(zhàn)、體系支撐建設背景為打破各應用系統(tǒng)監(jiān)控告警能力不足、工具重復建設、故障定位困難的現(xiàn)狀，提供統(tǒng)一的全層級、立體化的監(jiān)控工具支撐解決方案監(jiān)控覆蓋多層級監(jiān)控覆蓋難多層級數(shù)據(jù)共享難多層級監(jiān)控聯(lián)動難架構演進前后端分離監(jiān)控微服務拓撲復雜中臺架構定位難監(jiān)控告警告警渠道不統(tǒng)一告警處理不及時告警處理不閉環(huán)運維生態(tài)運維工具分散工具重復建設分層運維割裂問題挑戰(zhàn)SRE體系支撐為客戶提供端到端工具覆蓋，全流程閉環(huán)貫通的數(shù)字化應用實時監(jiān)控解決方案，提高運維效率，降低運維成本，提升用戶感知故障發(fā)現(xiàn)監(jiān)控告警常規(guī)巡檢用戶反饋輿情感知智能預測故障定位日志分析監(jiān)控分析鏈路跟蹤變更追蹤根因定位故障恢復容災切換服務降級熔斷限流作業(yè)處理故障自愈建設/演練/OnCall復盤/改進/OnCall應急響應Pre-MTBFMTBF故障預防災備演練應急預案容量評估變更管理健康檢查Post-MTBFMTBF故障改進故障復盤改進驗收容量壓測故障模擬混沌工程MTTI MTTK MTTF MTTVMTTR故障驗證告警恢復業(yè)務驗證接口驗證驗證反饋業(yè)務統(tǒng)計平臺整體概述02功能方案、技術架構監(jiān)控指標微服務監(jiān)控三大核心融合貫通：基于Metrics的告警發(fā)現(xiàn)異常，通過Tracing定位問題模塊，根據(jù)模塊具體的Logging定位到錯誤根源MetricsTracingLogging天眼請求范圍內(nèi)的拓撲追蹤系統(tǒng)各維度的度量指標記錄處理的離散事件信息監(jiān)控層級天眼應用實時監(jiān)控提供IaaS、PaaS、SaaS全層級監(jiān)控能力，用戶可快速實現(xiàn)監(jiān)控接入，告警事件閉環(huán)管理，為系統(tǒng)日常生產(chǎn)運行提供保障調用量、響應時間、TPS服務KONG、LB、MQ等中間件RDS、ES、REIDS等數(shù)據(jù)庫CPU、內(nèi)存容器CPU、內(nèi)存、磁盤、IO主機域名流量、機房流量網(wǎng)絡用戶發(fā)展量、工單積壓量業(yè)務天眼指標體系分類基礎資源通用組件服務應用業(yè)務監(jiān)控全流程調用鏈智能監(jiān)控告警平臺APP性能監(jiān)控瀏覽器監(jiān)控自動化巡檢全層級監(jiān)控前端觸點日志中心&業(yè)務數(shù)據(jù)技術架構Marathon微前端用戶中心權限中心……Marathon

A(租戶1)告警中心Marathon

B

(租戶2)配置中心Marathon

C

(租戶3)數(shù)據(jù)存儲數(shù)據(jù)采集PrometheusFilebeatPinpointSDK天宮資源池Apache

Mesos天梯JSAgent數(shù)據(jù)處理KafkaFlinkMysqlRedisClickHouseElasticSearchHbase核心功能介紹03生產(chǎn)運營工作臺、應用實時監(jiān)控天眼-生產(chǎn)運營工作臺統(tǒng)一生產(chǎn)運營入口，運維工具一點使用，PC+移動多終端處理，工具共建、能力共享、協(xié)同研發(fā)，實現(xiàn)“平臺+應用”快速能力交付，構建“企業(yè)運維生態(tài)”統(tǒng)一規(guī)劃統(tǒng)一架構統(tǒng)一風格統(tǒng)一登錄統(tǒng)一權限統(tǒng)一能力生產(chǎn)運營工作臺-技術架構客戶端單點登錄主應用工作臺首頁子應用網(wǎng)關層網(wǎng)關代理認證鑒權控制限流天眼-應用實時監(jiān)控-智能監(jiān)控告警平臺提供IaaS、PaaS、SaaS全層級監(jiān)控能力，支持全流程可視化配置，具備多樣化告警通知方式，實現(xiàn)告警工單閉環(huán)管理采集管理：標準組件采集、私有倉庫接入、自定義指標采集監(jiān)控配置：告警規(guī)則、收斂條件、告警內(nèi)容靜默管理：支持全量、監(jiān)控點、監(jiān)控實例多維度靜默告警處理：雙終端工單處理、工單閉環(huán)管理告警大屏：系統(tǒng)監(jiān)控告警全景圖、告警工單處理進度告警詳情：租戶采集任務、監(jiān)控實例、告警分析智能監(jiān)控告警平臺-技術架構埋點采集層ExporterExporterExporterExporter數(shù)據(jù)采集Prometheus聯(lián)邦指標數(shù)據(jù)數(shù)據(jù)存儲層指標數(shù)據(jù)Prometheus時序數(shù)據(jù)InfluxDb關系數(shù)據(jù)MySQL數(shù)據(jù)服務層 網(wǎng)關層OpenAPI告警靜默配置

租戶數(shù)據(jù)關系Etcd MongoDBWeb網(wǎng)關配置版本管理 告警收斂Gitlab AlertManager 外部接口觸點層展現(xiàn)告警天眼生產(chǎn)運營工作臺統(tǒng)一門戶 租戶隔離 數(shù)據(jù)安全 智能配置天眼-應用實時監(jiān)控-全流程調用鏈可視化頁面自由配置，萬級微服務自動拓撲，根因服務定位一目了然服務拓撲故障拓撲天眼-應用實時監(jiān)控-全流程調用鏈百億級指標采集處理，黃金指標：調用量、響應時間、成功率服務調用趨勢、報錯分類、根因服務、根因接口、JVM、GC指標數(shù)據(jù)根因分析天眼-應用實時監(jiān)控-瀏覽器監(jiān)控前端性能實時呈現(xiàn)，客戶感知精準展現(xiàn)，故障異常及時發(fā)現(xiàn)頁面性能分析頁面彈窗分析js錯誤分析ajax分析天眼-應用實時監(jiān)控-瀏覽器監(jiān)控跟蹤真實用戶行為，用戶軌跡實時追蹤，多維度統(tǒng)計對比分析對比分析用戶軌跡調用鏈&瀏覽器-技術架構接入處理層消息隊列Kafka數(shù)據(jù)處理Flink存儲服務層 網(wǎng)關層OpenAPI關系數(shù)據(jù) 緩存數(shù)據(jù)MySQL RedisWeb網(wǎng)關圖形數(shù)據(jù) 指標數(shù)據(jù)