智能化運(yùn)維之IT系統(tǒng)統(tǒng)一監(jiān)控預(yù)研報(bào)告

1、IT系統(tǒng)統(tǒng)一監(jiān)控預(yù)研報(bào)告IT系統(tǒng)統(tǒng)監(jiān)控預(yù)研報(bào)告錯(cuò)誤!未走義書(shū)簽。1引言錯(cuò)誤!未走義書(shū)簽。平臺(tái)建設(shè)的目標(biāo)2錯(cuò)誤!未走義書(shū)簽。建立健全企業(yè)IT運(yùn)行監(jiān)測(cè)指標(biāo)體系錯(cuò)誤!未走義書(shū)簽。完善公司業(yè)務(wù)監(jiān)測(cè)指標(biāo)體系，保障業(yè)務(wù)連續(xù)性錯(cuò)誤!未走義書(shū)簽。管理業(yè)務(wù)系統(tǒng)容量錯(cuò)誤!未走義書(shū)簽。平臺(tái)架構(gòu) 錯(cuò)誤!未走義書(shū)簽。33. 1平臺(tái)技術(shù)架構(gòu)錯(cuò)誤!未走義書(shū)簽。采集層錯(cuò)誤!未走義書(shū)簽。處理層錯(cuò)誤!未走義書(shū)簽。展現(xiàn)層錯(cuò)誤!未走義書(shū)簽。3. 2平臺(tái)功能架構(gòu)錯(cuò)誤!未走義書(shū)簽。4對(duì)新核心系統(tǒng)建設(shè)的要求錯(cuò)誤!未走義書(shū)簽。4. 1規(guī)范系統(tǒng)日志輸出錯(cuò)誤!未走義書(shū)簽。4. 3捉供服務(wù)持續(xù)可用性監(jiān)控方法錯(cuò)誤!未走義書(shū)簽。5結(jié)論錯(cuò)誤!未走義書(shū)簽

2、。引言1服務(wù)用戶對(duì)象的日益增隨著信息系統(tǒng)規(guī)模持續(xù)擴(kuò)大，業(yè)務(wù)應(yīng)用的不斷增加，IT 運(yùn)維管理人員逐漸面臨著三大難題：多，運(yùn)維監(jiān)，導(dǎo)致位于一線的IT(1)設(shè)備 和業(yè)務(wù)種類(lèi)繁多，各類(lèi)資料信息分散且故障發(fā)生后缺乏對(duì)信息系，控人員感知故 障的速度晚于信息系統(tǒng)的使用用戶的匱乏故障數(shù)據(jù)而后臺(tái)管理人員也往往因?yàn)?信息系統(tǒng)性能數(shù)據(jù)和統(tǒng)的整體把控；而缺少對(duì)系統(tǒng)運(yùn)行健康度的了解。對(duì)于大 批最，部署范用廣泛，設(shè)備繁朵核心機(jī)房可能分布于多個(gè)地點(diǎn)(2),不能制定統(tǒng) 一的故應(yīng)用系統(tǒng)沒(méi)有一個(gè)統(tǒng)一的監(jiān)控平臺(tái)，網(wǎng)絡(luò)設(shè)備、主機(jī)服務(wù)器、:障預(yù)警 管理策略，故障預(yù)警效率低，業(yè)務(wù)恢復(fù)時(shí)間慢只能被，(3)對(duì)關(guān)鍵核心業(yè)務(wù)系 統(tǒng)的運(yùn)行健康程度缺

3、乏評(píng)估手段和預(yù)警措施動(dòng)等待問(wèn)題發(fā)生，無(wú)法提前采取技 術(shù)手段和管理手段規(guī)避問(wèn)題。在此背景下，總分公司一線運(yùn)維人員數(shù)量多但是經(jīng) 驗(yàn)不足，后臺(tái)運(yùn)維工程師經(jīng)驗(yàn)豐富但是數(shù)量少，這些矛盾促使我司在新系統(tǒng)建設(shè) 時(shí)需同步建設(shè)一套一體化的IT運(yùn)維監(jiān)控和服務(wù)預(yù)警平臺(tái)，協(xié)助以自動(dòng)化的手段 完成信息系統(tǒng)的監(jiān)測(cè)和維護(hù)2平臺(tái)建設(shè)的目標(biāo)2. 1建立健全企業(yè)IT運(yùn)行監(jiān)測(cè)指標(biāo)體系首先，平臺(tái)的主要U標(biāo)是加大對(duì)公司內(nèi)部各遺留及專(zhuān)有監(jiān)控系統(tǒng)的整合力度，提 高IT運(yùn)控中心對(duì)公司內(nèi)其他分支機(jī)構(gòu)IT系統(tǒng)管理、檢測(cè)和把控能力，建立并完 善IT系統(tǒng)監(jiān)控.IT運(yùn)行事件響應(yīng)、IT系統(tǒng)故障處理、IT健康度報(bào)告、IT運(yùn)行 問(wèn)題跟蹤和反饋機(jī)制，引人自動(dòng)

4、化IT運(yùn)維管理工具，從而在公司內(nèi)部建立健全 運(yùn)行管理控制能力，實(shí)現(xiàn)IT健康度和業(yè)務(wù)連續(xù)性治理。在此基礎(chǔ)上，進(jìn)一步優(yōu)化監(jiān)控策略，實(shí)現(xiàn)對(duì)設(shè)備及服務(wù)項(xiàng)全面、細(xì)粒度的監(jiān)測(cè)， 預(yù)警和管理，主要包含以下方面：1)打造多平臺(tái)環(huán)境下安全穩(wěn)定髙效的檢測(cè)代理及檢測(cè)匸具；()在實(shí)現(xiàn)對(duì)各類(lèi) 業(yè)務(wù)系統(tǒng)、硬件和網(wǎng)絡(luò)設(shè)備、機(jī)房環(huán)境等實(shí)時(shí)檢測(cè)的基(2完善對(duì)新核心系統(tǒng)的 全流程監(jiān)控，根據(jù)性能數(shù)據(jù)進(jìn)行預(yù)警，并將性能數(shù)礎(chǔ)上，據(jù)和故障數(shù)據(jù)引入事 件管理平臺(tái)進(jìn)行后續(xù)治理，以可視化的方式向運(yùn)維人員提IT服務(wù)健康狀況視圖; 供一覽式的構(gòu)建集成監(jiān)控平臺(tái)，對(duì)平臺(tái)的檢測(cè)插件.檢測(cè)機(jī)制、預(yù)警算法.視 圖3)(便于后臺(tái)管理人員直觀地實(shí)現(xiàn)大屏集中式告

5、警，展現(xiàn)等監(jiān)控資源進(jìn)行統(tǒng) 一管理，結(jié)合知識(shí)庫(kù)通過(guò)視圖的靈活組合可以快速定位故障點(diǎn)，看到系統(tǒng)整體健 康程度；縮短處理時(shí)間。服務(wù)需求動(dòng)態(tài)IT因此，IT運(yùn)維自動(dòng)化是一組將靜態(tài) 的設(shè)備結(jié)構(gòu)轉(zhuǎn)化為根據(jù)IT彈性響應(yīng)的策略，LI的就是實(shí)現(xiàn)運(yùn)維的質(zhì)量，降低成 本。完善公司業(yè)務(wù)監(jiān)測(cè)指標(biāo)體系，保障業(yè)務(wù)連續(xù)性2.2技術(shù)已經(jīng)從業(yè)務(wù)支持逐步走向與業(yè)務(wù)的融合，IT隨著公司信息化的發(fā)展，部門(mén) 的IT并成為公司穩(wěn)健運(yùn)營(yíng)和發(fā)展的支柱。公司內(nèi)部很多業(yè)務(wù)流程都已經(jīng)在支持 下實(shí)現(xiàn)了流程的再造和優(yōu)化，提煉并制定了相應(yīng)的流程圖、流程文件及流程運(yùn)作 機(jī)制。但是U前我們對(duì)于公司內(nèi)部業(yè)務(wù)風(fēng)險(xiǎn)的管控尚處在初步階段。各類(lèi)業(yè)務(wù)流 程依然面臨著來(lái)自內(nèi)

6、部和外部的各種業(yè)務(wù)風(fēng)險(xiǎn)。例如內(nèi)部業(yè)務(wù)風(fēng)險(xiǎn)主要來(lái)自于員 匸和服務(wù)商對(duì)信息系統(tǒng)的不申應(yīng)用，如非授權(quán)操作或誤操作：外部業(yè)務(wù)風(fēng)險(xiǎn)主要 來(lái)自于外部的不安全事件，如黑客攻擊、機(jī)房環(huán)境變化等。對(duì)應(yīng)用系統(tǒng)進(jìn)行業(yè)務(wù) 監(jiān)控，能夠及時(shí)識(shí)別業(yè)務(wù)風(fēng)險(xiǎn)，有效進(jìn)行相應(yīng)的主動(dòng)規(guī)避操作，避免造成損失。 2.3管理業(yè)務(wù)系統(tǒng)容量通過(guò)業(yè)務(wù)監(jiān)控平臺(tái)可以密切監(jiān)控業(yè)務(wù)系統(tǒng)性能，包括系統(tǒng)的業(yè)務(wù)處理量、處理性 能、各資源使用狀況等，通過(guò)對(duì)系統(tǒng)資源瓶頸的分析，可以降低或提高業(yè)務(wù) 系 統(tǒng)容量；平臺(tái)架構(gòu) 3 1平臺(tái)技術(shù)架構(gòu)3.設(shè)運(yùn)維平臺(tái)能夠?qū)Ω黝?lèi)訃算機(jī)設(shè)備、網(wǎng)絡(luò)設(shè)備、安全產(chǎn)品、應(yīng)用系統(tǒng)等IT全面 集中的統(tǒng)一管進(jìn)行集中監(jiān)控，對(duì)各類(lèi)設(shè)備進(jìn)行備運(yùn)行狀況和

7、各種網(wǎng)上行為自動(dòng)形 成“工單S自動(dòng)理，及時(shí)發(fā)現(xiàn)各類(lèi)異常情況、快速定位各類(lèi)事件故障并山系統(tǒng) 按預(yù)定流程規(guī)則進(jìn)行自動(dòng)化處理或人工處，再山調(diào)度系統(tǒng)進(jìn)行分派，分派山手動(dòng) 處理變成自動(dòng)處使運(yùn)維工作山被動(dòng)變主動(dòng)，。理的運(yùn)維業(yè)務(wù)信息管理系統(tǒng)如下圖 所示：理，并大大降低了運(yùn)維人員的工作強(qiáng)度，具備良好的延展性，如上圖所示，一體化運(yùn)維監(jiān)控平臺(tái)的系統(tǒng)整體框架山下及上劃分為3層數(shù)據(jù)采集 息（采集層）、數(shù)據(jù)處理層（處理層）和數(shù)據(jù)使用層（展現(xiàn)層）。此外，通過(guò)平臺(tái)的 管理控制臺(tái)，在各個(gè)層面都能夠?qū)ζ脚_(tái)進(jìn)行全方位的配置管理。3. 1. 1采集層采集層主要負(fù)責(zé)采集信息系統(tǒng)的性能數(shù)據(jù)和故障數(shù)據(jù)，通過(guò)在信息系統(tǒng)服務(wù)器上 部署Age

8、nt,或者通過(guò)SNMP協(xié)議采集等多種方式與外禺系統(tǒng)對(duì)接，獲取所述基礎(chǔ) 數(shù)據(jù)。采集層被動(dòng)地接收平臺(tái)服務(wù)器發(fā)岀的采集指令，執(zhí)行相關(guān)的信息采集 插 件，將采集到的數(shù)據(jù)放人隊(duì)列和數(shù)據(jù)庫(kù)中，便于后續(xù)的分析和數(shù)據(jù)挖掘。.處理層3. 1. 2靈活定制相應(yīng)的運(yùn)維管理需要，數(shù)據(jù)處理層根拯不同監(jiān)控對(duì)象的自身特點(diǎn)和訃算 方法、，性能指標(biāo)集，定義所述性能指標(biāo)集中每個(gè)指標(biāo)的監(jiān)測(cè)范圍、數(shù)據(jù)來(lái)源， 進(jìn)行監(jiān)測(cè)、分析和確定系實(shí)時(shí)和歷史性能圖表預(yù)警閾值、測(cè)量頻度參數(shù)，通過(guò)統(tǒng) 性能瓶頸，若超過(guò)預(yù)警閾值的狀況，自動(dòng)建立事件，并通知運(yùn)維人員，山調(diào)度 系 統(tǒng)進(jìn)行指派，山運(yùn)維人員手動(dòng)處理或按照流程規(guī)則山自動(dòng)化運(yùn)維匸具處理。展現(xiàn)層3. 1.

9、 3三個(gè)部分。檢測(cè)數(shù)據(jù)査詢、系統(tǒng)健康度巡檢報(bào)表、展現(xiàn)層分信息系統(tǒng)全局視圖系 統(tǒng)管理員可以分析系統(tǒng)利用巡檢報(bào)表，監(jiān)視告警情況，全局視圖可以展現(xiàn)實(shí)時(shí)性 能狀況，并記錄進(jìn)事件管理平臺(tái)。上述綜合展示通過(guò)業(yè)務(wù)視圖、邏輯拓?fù)?、重運(yùn) 維管理工作所關(guān)注的內(nèi)容有序、實(shí)時(shí)、全告警統(tǒng)計(jì)各個(gè)不同視圖，將要設(shè)備、面 地呈現(xiàn)出信息系統(tǒng)資源和業(yè)務(wù)系統(tǒng)的整體運(yùn)行狀況。2平臺(tái)功能架構(gòu)3. 體化it運(yùn)維監(jiān)控模型基于松耦合體系架構(gòu)，采取靈活模塊化組裝、云計(jì) 算靈活部署結(jié)構(gòu)，實(shí)現(xiàn)“監(jiān)控、管理、管控”三個(gè)方面協(xié)同處理過(guò)程，其功能架 構(gòu)如下：統(tǒng)一訪問(wèn)門(mén)戶通過(guò)一次登錄，即可對(duì)所有的平臺(tái)功能進(jìn)行操作，針對(duì)不 同的登錄用戶，可以提供專(zhuān)門(mén)的個(gè)人

10、桌面和輔助工具。監(jiān)測(cè)臺(tái)可以定義服務(wù)視圖，將性能，流量，報(bào)表，拓?fù)涞认到y(tǒng)管理所關(guān)心的信 息在不同樣式的視圖上集中體現(xiàn)出來(lái)。，對(duì)運(yùn)維的主要工作進(jìn)行規(guī)范化的管理運(yùn) 行服務(wù)平臺(tái)以IT管理流程為核心，并實(shí)現(xiàn)設(shè)備維修、值班的管理。統(tǒng)一事件管理平臺(tái)能夠提供統(tǒng)一的企業(yè)級(jí)網(wǎng)絡(luò)事件管理。通過(guò)從各種網(wǎng)絡(luò)設(shè)備和 管理平臺(tái)收集網(wǎng)絡(luò)事件信息，并進(jìn)行必要的分析和自動(dòng)化處理工作。集成數(shù)據(jù)網(wǎng)管系統(tǒng)，提供數(shù)據(jù)網(wǎng)管標(biāo)準(zhǔn)接口以供信息交互，完成事件的統(tǒng)一管理, 使網(wǎng)絡(luò)和系統(tǒng)中的各種資源得到更加高效的利用和綜合管理。接收來(lái)自防火墻、人侵檢測(cè)、端口掃描等安全系統(tǒng)的告警，并將這些告警實(shí)時(shí)呈 現(xiàn)給信息網(wǎng)絡(luò)安全部門(mén)，以采取進(jìn)一步的響應(yīng)動(dòng)作，保障

11、網(wǎng)絡(luò)系統(tǒng)的正常運(yùn)行,并對(duì)網(wǎng)絡(luò)流量進(jìn)行監(jiān)聽(tīng)和分析。4對(duì)新核心系統(tǒng)建設(shè)的要求4. 1規(guī)范系統(tǒng)日志輸岀目前核心業(yè)務(wù)系統(tǒng)的日志輸岀沒(méi)有統(tǒng)一的規(guī)范，有些日志采用log4j進(jìn)行輸出， 有些直接在系統(tǒng)中采用在文件中進(jìn)行輸岀，給運(yùn)維監(jiān)控分析排查問(wèn)題帶來(lái)較. 大的困難，建議在新系統(tǒng)的建設(shè)過(guò)程中，統(tǒng)一規(guī)范日志的輸出：(1) 規(guī)范日志信息級(jí)別日志信息輸岀的優(yōu)先級(jí)從高到低至少應(yīng)分為五檔，分別是Fatal. ERROR. WARN、 INFO. DEBUGo這些級(jí)別用來(lái)指定這條日志信息的重要程度。在測(cè)試階段可以打 開(kāi)所有級(jí)別的日志，系統(tǒng)上線后只允許輸出INFO以上級(jí)別(含INF0)o 各級(jí)別的日志信息作用如下：致命(F

12、atal)嚴(yán)重的錯(cuò)誤，系統(tǒng)無(wú)法正常運(yùn)行，如硬盤(pán)空間滿等。這個(gè)級(jí) 別很少被用，常暗含系統(tǒng)或者系統(tǒng)的組件迫近崩潰。錯(cuò)誤(Error)系統(tǒng)可以繼續(xù)運(yùn)行，但最好要盡快修復(fù)的錯(cuò)誤。這個(gè)級(jí)別用 的較多，常常伴隨Java異常，錯(cuò)誤(Error)的環(huán)境不一定會(huì)造成系統(tǒng)的崩潰，系 統(tǒng)可以繼續(xù)服務(wù)接下來(lái)的請(qǐng)求。警告(Warn)系統(tǒng)可以正常運(yùn)行，但需要引起注意的警告信息。這個(gè)級(jí)別預(yù) 示較小的問(wèn)題，山系統(tǒng)外部的因素造成的，比如用戶輸入了不符合條件的參數(shù)。 信息(Info)系統(tǒng)運(yùn)行的主要關(guān)鍵時(shí)點(diǎn)的操作信息，一般用于記錄業(yè)務(wù)日志。 但同時(shí)，也應(yīng)該有足夠的信息以保證可以記錄再現(xiàn)缺陷的路徑。這個(gè)級(jí)別記錄了 系統(tǒng)日常運(yùn)轉(zhuǎn)中有意

13、義的事件。調(diào)試(Debug)系統(tǒng)運(yùn)行中的調(diào)試信息，便于開(kāi)發(fā)人員進(jìn)行錯(cuò)誤分析和修正， 一般用于程序日志，關(guān)心程序操作(細(xì)粒度)，不太關(guān)心業(yè)務(wù)操作(粗粒度)。系統(tǒng) 出現(xiàn)問(wèn)題時(shí)，必須拋出異常，在處理異常時(shí)記錄日志，且日志級(jí)別必須是前三個(gè) 級(jí)別(FatalErrorWarning)中的一種。(2) 日志中除包含錯(cuò)誤信息外，還需包含如下信息：a) Web應(yīng)用系統(tǒng)發(fā)生異常時(shí)，日志信息中需包含，系統(tǒng)操作用戶的信息，發(fā)生 異常時(shí)的業(yè)務(wù)數(shù)據(jù)、系統(tǒng)功能、程序代碼信息及完整的SQL語(yǔ)句；b) 接口類(lèi)服務(wù)發(fā)生異常時(shí)，日志信息中需包含，接口調(diào)用的URL,調(diào)用端和被 調(diào)用端的實(shí)地址，交互報(bào)文，報(bào)文的檢查結(jié)果，接口響應(yīng)時(shí)常

14、；在日志中，記錄關(guān)鍵程序和數(shù)據(jù)庫(kù)交易的處理時(shí)長(zhǎng)，并根據(jù)事先預(yù)定c).的閾值，在日志中以醒U的方式完整的顯示超過(guò)閾值的程序代碼的方法名或SQL 語(yǔ)句，以便運(yùn)維監(jiān)控人員分析，排查性能隱患。4. 2預(yù)留應(yīng)用系統(tǒng)監(jiān)控接口，便于監(jiān)控系統(tǒng)釆集相關(guān)指標(biāo)在核心的建設(shè)過(guò)程中，需預(yù)留監(jiān)控接口，應(yīng)用監(jiān)控系統(tǒng)通過(guò)調(diào)用核心系統(tǒng)的 監(jiān)控接口，來(lái)采集包括但不限于以下指標(biāo)：a)從web頁(yè)面對(duì)應(yīng)用程序功能進(jìn)行語(yǔ)義監(jiān)控，比如“頁(yè)面加載錯(cuò)誤”、uError500n n Error404 n；b）對(duì)用戶訪問(wèn)質(zhì)量的監(jiān)控，頁(yè)面加載時(shí)常；C）對(duì)程序主邏輯進(jìn)行監(jiān)控，判斷主邏輯是否正常；d）如果主邏輯正常，則對(duì)程序自身占用資源的合理性、程序的

15、性能、和程序的 分支功能進(jìn)行判斷；e）另外對(duì)程序占用的資源情況進(jìn)行監(jiān)控:CPU資源的占用，內(nèi)存資源的占用，文件句柄的使用情況，網(wǎng)絡(luò)句柄的使用情況，文件狀態(tài)的進(jìn)程數(shù)：f）服務(wù)的監(jiān)控指標(biāo)，數(shù)據(jù)加載的情況，模塊的處理能力（平均耗時(shí)，隊(duì)列長(zhǎng)度， 線程池的使用率），模塊間通訊的狀態(tài)（平均連接時(shí)間，讀、寫(xiě)錯(cuò)誤數(shù)），模塊運(yùn) 行時(shí)間；g）系統(tǒng)用戶的操作習(xí)慣，完成功能模塊操作的時(shí)長(zhǎng)；4. 3提供服務(wù)持續(xù)可用性監(jiān)控方法服務(wù)化是應(yīng)用系統(tǒng)發(fā)展的方向，但服務(wù)的監(jiān)控及問(wèn)題的排查，一直困擾運(yùn)維人員， 尤其是多層服務(wù)之間調(diào)用問(wèn)題的排查是相當(dāng)困難的（例如：服務(wù)調(diào)用 A-B-C-D,最終結(jié)果依次返回D-C-B-A,中間任何環(huán)節(jié)出現(xiàn)問(wèn)題，結(jié)果都 返回不到A）。建議在新系統(tǒng)的建設(shè)過(guò)程中考慮提供服務(wù)的自測(cè)丄具和監(jiān)控方法， 服務(wù)的自測(cè)工具以便讓運(yùn)維人員進(jìn)行手動(dòng)的排查問(wèn)題；監(jiān)控方法，主要是將系 統(tǒng)服務(wù)的監(jiān)控納入