智能化運(yùn)維之IT系統(tǒng)統(tǒng)一監(jiān)控預(yù)研報(bào)告

IT監(jiān)控預(yù)研報(bào)告1引言管理人員逐漸面臨著三大難題：1設(shè)備和業(yè)務(wù)種類(lèi)繁多,各類(lèi)資料信息分散,導(dǎo)致位于一線的IT運(yùn)維監(jiān)控人員感知故理人員也往往因?yàn)樾畔⑾到y(tǒng)性能數(shù)據(jù)和故障數(shù)據(jù)的匱乏而缺少對(duì)系統(tǒng)運(yùn)行健康度的了解;2核心機(jī)房可能分布于多個(gè)地點(diǎn),部署范圍廣泛,設(shè)備繁雜,對(duì)于大批最網(wǎng)絡(luò)設(shè)備、主率低,業(yè)務(wù)恢復(fù)時(shí)間慢；3對(duì)關(guān)鍵核心業(yè)務(wù)系統(tǒng)的運(yùn)行健康程度缺乏評(píng)估手段和預(yù)警措施,只能被動(dòng)等待問(wèn)題發(fā)生,無(wú)法提前采取技術(shù)手段和管理手段規(guī)避問(wèn)題;公司一線運(yùn)維人員數(shù)量多但是經(jīng)驗(yàn)不足,后臺(tái)運(yùn)維工程師經(jīng)驗(yàn)豐富但是數(shù)量少,這些矛盾促使我司在新系統(tǒng)建設(shè)時(shí)需同步建設(shè)一套一體化的IT運(yùn)維監(jiān)控和服務(wù)預(yù)警平臺(tái),協(xié)助以自動(dòng)化的手段完成信息系統(tǒng)的監(jiān)測(cè)和維護(hù);2平臺(tái)建設(shè)的目標(biāo)2.1建立健全企業(yè)IT運(yùn)行監(jiān)測(cè)指標(biāo)體系首先,平臺(tái)的主要目標(biāo)是加大對(duì)公司內(nèi)部各遺留及專(zhuān)有監(jiān)控系統(tǒng)的整合力度,提高ITITIT健康度和業(yè)務(wù)連續(xù)性治理;理,主要包含以下方面：上,完善對(duì)新核心系統(tǒng)的全流程監(jiān)控,根據(jù)性能數(shù)據(jù)進(jìn)行預(yù)警,并將性能數(shù)據(jù)和故障數(shù)據(jù)引入事件管理平臺(tái)進(jìn)行后續(xù)治理,以可視化的方式向運(yùn)維人員提供一覽式的IT服務(wù)健康狀況視圖；3構(gòu)建集成監(jiān)控平臺(tái),對(duì)平臺(tái)的檢測(cè)插件、檢測(cè)機(jī)制、預(yù)警算法、視圖展現(xiàn)等監(jiān)控資源進(jìn)行統(tǒng)一管理,實(shí)現(xiàn)大屏集中式告警,便于后臺(tái)管理人員直觀地看到系統(tǒng)整體健康程度；通過(guò)視圖的靈活組合可以快速定位故障點(diǎn),結(jié)合知識(shí)庫(kù)縮短處理時(shí)間;IT2.2完善公司業(yè)務(wù)監(jiān)測(cè)指標(biāo)體系,保障業(yè)務(wù)連續(xù)性IT實(shí)現(xiàn)了流程的司內(nèi)部業(yè)務(wù)風(fēng)險(xiǎn)的管控尚處在初步階段;各類(lèi)業(yè)務(wù)流程依然面臨著來(lái)自內(nèi)部和外部的各種業(yè)務(wù)風(fēng)險(xiǎn);例如內(nèi)部業(yè)務(wù)風(fēng)險(xiǎn)主要來(lái)自于員工和服務(wù)商對(duì)信息系統(tǒng)的不當(dāng)應(yīng)用,如非授權(quán)等;對(duì)應(yīng)用系統(tǒng)進(jìn)行業(yè)務(wù)監(jiān)控,能夠及時(shí)識(shí)別業(yè)務(wù)風(fēng)險(xiǎn),有效進(jìn)行相應(yīng)的主動(dòng)規(guī)避操作,避免成損失;2.3管理業(yè)務(wù)系統(tǒng)容量各資源使用狀況等,通過(guò)對(duì)系統(tǒng)資源瓶頸的分析,可以降低或提高業(yè)務(wù)系統(tǒng)容量；3平臺(tái)架構(gòu)控,對(duì)各類(lèi)設(shè)備進(jìn)行全面集中的統(tǒng)一管理,及時(shí)發(fā)現(xiàn)各類(lèi)異下圖所示:平臺(tái)進(jìn)行全方位的配置管理;3.1.1采集層集信息系統(tǒng)的性能數(shù)據(jù)和故障數(shù)據(jù),通過(guò)在信息系統(tǒng)服務(wù)器上部署AgentSNMP層臺(tái)服務(wù)器發(fā)出的采集指令,執(zhí)行相關(guān)的信息采集插件,將采集到的數(shù)據(jù)放人數(shù)據(jù)庫(kù)中,便于后續(xù)的分析和數(shù)據(jù)挖掘;3.1.2處理層據(jù)不同監(jiān)控對(duì)象的自身特點(diǎn)和運(yùn)維管理需要,靈活定制相應(yīng)的性能指標(biāo)集,定義所述性能指標(biāo)集中每個(gè)指標(biāo)的監(jiān)測(cè)范圍、數(shù)據(jù)來(lái)源,計(jì)算方法、預(yù)警閾值、測(cè)量照由自動(dòng)化運(yùn)維工具處理;3.1.3展現(xiàn)層息系統(tǒng)全局視圖、系統(tǒng)健康度巡檢報(bào)表、檢測(cè)數(shù)據(jù)査詢?nèi)齻€(gè)部分;全局視管理員可以分析系統(tǒng)性能狀況,并記錄過(guò)業(yè)務(wù)視圖、邏輯拓?fù)洹⒅匾O(shè)備、告警統(tǒng)計(jì)各個(gè)不同序、實(shí)時(shí)、全面地呈現(xiàn)出信息系統(tǒng)資源和業(yè)務(wù)系統(tǒng)IT靈活部訪問(wèn)門(mén)即可對(duì)所有的平臺(tái)功能進(jìn)行操作,針對(duì)不同的登錄用戶,可以提供專(zhuān)門(mén)的輔助工具;性能,流量,報(bào)表,拓?fù)涞认到y(tǒng)管理所關(guān)心的信息在不同樣集中體現(xiàn)出來(lái);IT實(shí)現(xiàn)設(shè)備維修、值班的管理;臺(tái)能夠提供統(tǒng)一的企業(yè)級(jí)網(wǎng)絡(luò)事件管理;通過(guò)從各種網(wǎng)絡(luò)設(shè)備和管理信息,并進(jìn)行必要的分析和自動(dòng)化處理工作;據(jù)網(wǎng)管系統(tǒng),提供數(shù)據(jù)網(wǎng)管標(biāo)準(zhǔn)接口以供信息交互,完成事件的統(tǒng)一管理,使網(wǎng)資源得到更加高效的利用和綜合管理;系統(tǒng)管理提供對(duì)服務(wù)器、存儲(chǔ)設(shè)備、操作系統(tǒng)、數(shù)據(jù)庫(kù)、中間件、綜合管理,實(shí)現(xiàn)系統(tǒng)故障告警管理、系統(tǒng)性能管理、拓?fù)渑c配置管理;接收來(lái)自防火墻、人侵檢測(cè)、端口掃描等安全系統(tǒng)的告警,并將這些告警實(shí)時(shí)呈現(xiàn)給信息網(wǎng)絡(luò)安全部門(mén),以采取進(jìn)一步的響應(yīng)動(dòng)作,保障網(wǎng)絡(luò)系統(tǒng)的正常運(yùn)行,并對(duì)網(wǎng)絡(luò)流量進(jìn)行監(jiān)聽(tīng)和分析;4對(duì)新核心系統(tǒng)建設(shè)的要求在文件中進(jìn)行輸出,給運(yùn)維監(jiān)控分析排查問(wèn)題帶來(lái)較大的困難,建議在新系統(tǒng)的建設(shè)過(guò)程中,統(tǒng)一規(guī)范日志的輸出:(1)規(guī)范日志信息級(jí)別致命Fatal嚴(yán)重的錯(cuò)誤,系統(tǒng)無(wú)法正常運(yùn)行,如硬盤(pán)空間滿等;這個(gè)級(jí)別很少被用,錯(cuò)誤Error系統(tǒng)可以繼續(xù)運(yùn)行,但最好要盡快修復(fù)的錯(cuò)誤;這個(gè)級(jí)別用的較多,常or警告Warn系統(tǒng)可以正常運(yùn)行,但需要引起注意的警告信息;這個(gè)級(jí)別預(yù)示較小戶輸入了不符合條件的參數(shù);信息Info系統(tǒng)運(yùn)行的主要關(guān)鍵時(shí)點(diǎn)的操作信息,一般用于記錄業(yè)務(wù)日志;但同時(shí),信息以保證可以記錄再現(xiàn)缺陷的路徑;這個(gè)級(jí)別記錄了系統(tǒng)日常運(yùn)轉(zhuǎn)中有調(diào)試Debug系統(tǒng)運(yùn)行中的調(diào)試信息,便于開(kāi)發(fā)人員進(jìn)行錯(cuò)誤分析和修正,一般用心程序操作細(xì)粒度,不太關(guān)心業(yè)務(wù)操作粗粒度;系統(tǒng)出現(xiàn)問(wèn)題時(shí),必須拋出異FatalErrorWarning(2)日志中除包含錯(cuò)誤信息外,還需包含如下信息：URL的實(shí)地址,交互報(bào)文,報(bào)文的檢查結(jié)果,接口響應(yīng)時(shí)常；c)在日志中,記錄關(guān)鍵程序和數(shù)據(jù)庫(kù)交易的處理時(shí)長(zhǎng),并根據(jù)事先預(yù)定的閾值,在日SQL以便分析,排查性能隱患;4．2預(yù)留應(yīng)用系統(tǒng)監(jiān)控接口,便于監(jiān)控系統(tǒng)采集相關(guān)指標(biāo)程中,需預(yù)留監(jiān)控接口,應(yīng)用監(jiān)控系統(tǒng)通過(guò)調(diào)用核心系統(tǒng)的監(jiān)控接口,來(lái)采集包括但不限于以下指標(biāo)：“Error500””Error404”b)對(duì)用戶訪問(wèn)質(zhì)量的監(jiān)控,頁(yè)面加載時(shí)常；c)對(duì)程序主邏輯進(jìn)行監(jiān)控,判斷主邏輯是否正常；能進(jìn)行判斷；柄的使用情況,網(wǎng)絡(luò)句柄的使用情況,文件狀態(tài)的進(jìn)程數(shù)；f)服務(wù)的監(jiān)控指標(biāo),數(shù)據(jù)加載的情況,模塊的處理能力平均耗時(shí),隊(duì)列長(zhǎng)度,線程池的使用率,模塊間通訊的狀態(tài)平均連接時(shí)間,讀、寫(xiě)錯(cuò)誤數(shù),模塊運(yùn)行時(shí)間；g)系統(tǒng)用戶的操作習(xí)慣,完成功能模塊操作的時(shí)長(zhǎng)；4．3提供服務(wù)持續(xù)可用性監(jiān)控方法是應(yīng)用系