中小銀行運(yùn)維自動(dòng)化經(jīng)驗(yàn)分享

1、中小銀行運(yùn)維自動(dòng)化管理 解決之道分享 2014年7月 目錄 2 運(yùn)維管理中的操作控制難題1 運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化解決之道 2 作業(yè)任務(wù)精確控制 監(jiān)控巡檢準(zhǔn)確定位 應(yīng)急處置自動(dòng)調(diào)度 . 運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化實(shí)施要點(diǎn) 3 運(yùn)維管理總體目標(biāo)-防范風(fēng)險(xiǎn)、優(yōu)質(zhì)服務(wù)、控制成本、系統(tǒng)建設(shè) 穩(wěn)定運(yùn)行精確控制 資源管理 標(biāo)準(zhǔn)服務(wù) - 應(yīng)用整體監(jiān)控 - - 變更發(fā)布管理 -運(yùn)行成本可計(jì)量 -技術(shù)規(guī)范體系化 -運(yùn)維架構(gòu)規(guī)范化 -制度體系層次化 運(yùn)維 管理 - -設(shè)備資源管理 -資源性能分析 -容量總體規(guī)劃 -數(shù)據(jù)資源管理 作業(yè)管理難題-漏做錯(cuò)做、任務(wù)異常、執(zhí)行風(fēng)險(xiǎn)、隱患排查 q大型商業(yè)銀行每日批作業(yè)任務(wù)數(shù)已達(dá)數(shù)千個(gè)，中小型

2、商業(yè)銀行也近幾百個(gè)，隨著業(yè) 務(wù)復(fù)雜度及三方業(yè)務(wù)增加，任務(wù)數(shù)有增無(wú)減，并且變更頻率教高，控制難度增加控制難度增加； q多個(gè)系統(tǒng)、多個(gè)作業(yè)任務(wù)之間形成了非常復(fù)雜的邏輯關(guān)系，僅靠表格等手工管理方 式，很難降低任務(wù)執(zhí)行差錯(cuò)率降低任務(wù)執(zhí)行差錯(cuò)率； q針對(duì)特殊日期的批作業(yè)任務(wù)臨時(shí)變更，很難精確控制，一旦作業(yè)任務(wù)執(zhí)行失誤，影一旦作業(yè)任務(wù)執(zhí)行失誤，影 響范圍較大，很難處理響范圍較大，很難處理； q很難精確記錄作業(yè)任務(wù)執(zhí)行時(shí)長(zhǎng)、時(shí)點(diǎn)、報(bào)錯(cuò)等情況，無(wú)法統(tǒng)計(jì)分析，發(fā)現(xiàn)作業(yè)任發(fā)現(xiàn)作業(yè)任 務(wù)執(zhí)行過(guò)程中的潛在風(fēng)險(xiǎn)務(wù)執(zhí)行過(guò)程中的潛在風(fēng)險(xiǎn)； q. 作業(yè)管理 作業(yè)管理手段-任務(wù)登記、變更控制、邏輯調(diào)度、過(guò)程記錄、隱患排查 任務(wù)

3、定義？關(guān)系管控？技術(shù)標(biāo)準(zhǔn)？過(guò)程監(jiān)控？結(jié)果檢查？故障聯(lián)查？任務(wù)優(yōu)化？ 作業(yè)管理 運(yùn)行監(jiān)控難題-預(yù)警、發(fā)現(xiàn)、定位、排查、隱患、預(yù)估、采集、資產(chǎn) 監(jiān)控巡檢 關(guān)鍵業(yè)務(wù)交易出現(xiàn) 問(wèn)題，想排查故障 原因，那么： l網(wǎng)絡(luò)環(huán)境如何？ l網(wǎng)絡(luò)報(bào)文正常？ l系統(tǒng)資源有瓶頸 嗎？ l中間件有問(wèn)題嗎 ？ l數(shù)據(jù)庫(kù)有瓶頸？ l應(yīng)用程序有報(bào)錯(cuò) ？ l業(yè)務(wù)數(shù)據(jù)有問(wèn)題 嗎？ l客戶請(qǐng)求端狀態(tài) 如何？ 運(yùn)行監(jiān)控難題-預(yù)警、發(fā)現(xiàn)、定位、排查、隱患、預(yù)估、采集、資產(chǎn) 監(jiān)控巡檢 2013年3月17日 監(jiān)控報(bào)警情況-缺乏網(wǎng)絡(luò)通路質(zhì)量檢測(cè)直接報(bào)警【只有表象報(bào)警、無(wú)原因報(bào)警】 15:37 ECIF系統(tǒng)：三條報(bào)警ToFront 0307 e

4、rror、ToFront 0307 error服務(wù)測(cè)試異常 15:38 收單系統(tǒng)：03801 Success rate is low! Pb751 BUSY！ 15:40 電子支付系統(tǒng)：EPAY thread is busy 15:44 個(gè)貸風(fēng)險(xiǎn)管理系統(tǒng)：plms4和plms2、plms5、plms6阻塞線程數(shù)高、 15:44 信貸風(fēng)險(xiǎn)流程管理系統(tǒng)：weblogic線程數(shù)高、jdbc連接池等待 15:45 操作風(fēng)險(xiǎn)管理系統(tǒng)session鎖等待 15:45 圖前監(jiān)控采集機(jī)10.1.7.15報(bào)錯(cuò) 15:46 驗(yàn)印系統(tǒng)ssl握手失敗 分析：1、從15:37到15:46，10分鐘內(nèi)統(tǒng)一監(jiān)控平臺(tái)共有19

5、條應(yīng)用系統(tǒng)1級(jí)告警，但因總行 網(wǎng)絡(luò)環(huán)境監(jiān)控手段的缺失，未能第一時(shí)間發(fā)現(xiàn)網(wǎng)絡(luò)線路質(zhì)量問(wèn)題，因此，如何提早發(fā)現(xiàn)網(wǎng)絡(luò) 通路問(wèn)題，如何快速定位故障點(diǎn)，是故障早發(fā)現(xiàn)快解決的關(guān)鍵。 20132013年年3 3月月1717日網(wǎng)絡(luò)通路典型故障日網(wǎng)絡(luò)通路典型故障 應(yīng)急難題-經(jīng)驗(yàn)積累、工具標(biāo)準(zhǔn)化、邏輯關(guān)系控制、快速準(zhǔn)確執(zhí)行？ 應(yīng)急處置 其它運(yùn)維操作難題-數(shù)據(jù)全程管理、標(biāo)準(zhǔn)化變更發(fā)布、環(huán)境合規(guī)檢查、資產(chǎn)動(dòng)態(tài)采集驗(yàn)證 其它運(yùn)維操作 中小銀行運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化的意義-人員、經(jīng)驗(yàn)、風(fēng)險(xiǎn)、成本 p實(shí)施運(yùn)維操作自動(dòng)化的關(guān)鍵目標(biāo)是什么？：運(yùn)維操作管理應(yīng)該細(xì)分為如下幾個(gè)領(lǐng)域，每 個(gè)領(lǐng)域的具體目標(biāo)是不同的：1）操作控制：準(zhǔn)確調(diào)度；2

6、）監(jiān)控診斷：固化知識(shí)；3）應(yīng)急處置： 精確執(zhí)行；4）變更發(fā)布：控制差錯(cuò)；5）規(guī)范檢查：準(zhǔn)確核對(duì)；6）資產(chǎn)采集：信息準(zhǔn)確；7）數(shù)據(jù) 管理：全程控制； p如何有重點(diǎn)分步驟的實(shí)施運(yùn)維操作自動(dòng)化？：根據(jù)細(xì)化后的運(yùn)維操作流域及其管理目標(biāo) ，分別設(shè)計(jì)方案及標(biāo)準(zhǔn)，然后按照：首先標(biāo)準(zhǔn)化，其次自動(dòng)化，最后制度化的路線進(jìn)行實(shí)施； p運(yùn)維操作自動(dòng)化與哪些運(yùn)維管理環(huán)節(jié)相關(guān)？：與一線建設(shè)、事件管理、應(yīng)急處置、數(shù)據(jù) 管理、運(yùn)維標(biāo)準(zhǔn)化等運(yùn)維管理環(huán)節(jié)密切相關(guān)，同時(shí)考慮人力配備、技術(shù)能力問(wèn)題【短期引入】； p如何保持運(yùn)維操作標(biāo)準(zhǔn)化的持續(xù)性？：通過(guò)問(wèn)題日常跟蹤機(jī)制【日積月累】、運(yùn)維操作 維護(hù)工作流程【查缺補(bǔ)漏】、相關(guān)人員崗位規(guī)劃

7、、以及工具持續(xù)優(yōu)化【實(shí)用原則】達(dá)成； 意義及思考 目錄 1 1 運(yùn)維管理中的操作控制難題1 運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化解決之道 2 運(yùn)維自動(dòng)化領(lǐng)域的細(xì)分 標(biāo)準(zhǔn)化是自動(dòng)化的前提 管理體系是有效實(shí)現(xiàn)的基礎(chǔ) . 運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化實(shí)施要點(diǎn) 3 運(yùn)維操作領(lǐng)域細(xì)分-領(lǐng)域不同，目標(biāo)及要求則不同，實(shí)現(xiàn)策略與方法不同 p操作控制：常規(guī)操作任務(wù)的定義、調(diào)度、執(zhí)行、監(jiān)控、變更、維護(hù)、優(yōu)化 l作業(yè)調(diào)度：風(fēng)險(xiǎn)控制、運(yùn)行評(píng)測(cè)、變更控制、配套檢查 l操作控制：配置備份、環(huán)境比對(duì)、時(shí)點(diǎn)檢查、標(biāo)準(zhǔn)安裝 l數(shù)據(jù)操作：系統(tǒng)備份、業(yè)務(wù)備份、恢復(fù)執(zhí)行、查詢流程、銷毀控制 p監(jiān)控診斷：報(bào)警判斷、故障定向、問(wèn)題定位、二次采集、標(biāo)準(zhǔn)處置、資產(chǎn)核對(duì) l

8、運(yùn)行監(jiān)測(cè)：系統(tǒng)、應(yīng)用、數(shù)據(jù)、外聯(lián)環(huán)節(jié)的主動(dòng)探測(cè)，運(yùn)行數(shù)據(jù)采集 l故障診斷：監(jiān)控集成、二次判斷、故障定位、現(xiàn)場(chǎng)采集 l故障處置：處置執(zhí)行、狀態(tài)判斷、可用驗(yàn)證、故障隔離 p應(yīng)急處置：應(yīng)急環(huán)境與條件自動(dòng)檢測(cè)、應(yīng)急流程實(shí)現(xiàn)與維護(hù)、應(yīng)急操作自動(dòng)執(zhí)行 p變更發(fā)布：變更評(píng)審關(guān)鍵點(diǎn)管理（非功能需求在線核對(duì)）、應(yīng)用發(fā)布自動(dòng)化（標(biāo) 準(zhǔn)）、系統(tǒng)變更自動(dòng)化（規(guī)范） p規(guī)范檢查：監(jiān)管/管理規(guī)范核對(duì)、安全自動(dòng)檢測(cè)、配置信息自動(dòng)核對(duì)、安裝規(guī)范 運(yùn)維操作管理的實(shí)現(xiàn)：1）標(biāo)準(zhǔn)化；2）工具化；3）自動(dòng)化；4）制度化 作業(yè)管理體系-制度細(xì)則、技術(shù)規(guī)范、監(jiān)測(cè)優(yōu)化 作業(yè)管理體系 應(yīng)急操作管理體系-自上而下、從頭落實(shí)、技術(shù)細(xì)化、持續(xù)改進(jìn)

9、 應(yīng)急管理體系 整體 預(yù)案 技術(shù) 預(yù)案 系統(tǒng) 手冊(cè) 技術(shù) 演練 持續(xù) 維護(hù) 識(shí)別業(yè)務(wù)風(fēng)險(xiǎn) 控制故障影響 指導(dǎo)整體工作 明確故障升級(jí) 及處置整體流 程，建立規(guī)范 整體了解關(guān)鍵業(yè)務(wù) 系統(tǒng)結(jié)構(gòu)，梳理各 類故障處置方法 以實(shí)戰(zhàn)出發(fā)設(shè)計(jì) 演練場(chǎng)景，驗(yàn)證 操作有效性 將系統(tǒng)的變更、典型 故障，及時(shí)維護(hù)到應(yīng) 急管理手冊(cè)之中 技術(shù)操控管理重點(diǎn)范疇 業(yè)務(wù)影響分析 整體預(yù)案制定 事件定級(jí) 流程設(shè)計(jì) 系統(tǒng)結(jié)構(gòu)梳理 故障處置步驟 日常變更管理演練場(chǎng)景設(shè)計(jì) 典型故障管理 實(shí)操與評(píng)測(cè) 分析建立設(shè)計(jì)實(shí)操評(píng)估 整體工作落實(shí)策略 監(jiān)控巡檢管理體系-認(rèn)識(shí)對(duì)象、明確指標(biāo)、操作測(cè)量、評(píng)估優(yōu)化 監(jiān)控管理體系 目錄 1 7 運(yùn)維管理中的

10、操作控制難題1 運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化解決之道 2 運(yùn)維操作經(jīng)驗(yàn)的積累與獲取 識(shí)別階段工作的重點(diǎn)與難點(diǎn) 工具適用性選擇與人員調(diào)整 . 運(yùn)維標(biāo)準(zhǔn)化自動(dòng)化實(shí)施要點(diǎn) 3 作業(yè)管理實(shí)施要點(diǎn)-識(shí)別作業(yè)管理關(guān)鍵點(diǎn)、分析關(guān)鍵問(wèn)題分布實(shí)現(xiàn) 作業(yè)管理實(shí)施 p作業(yè)邏輯控制作業(yè)邏輯控制：各個(gè)作業(yè)任務(wù)之間往往存在先后邏輯關(guān)系，尤其是跨 應(yīng)用系統(tǒng)的邏輯管理需要嚴(yán)格控制 p作業(yè)時(shí)間調(diào)度作業(yè)時(shí)間調(diào)度：很多作業(yè)需要控制執(zhí)行日期及時(shí)間，如周一至周五某 時(shí)刻做，每月最后工作日做等等 p作業(yè)權(quán)限控制作業(yè)權(quán)限控制：關(guān)鍵作業(yè)需要特定角色或者多人復(fù)核等，需要進(jìn)行嚴(yán) 格控制 p作業(yè)自動(dòng)執(zhí)行作業(yè)自動(dòng)執(zhí)行：對(duì)于將要實(shí)施自動(dòng)執(zhí)行的任務(wù)，應(yīng)具備哪些條件

11、、應(yīng) 如何改造、如何控制風(fēng)險(xiǎn) p作業(yè)臨時(shí)干預(yù)作業(yè)臨時(shí)干預(yù)：在特殊情況下，如業(yè)務(wù)部門特殊要求，某些作業(yè)不按 照計(jì)劃的時(shí)間等條件執(zhí)行，能否有效控制是關(guān)鍵 p作業(yè)管理成體系作業(yè)管理成體系：對(duì)于作業(yè)管理中的人員、信息、流程等要素進(jìn)行系 統(tǒng)化管理，將作業(yè)的基礎(chǔ)信息、變更流程、人員工作等環(huán)節(jié)落實(shí)在一套 管理制度及工具中 p作業(yè)變更標(biāo)準(zhǔn)化作業(yè)變更標(biāo)準(zhǔn)化：嚴(yán)格控制作業(yè)任務(wù)在系統(tǒng)投產(chǎn)、節(jié)假日處理等情況 下的變更及實(shí)施 應(yīng)急處置面臨的復(fù)雜性-系統(tǒng)間關(guān)聯(lián)性高、同城異地災(zāi)備環(huán)境 應(yīng)急處置實(shí)施 應(yīng)急處置操控實(shí)施-處置操作標(biāo)準(zhǔn)化、整體設(shè)計(jì)處置流程、自動(dòng)操控 應(yīng)急處置實(shí)施 監(jiān)測(cè)采集實(shí)施-識(shí)別監(jiān)測(cè)對(duì)象與指標(biāo)、監(jiān)測(cè)采集過(guò)程標(biāo)準(zhǔn)

12、化、實(shí)時(shí)自動(dòng)監(jiān)測(cè)采集 監(jiān)測(cè)采集實(shí)施 監(jiān)測(cè)采集實(shí)施-運(yùn)行數(shù)據(jù)采集目標(biāo)確定、采集手段梳理、采集流程設(shè)計(jì)實(shí)現(xiàn) 監(jiān)測(cè)采集實(shí)施 關(guān)鍵生產(chǎn)環(huán)節(jié)的可用性保障-梳理整體環(huán)境及鏈路、確認(rèn)測(cè)試方法、自動(dòng)測(cè)試 監(jiān)測(cè)采集實(shí)施 24 運(yùn)維操作實(shí)現(xiàn)的關(guān)鍵因素技術(shù)經(jīng)驗(yàn)、人員能力、工具實(shí)現(xiàn)、持續(xù)優(yōu)化 首先要將內(nèi)部日常運(yùn)維工作逐步標(biāo)準(zhǔn)化規(guī) 范化，并形成簡(jiǎn)潔有效的運(yùn)維管理過(guò)程， 記錄每個(gè)故障、分析成因、跟蹤問(wèn)題，技 術(shù)經(jīng)驗(yàn)、解決方案的日積月累。 外部技術(shù)經(jīng)驗(yàn)及解決方案的引入，如網(wǎng)上 資料、外包資源、項(xiàng)目資源等。 技術(shù)經(jīng)驗(yàn) 持續(xù)優(yōu)化 在實(shí)施運(yùn)維管理的同時(shí)，必須考慮配 套制度規(guī)范及細(xì)則的設(shè)計(jì)，以及技術(shù) 標(biāo)準(zhǔn)的建立，同時(shí)形成不斷查缺補(bǔ)

13、漏 的工作機(jī)制。 將運(yùn)維操作領(lǐng)域進(jìn)行細(xì)化分工，在系 統(tǒng)設(shè)計(jì)、開(kāi)發(fā)、投產(chǎn)、運(yùn)行監(jiān)測(cè)、優(yōu) 化改進(jìn)等環(huán)節(jié)持續(xù)落實(shí)。 24 工具實(shí)現(xiàn) 首先要明確各運(yùn)維領(lǐng)域細(xì)化目標(biāo)及需 求，基于此分析對(duì)于工具的詳細(xì)需求 。 工具必須具備較強(qiáng)的二次開(kāi)發(fā)能力， 充分掌握核心代碼，以結(jié)果為導(dǎo)向整 體設(shè)計(jì)，不斷持續(xù)改進(jìn) 運(yùn)維管理分工的細(xì)化，由按系統(tǒng)分工模 式，逐步調(diào)整為技術(shù)專業(yè)領(lǐng)域分工。 充分利用外包、駐場(chǎng)、項(xiàng)目資源，將上 述人員能力，按照標(biāo)準(zhǔn)化模式，輸出成 為知識(shí)、解決方案，形成自身人員能力 。 人員能力 運(yùn)維自動(dòng)化工具思考-不是簡(jiǎn)單的流程化、復(fù)雜邏輯控制、實(shí)際處理難題. p任務(wù)的暫停、延遲、跳過(guò)、置換、提前：任務(wù)的法定時(shí)間因子、前序條件因子、執(zhí)行令牌 因子（臨時(shí)干預(yù)）【任務(wù)暫停、任務(wù)略過(guò)、任務(wù)提前、臨時(shí)調(diào)換兩個(gè)任務(wù)的先后順序等功能 支持的情況】 p任務(wù)的時(shí)點(diǎn)報(bào)警、時(shí)長(zhǎng)報(bào)警：可