中小銀行運維自動化經驗分享.ppt

1、中小銀行運維自動化管理 解決之道分享,2014年7月,目錄,2,運維管理中的操作控制難題,1,運維標準化自動化解決之道,2,作業(yè)任務精確控制 監(jiān)控巡檢準確定位 應急處置自動調度 .,運維標準化自動化實施要點,3,運維管理總體目標-防范風險、優(yōu)質服務、控制成本、系統(tǒng)建設,精確操控管理是運維管理的基礎，也是科技服務質量的保障,作業(yè)管理難題-漏做錯做、任務異常、執(zhí)行風險、隱患排查,大型商業(yè)銀行每日批作業(yè)任務數已達數千個，中小型商業(yè)銀行也近幾百個，隨著業(yè)務復雜度及三方業(yè)務增加，任務數有增無減，并且變更頻率教高，控制難度增加； 多個系統(tǒng)、多個作業(yè)任務之間形成了非常復雜的邏輯關系，僅靠表格等手工管理方式，

2、很難降低任務執(zhí)行差錯率； 針對特殊日期的批作業(yè)任務臨時變更，很難精確控制，一旦作業(yè)任務執(zhí)行失誤，影響范圍較大，很難處理； 很難精確記錄作業(yè)任務執(zhí)行時長、時點、報錯等情況，無法統(tǒng)計分析，發(fā)現(xiàn)作業(yè)任務執(zhí)行過程中的潛在風險； .,作業(yè)管理,作業(yè)管理手段-任務登記、變更控制、邏輯調度、過程記錄、隱患排查,任務定義？關系管控？技術標準？過程監(jiān)控？結果檢查？故障聯(lián)查？任務優(yōu)化？,作業(yè)管理,運行監(jiān)控難題-預警、發(fā)現(xiàn)、定位、排查、隱患、預估、采集、資產,監(jiān)控巡檢,關鍵業(yè)務交易出現(xiàn)問題，想排查故障原因，那么： 網絡環(huán)境如何？ 網絡報文正常？ 系統(tǒng)資源有瓶頸嗎？ 中間件有問題嗎？ 數據庫有瓶頸？ 應用程序有報錯？

3、 業(yè)務數據有問題嗎？ 客戶請求端狀態(tài)如何？,運行監(jiān)控難題-預警、發(fā)現(xiàn)、定位、排查、隱患、預估、采集、資產,監(jiān)控巡檢,2013年3月17日 監(jiān)控報警情況-缺乏網絡通路質量檢測直接報警【只有表象報警、無原因報警】 15:37 ECIF系統(tǒng)：三條報警ToFront 0307 error、ToFront 0307 error服務測試異常 15:38 收單系統(tǒng)：03801 Success rate is low! Pb751 BUSY！ 15:40 電子支付系統(tǒng)：EPAY thread is busy 15:44 個貸風險管理系統(tǒng)：plms4和plms2、plms5、plms6阻塞線程數高、 15:44

4、 信貸風險流程管理系統(tǒng)：weblogic線程數高、jdbc連接池等待 15:45 操作風險管理系統(tǒng)session鎖等待 15:45 圖前監(jiān)控采集機10.1.7.15報錯 15:46 驗印系統(tǒng)ssl握手失敗 分析：1、從15:37到15:46，10分鐘內統(tǒng)一監(jiān)控平臺共有19條應用系統(tǒng)1級告警，但因總行網絡環(huán)境監(jiān)控手段的缺失，未能第一時間發(fā)現(xiàn)網絡線路質量問題，因此，如何提早發(fā)現(xiàn)網絡通路問題，如何快速定位故障點，是故障早發(fā)現(xiàn)快解決的關鍵。,應急難題-經驗積累、工具標準化、邏輯關系控制、快速準確執(zhí)行？,應急處置,其它運維操作難題-數據全程管理、標準化變更發(fā)布、環(huán)境合規(guī)檢查、資產動態(tài)采集驗證,其它運維操

5、作,中小銀行運維標準化自動化的意義-人員、經驗、風險、成本,實施運維操作自動化的關鍵目標是什么？：運維操作管理應該細分為如下幾個領域，每個領域的具體目標是不同的：1）操作控制：準確調度；2）監(jiān)控診斷：固化知識；3）應急處置：精確執(zhí)行；4）變更發(fā)布：控制差錯；5）規(guī)范檢查：準確核對；6）資產采集：信息準確；7）數據管理：全程控制； 如何有重點分步驟的實施運維操作自動化？：根據細化后的運維操作流域及其管理目標，分別設計方案及標準，然后按照：首先標準化，其次自動化，最后制度化的路線進行實施； 運維操作自動化與哪些運維管理環(huán)節(jié)相關？：與一線建設、事件管理、應急處置、數據管理、運維標準化等運維管理環(huán)節(jié)密

6、切相關，同時考慮人力配備、技術能力問題【短期引入】； 如何保持運維操作標準化的持續(xù)性？：通過問題日常跟蹤機制【日積月累】、運維操作維護工作流程【查缺補漏】、相關人員崗位規(guī)劃、以及工具持續(xù)優(yōu)化【實用原則】達成；,意義及思考,目錄,11,運維管理中的操作控制難題,1,運維標準化自動化解決之道,2,運維自動化領域的細分 標準化是自動化的前提 管理體系是有效實現(xiàn)的基礎 .,運維標準化自動化實施要點,3,運維操作領域細分-領域不同，目標及要求則不同，實現(xiàn)策略與方法不同,操作控制：常規(guī)操作任務的定義、調度、執(zhí)行、監(jiān)控、變更、維護、優(yōu)化 作業(yè)調度：風險控制、運行評測、變更控制、配套檢查 操作控制：配置備份、

7、環(huán)境比對、時點檢查、標準安裝 數據操作：系統(tǒng)備份、業(yè)務備份、恢復執(zhí)行、查詢流程、銷毀控制 監(jiān)控診斷：報警判斷、故障定向、問題定位、二次采集、標準處置、資產核對 運行監(jiān)測：系統(tǒng)、應用、數據、外聯(lián)環(huán)節(jié)的主動探測，運行數據采集 故障診斷：監(jiān)控集成、二次判斷、故障定位、現(xiàn)場采集 故障處置：處置執(zhí)行、狀態(tài)判斷、可用驗證、故障隔離 應急處置：應急環(huán)境與條件自動檢測、應急流程實現(xiàn)與維護、應急操作自動執(zhí)行 變更發(fā)布：變更評審關鍵點管理（非功能需求在線核對）、應用發(fā)布自動化（標準）、系統(tǒng)變更自動化（規(guī)范） 規(guī)范檢查：監(jiān)管/管理規(guī)范核對、安全自動檢測、配置信息自動核對、安裝規(guī)范,運維操作管理的實現(xiàn)：1）標準化；2

8、）工具化；3）自動化；4）制度化,作業(yè)管理體系-制度細則、技術規(guī)范、監(jiān)測優(yōu)化,作業(yè)管理體系,應急操作管理體系-自上而下、從頭落實、技術細化、持續(xù)改進,應急管理體系,監(jiān)控巡檢管理體系-認識對象、明確指標、操作測量、評估優(yōu)化,監(jiān)控管理體系,目錄,17,運維管理中的操作控制難題,1,運維標準化自動化解決之道,2,運維操作經驗的積累與獲取 識別階段工作的重點與難點 工具適用性選擇與人員調整 .,運維標準化自動化實施要點,3,作業(yè)管理實施要點-識別作業(yè)管理關鍵點、分析關鍵問題分布實現(xiàn),作業(yè)管理實施,作業(yè)邏輯控制：各個作業(yè)任務之間往往存在先后邏輯關系，尤其是跨應用系統(tǒng)的邏輯管理需要嚴格控制 作業(yè)時間調度：

9、很多作業(yè)需要控制執(zhí)行日期及時間，如周一至周五某時刻做，每月最后工作日做等等 作業(yè)權限控制：關鍵作業(yè)需要特定角色或者多人復核等，需要進行嚴格控制 作業(yè)自動執(zhí)行：對于將要實施自動執(zhí)行的任務，應具備哪些條件、應如何改造、如何控制風險 作業(yè)臨時干預：在特殊情況下，如業(yè)務部門特殊要求，某些作業(yè)不按照計劃的時間等條件執(zhí)行，能否有效控制是關鍵 作業(yè)管理成體系：對于作業(yè)管理中的人員、信息、流程等要素進行系統(tǒng)化管理，將作業(yè)的基礎信息、變更流程、人員工作等環(huán)節(jié)落實在一套管理制度及工具中 作業(yè)變更標準化：嚴格控制作業(yè)任務在系統(tǒng)投產、節(jié)假日處理等情況下的變更及實施,應急處置面臨的復雜性-系統(tǒng)間關聯(lián)性高、同城異地災備環(huán)

10、境,應急處置實施,應急處置操控實施-處置操作標準化、整體設計處置流程、自動操控,應急處置實施,監(jiān)測采集實施-識別監(jiān)測對象與指標、監(jiān)測采集過程標準化、實時自動監(jiān)測采集,監(jiān)測采集實施,監(jiān)測采集實施-運行數據采集目標確定、采集手段梳理、采集流程設計實現(xiàn),監(jiān)測采集實施,關鍵生產環(huán)節(jié)的可用性保障-梳理整體環(huán)境及鏈路、確認測試方法、自動測試,監(jiān)測采集實施,24,運維操作實現(xiàn)的關鍵因素技術經驗、人員能力、工具實現(xiàn)、持續(xù)優(yōu)化,首先要將內部日常運維工作逐步標準化規(guī)范化，并形成簡潔有效的運維管理過程，記錄每個故障、分析成因、跟蹤問題，技術經驗、解決方案的日積月累。 外部技術經驗及解決方案的引入，如網上資料、外包資

11、源、項目資源等。,技術經驗,持續(xù)優(yōu)化,在實施運維管理的同時，必須考慮配套制度規(guī)范及細則的設計，以及技術標準的建立，同時形成不斷查缺補漏的工作機制。 將運維操作領域進行細化分工，在系統(tǒng)設計、開發(fā)、投產、運行監(jiān)測、優(yōu)化改進等環(huán)節(jié)持續(xù)落實。,24,工具實現(xiàn),首先要明確各運維領域細化目標及需求，基于此分析對于工具的詳細需求。 工具必須具備較強的二次開發(fā)能力，充分掌握核心代碼，以結果為導向整體設計，不斷持續(xù)改進,運維管理分工的細化，由按系統(tǒng)分工模式，逐步調整為技術專業(yè)領域分工。 充分利用外包、駐場、項目資源，將上述人員能力，按照標準化模式，輸出成為知識、解決方案，形成自身人員能力。,人員能力,運維自動化工具思考-不是簡單的流程化、復雜邏輯控制、實際處理難題.,任務的暫停、延遲、跳過、置換、提前：任務的法定時間因子、前序條件因子、執(zhí)行令牌因子（臨時干預）【任務暫停、任務略過、任務提前、臨時調換兩個任務的先后順序等功能支持的情況】 任務的時點報警、時長報警：可給固定參考值閥值、也可根據平均時間動態(tài)計算閥值 任務流的暫停、終止：向其它相關流程發(fā)送