高可靠運(yùn)維策略和流程

1、Turning your vision into resultsCONFIDENTIALCopyright 2011高可靠運(yùn)維策略/流程Turning your vision into resultsCONFIDENTIALCopyright 2011穩(wěn)定系統(tǒng)的幾個(gè)進(jìn)程運(yùn)維原則垃圾清理穩(wěn)定管理架構(gòu)重組技術(shù)重組通過(guò)流程(使用手段處理)通過(guò)技術(shù)（從源頭改變）Turning your vision into resultsCONFIDENTIALCopyright 2011驅(qū)動(dòng)力（安全穩(wěn)定運(yùn)行）運(yùn)維原則“垃圾“清理（硬，軟，流程）穩(wěn)定管理流程管理任務(wù)自動(dòng)化日志管理主動(dòng)/被動(dòng)監(jiān)控警報(bào)管理ISO2000

2、0最佳實(shí)踐戰(zhàn)略目標(biāo)Turning your vision into resultsCONFIDENTIALCopyright 20112011 2013年運(yùn)維四大目標(biāo)可量化S.L.A問(wèn)題可預(yù)防全面自動(dòng)化全面規(guī)范化戰(zhàn)略目標(biāo)業(yè)務(wù)部門(mén)使用角度評(píng)估交易相應(yīng)時(shí)間不高于10秒核心系統(tǒng)年可用度大于99.97%外圍業(yè)務(wù)系統(tǒng)可用度大于99.9%報(bào)表在早上八點(diǎn)前提供.全面實(shí)施系統(tǒng)任務(wù)自動(dòng)化全面實(shí)施跨系統(tǒng)任務(wù)自動(dòng)化全面實(shí)施監(jiān)控自動(dòng)化全面實(shí)施報(bào)警自動(dòng)化全系統(tǒng)時(shí)鐘同步自動(dòng)化上線前評(píng)估變更前評(píng)估加強(qiáng)日志管理預(yù)警流程建立問(wèn)題累加處理機(jī)制ISO20000ISO27001變更流程規(guī)范上線流程規(guī)范日志使用規(guī)范故障排查流程規(guī)范問(wèn)題

3、處理流程規(guī)范Turning your vision into resultsCONFIDENTIALCopyright 2011生產(chǎn)系統(tǒng)管理原則生產(chǎn)無(wú)小事（變更差異）生產(chǎn)系統(tǒng)上不允許做DEBUG(回退方案）不能將慣性錯(cuò)誤變成正常化（問(wèn)題掛起）生產(chǎn)問(wèn)題不能過(guò)夜并必須找到原因（關(guān)聯(lián)分析）災(zāi)難發(fā)生時(shí)不要把災(zāi)難轉(zhuǎn)化為另一災(zāi)難（應(yīng)急演練）Turning your vision into resultsCONFIDENTIALCopyright 2011引發(fā)問(wèn)題的成因及預(yù)防方法通過(guò)建立對(duì)應(yīng)處理流程加強(qiáng)系統(tǒng)穩(wěn)定性p各系統(tǒng)定期清理p通過(guò)資源使用走勢(shì)分析p實(shí)時(shí)資源監(jiān)控p實(shí)時(shí)交易影響監(jiān)控p操作自動(dòng)化p應(yīng)用通用技術(shù)

4、p變更控制 (必要性審核)p變更驗(yàn)證流程p變更審核流程p變更部署控制p變更周期監(jiān)控p變更方式回顧防范方法p應(yīng)用程序p系統(tǒng)配置p硬件配置p網(wǎng)絡(luò)配置p操作流程p數(shù)據(jù)變化p場(chǎng)景變化p應(yīng)用程序p數(shù)據(jù)庫(kù)系統(tǒng)p操作系統(tǒng)p操作流程p網(wǎng)絡(luò)p誤操作p技術(shù)使用范圍變更問(wèn)題累加人為硬件Turning your vision into resultsCONFIDENTIALCopyright 2011問(wèn)題預(yù)防及處理架構(gòu)人流程資源監(jiān)控p上線控制p全功能全場(chǎng)景測(cè)試p回退方案(T, T+1,T+n)p應(yīng)急處理p實(shí)時(shí)資源使用情況p歷史資源使用管理p系統(tǒng)實(shí)時(shí)響應(yīng)情況p系統(tǒng)歷史響應(yīng)情況p處理行動(dòng)p決策方式p決策流程Turning

5、 your vision into resultsCONFIDENTIALCopyright 2011系統(tǒng)“垃圾”清理清理流程預(yù)裝程序測(cè)試程序臨時(shí)程序臨時(shí)目錄臨時(shí)用戶(hù)臨時(shí)數(shù)據(jù)臨時(shí)配置臨時(shí)腳本臨時(shí)文件硬軟預(yù)裝數(shù)據(jù)測(cè)試數(shù)據(jù)臨時(shí)進(jìn)程流程模擬數(shù)據(jù)診斷進(jìn)程模擬進(jìn)程臨時(shí)處理技術(shù)流程非正常處理Turning your vision into resultsCONFIDENTIALCopyright 2011建立主動(dòng)及被動(dòng)監(jiān)控系統(tǒng)提高問(wèn)題預(yù)防的可能性主動(dòng)及被動(dòng)監(jiān)控系統(tǒng)（S.L.A. 監(jiān)控 / 系統(tǒng)資源監(jiān)控）Turning your vision into resultsCONFIDENTIALCopyrigh

6、t 2011建立流程自動(dòng)化系統(tǒng)絕大部分的任務(wù)或工作是可以通過(guò)自動(dòng)化進(jìn)行，如應(yīng)用批處理（小部分任務(wù)需要應(yīng)用程序配合），系統(tǒng)清理，數(shù)據(jù)收集.，自動(dòng)化除了可以大幅降低人力資源外，更能有效防止人為錯(cuò)誤（特別是數(shù)個(gè)關(guān)聯(lián)系統(tǒng)的順序操作）及增加系統(tǒng)安全程度應(yīng)用管理系統(tǒng)管理批量流程操作流程Turning your vision into resultsCONFIDENTIALCopyright 2011任務(wù)自動(dòng)化Turning your vision into resultsCONFIDENTIALCopyright 2011問(wèn)題處理要追到源頭難度增加, 效果明顯, 取得平衡運(yùn)行維護(hù)部署運(yùn)行系統(tǒng)設(shè)計(jì)需求分析獲

7、取操作系統(tǒng)日志獲取應(yīng)用日志獲取維護(hù)程序/制度/腳本獲取監(jiān)控紀(jì)錄分析系統(tǒng)資源耗損，包括內(nèi)存，存儲(chǔ)，CPU,IO.分析關(guān)鍵應(yīng)用錯(cuò)誤的來(lái)源分析管理制度/措施的不足優(yōu)化系統(tǒng)維護(hù)策略，優(yōu)化系統(tǒng)資源的消耗建立預(yù)警機(jī)制獲取系統(tǒng)部署配置，包括應(yīng)用服務(wù)器、數(shù)據(jù)庫(kù)服務(wù)器相關(guān)的資源參數(shù)執(zhí)行壓力測(cè)試深層分析系統(tǒng)資源分配情況，發(fā)現(xiàn)資源使用的瓶頸深入分析應(yīng)用級(jí)/代碼級(jí)的缺陷優(yōu)化系統(tǒng)配置，使得系統(tǒng)各種資源的損耗達(dá)到相對(duì)平衡。避免出現(xiàn)瓶頸制定應(yīng)用/程序優(yōu)化建議獲取設(shè)計(jì)文檔及關(guān)鍵設(shè)計(jì)參數(shù)分析總體架構(gòu)可能導(dǎo)致的系統(tǒng)缺陷給出架構(gòu)改進(jìn)建議獲取需求文檔中關(guān)于復(fù)雜功能的描述分析功能設(shè)置不當(dāng)或單一交易過(guò)于復(fù)雜所導(dǎo)致的系統(tǒng)缺陷功能調(diào)整建議追

8、根溯源信息采集分析診斷改進(jìn)建議系統(tǒng)診斷分析過(guò)程Turning your vision into resultsCONFIDENTIALCopyright 2011預(yù)生產(chǎn)運(yùn)行維護(hù)容量計(jì)劃OAT配置管理預(yù)定義環(huán)境運(yùn)行步驟回退步驟應(yīng)急步驟系統(tǒng)整理(Housekeeping)歷史場(chǎng)景收集警報(bào)/報(bào)警流程自動(dòng)化流程主動(dòng)監(jiān)控系統(tǒng)備份管理(核對(duì))變更管理軟件/參數(shù)分發(fā)數(shù)據(jù)分析優(yōu)化分析初始容量評(píng)估灰色灰字 = 未實(shí)施灰色蘭字 = 部分實(shí)施其他顏色 = 已實(shí)施被動(dòng)監(jiān)控系統(tǒng)系統(tǒng)問(wèn)題累加管理Turning your vision into resultsCONFIDENTIALCopyright 2011實(shí)施計(jì)劃Turning your vision into resultsCONFIDENTIALCopyright 2011問(wèn)題可控考核量化全局可視年度目標(biāo)2011201220131. 系統(tǒng)/交易全圖 2. 中央日志管理系統(tǒng)3. 中央監(jiān)控預(yù)警系統(tǒng)4. 全局自動(dòng)化系統(tǒng)5. 全系統(tǒng)及設(shè)備時(shí)鐘同步6. 上線流程規(guī)范制定7. SLA主動(dòng)監(jiān)控系統(tǒng)定義8. 日志規(guī)范定義1. 系統(tǒng)/交易全圖