IT應急預案編寫指南

第1頁共34頁系統(tǒng)應急響應及恢復預案編寫指南20XX年7月1日

目錄修訂說明： 3修訂記錄 41. 總則 61.1. 目的和依據(jù) 61.2. 適用范圍 62. 系統(tǒng)及資源 82.1. 系統(tǒng)信息 82.2. 系統(tǒng)描述 92.3. 運行指標 92.4. 關聯(lián)系統(tǒng) 102.5. 物理架構 112.6. 網(wǎng)絡拓樸 112.7. IP及端口 112.8. 系統(tǒng)軟硬件 112.9. 后備資源 132.10. 用戶分配 142.11. 其他信息 143. 標準處置預案 153.1. 標準處置 164. 故障快速定位 204.1. 快速定位流程 204.2. 定位流程描述 204.3. 故障快速定位排查內(nèi)容 205. 系統(tǒng)應急場景分類及描述 225.1. 故障場景分類 225.2. 硬件故障場景 225.3. 通用軟件故障場景 265.4. 應用軟件故障場景 285.5. 網(wǎng)路故障場景 295.6. 其它故障場景 305.7. 恢復回切場景 306. 附錄 31附錄一：人員聯(lián)系表 31附錄二：應急演練方案 32附錄三：應急演練報告 32附錄四：故障應急報告 32附錄五：故障現(xiàn)場收集腳本 32

修訂說明：北京數(shù)據(jù)中心于20XX年3月推出《北京數(shù)據(jù)中心總體應急預案V1.0》（簡稱總體預案）和《中國建設銀行XX系統(tǒng)應急響應及恢復預案（模版V3.0）》（簡稱新預案模板）?？傮w預案主要適用于北京數(shù)據(jù)中心信息系統(tǒng)突發(fā)事件的處理，并指導各信息系統(tǒng)編制系統(tǒng)應急預案。在總體預案中，對事件分級及處置原則、中心應急組織架構及職責、應急響應及恢復流程、應急預案管理等內(nèi)容進行了描述。新預案模板主要用于指導數(shù)據(jù)中心各系統(tǒng)應急新版預案的修訂工作。新預案模板在V2.0版本基礎上，對架構和內(nèi)容進行了全面的修訂，重點加強了系統(tǒng)應急管理、故障快速定位和故障場景等內(nèi)容的描述?？纱_保特定系統(tǒng)發(fā)生突發(fā)事件時，應急人員能依據(jù)預案預設內(nèi)容，規(guī)范處置和快速恢復應用。系統(tǒng)預案中相關的事件分級、處置和應急流程等在總體預案中都有詳細描述。在修訂過程中，編制人員可參照總體預案進行新版預案的修訂。新預案模板由六章組成，分別是總則、系統(tǒng)及資源、標準處置預案、故障快速定位、系統(tǒng)應急場景分類及描述和附錄。新預案模板與V2.0版預案在文檔結構對照關系可參見下表：

新版預案模板V3.0舊版預案模板V2.0備注1總則新增內(nèi)容2系統(tǒng)及資源1.應用系統(tǒng)簡介2.系統(tǒng)資源配置對應舊預案第一、二章部分內(nèi)容3標準處置預案新增內(nèi)容4故障快速定位新增內(nèi)容5系統(tǒng)應急場景分類及描述7.技術應急維護操作手冊對應舊預案第七章部分內(nèi)容6附錄9附錄對應舊預案第九章部分內(nèi)容3.管理部門及職責劃分4.應急組織設置5．系統(tǒng)應急管理6．應急處理流程8.預案演練和更新相關內(nèi)容將統(tǒng)一出現(xiàn)在中心總體預案中新預案模板保持了應急預案版本建設的連貫性，減少了預案版本升級所可能產(chǎn)生的困難和產(chǎn)生的工作量，便于預案修訂人員參考使用。本編寫指南在主體結構與預案模板也基本保持一致，希望能幫助預案修訂人員順利完成新版應急預案修訂工作。修訂記錄說明：每次系統(tǒng)升級及變更配置后，都必須對應急預案做相應的修訂，確保這些變化造成的影響能夠在應急預案模版中反映出來并使之符合系統(tǒng)現(xiàn)有狀況。預案維護人員嚴格執(zhí)行版本控制，在預案內(nèi)容更新后時應該確保相關人員都能及時得到最新版本。示例：修訂日期版本號修訂說明修訂人審核20XX.1V1.0建立數(shù)據(jù)中心應急預案模板吳磊楊曉勤20XX.1V2.0修訂應急預案第五、六、七章節(jié)吳磊張翔20XX.6V2.5修訂第四、第七、第八章節(jié)吳磊張翔20XX.3V3.0全面修訂應急預案結構和內(nèi)容，新增第三、第四章內(nèi)容吳磊付林總則目的和依據(jù)說明：請在此簡要描述本預案編制的主要目的，本預案在建設銀行業(yè)務持續(xù)性突發(fā)事件應急響應及恢復工作（以下簡稱“應急響應及恢復工作”）過程中所發(fā)揮的作用和執(zhí)行的功能，以及編制本預案的主要依據(jù)。示例：防垃圾郵件網(wǎng)關系統(tǒng)（MGAT）應急預案（以下簡稱MGAT預案）是郵件網(wǎng)關系統(tǒng)遇到緊急情況或運行中斷后為恢復郵件網(wǎng)關服務所采取的快速有效的應對手段。通過建立包含應急啟動、執(zhí)行、恢復等流程、步驟和技術操作方案，為系統(tǒng)相關組織、人員處理應急情況提供指導；并作為與總行其他應急相關人員進行協(xié)調(diào)的依據(jù)。適用范圍說明：請在此明確本應急預案的具體適用范圍。如指明該預案適用于因XXX突發(fā)事件所導致的建設銀行XXX業(yè)務發(fā)生中斷，需要采取應急處置和恢復措施予以應對的操作風險事件。示例：本系統(tǒng)應急預案適用范圍是北京數(shù)據(jù)中心與本系統(tǒng)有關的所有組織體系和人員，適用于北京數(shù)據(jù)中心郵件網(wǎng)關系統(tǒng)的運行所需的功能，操作和資源。該預案適用于因郵件網(wǎng)關系統(tǒng)突發(fā)事件所導致的建設銀行郵件收發(fā)發(fā)生中斷，需要采取應急處置和恢復措施予以應對的操作風險事件。郵件網(wǎng)關系統(tǒng)簡稱為MGAT，產(chǎn)品英文名稱為Websense郵件網(wǎng)關。系統(tǒng)及資源系統(tǒng)信息應用系統(tǒng)中文全稱：說明：請在此描述應用系統(tǒng)在北京數(shù)據(jù)中心（或ITSM系統(tǒng)中）的中文全稱。應用系統(tǒng)英文縮寫：說明：請在此描述應用系統(tǒng)在北京數(shù)據(jù)中心（或ITSM系統(tǒng)中）的英文簡稱。應用系統(tǒng)負責部室：說明：請在此描述應用系統(tǒng)在數(shù)據(jù)中心（或ITSM系統(tǒng)中）的負責部室。應用系統(tǒng)管理員：說明：請在此描述應用系統(tǒng)在數(shù)據(jù)中心（或ITSM系統(tǒng)中）的應用預案修訂人員A/B角或者管理團隊。平臺系統(tǒng)管理員：說明：請在此描述應用系統(tǒng)在數(shù)據(jù)中心（或ITSM系統(tǒng)中）的平臺預案修訂人員A/B角或者管理團隊。網(wǎng)絡管理員：說明：請在此描述應用系統(tǒng)在數(shù)據(jù)中心（或ITSM系統(tǒng)中）的網(wǎng)絡管理員A/B角或者管理團隊。系統(tǒng)描述系統(tǒng)功能：說明：請在此描述應用系統(tǒng)的主要功能。支撐業(yè)務：說明：請在此描述應用系統(tǒng)所支撐的所有業(yè)務應用。業(yè)務影響范圍：說明：請在此描述應用系統(tǒng)故障后可能影響的范圍。運行指標說明：請在此補充應用系統(tǒng)的常用的一些運行指標，如恢復時間目標(RTO,RecoveryTimeObjective)恢復點目標(RPO,RecoveryPointObjective)、運行維護級別、可用性要求，性能要求，業(yè)務連續(xù)性要求，安全性要求，可管理性要求，可維護性要求等。運行指標解釋：1）恢復時間目標（RTO）：是指突發(fā)事件發(fā)生并導致業(yè)務或系統(tǒng)中斷后，從中斷到必須恢復的時間要求。2）恢復點目標（RPO）：是指突發(fā)事件發(fā)生并導致業(yè)務或系統(tǒng)中斷后，數(shù)據(jù)必須恢復到的時間點要求，即數(shù)據(jù)可容忍丟失的最大時間長度。注意：恢復時間目標（RTO）和恢復點目標（RPO）是必填項。在營業(yè)不同時間段（業(yè)務高峰、業(yè)務空閑和非業(yè)務時間）如對RTO/RPO有不同要求，請單獨列舉。示例：郵件網(wǎng)關系統(tǒng)運行指標恢復時間目標（RTO）：0分鐘。恢復點目標（RPO）：10分鐘。運行維護級別：5*8（8:30-17:30）?？捎眯砸螅喝晗到y(tǒng)可用性達到99.9%。性能要求：系統(tǒng)最大并發(fā)連接數(shù)8000個TCP連接，郵件處理速度>150封/秒，郵件延遲時間平均值<1分鐘，郵件錯誤率<0.01%。業(yè)務連續(xù)性要求：7*24連續(xù)運行。安全性要求：防攻擊性能參數(shù)>170,000次/小時包括字典攻擊、目錄攻擊、病毒攻擊、壓縮文件攻擊等。關聯(lián)系統(tǒng)說明：請在此描述與該系統(tǒng)運行相關的其它關聯(lián)系統(tǒng)情況，如：何種關聯(lián)系統(tǒng)？所涉及何種業(yè)務等。物理架構說明：請在此描述系統(tǒng)物理拓樸結構及簡要描述（包括放置在哪個機房，物理如何連接、以及何其他系統(tǒng)的關聯(lián)拓撲等）網(wǎng)絡拓樸說明：請在此描述系統(tǒng)網(wǎng)絡拓樸結構及簡要描述IP及端口說明：請在此描述簡要描述系統(tǒng)使用的IP地址及端口（請?zhí)顚懓◣夤芾碓趦?nèi)的所有網(wǎng)絡地址和端口）系統(tǒng)軟硬件主機設備說明：請在此描述主機設備的具體配置及參數(shù)。示例：主機設備一：郵件網(wǎng)關系統(tǒng)主服務器，設備用途：設備編號：操作系統(tǒng)及版本：WindowsServer20XXR2企業(yè)版設備位置：北京洋橋2層數(shù)據(jù)庫及版本：SQL20XX設備型號：IBMxSeries3850中間件及版本：websenseV6.3.2設備序列號：99C4653本地硬盤RAID級別：raid5設備微碼：（主要設備）本地硬盤大小及數(shù)量：146*6CPU及數(shù)量：Xeon3.0G4網(wǎng)卡一MAC及IP：00-14-5E-BC-7A-2E(無IP地址)內(nèi)存大?。?G網(wǎng)卡二MAC及IP：00-14-5E-BC-7A-2F網(wǎng)卡：3塊網(wǎng)卡網(wǎng)卡三MAC及IP：00-10-18-30-69-4D(IP：9)其他軟件配置說明：請在此描述系統(tǒng)安裝的各種軟件的具體信息及用途，請將系統(tǒng)所用軟件按系統(tǒng)軟件、中間件、數(shù)據(jù)庫、應用等進行劃分。示例：軟件類型產(chǎn)品名稱版本號用途說明操作系統(tǒng)WEBSENSEOS2.2.4.22-14生產(chǎn)數(shù)據(jù)庫Mysql4.0生產(chǎn)應用軟件RiskFilter6.3.3生產(chǎn)磁盤/磁盤陣列說明：請在此描述系統(tǒng)所用的磁盤及磁盤陣列。磁帶存儲說明：請在此描述系統(tǒng)所用的磁帶存儲。網(wǎng)絡設備（如路由器、交換機、負載均衡等）說明：請在此描述系統(tǒng)專用的各種網(wǎng)絡設備其它硬件設備（如加密機等）說明：請在此描述系統(tǒng)專用的各種硬件設備。后備資源說明：請在此描述系統(tǒng)各種后備資源，如系統(tǒng)的數(shù)據(jù)備份、硬件配件、軟件備份等資源信息。數(shù)據(jù)備份說明：請在此描述系統(tǒng)可能有的操作系統(tǒng)、應用系統(tǒng)和應用數(shù)據(jù)備份，要說明備份等級、備份時間、備份介質(zhì)、存放位置和保管人等信息。硬件配件說明：請在此描述系統(tǒng)可能有的各種硬件配件，如大機、小機、服務器、網(wǎng)絡設備、計算機備件和其它相關配件。對這些配件要注明具體型號、序列號、服務期限、保存位置和保管人等信息。軟件備份說明：請在此描述系統(tǒng)可能有的各種軟件備份，如操作系統(tǒng)、數(shù)據(jù)庫系統(tǒng)、應用軟件備份等。對這些備份要注明具體產(chǎn)品名稱、版本號、保存位置和保管人等信息。用戶分配說明：請在此描述系統(tǒng)可能有的各種用戶，包括系統(tǒng)原有和自建的用戶。要明確用戶角色、用戶組及其它相關信息。其他信息說明：請在此描述其它與系統(tǒng)相關的需要描述的信息。標準處置預案說明：請在此描述系統(tǒng)預設的一些標準處置預案，如主備機切換、應急庫切換、災備環(huán)境標準切換、硬件設備標準關閉、硬件設備標準重啟等標準處置預案。下面列舉了常見的一些標準處置預案但不完善，請預案編制人員根據(jù)系統(tǒng)實際情況酌情修訂。在預案模板中，系統(tǒng)標準處置預案列舉如下：主備機標準切換：該處置預案應包含系統(tǒng)各種設備在運行中出現(xiàn)意外時，所涉及的各種應急切換處置步驟。設備包含大機、小機、服務器、網(wǎng)絡設備、專用設備、存儲等。應急庫標準切換:該處置預案應包含系統(tǒng)切換應急庫的相關處置步驟。災備環(huán)境標準切換：該處置預案應包含系統(tǒng)切換災備環(huán)境的相關處置步驟。硬件設備標準關閉：該處置預案包含系統(tǒng)硬件設備關閉時的相關處置步驟。硬件設備標準重啟：該處置預案包含系統(tǒng)硬件設備重啟時的相關處置步驟。數(shù)據(jù)庫標準關閉：該處置預案包含系統(tǒng)數(shù)據(jù)庫關閉時的相關處置步驟數(shù)據(jù)庫標準重啟：該處置預案包含系統(tǒng)數(shù)據(jù)庫重啟時的相關處置步驟。應用服務標準關閉：該處置預案包含系統(tǒng)應用服務關閉時的相關處置步驟。應用服務標準重啟：該處置預案包含系統(tǒng)應用服務重啟時的相關處置步驟。中間件標準關閉：該處置預案包含系統(tǒng)中間件關閉時的相關處置步驟。中間件標準重啟：該處置預案包含系統(tǒng)中間件重啟時的相關處置步驟。其它通用軟件標準關閉：該處置預案包含系統(tǒng)其它通用軟件關閉時的相關處置步驟。其它通用軟件標準重啟：該處置預案包含系統(tǒng)其它通用軟件重啟時的相關處置步驟。硬件模塊故障標準處置：該處置預案應包含系統(tǒng)設備出現(xiàn)硬件模塊故障，需要進行在線更換的相關處置步驟。涉及模塊如電源、CPU、內(nèi)存、RAID卡、光纖卡等。恢復回切標準處置：該處置預案應包含系統(tǒng)通過故障救治，排除故障后恢復到原生產(chǎn)環(huán)境所涉及的各種回切處置。

標準處置說明：請在此對標準處置的主要用途做簡要描述。修訂日期：說明：請在此描述該標準處置最近一次驗證和修訂的日期。處置時間：說明：請在此描述完成操作需要的時間。操作步驟：說明：請在此描述具體操作步驟，要求詳細到具體的操作命令。驗證步驟：說明：請在此描述操作完后的驗證步驟，也要求詳細到具體的操作命令。示例：標準處置1：主備機切換該標準處置主要起如下作用：生產(chǎn)環(huán)境郵件網(wǎng)關設備出現(xiàn)故障無法工作情況下，郵件網(wǎng)關備機通過該標準處置可緊急接管服務。修訂日期：20XX年3月10日。處置時間：處置時間<20分鐘。操作步驟：進入運維終端E:\日常備份\月報\郵件網(wǎng)關郵件服務器策略明細表，找到當日備份及證書備份；將備機的IP地址修改為生產(chǎn)主機地址(11.xxx.xxx.31)，重新啟動網(wǎng)絡；具體操作命令為：vi/etc/sysconfig/network-scripts/ifcfg-eth0），將IPADDRESS項中的地址修改為生產(chǎn)地址，存盤退出編輯。將郵件網(wǎng)關31主機的網(wǎng)線拔除并插到備機對應網(wǎng)卡中；在超級用戶權限下執(zhí)行應用啟動命令：#/etc/init.d/smgdrestart。用administrator用戶登錄https://11.xxx.xxx.31/admin管理界面，進入系統(tǒng)設置幫助—設置向?qū)?-，輸入（驗證）備份的證書序號和激活碼。繼續(xù)在系統(tǒng)設置更新管理中，立即更新反病毒庫和反垃圾郵件庫。登錄https://11.xxx.xxx.31:10000端口管理界面，在系統(tǒng)備份管理導入終端中的備份文件，恢復系統(tǒng)配置及策略設置為31主機狀態(tài)；驗證步驟：登錄https://11.xxx.xxx.31/admin查看系統(tǒng)設置、系統(tǒng)面板，分別檢查設置是否已經(jīng)恢復成功，對外連接的服務器狀態(tài)是否正常；繼續(xù)在https://11.xxx.xxx.31/admin，統(tǒng)計與日志中，分別查看郵件日志、投遞郵件、系統(tǒng)狀態(tài)、過濾統(tǒng)計等，測試收發(fā)郵件是否正常工作，過濾是否正常；登錄https://11.xxx.xxx.31:10000管理界面，在系統(tǒng)歷史統(tǒng)計數(shù)據(jù)中，分別查看CPU、磁盤、內(nèi)存、eth0網(wǎng)絡接口卡等硬件運行情況；如以上三部分檢查都正常，則說明系統(tǒng)主備機切換成功。故障快速定位快速定位流程說明：請在此描述當系統(tǒng)出現(xiàn)未知故障情況下，應急人員因按照何種預設流程進行故障排查，以便能快速定位系統(tǒng)故障。為規(guī)范和方便大家填寫故障快速定位流程，在預案模版中預設一個空白的應急預案的維護流程，預案修訂人員需要根據(jù)系統(tǒng)特點修改完善。定位流程描述說明：請根據(jù)上節(jié)的定位流程圖，翔實描述各具體定位流程步驟。）1、2、故障快速定位排查內(nèi)容說明：請在此詳細描述在系統(tǒng)故障排查時，可能涉及的檢查的內(nèi)容、執(zhí)行的命令、指標閥值等。在預案模板中預設了快速定位排查表，主要涉及應用應用軟件、網(wǎng)絡狀態(tài)、硬件狀態(tài)、通用軟件等檢查內(nèi)容。預案修訂人員要求認真考慮排查的優(yōu)先順序，按照最快故障排查定位的原則對優(yōu)先順序進行排序。每步排查步驟都要求有檢查內(nèi)容、操作步驟、操作/復核人、檢查結果等具體信息。并要求根據(jù)排查結果指定下一步檢查內(nèi)容。如故障定位檢查需要相關系統(tǒng)配合，也請按照排查順序，將相關檢查內(nèi)容添加到排查表中。如檢查內(nèi)容較多，可在排查表中簡要描述檢查項，詳細內(nèi)容放在預案附錄中。系統(tǒng)應急場景分類及描述故障場景分類說明：請預案修訂人員根據(jù)系統(tǒng)特點，在此對故障場景進行分類并簡要描述，要求故障場景分類應能覆蓋系統(tǒng)所有可能出現(xiàn)的故障場景。示例：系統(tǒng)故障場景按照故障特點分為五類：硬件故障場景、通用軟件故障場景、應用軟件故障場景、網(wǎng)絡故障場景和其它故障場景。1.硬件故障場景：主要包含系統(tǒng)硬件方面的故障場景。例如。。。2.通用軟件故障場景：主要操作系統(tǒng)、數(shù)據(jù)庫軟件、中間件等方面的故障場景。例如。。。3.應用軟件故障場景：主要包含業(yè)務應用系統(tǒng)方面的故障。例如。。。4.網(wǎng)絡故障場景：主要包含與網(wǎng)絡相關的故障場景。例如。。。5.其它故障場景：主要包含系統(tǒng)相關的外聯(lián)系統(tǒng)、外部環(huán)境等方面的故障。例如。。。硬件故障場景說明：請在此詳細列舉并描述系統(tǒng)可能出現(xiàn)的各種硬件場景，在預案模板中列舉了一些常見的故障事件，預案編制人員要根據(jù)系統(tǒng)實際情況酌情修訂。修訂后預案表中的列舉的故障事件都要求在預案隨后的章節(jié)里進行詳細描述。（預案編制人員在修訂應急步驟時，建議參考平臺部編制的通用故障處理方案，該方案內(nèi)包含LINUX、AIX、HP-UX、INFORMIX、ORACLE通過故障處理流程和應急處理步驟。）在預案模板中，系統(tǒng)硬件常見故障事件列舉如下：大型機異常報錯小型機異常報錯加密機設備異常服務器異常宕機設備網(wǎng)卡異常設備CPU異常設備硬盤異常設備內(nèi)存異常設備光纖卡異常設備RAID卡異常設備HA卡異常設備串口卡異常設備其它部件異常XX故障事件說明：請在XX處補全具體故障事件名稱。修訂日期：說明：請在此描述該故障事件處置最近一次驗證和修訂的日期。事件級別：說明：請在此設定該故障事件等級（一級/二級/三級/四級/五級/六級）。劃分原則請按照《中國建設銀行信息系統(tǒng)生產(chǎn)事件等級認定規(guī)定(試行)》(建總發(fā)〔20XX〕138號)對事件級別的劃分。授權級別：說明：請在此設定執(zhí)行該故障救治步驟所需要的授權級別中心領導授權/部室負責人授權/部室日常授權)。授權級別的設定可參照中心總體預案中的授權級別設定原則。處置時間：說明：請在此在設定執(zhí)行救治措施，完成故障處置該所需要的時間。場景描述：說明：請在此簡要描述該故障場景可能出現(xiàn)的狀況和現(xiàn)象。驗證方法：說明：請在此簡要描述可確認該故障事件驗證方法和手段?，F(xiàn)場保護：說明：請在此描述進行現(xiàn)場保護所使用的現(xiàn)場收集腳本。部分腳本可見附錄。救治步驟：說明：請在此此翔實描述故障救治步驟，要求細化到具體的操作指令。如救治步驟調(diào)用前面標準處置章節(jié)的內(nèi)容，則必須在此注明調(diào)用的具體章節(jié)號及名稱。示例：郵件網(wǎng)關集群中一臺設備硬件宕機修訂日期：最近一次驗證和修訂的日期為20XX年3月11日事件級別：五級事件授權級別：部室負責人授權處理時間：26分鐘場景描述：應用監(jiān)控人員通過郵件、短信、實時監(jiān)控等渠道得知主機不可用。應用用戶可以ping通主機IP地址，但不能從控制臺登入操作系統(tǒng)，且未發(fā)現(xiàn)硬件故障燈亮。驗證方法：（3分鐘）進入主機房檢查主機上是否有硬件報錯或是否有黃燈閃，如果沒有則說明不是因為硬件的損壞導致的主機不可用?，F(xiàn)場保護：（3分鐘）如果系統(tǒng)無法響應且屏幕有信息，用手機將提示信息拍下，或者用筆將文字記錄下來；系統(tǒng)重啟后，執(zhí)行errspot.sh腳本將系統(tǒng)相關的信息和日志收集起來，以備分析故障時使用。救治步驟：（20分鐘）將備機的IP地址修改為生產(chǎn)主機地址(11.xxx.xxx.31)，重新啟動網(wǎng)絡；具體操作命令為：vi/etc/sysconfig/network-scripts/ifcfg-eth0），將IPADDRESS項中的地址修改為生產(chǎn)地址，存盤退出編輯。將郵件網(wǎng)關31主機的網(wǎng)線拔除并插到備機對應網(wǎng)卡中；在超級用戶權限下執(zhí)行應用啟動命令：#/etc/init.d/smgdrestart。用administrator用戶登錄https://11.xxx.xxx.31/admin管理界面，進入系統(tǒng)設置幫助—設置向?qū)?-，輸入（驗證）備份的證書序號和激活碼。繼續(xù)在系統(tǒng)設置更新管理中，立即更新反病毒庫和反垃圾郵件庫。登錄https://11.xxx.xxx.31:10000端口管理界面，在系統(tǒng)備份管理導入終端中的備份文件，恢復系統(tǒng)配置及策略設置為31主機狀態(tài)；通用軟件故障場景說明：請在此詳細列舉并描述系統(tǒng)所有可能出現(xiàn)的操作系統(tǒng)、數(shù)據(jù)庫、中間件等通用軟件故障場景。在預案模板中列舉了一些常見的故障事件，預案編制人員要根據(jù)系統(tǒng)實際情況酌情修訂。修訂后預案表中的列舉的故障事件都要求在預案隨后的章節(jié)里進行詳細描述。（預案編制人員在修訂應急步驟時，建議參考平臺部編制的通用故障處理方案，該方案內(nèi)包含LINUX、AIX、HP-UX、INFORMIX、ORACLE通過故障處理流程和應急處理步驟。）在預案模板中，系統(tǒng)通用軟件常見故障事件列舉如下：系統(tǒng)數(shù)據(jù)庫崩潰數(shù)據(jù)庫存儲損壞數(shù)據(jù)庫無法正常處理請求數(shù)據(jù)庫表死鎖數(shù)據(jù)庫表數(shù)據(jù)無法插入邏輯日志滿導致數(shù)據(jù)庫掛起數(shù)據(jù)庫啟動失敗數(shù)據(jù)庫交易處理緩慢數(shù)據(jù)庫表空間OffLine數(shù)據(jù)庫無法連接或無響應數(shù)據(jù)庫性能極劇下降數(shù)據(jù)庫短時間內(nèi)不可用數(shù)據(jù)庫實例監(jiān)聽宕掉數(shù)據(jù)庫實例出現(xiàn)大量等待事件數(shù)據(jù)庫實例無法切換邏輯日志Tuxedo服務異?；蚪┧纖eblogic實例異?；蚪┧繟IX操作系統(tǒng)異?；驁箦eLINUX操作系統(tǒng)異?；驁箦eHP-UX操作系統(tǒng)異?；驁箦eWINDOW操作系統(tǒng)異常或報錯中間件異?；驁箦e應用軟件故障場景說明：請在此詳細列舉并描述系統(tǒng)所有可能出現(xiàn)的應用故障場景。在預案模板中列舉了一些常見的故障事件，預案編制人員要根據(jù)系統(tǒng)實際情況酌情修訂。修訂后預案表中的列舉的故障事件都要求在預案隨后的章節(jié)里進行詳細描述。在預案模板中，系統(tǒng)應用軟件常見故障事件列舉如下：系統(tǒng)應用不能正常運行應用進程異常系統(tǒng)應用無法啟動系統(tǒng)應用響應緩慢或無響應XX交易異常報錯XX交易流量異常下降XX交易成功率異常下降用戶無法登陸應用界面用戶連接應用異常報錯應用服務隊列堵塞應用出現(xiàn)大量繁忙，交易時間延長應用共享空間異常應用處理性能下降部分分行應用堵塞，無法連接總行某類特定交易成功率異常某類特定交易流量異常下降網(wǎng)路故障場景說明：請在此詳細列舉并描述系統(tǒng)所有可能出現(xiàn)的網(wǎng)絡故障場景。在預案模板中列舉了一些常見的故障事件，預案編制人員要根據(jù)系統(tǒng)實際情況酌情修訂。修訂后預案表中的列舉的故障事件都要求在預案隨后的章節(jié)里進行詳細描述。在預案模板中，系統(tǒng)網(wǎng)絡常見故障事件列舉如下：外聯(lián)節(jié)點網(wǎng)絡異常中斷網(wǎng)絡外聯(lián)服務不可用AP與DB間網(wǎng)絡異?；虿豢捎肳EB與AP間網(wǎng)絡異?；虿豢捎镁W(wǎng)絡端口流量異常升高/下降防火墻連接數(shù)異常IP地址異常或出現(xiàn)沖突數(shù)據(jù)傳輸中出現(xiàn)異常丟包病毒爆發(fā)，堵塞網(wǎng)絡網(wǎng)絡被攻擊，不可用F5服務異常或報錯其它故障場景說明：請在此詳細列舉并描述系統(tǒng)所有可能出現(xiàn)的外部環(huán)境、外聯(lián)、外部系統(tǒng)等故障場景。在預案模板中列舉了一些常見的故障事件，預案編制人員要根據(jù)系統(tǒng)實際情況酌情修訂。修訂后預案表中的列舉的故障事件都要求在預案隨后的章節(jié)里進行詳細描述。在預案模板中，系統(tǒng)其它常見故障事件列舉如下：機柜異常掉電外聯(lián)系統(tǒng)交易異常外聯(lián)系統(tǒng)不可用設備被人為破壞恢復回切場景說明：請在此詳細列舉并描述系統(tǒng)所有可能出現(xiàn)的恢復回切場景。在預案模板中列舉了一些常見的故障事件，預案編制人員要根據(jù)系統(tǒng)實際情況酌情修訂。修訂后預案表中的列舉的故障事件都要求在預案隨后的章節(jié)里進行詳細描述。在預案模板中，系統(tǒng)恢復回切場景列舉如下：應用回切數(shù)據(jù)庫回切災備庫回切附錄附錄一：人員聯(lián)系表說明：請在此詳細描述與本系統(tǒng)應急相關的所有人員。在人員聯(lián)系表中應至少含有中心領導層、業(yè)務部門、系統(tǒng)處室、網(wǎng)絡、機房、平臺、合作公司、外部機構和外部服務商等應急處置所需的人員。要求在預案模板設置的表中能明確應急處置人員的技術水平和能力，以及B角人員的技術水平是否勝任。在預案模板的人員聯(lián)系表中，每個人員信息預設如下字段：姓名所屬單位職務聯(lián)系郵箱固定電話移動電話專業(yè)技能應急職責說明：請在此注明人員在應急中的職責。如指揮A角、指揮B角、操作員A角、操作員B角、審核員A角、審核員B角、外聯(lián)人員A角、外聯(lián)人員B角、公司技術人員A角、公司技術人員B角等。聯(lián)系表修訂日期附錄二：應急演練方案說明：附錄二的應急演練方案是數(shù)據(jù)中心通用演練方案模板，在組織系統(tǒng)應急演練時，演練人員可以參考使用。附錄三：應急演練報告說明：附錄三的應急演練報告是數(shù)據(jù)中心通用演練報告模板，在組織系統(tǒng)應急演練時，演練人員可以參考使用。附錄四：故障應急報告說明：附錄四的故障應急報告是數(shù)據(jù)中心通用報告模板，在進行系統(tǒng)應急時，應急人員可以參考使用。附錄五：故障現(xiàn)場收集腳本說明：腳本編號編制規(guī)則如下：GXXX--通用腳本(general)，為數(shù)據(jù)中心系統(tǒng)平臺部整理的通用故障收集腳本，在故障情況下可有系統(tǒng)應急人員直接使用； SXXX--特殊腳本(special)，為數(shù)據(jù)中心系統(tǒng)平臺部整理的特殊故障收集腳本，針對不同的場景和具體問題進行執(zhí)行的腳本（腳本執(zhí)行可能會對系統(tǒng)有一定風險，建議由專業(yè)技術人員執(zhí)行）CXXX—自定義腳本(custom),數(shù)據(jù)中心預案修訂人員可針對不同的場景和具體問題，自行開發(fā)的用于特定系統(tǒng)和應用信息收集的腳本。 序號腳本名稱系統(tǒng)腳本用途（簡要說明）G001aix\general\general.aix.shAIX系統(tǒng)通用故障收集腳本,主要用于收集系統(tǒng)、硬件、IO、網(wǎng)絡、內(nèi)存、snap、Dump、系統(tǒng)安全方面等信息。G002bea\tuxedo\general\BEAMonitor_MP.shTuxedo通用故障收集腳本,主要用于MP模式下收集應用信息G003bea\tuxedo\general\BEAMonitor_SHM.shTuxedo通用故障收集腳本,主要用于SHM模式下收集應用信息G004hp\general\cola.shHP系統(tǒng)通用故障收集腳本,主要用于收集系統(tǒng)、硬件、IO、網(wǎng)絡、內(nèi)存、HACMP、Dump、系統(tǒng)安全方面等信息G005hp\general\colb.shHP系統(tǒng)通用故障收集腳本,主要用于收集網(wǎng)絡、ipcs等信息G006informix\general\rmix.shInformix系統(tǒng)通用故障收集腳本,主要用于收集Onstat、env、ulimit、csdkversion、oninit、typetab、bar_act.log、online.log、sqlhosts、onconfig等信息G007oracle\general\general_script.shOracle系統(tǒng)通用故障收