軟件系統(tǒng)部署應(yīng)急處理方案初稿

1、 .系統(tǒng)應(yīng)急預(yù)案目 錄1. 目的32. 適用范圍33. 涉及服務(wù)器列表34. 危險(xiǎn)因素分析45. 危險(xiǎn)事件等級(jí)定義分類(lèi)46. 應(yīng)急響應(yīng)流程46.1. 事件報(bào)警與確認(rèn)46.2. 對(duì)系統(tǒng)進(jìn)行檢查46.3. 安全審計(jì)及事故分析56.4. 消除隱患、恢復(fù)正常運(yùn)行56.5. 重新啟動(dòng)系統(tǒng)56.6. 安全報(bào)告、歸檔57. 應(yīng)急處理措施57.1. 一般故障57.2. 重大故障57.3. 特大故障57.3.1. 系統(tǒng)無(wú)法登錄67.3.2. 系統(tǒng)應(yīng)用連接數(shù)據(jù)庫(kù)超時(shí)67.3.3. 滿(mǎn)意度調(diào)查系統(tǒng)應(yīng)用服務(wù)啟動(dòng)正常，卻無(wú)法訪問(wèn)系統(tǒng)67.3.4. 數(shù)據(jù)庫(kù)出錯(cuò)導(dǎo)致系統(tǒng)無(wú)法使用77.3.5. DB2數(shù)據(jù)庫(kù)程序異常77.3.

2、6. 操作系統(tǒng)故障77.3.7. 系統(tǒng)收集調(diào)查問(wèn)卷失敗88. 系統(tǒng)環(huán)境要求88.1. 硬件環(huán)境88.2. 網(wǎng)絡(luò)環(huán)境9 1. 目的為妥善應(yīng)對(duì)和處置甘肅省零售客戶(hù)滿(mǎn)意度網(wǎng)上調(diào)查系統(tǒng)信息安全突發(fā)事件、確保滿(mǎn)意度調(diào)查系統(tǒng)的運(yùn)行安全和數(shù)據(jù)安全，結(jié)合滿(mǎn)意度調(diào)查項(xiàng)目實(shí)際情況，特制定本應(yīng)急預(yù)案。 本預(yù)案主要立足防范和消除以下危害情況的出現(xiàn)：1、 滿(mǎn)意度系統(tǒng)運(yùn)行過(guò)程中數(shù)據(jù)庫(kù)異常，導(dǎo)致數(shù)據(jù)丟失，系統(tǒng)不能正常運(yùn)行；2、 滿(mǎn)意度系統(tǒng)運(yùn)行過(guò)程中，應(yīng)用服務(wù)程序異常，導(dǎo)致系統(tǒng)異常系統(tǒng)不能正常運(yùn)行；3、 滿(mǎn)意度系統(tǒng)運(yùn)行過(guò)程中，服務(wù)器間網(wǎng)絡(luò)連接異常，導(dǎo)致系統(tǒng)異常系統(tǒng)不能正常運(yùn)行。2. 適用范圍本預(yù)案適用于甘肅省煙草公司零售客戶(hù)

3、滿(mǎn)意度網(wǎng)上調(diào)查系統(tǒng)正在發(fā)生或可能發(fā)生的系統(tǒng)安全和數(shù)據(jù)安全突發(fā)事件。3. 涉及服務(wù)器列表設(shè)備名稱(chēng)系統(tǒng)名稱(chēng)IP地址操作系統(tǒng)甘肅省煙草公司內(nèi)網(wǎng)系統(tǒng)業(yè)務(wù)平臺(tái)應(yīng)用服務(wù)器甘肅省零售客戶(hù)滿(mǎn)意度網(wǎng)上調(diào)查系統(tǒng)10.52.4.157、10.52.4.158Aix6.1甘肅省煙草公司內(nèi)網(wǎng)系統(tǒng)業(yè)務(wù)平臺(tái)數(shù)據(jù)庫(kù)服務(wù)器甘肅省零售客戶(hù)滿(mǎn)意度網(wǎng)上調(diào)查系統(tǒng)10.52.4.161、10.52.4.162Aix6.14. 危險(xiǎn)因素分析客戶(hù)滿(mǎn)意度網(wǎng)上調(diào)查系統(tǒng)是作為應(yīng)用組件部署在信息中心數(shù)據(jù)和業(yè)務(wù)兩個(gè)平臺(tái)，而并非單獨(dú)孤立的應(yīng)用系統(tǒng)，且該系統(tǒng)直接部署在生產(chǎn)環(huán)境中，所以引發(fā)零售客戶(hù)客戶(hù)滿(mǎn)意度網(wǎng)上調(diào)查系統(tǒng)潛在危險(xiǎn)的因素主要包括：部署環(huán)境的硬件

4、設(shè)備故障、部署軟件系統(tǒng)故障、網(wǎng)絡(luò)故障及滿(mǎn)意度系統(tǒng)本身的程序錯(cuò)誤。5. 危險(xiǎn)事件等級(jí)定義分類(lèi)1、一般故障：指系統(tǒng)出現(xiàn)輕微錯(cuò)誤或瑕疵，具體包括：個(gè)別圖片無(wú)法顯示、個(gè)別信息內(nèi)容出現(xiàn)明顯錯(cuò)誤、個(gè)別服務(wù)和功能無(wú)法正常使用等。2、重大故障：指出現(xiàn)系統(tǒng)出現(xiàn)異常，但不影響系統(tǒng)日常使用，具體包括：局部頁(yè)面錯(cuò)誤、部分功能無(wú)法使用，部分信息內(nèi)容出現(xiàn)明顯錯(cuò)誤等。3、特大故障：指系統(tǒng)崩潰，應(yīng)用服務(wù)停止，導(dǎo)致大規(guī)模用戶(hù)無(wú)法使用系統(tǒng)，出現(xiàn)數(shù)據(jù)丟失，具體包括：系統(tǒng)服務(wù)無(wú)法啟動(dòng)、數(shù)據(jù)庫(kù)無(wú)法連接、系統(tǒng)程序異常和數(shù)據(jù)庫(kù)文件損壞等。6. 應(yīng)急響應(yīng)流程6.1. 事件報(bào)警與確認(rèn)工作人員對(duì)數(shù)據(jù)庫(kù)服務(wù)器、應(yīng)用系統(tǒng)的運(yùn)行狀況以及網(wǎng)絡(luò)情況進(jìn)行監(jiān)

5、測(cè)，及時(shí)發(fā)現(xiàn)系統(tǒng)的異常和網(wǎng)絡(luò)故障，一旦發(fā)現(xiàn)異常情況需及時(shí)通知項(xiàng)目維護(hù)相關(guān)人員進(jìn)行原因的排查和故障的處理；6.2. 對(duì)系統(tǒng)進(jìn)行檢查1、 檢查網(wǎng)絡(luò)連接：需要相關(guān)網(wǎng)絡(luò)管理人員配合檢查；2、 檢查應(yīng)用服務(wù)器性能指標(biāo)，檢查的內(nèi)容包括：Web Sphere進(jìn)程是否正常、CPU使用率、內(nèi)存使用率；3、 檢查后臺(tái)數(shù)據(jù)庫(kù)服務(wù)器性能指標(biāo)，檢查內(nèi)容包括：數(shù)據(jù)庫(kù)服務(wù)器雙機(jī)狀態(tài)、數(shù)據(jù)庫(kù)進(jìn)程是否正常、數(shù)據(jù)庫(kù)服務(wù)是否啟動(dòng)、CPU使用率、內(nèi)存使用率。6.3. 安全審計(jì)及事故分析通過(guò)系統(tǒng)日志、網(wǎng)絡(luò)設(shè)備日志、數(shù)據(jù)庫(kù)訪問(wèn)日志等，對(duì)事件進(jìn)行審計(jì)，對(duì)損失進(jìn)行評(píng)估，追查事件的發(fā)生原因；6.4. 消除隱患、恢復(fù)正常運(yùn)行根據(jù)審計(jì)結(jié)果，排除系

6、統(tǒng)隱患，恢復(fù)系統(tǒng)正常運(yùn)行；6.5. 重新啟動(dòng)系統(tǒng)啟動(dòng)數(shù)據(jù)庫(kù)服務(wù)器-啟動(dòng)應(yīng)用服務(wù)器；6.6. 安全報(bào)告、歸檔提供故障分析報(bào)告，分析故障原因，修正預(yù)案處理流程并歸檔。7. 應(yīng)急處理措施7.1. 一般故障工作人員第一時(shí)間迅速準(zhǔn)確判斷事件原因，提交甘肅省煙草公司零售客戶(hù)滿(mǎn)意度網(wǎng)上調(diào)查系統(tǒng)項(xiàng)目組進(jìn)行處置。7.2. 重大故障按規(guī)定及時(shí)向信息中心報(bào)告。報(bào)告內(nèi)容主要包括故障范圍、影響范圍、事件性質(zhì)、事件發(fā)展趨勢(shì)和采取的措施等。信息中心召集相關(guān)責(zé)任部門(mén)共同協(xié)商解決。必要時(shí)可以停止系統(tǒng)運(yùn)行。7.3. 特大故障按規(guī)定及時(shí)向甘肅省煙草公司信息中心辦公室報(bào)告，并要實(shí)行報(bào)告勢(shì)態(tài)進(jìn)程。甘肅省煙草公司信息中心辦公室根據(jù)系統(tǒng)故

7、障發(fā)展態(tài)勢(shì)，現(xiàn)場(chǎng)指導(dǎo)，組織派遣應(yīng)急支援力量。具體措施如下：7.3.1. 系統(tǒng)無(wú)法登錄系統(tǒng)無(wú)法正常登錄一般由于應(yīng)用服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器之間網(wǎng)絡(luò)連接異?；驍?shù)據(jù)庫(kù)服務(wù)未啟動(dòng)導(dǎo)致，現(xiàn)場(chǎng)處理措施如下： 檢查應(yīng)用服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器之間網(wǎng)絡(luò)連接是否正常，若應(yīng)用服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器之間網(wǎng)絡(luò)連接異常，恢復(fù)應(yīng)用服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器網(wǎng)絡(luò)解決，重新啟動(dòng)系統(tǒng)； 應(yīng)用程序后臺(tái)服務(wù)是否運(yùn)行正常； 檢查數(shù)據(jù)庫(kù)服務(wù)器數(shù)據(jù)庫(kù)服務(wù)是否運(yùn)行正常，如數(shù)據(jù)庫(kù)服務(wù)器服務(wù)未啟動(dòng)則啟動(dòng)數(shù)據(jù)庫(kù)服務(wù)器數(shù)據(jù)庫(kù)服務(wù)，重新啟動(dòng)系統(tǒng)； 若以上方案均無(wú)法解決系統(tǒng)無(wú)法登錄問(wèn)題，抓取并保存系統(tǒng)出錯(cuò)信息及日志文件，簡(jiǎn)單判斷異常部位，通知系統(tǒng)維護(hù)相關(guān)人員，保留現(xiàn)

8、場(chǎng)，分析查找原因。7.3.2. 系統(tǒng)應(yīng)用連接數(shù)據(jù)庫(kù)超時(shí)數(shù)據(jù)庫(kù)連接超時(shí)，一種情況是應(yīng)用服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器網(wǎng)絡(luò)連接異常；另一種情況是系統(tǒng)數(shù)據(jù)源出錯(cuò)，現(xiàn)場(chǎng)處理措施如： 應(yīng)用服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器網(wǎng)絡(luò)連接異常，排除網(wǎng)絡(luò)連接異常故障，重啟數(shù)據(jù)庫(kù)服務(wù)器和應(yīng)用服務(wù)器。 系統(tǒng)數(shù)據(jù)源出錯(cuò)，重新配置系統(tǒng)數(shù)據(jù)源。（詳情參照甘肅省煙草公司零售客戶(hù)滿(mǎn)意度網(wǎng)上調(diào)查系統(tǒng)部署方案5.3配置文件說(shuō)明配置數(shù)據(jù)源）。 以上方案無(wú)法解決系統(tǒng)故障時(shí)，應(yīng)停止系統(tǒng)后臺(tái)服務(wù)，防止不知情用戶(hù)繼續(xù)投遞數(shù)據(jù)。抓取并保存系統(tǒng)出錯(cuò)信息及日志文件，簡(jiǎn)單判斷異常部位，通知系統(tǒng)維護(hù)相關(guān)人員，保留現(xiàn)場(chǎng)，分析查找原因。7.3.3. 滿(mǎn)意度調(diào)查系統(tǒng)應(yīng)用服務(wù)啟動(dòng)正

9、常，卻無(wú)法訪問(wèn)系統(tǒng)如果滿(mǎn)意度調(diào)查系統(tǒng)應(yīng)用服務(wù)啟動(dòng)正常，無(wú)法訪問(wèn)系統(tǒng)?，F(xiàn)場(chǎng)處理措施如下： 系統(tǒng)應(yīng)用程序包出現(xiàn)故障，需重新部署滿(mǎn)意度調(diào)查系統(tǒng)應(yīng)用程序包； 系統(tǒng)數(shù)據(jù)源出錯(cuò)，需重新配置數(shù)據(jù)源。（詳情參照甘肅省煙草公司零售客戶(hù)滿(mǎn)意度網(wǎng)上調(diào)查系統(tǒng)部署方案5.3配置文件說(shuō)明配置數(shù)據(jù)源）。7.3.4. 數(shù)據(jù)庫(kù)出錯(cuò)導(dǎo)致系統(tǒng)無(wú)法使用數(shù)據(jù)庫(kù)出現(xiàn)故障系統(tǒng)數(shù)據(jù)文件損壞，以系統(tǒng)管理員用戶(hù)登錄在應(yīng)用服務(wù)器10.52.4.161上的DB2客戶(hù)端，創(chuàng)建新的表空間，導(dǎo)入最近的一個(gè)時(shí)間點(diǎn)的系統(tǒng)數(shù)據(jù)庫(kù)備份文件到新建的表空間里，重新添加部署系統(tǒng)數(shù)據(jù)源，進(jìn)行恢復(fù)操作。操作過(guò)程中，應(yīng)停止系統(tǒng)后臺(tái)服務(wù)，防止不知情用戶(hù)繼續(xù)投遞數(shù)據(jù)。7.3.5

10、. DB2數(shù)據(jù)庫(kù)程序異常BD2 數(shù)據(jù)庫(kù)出現(xiàn)故障無(wú)法繼續(xù)使用，需重新安裝DB2 數(shù)據(jù)庫(kù)程序，安裝完成后，創(chuàng)建新的數(shù)據(jù)庫(kù)和表空間，導(dǎo)入系統(tǒng)數(shù)據(jù)文件到新建的表空間里，重新添加部署應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)，進(jìn)行恢復(fù)操作。操作完后重新啟動(dòng)應(yīng)用服務(wù)及數(shù)據(jù)服務(wù)。7.3.6. 操作系統(tǒng)故障應(yīng)用服務(wù)器或數(shù)據(jù)庫(kù)服務(wù)器系統(tǒng)故障，導(dǎo)致系統(tǒng)無(wú)法正常運(yùn)行，需重新安裝操作系統(tǒng)。 應(yīng)用服務(wù)器操作系統(tǒng)故障，重新安裝操作系統(tǒng)，重新部署滿(mǎn)意度系統(tǒng)。具體操作參照甘肅省煙草公司零售客戶(hù)滿(mǎn)意度網(wǎng)上調(diào)查系統(tǒng)部署方案，部署完畢啟動(dòng)數(shù)據(jù)庫(kù)服務(wù)和應(yīng)用服務(wù)。 數(shù)據(jù)庫(kù)服務(wù)器操作系統(tǒng)故障，重新安裝操作系統(tǒng)，以系統(tǒng)管理員用戶(hù)登錄在應(yīng)用服務(wù)器10.52.4.161上的DB2客戶(hù)端，創(chuàng)建新的表空間，導(dǎo)入最近的一個(gè)時(shí)間點(diǎn)的系統(tǒng)數(shù)據(jù)庫(kù)備份文件到新建的表空間里，重新添加部署系統(tǒng)數(shù)據(jù)源，進(jìn)行恢復(fù)操作。7.3.7. 系統(tǒng)收集調(diào)查問(wèn)卷失敗系統(tǒng)收集調(diào)查問(wèn)卷失敗一般由于網(wǎng)絡(luò)連接故障、數(shù)據(jù)庫(kù)異?；蛳到y(tǒng)程序?qū)е拢F(xiàn)場(chǎng)處理措施如下： 檢查應(yīng)用服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器之間網(wǎng)絡(luò)連接是否正常，若應(yīng)用服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器之間網(wǎng)絡(luò)連接異常，恢復(fù)應(yīng)用服務(wù)器與數(shù)據(jù)庫(kù)服務(wù)器網(wǎng)絡(luò)解決，重新啟動(dòng)系統(tǒng)； 檢查應(yīng)用服務(wù)器與新商盟平臺(tái)網(wǎng)絡(luò)連接是否正常，若應(yīng)用服務(wù)器與新商盟平息