信用卡系統(tǒng)應(yīng)急預(yù)案

1、貸記卡系統(tǒng)應(yīng)急預(yù)案2010年10月目錄1總則41.1編制目的41.2適用范圍41.3工作原則42組織指揮體系及職責(zé)分工52.1應(yīng)急組織機(jī)構(gòu)52.2應(yīng)急機(jī)構(gòu)職責(zé)53預(yù)防和預(yù)警機(jī)制63.1預(yù)防預(yù)警制度63.2預(yù)防預(yù)警行動及支持系統(tǒng)64應(yīng)急響應(yīng)64.1信息報送和處理64.2通訊74.3應(yīng)急處置74.4應(yīng)急結(jié)束85應(yīng)急保障86后期處置86.1善后處置86.2處置評價及內(nèi)審87核心路由器故障87.1端口和板卡故障87.2路由器背板或電源故障98核心交換機(jī)故障98.1端口和板卡故障98.2交換機(jī)背板或電源故障109防火墻故障109.1端口、主板和電源故障109.2配置更改故障1010發(fā)卡系統(tǒng)雙機(jī)熱備切換1

2、110.1雙機(jī)熱切換觸發(fā)方式1210.2雙機(jī)熱切換前準(zhǔn)備工作1210.3雙機(jī)熱切換的監(jiān)控檢查1310.4雙機(jī)熱切換實施步驟表1311其他故障1512附則1512.1預(yù)案管理與更新1512.2責(zé)任與獎懲1512.3解釋部門及聯(lián)系人1512.4預(yù)案實施1613附件1713.1總體應(yīng)急預(yù)案突發(fā)事件應(yīng)急處置流程圖171 總則1.1 編制目的適應(yīng)XXXX銀行（以下簡稱“XXXX銀行”）特點和未來發(fā)展需要，提高應(yīng)對突發(fā)事件的能力，保證XXXX銀行能夠在發(fā)生突發(fā)事件的情況下，仍然可以系統(tǒng)、協(xié)調(diào)、高效地開展工作，并將突發(fā)事件可能造成的損失控制在最低程度內(nèi)。1.2 適用范圍（1） 由XXXX銀行發(fā)卡系統(tǒng)和各類外

3、圍系統(tǒng)（如：風(fēng)控系統(tǒng)、短信系統(tǒng)、反洗錢系統(tǒng)、文件傳輸服務(wù)器等）、網(wǎng)絡(luò)通信、機(jī)器設(shè)備、機(jī)房設(shè)施等發(fā)生故障而引起的交易中斷的突發(fā)事件；（2） 因發(fā)卡系統(tǒng)、外圍系統(tǒng)賬戶信息泄露引發(fā)的突發(fā)事件；（3） 因自然災(zāi)害、事故災(zāi)難、公共衛(wèi)生事件、社會安全事件以及能源供應(yīng)、物資供應(yīng)、通訊等公共服務(wù)的中斷而造成XXXX銀行無法正常運營的事件；（4） 危害XXXX銀行公共關(guān)系和形象，造成不良社會影響的各類突發(fā)事件；（5） 由上級單位、理事長辦公會或理事長認(rèn)定的其他事件。本預(yù)案指導(dǎo)XXXX銀行突發(fā)事件應(yīng)對工作。1.3 工作原則統(tǒng)一指揮，快速反應(yīng)。根據(jù)本預(yù)案或分預(yù)案規(guī)定成立相應(yīng)的突發(fā)事件處置領(lǐng)導(dǎo)小組，由該領(lǐng)導(dǎo)小組統(tǒng)一指

4、揮、組織各項應(yīng)對工作。XXXX銀行各部門應(yīng)緊密配合服從領(lǐng)導(dǎo)小組指揮。以人為本，減少損失。應(yīng)對突發(fā)事件的各項措施均應(yīng)以人為本，最大程度地減少突發(fā)事件造成的危害和損失。居安思危，預(yù)防為主。高度重視突發(fā)事件預(yù)防工作，常抓不懈，防患于未然。增強(qiáng)憂患意識，堅持預(yù)防與應(yīng)急相結(jié)合，做好應(yīng)對突發(fā)事件的各項準(zhǔn)備工作。根據(jù)行業(yè)內(nèi)或自身已發(fā)生的事件進(jìn)行學(xué)習(xí)和總結(jié)，提高應(yīng)急預(yù)案有效性與應(yīng)急能力。保密原則：參與突發(fā)事件處置工作的人員應(yīng)嚴(yán)守XXXX銀行保密規(guī)定，未經(jīng)授權(quán)不得向外界提供與處置有關(guān)的工作信息，不得利用工作中獲得的信息牟取私利。2 組織指揮體系及職責(zé)分工2.1 應(yīng)急組織機(jī)構(gòu)（1） 應(yīng)急組織機(jī)構(gòu)依各相關(guān)分預(yù)案規(guī)定

5、設(shè)立和運作。沒有對應(yīng)分預(yù)案的，應(yīng)急組織機(jī)構(gòu)依總體預(yù)案相關(guān)規(guī)定設(shè)立和運作。（2） 突發(fā)事件處置領(lǐng)導(dǎo)小組：由XXXX銀行分管領(lǐng)導(dǎo)擔(dān)任組長，或者由理事長指定一位XXXX銀行領(lǐng)導(dǎo)擔(dān)任組長，主辦部門主要負(fù)責(zé)人為副組長，協(xié)辦部門負(fù)責(zé)人參加。分管領(lǐng)導(dǎo)指分管工作與突發(fā)事件涉及事項最為相關(guān)的XXXX銀行領(lǐng)導(dǎo)。協(xié)辦部門為處置突發(fā)事件涉及的所有部門。突發(fā)事件涉及面較復(fù)雜，難以確定主辦部門的，由辦公室或理事長指定的部門作為主辦部門。突發(fā)事件處置領(lǐng)導(dǎo)小組可以根據(jù)突發(fā)事件性質(zhì)成立若干處置工作小組，也可以指定相關(guān)部門或單位承擔(dān)處置工作小組職責(zé)。（3） 設(shè)立XXXX銀行突發(fā)事件應(yīng)急管理辦公室（辦公室、質(zhì)量保障部），作為應(yīng)急管

6、理的日常協(xié)調(diào)機(jī)構(gòu)。2.2 應(yīng)急機(jī)構(gòu)職責(zé)（1） 突發(fā)事件處置領(lǐng)導(dǎo)小組的職責(zé)包括：研究擬定突發(fā)事件處置對策；組織指揮突發(fā)事件處置工作；協(xié)調(diào)、管理突發(fā)事件中的新聞信息工作；向理事長辦公會提交突發(fā)事件處置工作報告，報告內(nèi)容應(yīng)包括但不限于：突發(fā)事件的描述及分析，各項對策制定的原因及實施結(jié)果，突發(fā)事件及處置工作對未來的影響評估，實施結(jié)果后期跟蹤及處置工作的經(jīng)驗教訓(xùn)等。（2） 突發(fā)事件處置工作小組的職責(zé)包括：實施與職責(zé)相關(guān)的各項處置措施；收集、反饋突發(fā)事件處置的相關(guān)信息以支持領(lǐng)導(dǎo)小組決策；如對客戶造成影響，應(yīng)通知相關(guān)客戶，并協(xié)助客戶處理相關(guān)問題；領(lǐng)導(dǎo)小組指定的其他職責(zé)。（3） 突發(fā)事件應(yīng)急管理辦公室的職責(zé)包

7、括：組織處置工作的辦公、文件運轉(zhuǎn)及檔案管理；為處置工作提供聯(lián)絡(luò)、通訊、后勤等服務(wù)；協(xié)助領(lǐng)導(dǎo)小組組織、協(xié)調(diào)各項處置工作的實施，維持處置工作正常開展；組織實施突發(fā)事件相關(guān)的新聞信息工作；突發(fā)事件處置工作的善后、總結(jié)工作；領(lǐng)導(dǎo)指定的其他工作。3 預(yù)防和預(yù)警機(jī)制3.1 預(yù)防預(yù)警制度各部門要根據(jù)自身職責(zé)和業(yè)務(wù)特點，針對各種可能發(fā)生的突發(fā)事件，建立并完善預(yù)防預(yù)警機(jī)制，開展風(fēng)險分析，做到早發(fā)現(xiàn)、早報告、早處置。各部門要針對關(guān)鍵業(yè)務(wù)、敏感業(yè)務(wù)建立相應(yīng)的預(yù)防、預(yù)警標(biāo)準(zhǔn)，加強(qiáng)對異常情況的跟蹤、監(jiān)控和報告。各部門制定的應(yīng)急預(yù)案和工作安全制度要注意預(yù)防預(yù)警，明確預(yù)防、預(yù)警標(biāo)準(zhǔn)，要明確對應(yīng)急預(yù)案、工作安全制度進(jìn)行演練、

8、檢查、評估和完善的頻度及標(biāo)準(zhǔn)。各部門要確保隨時與各協(xié)作單位保持暢通聯(lián)系。3.2 預(yù)防預(yù)警行動及支持系統(tǒng)各部門要定期或不定期對本部門的應(yīng)急預(yù)案、工作安全制度進(jìn)行演練、檢查、評估和完善。特別要對XXXX銀行發(fā)卡系統(tǒng)安全狀況進(jìn)行實時監(jiān)測，采取各種安全防護(hù)、預(yù)警、備份和災(zāi)難恢復(fù)重建措施，并以有效、適當(dāng)?shù)念l度進(jìn)行應(yīng)急演練和安全檢查。預(yù)防、預(yù)警行動由本部門主要負(fù)責(zé)人負(fù)責(zé)，對預(yù)防、預(yù)警行動的失誤追究其領(lǐng)導(dǎo)責(zé)任。4 應(yīng)急響應(yīng)4.1 信息報送和處理（1） 各分預(yù)案將突發(fā)事件依據(jù)其性質(zhì)、危害程度及范圍等劃分若干級別，實施分級響應(yīng)策略，以提高處置效率，加強(qiáng)預(yù)防預(yù)警。（2） 分預(yù)案應(yīng)明確相關(guān)突發(fā)事件信息報送的方式、程

9、序及要求。（3） 突發(fā)事件相關(guān)信息，應(yīng)在規(guī)定時間內(nèi)報送XXXX銀行應(yīng)急管理辦公室和分預(yù)案確定的相關(guān)部門。對于未制定分預(yù)案應(yīng)對的突發(fā)事件，則應(yīng)及時報告XXXX銀行分管領(lǐng)導(dǎo)，并告知應(yīng)急管理辦公室。 各部門發(fā)生輕微或一般的突發(fā)事件后，原則上應(yīng)在下一工作日向XXXX銀行報送應(yīng)急信息。若遇到較大或重大的突發(fā)事件后，原則上應(yīng)在4小時內(nèi)向XXXX銀行報送應(yīng)急信息。如果情況特別緊急或重大，應(yīng)當(dāng)在準(zhǔn)備書面（電子）材料的同時，第一時間內(nèi)以電話方式向XXXX銀行報告。（4） 信息報送應(yīng)及時、準(zhǔn)確、完整、規(guī)范。 報送內(nèi)容包括：突發(fā)事件發(fā)生的時間、地點、信息來源、事件性質(zhì)、影響范圍及程度、事件的發(fā)展趨勢和已經(jīng)采取的措施

10、等。在應(yīng)急處置過程中，要及時續(xù)報有關(guān)情況。（5） 突發(fā)事件處置領(lǐng)導(dǎo)小組決定信息的通報范圍及形式。信息通報應(yīng)充分考慮次生、衍生、耦合災(zāi)害事件，及時做好預(yù)警、應(yīng)對工作。4.2 通訊應(yīng)急管理辦公室在日常工作中應(yīng)保持與XXXX銀行各部門助總以上人員（含助總）的通訊暢通，及時更新電話、手機(jī)、傳真號碼。應(yīng)急管理辦公室應(yīng)于第一時間與參加應(yīng)急處置的各部門與協(xié)作單位建立通訊聯(lián)系，并確保至少一種通訊方式的穩(wěn)定暢通。通訊應(yīng)滿足保密需要。4.3 應(yīng)急處置各部門依據(jù)應(yīng)急預(yù)案、工作制度確定的分級響應(yīng)權(quán)限，應(yīng)及時預(yù)防、預(yù)警、控制、處置本部門職責(zé)內(nèi)的突發(fā)事件。同時，各部門還應(yīng)對管轄內(nèi)發(fā)生突發(fā)事件及可能次生、衍生、耦合災(zāi)害事件

11、作出評估，采取措施。突發(fā)事件處置領(lǐng)導(dǎo)小組根據(jù)授權(quán)及需要，可運用XXXX銀行全部資源，申請或協(xié)商其他外部支援和幫助。處置工作應(yīng)注意收集、保全與突發(fā)事件相關(guān)的資料及證據(jù)。涉及刑事犯罪的應(yīng)及時報告，并將相關(guān)材料移交司法機(jī)關(guān)，根據(jù)計算機(jī)安全、金融管理的相關(guān)法律來進(jìn)行追溯。4.4 應(yīng)急結(jié)束突發(fā)事件處置領(lǐng)導(dǎo)小組經(jīng)過評估，可向理事長、理事長辦公會議申請應(yīng)急結(jié)束，經(jīng)批準(zhǔn)后解散相關(guān)應(yīng)急機(jī)構(gòu)并宣布結(jié)束。5 應(yīng)急保障應(yīng)急處置中的通訊、文件運轉(zhuǎn)、信息及新聞工作等由辦公室、質(zhì)量保障部負(fù)責(zé)。技術(shù)管理部負(fù)責(zé)向客戶機(jī)構(gòu)通報與其相關(guān)的應(yīng)急信息。應(yīng)急處置中的物資、后勤由辦公室、財務(wù)部負(fù)責(zé)保障、管理或協(xié)調(diào)。應(yīng)急處置中有關(guān)法律事務(wù)由

12、辦公室負(fù)責(zé)，包括但不限于：事前法律風(fēng)險提示，事前、事中作出相關(guān)法律建議，事后參與和配合相關(guān)的應(yīng)訴。應(yīng)急處置中的各業(yè)務(wù)處理系統(tǒng)由責(zé)任部門會同相關(guān)部門落實保障。6 后期處置6.1 善后處置應(yīng)急結(jié)束后，根據(jù)需要可保留部分應(yīng)急機(jī)構(gòu)負(fù)責(zé)善后工作。6.2 處置評價及內(nèi)審處置工作全部結(jié)束后，應(yīng)急管理辦公室應(yīng)將相關(guān)文件、資料及檔案進(jìn)行歸檔管理。歸檔以外的資料由責(zé)任部門留存、處理。突發(fā)事件應(yīng)急管理辦公室負(fù)責(zé)事后內(nèi)審調(diào)查，并應(yīng)就突發(fā)事件及處置工作出具內(nèi)審報告。報告內(nèi)容應(yīng)包括但不限于：對突發(fā)事件原因及責(zé)任的認(rèn)定，對處置工作作出描述及評價，總結(jié)處置工作的經(jīng)驗與教訓(xùn)，提出內(nèi)審處理建議。7 核心路由器故障7.1 端口和板

13、卡故障當(dāng)核心路由器端口或板卡出現(xiàn)故障，導(dǎo)致該端口或板卡所連接線路發(fā)生中斷時，正常情況下，動態(tài)路由協(xié)議會使中斷線路的SDH/ISDN/PSTN備份線路自動啟動，保證網(wǎng)絡(luò)連接的暢通。當(dāng)線路自動切換失敗時：（1）XXXX銀行將進(jìn)入備份路由器配置狀態(tài)，PING命令手工撥號建立連接；（2）修改路由表，使應(yīng)用系統(tǒng)重新建立連接；（3）交易恢復(fù)；（4）切斷核心路由器電源，緊急更換故障端口或板卡；（5）進(jìn)入備份路由器配置狀態(tài)，恢復(fù)主干線路連接；（6）故障出現(xiàn)到交易恢復(fù)可在10分鐘之內(nèi)解決，到主干線路恢復(fù)全程故障解決可在30分鐘之內(nèi)。7.2 路由器背板或電源故障當(dāng)核心路由器背板（包括CUP、內(nèi)存等）或電源模塊出現(xiàn)

14、故障，導(dǎo)致核心路由器癱瘓時，正常情況下，EIGRP動態(tài)路由協(xié)議會使所有中斷線路的備份線路自動啟動，保證網(wǎng)絡(luò)連接的暢通。當(dāng)線路自動切換失敗時：（1）XXXX銀行進(jìn)入備份路由器配置狀態(tài)，PING命令手工撥號與所有對端建立連接；（2）應(yīng)用系統(tǒng)重新建立連接；（3）交易恢復(fù)；（4）緊急更換冷備核心路由器，并保證軟、硬件配置相同；（5）進(jìn)入備份路由器配置狀態(tài)，恢復(fù)主干線路連接；（6）故障出現(xiàn)到交易恢復(fù)可在10分鐘之內(nèi)解決，到主干線路恢復(fù)全程故障解決可在30分鐘之內(nèi)。8 核心交換機(jī)故障8.1 端口和板卡故障當(dāng)核心交換機(jī)端口或板卡出現(xiàn)故障，導(dǎo)致該端口或板卡所連接主機(jī)設(shè)備通訊發(fā)生中斷時，正常情況下，主機(jī)設(shè)備另外

15、一塊網(wǎng)卡將自動通過熱備核心交換機(jī)HSRP協(xié)議與浮動地址進(jìn)行數(shù)據(jù)通訊，交易不會受到任何影響，當(dāng)主機(jī)無法通過熱備核心交換機(jī)與浮動地址通訊時：（1）進(jìn)入核心交換機(jī)配置狀態(tài)，shutdown故障端口或板卡，或直接將故障端口網(wǎng)線拔下；（2）當(dāng)主機(jī)和核心交換機(jī)連接徹底中斷后，主機(jī)另一塊網(wǎng)卡將自動通過熱備核心交換機(jī)；（3）交易恢復(fù)；（4）切斷核心交換機(jī)電源，緊急更換故障端口或板卡；（5）故障出現(xiàn)到交易恢復(fù)可在10分鐘之內(nèi)解決，到主干線路恢復(fù)全程故障解決可在30分鐘之內(nèi)。8.2 交換機(jī)背板或電源故障當(dāng)核心交換機(jī)背板（包括CPU、內(nèi)存等）或電源模塊出現(xiàn)故障，導(dǎo)致核心交換機(jī)癱瘓時，正常情況下，HSRP協(xié)議會將浮動

16、地址自動重新綁定到熱備交換機(jī)，主機(jī)設(shè)備將通過另一塊網(wǎng)卡通過熱備交換機(jī)進(jìn)行數(shù)據(jù)通訊。當(dāng)HSRP協(xié)議自動切換失敗時：（1）進(jìn)入核心交換機(jī)配置狀態(tài)，shutdown連接主機(jī)設(shè)備端口，或直接將連接主機(jī)端口網(wǎng)線拔下；（2）切斷核心交換機(jī)電源，使備份交換機(jī)激活standby地址；（3）交易恢復(fù)；（4）緊急更換冷備核心交換機(jī)，并保證軟、硬件配置相同；（5）故障出現(xiàn)到交易恢復(fù)可在10分鐘之內(nèi)解決，到主干線路恢復(fù)全程故障解決可在30分鐘之內(nèi)。9 防火墻故障9.1 端口、主板和電源故障當(dāng)防火墻發(fā)生端口、主板或電源系統(tǒng)故障時，導(dǎo)致防火墻直接癱瘓無法工作，正常情況下備份防火墻將通過failover機(jī)制自動接管浮動fa

17、ilover地址，保證網(wǎng)絡(luò)不會中斷。當(dāng)failover接管失敗時：（1）切斷兩臺防火墻電源，緊急更換配置相同的冷備防火墻；（2）交易恢復(fù)；（3）故障出現(xiàn)到全程解決可在30分鐘之內(nèi)。9.2 配置更改故障當(dāng)防火墻因為配置更改錯誤發(fā)生故障，導(dǎo)致網(wǎng)絡(luò)連接中斷時：（1）進(jìn)入防火墻配置狀態(tài)，上傳更改前備份配置文件到防火墻；（2）重新引導(dǎo)防火墻；（3）交易恢復(fù)，保存配置到failover防火墻；（4）故障出現(xiàn)到交易恢復(fù)可在30分鐘之內(nèi)解決。10 發(fā)卡系統(tǒng)雙機(jī)熱備切換雙機(jī)熱備的目的是在進(jìn)行系統(tǒng)維護(hù)或出現(xiàn)系統(tǒng)故障時將應(yīng)用切換到備機(jī)上運行，減少應(yīng)用系統(tǒng)的停機(jī)時間。進(jìn)行Cluster切換有以下幾種情況:（1）正常切

18、換此時系統(tǒng)工作正常，進(jìn)行手動切換是為了在主節(jié)點上進(jìn)行硬件擴(kuò)充、補(bǔ)丁升級等系統(tǒng)維護(hù)工作，或進(jìn)行Cluster切換定期演練工作。（2）系統(tǒng)硬件故障切換CPU/MEMORY如果出現(xiàn)內(nèi)核使用的CPU/MEMORY故障，造成操作系統(tǒng)panic，將引發(fā)Cluster切換。I/O如果多個IO設(shè)備同時發(fā)生故障，造成IO通道完全中斷，必然造成應(yīng)用異常中斷，但不會引發(fā)Cluster切換，必須手動控制，將故障主機(jī)重新啟動才可以實現(xiàn)Cluster切換。當(dāng)然，如果IO設(shè)備故障如果造成操作系統(tǒng)panic，將引發(fā)Cluster切換。電源、風(fēng)扇等附件如果多個電源故障，可能造成SF25K異常斷電，引發(fā)Cluster切換；如果多

19、個風(fēng)扇故障，由于溫度過高，會造成主機(jī)panic，并引發(fā)Cluster切換。（3）網(wǎng)絡(luò)故障切換網(wǎng)絡(luò)包括Cluster內(nèi)部通訊的私網(wǎng)和對外服務(wù)的公網(wǎng)兩部分。當(dāng)公網(wǎng)完全中斷，Cluster的內(nèi)部機(jī)制可以發(fā)現(xiàn)問題并引發(fā)Cluster切換；當(dāng)私網(wǎng)完全中斷，按Cluster的機(jī)制，將隨機(jī)選擇Cluster中兩臺主機(jī)中的一臺panic，并引發(fā)Cluster切換。（4）操作系統(tǒng)故障切換如果發(fā)生任何可能造成系統(tǒng)危險的故障，操作系統(tǒng)會自動panic，而Cluster可以實現(xiàn)在一臺主機(jī)panic后重啟的情況下，將應(yīng)用程序切換到另外一臺主機(jī)上。（5）Cluster軟件故障切換目前使用的Cluster 3.2本身就是和

20、操作系統(tǒng)捆綁在一起的，也就是說Cluster軟件的故障也會導(dǎo)致操作系統(tǒng)故障并panic，進(jìn)而引發(fā)Cluster切換。（6）應(yīng)用故障切換在應(yīng)用程序?qū)哟危珻luster提供了接口進(jìn)行監(jiān)控和切換機(jī)制的自定義。由于應(yīng)用系統(tǒng)故障情況比較復(fù)雜，故發(fā)卡系統(tǒng)目前沒有對應(yīng)用系統(tǒng)進(jìn)行監(jiān)控，應(yīng)用系統(tǒng)的故障不能被Cluster發(fā)現(xiàn)并自動切換，只能由手動干預(yù)操作。10.1雙機(jī)熱切換觸發(fā)方式如上所述，當(dāng)Cluster檢測到系統(tǒng)硬件故障、網(wǎng)絡(luò)故障、操作系統(tǒng)故障或Cluster軟件本身故障等嚴(yán)重故障時，會自動觸發(fā)切換。而一些系統(tǒng)、網(wǎng)絡(luò)或應(yīng)用方面的局部故障需要人工檢測和判斷，根據(jù)實際情況采用人工切換的方式。正常切換也需要采用人

21、工方式。人工切換即手動運行Cluster命令進(jìn)行切換。發(fā)卡系統(tǒng)中切換命令如下所示:將XXXX銀行貸記卡系統(tǒng)從Domain A切換到Domain B的命令為:# scswitch -z -g jxnxdbiprg, jxnxdbapprg, jxnxdbgrg -h cupd25k-b運行切換命令后，Cluster將有關(guān)資源從主節(jié)點切換到備用節(jié)點。10.2雙機(jī)熱切換前準(zhǔn)備工作切換前準(zhǔn)備工作只針對手工切換的情況，其目的是為了保證切換的成功，對主節(jié)點和備用節(jié)點進(jìn)行檢查。（1）主節(jié)點檢查使用scstat命令檢查主節(jié)點上各Cluster資源組狀態(tài)處于ONLINE狀態(tài)。檢查數(shù)據(jù)庫v$locked_obje

22、ct視圖，確定無死鎖存在。（2）備用節(jié)點檢查由于換版時需要將備用節(jié)點和主節(jié)點進(jìn)行同步，且平時可能會在備用節(jié)點進(jìn)行一些維護(hù)工作，故需對備用節(jié)點進(jìn)行檢查，確保應(yīng)用運行環(huán)境與主節(jié)點保持一致。使用scstat命令檢查備用節(jié)點上各Cluster資源組處于OFFLINE狀態(tài)。檢查備用節(jié)點上有關(guān)DB2數(shù)據(jù)庫實例和listener已啟動并運行正常。檢查備用節(jié)點文件系統(tǒng)有足夠可用空間，確認(rèn)操作系統(tǒng)日志中無異常報錯信息。檢查備用節(jié)點上無EAE系統(tǒng)的NOF、WDP、ALINTER、ONLINERPT進(jìn)程和server進(jìn)程。10.3雙機(jī)熱切換的監(jiān)控檢查（1）網(wǎng)絡(luò)切換監(jiān)控檢查使用ping命令監(jiān)控網(wǎng)絡(luò)切換在一臺Windo

23、ws監(jiān)控機(jī)上，使用如下命令：ping -t 172.16.17.31命令，不斷地對浮動IP執(zhí)行ping操作。當(dāng)切換開始，會有一段時間無法ping通，記錄這段時間即可得到網(wǎng)絡(luò)切換所需的時間。切換完成后，使用ifconfig -a命令檢查浮動IP是否切換到備用節(jié)點上。（2）應(yīng)用切換監(jiān)控監(jiān)控切換日志，記錄主節(jié)點應(yīng)用停止腳本開始運行的時間和備用節(jié)點應(yīng)用啟動腳本運行結(jié)束的時間。運行scstat命令監(jiān)控主節(jié)點和備用節(jié)點上Cluster資源狀態(tài)。（3）應(yīng)用切換檢查檢查原主節(jié)點，確認(rèn)所有應(yīng)用系統(tǒng)已停止，直至olcp進(jìn)程退出。分別檢查當(dāng)前運行節(jié)點應(yīng)用庫是否啟動成功。如發(fā)現(xiàn)啟動不成功，需立即停止并重新啟動。運行runsys檢查應(yīng)用系統(tǒng)是否啟動；運行nofruok檢查NOF進(jìn)程是否啟動并正常工作；運行ps -ef|grep ctp檢查CTP通訊進(jìn)程是否啟動；檢查XXXX銀行的alincsrv進(jìn)程，測試ISPEC畫面登錄是否正常；重新啟動后臺管理，全面