云平臺服務(wù)器存儲應(yīng)急專項預(yù)案

云平臺服務(wù)器存放應(yīng)急預(yù)案目錄1 目標(biāo) 32 適用范圍 33 規(guī)范內(nèi)容 33.1 故障分類 33.2 應(yīng)急準備 33.3 具體方法 34 故障處理規(guī)范 44.1 機房停電 44.2 主機故障 44.3 存放系統(tǒng)故障 44.4 云平臺軟件系統(tǒng)故障 44.5 云平臺管理服務(wù)器故障預(yù)防 54.6 云平臺日常告警故障排除 55 硬件故障預(yù)防和排除 55.1 故障預(yù)防 55.2 故障排除 55.3 故障處理 6目標(biāo)為提升云平臺服務(wù)器、存放故障處理能力，形成科學(xué)、有效、反應(yīng)快速日常管理步驟和應(yīng)急處理機制，確保平臺安全和穩(wěn)定運行，最大程度地減小故障對生產(chǎn)影響，降低業(yè)務(wù)中止風(fēng)險，特制訂本規(guī)范。適用范圍本規(guī)范適適用于提供云計算虛擬化平臺服務(wù)服務(wù)器、存放管理，應(yīng)對發(fā)生和可能發(fā)生故障。規(guī)范內(nèi)容服務(wù)器運維和應(yīng)急處理應(yīng)包含風(fēng)險評定，檢測體系和應(yīng)急處理三個步驟，合理有效實施控制將預(yù)防故障影響擴大。故障分類平臺故障包含服務(wù)器硬件和存放系統(tǒng)故障；自然災(zāi)難（水、火、電等）造成物理破壞；人為誤操作造成損害等。應(yīng)急準備部門責(zé)任人員明確職責(zé)和管理范圍，依據(jù)實際情況，安排應(yīng)急值班，確保到崗到人，聯(lián)絡(luò)通暢，處理立即正確。具體方法（1）建立安全、可靠、穩(wěn)定運行機房環(huán)境，防火、防雷電、防水、防靜電、防塵；建立備份電源系統(tǒng)。（2）虛擬化平臺服務(wù)器應(yīng)采取可靠、穩(wěn)定、兼容性硬件，落實責(zé)任管理機制，遵守安全操作規(guī)范；對虛擬機和管理服務(wù)器進行定時備份；采取有效虛擬化監(jiān)控工具，立即發(fā)覺問題和日匯報。故障處理規(guī)范機房停電接到停電通知后，相關(guān)人員應(yīng)立即布署應(yīng)對具體方法，開啟備用電源,確保服務(wù)器正常運行。主機故障（1）平臺服務(wù)器出現(xiàn)硬件告警需要停機維護，服務(wù)器責(zé)任人應(yīng)立即通知相關(guān)人員，將業(yè)務(wù)虛機遷移到集群中其它服務(wù)器主機上，再將故障服務(wù)器切換至維護模式并從HA集群中移除，負責(zé)陪同硬件廠家現(xiàn)場更換至成功恢復(fù)。（2）若服務(wù)器硬件二十四小時內(nèi)無法恢復(fù)，服務(wù)器責(zé)任人需書面匯報原因并立即通知業(yè)務(wù)管理人員進行數(shù)據(jù)應(yīng)急備份,預(yù)防災(zāi)難擴大。（3）若虛擬化存放硬件出現(xiàn)告警，第一目擊人應(yīng)立即通知存放管理員，并上報主管領(lǐng)導(dǎo)，存放管理員應(yīng)在匯報1小時內(nèi)聯(lián)絡(luò)廠家到場處理，處理完成后因匯報原因，找四處理方法；并立即對數(shù)據(jù)做完整性檢驗，消除反復(fù)發(fā)生隱患。存放系統(tǒng)故障（1）做好存放系統(tǒng)定時備份，一旦出現(xiàn)數(shù)據(jù)損壞、丟失，能夠立即恢復(fù)系統(tǒng)。（2）發(fā)生存放系統(tǒng)故障后，相關(guān)人員應(yīng)檢驗出現(xiàn)故障原因并立即排除。（3）如遇系統(tǒng)瓦解，數(shù)據(jù)丟失，應(yīng)啟用備份文件進行數(shù)據(jù)恢復(fù)。云平臺軟件系統(tǒng)故障（1）日常做好虛擬機定時備份和快照，系統(tǒng)瓦解后，能夠立即恢復(fù)虛擬機。（2）發(fā)生虛擬機系統(tǒng)故障后，相關(guān)人員應(yīng)立即通知業(yè)務(wù)人員檢驗出現(xiàn)故障原因并立即排除。（3）如遇虛擬機系統(tǒng)需要啟用備份系統(tǒng)進行恢復(fù)時，應(yīng)在恢復(fù)后和業(yè)務(wù)管理員仔細檢驗業(yè)務(wù)是否恢復(fù)并做好恢復(fù)統(tǒng)計。云平臺管理服務(wù)器故障預(yù)防虛擬化服務(wù)器采取群集配置。配套管理軟件對虛擬數(shù)據(jù)中心管理單元進行集中管理，系統(tǒng)平臺常年二十四小時運行，天天將產(chǎn)生大量任務(wù)日志和統(tǒng)計信息。同時管理服務(wù)器擔(dān)任了整個平臺主機管理和集中配置角色，使用率極高。為了安全，應(yīng)定時備份配置數(shù)據(jù)庫，定時檢驗告警日志。云平臺日常告警故障排除當(dāng)虛擬化平臺出現(xiàn)告警信息，經(jīng)過以下步驟排除：確定故障原因。查看已觸發(fā)警報內(nèi)容，確定故障前操作是否是引發(fā)該故障原因，對合規(guī)操作引發(fā)告警，進行消除。對提醒硬件產(chǎn)生告警，應(yīng)查看硬件狀態(tài)信息，對確定是硬件問題按硬件維護預(yù)案處理。對提醒因資源不足或性能引發(fā)告警，因查看近期性能圖表，找出原因，消除故障提醒。對于無法判定故障，可導(dǎo)出系統(tǒng)日志發(fā)給廠家分析處理。硬件故障預(yù)防和排除故障預(yù)防保持雙機運行狀態(tài)正常，單機出現(xiàn)故障后，立即對故障單機進行修復(fù)。故障排除當(dāng)服務(wù)器出現(xiàn)硬件故障，經(jīng)過以下步驟排除：（1）確定故障原因。依次查看電源、硬盤、內(nèi)存、主板、處理器等，如條件許可，可使用替換法檢測各硬件。（2）恢復(fù)固件缺省配置。比如去除第三方廠商備件和非標(biāo)配置件。故障處理（1）硬盤故障處理：當(dāng)硬盤出現(xiàn)黃燈提醒預(yù)警時，應(yīng)先查看硬盤數(shù)據(jù)是否丟失，如數(shù)據(jù)存在應(yīng)先做好數(shù)據(jù)備份，將此服務(wù)器各應(yīng)用快速轉(zhuǎn)移，然后排查報警具體原因，如因為錯誤操作或硬盤連接不好引發(fā)報警，可嘗試重啟服務(wù)器，重新插拔硬盤等操作即可處理問題。如硬盤損壞，應(yīng)立即將備用硬盤替換下故障硬盤，使服務(wù)器恢復(fù)正常工作。排查過程中，如不能正確判定問題原因，不能隨便操作，可向售后服務(wù)咨詢處理。（2）內(nèi)存故障：因為我們服務(wù)器有多組內(nèi)存，單條內(nèi)存故障時，會對服務(wù)器性能稍有影響，當(dāng)不會影響整體使用，所以如發(fā)覺內(nèi)存條損壞時，安排時間將損壞內(nèi)存條替換掉即可。（3）RAID卡故障：服務(wù)器RAID卡出現(xiàn)故障時，系統(tǒng)會無法識別出硬盤，服務(wù)器不能正常使用，所以應(yīng)第一時間開啟備用服務(wù)器。將故障服務(wù)器移出生產(chǎn)網(wǎng)絡(luò)后更換RAID卡，RAID卡經(jīng)過硬盤重新讀取RAID配置信息后即可恢復(fù)使用。（4）電源故障：現(xiàn)階段我們服務(wù)器全部是雙電，假如單路電源故障不影響運行，假如長久單路停電運