云數(shù)據(jù)中心運(yùn)維及故障處理

云數(shù)據(jù)中心運(yùn)維及故障處理目錄第頁運(yùn)維管理系統(tǒng)監(jiān)控告警管理備份與恢復(fù)日志管理權(quán)限管理運(yùn)維工具故障處理運(yùn)維管理(1)31542高效運(yùn)維設(shè)備指標(biāo)監(jiān)控虛擬機(jī)監(jiān)控性能統(tǒng)計(jì)系統(tǒng)監(jiān)控告警查看告警處理聯(lián)機(jī)幫助告警閾值配置告警通知告警處理單點(diǎn)登錄分權(quán)分域管理角色管理密碼復(fù)雜度管理用戶管理權(quán)限管理日志查看日志導(dǎo)出日志安全審計(jì)日志定位日志管理自動(dòng)備份手動(dòng)備份手動(dòng)恢復(fù)備份恢復(fù)集中統(tǒng)一管理快速定位問題快速恢復(fù)業(yè)務(wù)第頁運(yùn)維管理(2)31542系統(tǒng)正常運(yùn)行FC·

FusionCompute（FC）維護(hù)PortalFusionSphere

SOI·

資源管理·

集中管理FM升級(jí)打補(bǔ)丁UpdateTool健康檢查信息收集FusionCareFusionManager（FM）：主要維護(hù)入口，提供運(yùn)維功能。集中管理

FusionSphere的所有產(chǎn)品FM/FC第頁系統(tǒng)監(jiān)控(1)性能監(jiān)控：監(jiān)控FusionSphere的硬件和軟件性能，例如CPU使用率歷史數(shù)據(jù)查詢：按周、月、年及自定義時(shí)段查詢性能監(jiān)控結(jié)果統(tǒng)計(jì)：進(jìn)行TOP統(tǒng)計(jì)報(bào)表：系統(tǒng)報(bào)表、自定義報(bào)表、下載報(bào)表、啟用和禁用報(bào)表第頁系統(tǒng)監(jiān)控(2)性能監(jiān)控服務(wù)器監(jiān)控交換機(jī)監(jiān)控集群監(jiān)控CPU、內(nèi)存網(wǎng)絡(luò)流入網(wǎng)絡(luò)發(fā)送包速、網(wǎng)絡(luò)接收包速磁盤I/O寫出磁盤占用率端口編號(hào)、狀態(tài)發(fā)送、接受速率

發(fā)送、接收丟包率發(fā)送、接收錯(cuò)誤率平均：CPU占用率、內(nèi)存占用率、網(wǎng)絡(luò)流速TOP：CPU占用主機(jī)、內(nèi)存占用主機(jī)、存儲(chǔ)占用主機(jī)

TOP：網(wǎng)絡(luò)流入、流出靠前主機(jī)CPU占用率、內(nèi)存占用率網(wǎng)絡(luò)流出、流入磁盤I/O寫入、讀出磁盤占用率虛擬機(jī)監(jiān)控第頁告警管理監(jiān)控對(duì)象告警查看告警管理告警操作告警配置第頁服務(wù)器實(shí)時(shí)告警清除告警閾值配置交換機(jī)歷史告警屏蔽告警告警屏蔽存儲(chǔ)設(shè)備虛擬化第三方告警接入告警查詢告警統(tǒng)計(jì)告警詳情和幫助郵件通知導(dǎo)出告警第頁備份與恢復(fù)(1)備份對(duì)象FM對(duì)各部件的管理節(jié)點(diǎn)數(shù)據(jù)進(jìn)行備份：FM、FC和VSAM，需要配置FTP服務(wù)器，若無FTP，則僅做本地備份自動(dòng)備份備份時(shí)間：每天凌晨02:00默認(rèn)保留7個(gè)備份（包括自動(dòng)和手工備份）手工備份場(chǎng)景：對(duì)系統(tǒng)進(jìn)行重大操作前，例如升級(jí)、重大數(shù)據(jù)調(diào)整等，通過FusionManager備份管理節(jié)點(diǎn)數(shù)據(jù)目的：保證系統(tǒng)在出現(xiàn)異?；蛭催_(dá)到預(yù)期結(jié)果時(shí)可以及時(shí)進(jìn)行數(shù)據(jù)恢復(fù)，將對(duì)業(yè)務(wù)的影響降到最低備份時(shí)間：建議在業(yè)務(wù)量小的時(shí)間段執(zhí)行備份數(shù)據(jù)操作備份數(shù)據(jù)保存到：本地和FTP操作入口：FusionManager：系統(tǒng)->備份設(shè)定第頁備份與恢復(fù)(2)手工恢復(fù)在對(duì)FM、FC重大操作（如升級(jí)或打補(bǔ)丁、重大數(shù)據(jù)調(diào)整、擴(kuò)容等）后，系統(tǒng)有可能出現(xiàn)異?；蛭催_(dá)到預(yù)期結(jié)果。此時(shí)需要對(duì)其進(jìn)行回退，含數(shù)據(jù)恢復(fù)操作數(shù)據(jù)恢復(fù)后，會(huì)丟失從備份時(shí)刻到恢復(fù)時(shí)刻之間的數(shù)據(jù)

FM手工恢復(fù)在FM上執(zhí)行命令：restoreGalaxManager-f備份文件路徑+備份文件名影響：恢復(fù)過程中會(huì)停止FM進(jìn)程，則無法登錄操作FM?？蛻籼摂M機(jī)正常運(yùn)行

FC手工恢復(fù)在FC上執(zhí)行命令：restoreGeData-t

DATA-f

/home/GalaX8800/YYYY-MM-DD_sn/DATA/[備份文件名]高斯DB：restoreGeData-t

DB-f

/home/GalaX8800/YYYY-MM-DD_sn/DB/[備份文件名]影響：恢復(fù)過程中會(huì)停止VRM進(jìn)程，將無法登錄操作FC。但客戶虛擬機(jī)正常運(yùn)行日志管理過濾查詢收集的節(jié)點(diǎn)：FM（UHM）,

VRM,CNA目的：審計(jì)在FM和FC上分別操作各自的日志運(yùn)行日志操作日志導(dǎo)出日志級(jí)別：高危、危險(xiǎn)、一般、提示目的：系統(tǒng)問題定位。故障定位時(shí)收集。收集工具：FusionCare第頁權(quán)限管理刪除用戶鎖定/解鎖用戶重置密碼刪除角色基于角色、分權(quán)分域的用戶集中訪問控制添加用戶到域移除用戶配置權(quán)限添加用戶到域用戶屬于某個(gè)角色分域管理角色管理密碼配置用戶管理創(chuàng)建域刪除域創(chuàng)建角色修改角色配置密碼策略創(chuàng)建用戶修改用戶第頁目錄第頁運(yùn)維管理運(yùn)維工具FusionSphere

SOI（僅配套FusionCompute）FusionCareUpdateTool故障處理FusionSphere

SOI(1)FusionSphere

SOI（System

Operation

Insight系統(tǒng)運(yùn)行洞察）對(duì)FusionSphere資源情況進(jìn)行全面可視化和動(dòng)態(tài)分析，是FM/FC的增強(qiáng)SOI支持部署在虛擬機(jī)上健康：負(fù)載是否正常，包括CPU、內(nèi)存、磁盤和網(wǎng)絡(luò)IO風(fēng)險(xiǎn)：系統(tǒng)資源是否充裕效率：是否存在優(yōu)化機(jī)會(huì)第頁FusionSphere

SOI(2)全局監(jiān)控：系統(tǒng)首頁呈現(xiàn)全局環(huán)境運(yùn)行狀態(tài)查看詳情：健康得分、節(jié)點(diǎn)規(guī)格、歷史分析失衡詳情：工作負(fù)載詳情，支持導(dǎo)出趨勢(shì)預(yù)測(cè)：未來的資源需求和使用情況資源合規(guī)：快速找到容量不足和容量過剩的節(jié)點(diǎn)熱點(diǎn)統(tǒng)計(jì)：TOP對(duì)象的情況和數(shù)據(jù)，例如哪些主機(jī)CPU負(fù)載最高導(dǎo)出批量數(shù)據(jù)：1分鐘粒度一周，包括CPU/內(nèi)存/存儲(chǔ)IO/磁盤IO設(shè)置分析閾值：對(duì)分析的各種選項(xiàng)和閾值靈活修改定制第頁FusionCare(1)FusionCare功能檢查項(xiàng)重要進(jìn)程配置文件硬件健康檢查立即執(zhí)行指定時(shí)間按周定時(shí)按月定時(shí)郵件發(fā)送檢查方式FusionCareOS：Windows、linuxFM、FC、OpenStack支持多個(gè)節(jié)點(diǎn)其他Fusionstorage，F(xiàn)usionAccess導(dǎo)出報(bào)告收集日志，包括操作系統(tǒng)、模塊、腳本等信息收集需要配置Ftp服務(wù)第頁FusionCare(2)安裝配置健康檢查其他支持OS：Win7、Windows2003、windows2008的32/64位、LinuxWindows下，本工具為綠色安裝建議工具安裝目錄剩余空間不少于5G所使用端口不能被占用或禁用添加環(huán)境：FM,

FC,

OpenStack信息收集添加節(jié)點(diǎn)：主機(jī)節(jié)點(diǎn)通過VRM節(jié)點(diǎn)自動(dòng)獲取，無需添加導(dǎo)出/導(dǎo)入配置信息選擇節(jié)點(diǎn)，選擇檢查項(xiàng)，郵件配置，并執(zhí)行檢查查看結(jié)果: 故障詳情、節(jié)點(diǎn)詳情、處理建議導(dǎo)出健康檢查報(bào)告FTP密碼修改導(dǎo)出工具日志選擇節(jié)點(diǎn)，選擇收集項(xiàng)，并執(zhí)行收集查看結(jié)果：節(jié)點(diǎn)、節(jié)點(diǎn)類型、收集項(xiàng)和收集結(jié)果第頁UpdateTool(1)對(duì)系統(tǒng)要求：操作系統(tǒng)要求：WindowsXP、Windows7、Windows2003、Windows2008和Windows2012的32位或者64位操作系統(tǒng)軟件要求：winrar解壓軟件；IE8+、Chrome18.0及以上、火狐8.0及以上版本瀏覽器端口限制：工具安裝的客戶機(jī)端口7173、7184、7195、7236未被占用權(quán)限要求：安裝升級(jí)工具的用戶需要在Windows系統(tǒng)下具有安裝服務(wù)、啟動(dòng)服務(wù)、停止服務(wù)的權(quán)限FusionCompute(VRM)CNACNACNAKVMKVMKVMUpdateToolOpenStack、FusionManager升級(jí)/打補(bǔ)丁第頁UpdateTool(2)升級(jí)前準(zhǔn)備熟悉升級(jí)方案確認(rèn)升級(jí)路徑熟悉升級(jí)流程、升級(jí)工時(shí)規(guī)劃確認(rèn)回退方案了解升級(jí)注意事項(xiàng)升級(jí)準(zhǔn)備軟件包和參考文檔局點(diǎn)信息收集第頁UpdateTool(3)新建工程分發(fā)軟件包升級(jí)檢查升級(jí)報(bào)告為當(dāng)前升級(jí)工作創(chuàng)建一個(gè)工程，保存當(dāng)前系統(tǒng)節(jié)點(diǎn)升級(jí)配置信息升級(jí)分發(fā)升級(jí)/補(bǔ)丁軟件包至待升級(jí)節(jié)點(diǎn)檢查各個(gè)節(jié)點(diǎn)是否滿足升級(jí)條件如果節(jié)點(diǎn)升級(jí)失敗，可以對(duì)節(jié)點(diǎn)進(jìn)行“回退”操作回退成功，排除升級(jí)失敗原因后，可以重新發(fā)起“升級(jí)”執(zhí)行升級(jí)操作提交工程提交的節(jié)點(diǎn)將執(zhí)行清理操作，例如刪除軟件包、釋放資源本操作執(zhí)行后，提交成功的節(jié)點(diǎn)不能執(zhí)行回退操作回退升級(jí)完成后導(dǎo)出升級(jí)報(bào)告日志導(dǎo)出第頁用于升級(jí)失敗時(shí)的問題定位，含升級(jí)工具和管理節(jié)點(diǎn)的日志目錄第頁運(yùn)維管理運(yùn)維工具故障處理故障處理流程應(yīng)急預(yù)案故障處理案例故障處理流程信息收集故障判斷故障定位故障排除使用FM/FC/FusionCare收集信息第頁根據(jù)收集的信息對(duì)故障范圍和類型進(jìn)行判斷查看告警、配置、日志，進(jìn)行故障定位通過查詢?cè)O(shè)備狀態(tài)、查看設(shè)備指示燈和告警等方法確認(rèn)系統(tǒng)已正常運(yùn)行目錄第頁運(yùn)維管理運(yùn)維工具故障處理故障處理流程應(yīng)急預(yù)案故障處理案例第頁重大事故界定重大事故指發(fā)生突然、影響面廣、涉及范圍大、并可對(duì)網(wǎng)絡(luò)的安全運(yùn)行與服務(wù)質(zhì)量造成嚴(yán)重后果的設(shè)備或網(wǎng)絡(luò)事故包括雙節(jié)點(diǎn)故障、機(jī)柜異常掉電等應(yīng)急預(yù)案在系統(tǒng)或設(shè)備發(fā)生緊急事故的情況下，為迅速排除故障、恢復(fù)系統(tǒng)或設(shè)備的正常運(yùn)行，從而盡量挽回或減少事故損失而對(duì)設(shè)備進(jìn)行的一種故障處理行為應(yīng)急處理原則快速恢復(fù)原則：應(yīng)綜合考慮相應(yīng)操作恢復(fù)業(yè)務(wù)成功的可能性和時(shí)間代價(jià)。參考的操作排序如下：耗時(shí)短，成功性大->耗時(shí)短，成功性小->耗時(shí)長，成功性大重大事故處理原則以快速恢復(fù)設(shè)備的正常運(yùn)行與業(yè)務(wù)的提供為核心以客戶業(yè)務(wù)盡快恢復(fù)，對(duì)客戶影響最低為原則維護(hù)人員在上崗前必須接受必要的應(yīng)急處理培訓(xùn)在重大事故的處理過程中，維護(hù)人員應(yīng)及時(shí)聯(lián)系華為公司客戶服務(wù)中心或華為公司駐當(dāng)?shù)剞k事處當(dāng)維護(hù)人員完成重大事故的處理以后，應(yīng)及時(shí)采集與本次事故有關(guān)的設(shè)備故障告警信息，并將相關(guān)的事故處理報(bào)告、設(shè)備告警文件、日志文件等發(fā)送給華為公司進(jìn)行分析與定位三條軍規(guī)：第一時(shí)間恢復(fù)業(yè)務(wù)問題未定位清楚前，不改動(dòng)現(xiàn)網(wǎng)配置避免處理不當(dāng)導(dǎo)致問題擴(kuò)大（對(duì)于關(guān)鍵操作要謹(jǐn)慎，知會(huì)客戶）第頁目錄第頁運(yùn)維管理運(yùn)維工具故障處理故障處理流程應(yīng)急預(yù)案故障處理案例大面積用戶虛擬機(jī)無法訪問(1)故障現(xiàn)象大面積用戶虛擬機(jī)無法訪問故障分析影響范圍、程度：業(yè)務(wù)完全中斷，嚴(yán)重。屬于重大故障預(yù)期恢復(fù)時(shí)長：30分鐘日志收集要求：立即開始收集日志，如果10分鐘不能收集全，則立即啟動(dòng)恢復(fù)操作第頁大面積用戶虛擬機(jī)無法訪問(2)故障處理思路第頁大面積用戶虛擬機(jī)無法訪問(4)存儲(chǔ)故障，虛擬機(jī)卡死無法訪問常見原因一判斷步驟1登錄FC

Portal，檢查虛擬機(jī)狀態(tài)是否為“運(yùn)行”。如果是運(yùn)行態(tài)通過VNC登錄，部分故障無法訪問的用戶虛擬機(jī)，查看是否處于卡死狀態(tài)（無法操作或操作無反應(yīng)等）步驟2檢查FC是否有存儲(chǔ)相關(guān)的告警步驟3檢查SAN設(shè)備的運(yùn)維系統(tǒng)是否有狀態(tài)異常告警步驟4檢測(cè)存儲(chǔ)接入交換機(jī)狀態(tài)是否正常（包括主機(jī)側(cè)和存儲(chǔ)SAN設(shè)備側(cè)）步驟5通過告警處理恢復(fù)（如果IP

SAN設(shè)備掉電則對(duì)IP

SAN設(shè)備上電），恢復(fù)成功后觀察虛擬機(jī)業(yè)務(wù)是否能夠訪問恢復(fù)操作步驟1根據(jù)相關(guān)存儲(chǔ)告警處理步驟2存儲(chǔ)產(chǎn)品掉電問題，上電后并觀察業(yè)務(wù)是否恢復(fù)步驟3存儲(chǔ)硬件設(shè)備故障，請(qǐng)更換故障設(shè)備第頁大面積用戶虛擬機(jī)無法訪問(4)大面積主機(jī)故障，虛擬機(jī)故障無法訪問常見原因二判斷步驟1登錄FC

Portal，檢查無法訪問的虛擬機(jī)的狀態(tài)是否為"故障恢復(fù)中"步驟2檢查主機(jī)狀態(tài)是否為故障，是否有主機(jī)與VRM心跳異常告警ALM-10.1000027步驟3若以上檢查為是，通過心跳異常告警處理恢復(fù)步驟4等主機(jī)狀態(tài)正常后，觀察故障虛擬機(jī)的HA任務(wù)是否執(zhí)行成功。等虛擬機(jī)HA成功后觀察虛擬機(jī)是否能夠正常訪問恢復(fù)操作步驟1根據(jù)主機(jī)心跳異常告警處理，并等待大量虛擬機(jī)從故障恢復(fù)中恢復(fù)正常第頁大面積用戶虛擬機(jī)無法訪問(5)業(yè)務(wù)接入交換機(jī)故障網(wǎng)絡(luò)中斷，虛擬機(jī)無法訪問常見原因三判斷&恢復(fù)操作步驟1登錄FC

Portal，先檢查無法訪問的虛擬機(jī)的狀態(tài)是否為"運(yùn)行"步驟2

VNC登陸虛擬機(jī)訪問正常，虛擬機(jī)IP信息正確步驟3檢測(cè)業(yè)務(wù)接入交換機(jī)狀態(tài)是否正常。如果發(fā)現(xiàn)異常，需恢復(fù)交換機(jī)的網(wǎng)絡(luò)，之后在用戶側(cè)登錄是否能夠正常使用第頁FC運(yùn)維系統(tǒng)無法訪問(1)故障現(xiàn)象無法登錄FCPortal故障分析影響范圍和程度：影響運(yùn)維人員的日志維護(hù)，無法發(fā)放新的業(yè)務(wù)，之前停止的虛擬機(jī)無法啟動(dòng)，相對(duì)嚴(yán)重預(yù)期恢復(fù)時(shí)長：20分鐘（如果是災(zāi)難性的雙點(diǎn)OS故障恢復(fù)時(shí)間1個(gè)小時(shí)，不影響穩(wěn)態(tài)運(yùn)行的虛擬機(jī)業(yè)務(wù)）日志收集要求：立即開始收集日志。如果10分鐘不能收集全，為盡快恢復(fù)故障，則立即啟動(dòng)恢復(fù)操作第頁FC運(yùn)維系統(tǒng)無法訪問(2)故障處理思路第頁FC運(yùn)維系統(tǒng)無法訪問(3)主備VRM狀態(tài)異常常見原因一判斷&恢復(fù)操作步驟1確認(rèn)是否能夠ping通VRM虛擬機(jī)的浮動(dòng)IP當(dāng)主用VRM節(jié)點(diǎn)的VRM和DB服務(wù)由于未知異常無法正常提供服務(wù)時(shí)，HA組件會(huì)嘗試?yán)?，如果多次拉起失敗，則會(huì)重啟該節(jié)點(diǎn)觸發(fā)主備倒換進(jìn)行業(yè)務(wù)自恢復(fù)步驟2如果能夠ping通，則說明vrmd、gaussdb或者portal進(jìn)程存在異常，需要排查業(yè)務(wù)進(jìn)程失敗原因，問題解決之后重啟had(servicehadrestart)步驟3如無法ping通VRM主備虛擬機(jī)的浮動(dòng)IP，則通過PuTTY分別登錄主備VRM虛擬機(jī)，檢測(cè)仲裁IP是否能夠ping通，如果不通排查網(wǎng)絡(luò)，仲裁IP通之后自動(dòng)恢復(fù)步驟4可以通過putty分別登錄2個(gè)VRM節(jié)點(diǎn)查看主備狀態(tài)是否正常（servicehadquery），如果為雙備（兩個(gè)VRM都為standy狀態(tài)），主節(jié)點(diǎn)had異常一直無法拉起或者被停止，啟動(dòng)had(servicehadstart)步驟5如果還無法恢復(fù)，可以通過重啟VRM虛擬機(jī)進(jìn)行嘗試恢復(fù)第頁FC運(yùn)維系統(tǒng)無法訪問(4)主備VRM被異常關(guān)機(jī)常見原因二判斷&恢復(fù)操作步驟1確認(rèn)無法登錄VRM的主備虛擬機(jī)，則通過PuTTY登錄主備VRM虛擬機(jī)所在的主機(jī)，通過xl

list查看是否有VRM虛擬機(jī)步驟2如果VRM虛擬機(jī)處于stop狀態(tài)，則啟動(dòng)VRM虛擬機(jī)步驟3

VRM虛擬機(jī)拉起3分鐘后，觀察VRM虛擬機(jī)是否被拉起，并登錄到VRM節(jié)點(diǎn)查詢had服務(wù)是否正常（service

had

query），F(xiàn)C運(yùn)維系統(tǒng)是否能夠訪問主備VRM虛擬機(jī)所在的主機(jī)狀態(tài)異常常見原因三判斷&恢復(fù)操作步驟1通過BMC登錄VRM虛擬機(jī)所在主機(jī)，確認(rèn)是否主機(jī)下電步驟2檢查是否能夠ping通VRM虛擬機(jī)所在的主機(jī)。若不通則檢查VRM虛擬機(jī)所在的主機(jī)的網(wǎng)卡狀態(tài)和所連接的交換機(jī)的狀態(tài)步驟3故障排查之后，如果還無法恢復(fù)，可以通過重啟VRM虛擬機(jī)進(jìn)行嘗試恢復(fù)步驟4恢復(fù)后查看FC

Portal是否能夠訪問第頁FC運(yùn)維系統(tǒng)無法訪問(5)主備VRM虛擬機(jī)所在的主機(jī)存儲(chǔ)鏈路狀態(tài)異常常見原因四判斷&恢復(fù)操作步驟

1 通過PuTTY登錄VRM虛擬機(jī)所在的主機(jī)。如果主機(jī)使用的是IP

SAN存儲(chǔ)，則執(zhí)行步驟2,；如果主機(jī)使用的是FC

SAN存儲(chǔ)，則執(zhí)行步驟4；如果同時(shí)使用IP

SAN和FC

SAN，則分別進(jìn)行檢查步驟

2 通過iscsi相關(guān)命令查詢主機(jī)的存儲(chǔ)鏈路狀態(tài)。執(zhí)行“iscsiadm

-m

session”命令，查看CNA節(jié)點(diǎn)的存儲(chǔ)鏈路session狀態(tài)步驟3檢測(cè)上一步驟中查詢到的存儲(chǔ)IP是否都能夠ping通，如果都不能ping通則檢測(cè)所連接交換機(jī)和IP

SAN的狀態(tài)。執(zhí)行步驟6步驟

4 通過命令獲取主機(jī)的啟動(dòng)器信息。執(zhí)行如下命令cat

/sys/class/fc_host/host*/port_name步驟

5 分別在光纖交換機(jī)和FC

SAN查看上述啟動(dòng)器的連接狀態(tài)，如果顯示未連接，則檢測(cè)所連接的交換機(jī)和FC

SAN狀態(tài)。執(zhí)行步驟6步驟

6 恢復(fù)后查看FC

Portal是否能夠訪問第頁FC運(yùn)維系統(tǒng)無法訪問(6)VRM虛擬機(jī)OS同時(shí)災(zāi)難性損壞常見原因五判斷&恢復(fù)操作步驟

1 通過PuTTY登錄主備VRM虛擬機(jī)所在的主機(jī)，通過xl

list查看VRM虛擬機(jī)的狀態(tài)。如果是運(yùn)行態(tài)，執(zhí)行virsh

dumpxml

i-00000001（VRM虛擬機(jī)的ID）查看虛擬機(jī)端口號(hào)，并通過VNC工具分別登錄主備VRM虛擬機(jī)，并進(jìn)行恢復(fù)VRM雙主運(yùn)行常見原因六判斷&恢復(fù)操作步驟

1 在出現(xiàn)VRM雙主場(chǎng)景時(shí)，F(xiàn)C運(yùn)維系統(tǒng)可能時(shí)斷時(shí)續(xù)，VRM1和VRM2都有可能搶到浮動(dòng)IP，由于IP沖突或者互搶導(dǎo)致步驟

2 可以通過PuTTY分別登錄2個(gè)VRM節(jié)點(diǎn)，查看had狀態(tài)（service

had

query）是否均為active狀態(tài)。如果是則檢查網(wǎng)絡(luò)狀態(tài)，在網(wǎng)絡(luò)恢復(fù)之后，如果還出現(xiàn)數(shù)據(jù)庫狀態(tài)異常，則嘗試處理VRM虛擬機(jī)數(shù)據(jù)庫故障說明: