服務(wù)器故障處理預(yù)案

1、公司信息系統(tǒng)服務(wù)器故障應(yīng)急處理預(yù)案（初稿）目 錄第一部分 服務(wù)器故障的處理響應(yīng) 第二部分服務(wù)器硬件故障的診斷和處理 第三部分 服務(wù)器軟件故障的診斷和處理 第一部分服務(wù)器故障的處理響應(yīng)（一）、服務(wù)器故障的定義本預(yù)案所指的服務(wù)器故障是指公司管理信息系統(tǒng)范圍內(nèi)的網(wǎng)絡(luò)服務(wù)器設(shè)備的 故障。包括因設(shè)備質(zhì)量原因?qū)е碌南到y(tǒng)故障、人為因素和網(wǎng)絡(luò)系統(tǒng)外界因素而導(dǎo) 致的系統(tǒng)故障、計(jì)算機(jī)病毒感染及遭受黑客或惡意代碼攻擊而導(dǎo)致的應(yīng)用系統(tǒng)故 障等。涉及本預(yù)案的服務(wù)器設(shè)備包括小型機(jī)和PC服務(wù)器，設(shè)備清冊參見附表 1。（二）、服務(wù)器故障的分類以服務(wù)器設(shè)備的故障性質(zhì)和故障可能涉及的范圍，按照以下的標(biāo)準(zhǔn)進(jìn)行分類：服務(wù)器硬件故障：

2、服務(wù)器硬件故障，包括服務(wù)器的底板故障、10板及10設(shè)備 故障、CPU板及CPU故障、內(nèi)存板及內(nèi)存故障、磁盤陣列及磁盤故障以及磁帶庫 故障等。這類故障將直接影響服務(wù)器的正常運(yùn)行，情況嚴(yán)重的，將使服務(wù)器陷于 癱瘓狀態(tài)，基于該服務(wù)器的所有應(yīng)用將無法正常使用。如果該服務(wù)器承擔(dān)的是網(wǎng) 絡(luò)的控制和管理職能，將對整個(gè)管理信息系統(tǒng)造成極為嚴(yán)重的影響；如果該服務(wù) 器承擔(dān)的是單個(gè)或多個(gè)應(yīng)用系統(tǒng)的運(yùn)行和管理，那么，這些應(yīng)用系統(tǒng)將無法提供正常的服務(wù)服務(wù)器系統(tǒng)軟件故障：服務(wù)器的系統(tǒng)軟件故障，包括操作系統(tǒng)故障、網(wǎng)絡(luò)控 制和管理系統(tǒng)故障、集群管理系統(tǒng)故障等等。嚴(yán)重的服務(wù)器系統(tǒng)軟件故障，同樣 會使服務(wù)器陷入癱瘓狀態(tài)。故障造成

3、的影響，視該服務(wù)器承擔(dān)的應(yīng)用系統(tǒng)的不同 而不同，如果該服務(wù)器承擔(dān)了網(wǎng)絡(luò)的控制管理或關(guān)鍵應(yīng)用職能，將有可能造成非 常嚴(yán)重的后果。關(guān)鍵應(yīng)用服務(wù)故障：關(guān)鍵應(yīng)用服務(wù)故障，包括Oracle數(shù)據(jù)庫故障、SQLServer 數(shù)據(jù)庫故障、PI數(shù)據(jù)庫故障、OA故障、WE冋艮務(wù)故障、郵件服務(wù)故障等。這些應(yīng) 用服務(wù)軟件的故障，對于相關(guān)的應(yīng)用系統(tǒng)將產(chǎn)生一定的影響，其影響范圍和損害 程度隨故障的性質(zhì)和嚴(yán)重程度而定，嚴(yán)重的，將引起系統(tǒng)癱瘓。（三）、服務(wù)器故障響應(yīng)處理流程第二部分、硬件故障診斷信息中心按預(yù)案第導(dǎo)啟動的情況下進(jìn)行，可以硬件故障的診斷一般是在服務(wù)器操作系統(tǒng)無法引部分內(nèi)容即故障通過對主機(jī)BIOS配置、主板故障指示

4、燈、面板狀態(tài)屏幕、面板LED指示燈提供的 亮；無任何報(bào)警聲。信息進(jìn)行，如條件允許用診斷軟件進(jìn)行檢查和分析。、識別硬件故障的方法驅(qū)引導(dǎo)啟動正常）根據(jù)故障性1.，-還應(yīng)使用設(shè)備制造廠家提供的專電源故障。電源故障的現(xiàn)象一般系為 電源部件狀態(tài)、指示燈不亮；面板狀態(tài)屏幕不亮；按電源開關(guān)機(jī)器無反應(yīng)、主機(jī)電源LCD指示燈不ny病毒和入操作系統(tǒng)能啟動?病毒和入事件日志2. 如果在開機(jī)后出現(xiàn)錯誤代碼或“嗶”聲錯誤信息，則應(yīng)對照該型服務(wù) 器的用戶手冊中有關(guān)的錯誤信息列表進(jìn)行判別。3. 如果服務(wù)器的前面板有顯示主機(jī)狀態(tài)的液晶屏幕，應(yīng)根據(jù)屏幕顯示的 信息對照用戶手冊中相應(yīng)的內(nèi)容進(jìn)行判別。4. 如果服務(wù)器的底板、CPU

5、板、內(nèi)存板上有顯示狀態(tài)的 LED指示燈，一 般都可以在機(jī)箱內(nèi)找到代表指示燈意義的說明貼紙，可依此進(jìn)行判別。5. 服務(wù)器一般都自帶用于對硬件系統(tǒng)進(jìn)行檢測的診斷程序光盤，在服務(wù) 器可以用該光盤進(jìn)行引導(dǎo)啟動的情況下，應(yīng)使用該光盤進(jìn)行系統(tǒng)測試。三、 故 障排除順序1. 如果系統(tǒng)無法上電，可按以下步驟進(jìn)行操作：(1) 檢查以確保電纜和電源線都牢固插進(jìn)相應(yīng)的插座。(2) 檢查以確保系統(tǒng)所有部分均已打開并已正確調(diào)整。(3) 如果服務(wù)器電源線插入帶開關(guān)的多插座接線盒，應(yīng)確保接線盒上的開 關(guān)已打開。(4) 將另一個(gè)電氣設(shè)備電纜或電源線插入電源插座，并打開該設(shè)備。(5) 斷開電源線，等待 20 秒，然后再次插入電

6、源線并重新啟動系統(tǒng)。2. 如果系統(tǒng)可以上電，但無法完成開機(jī)自檢測試，可按以下步驟進(jìn)行操 作：(1) 如果系統(tǒng)發(fā)出一系列嗶聲， 則表示系統(tǒng)有錯誤， 應(yīng)參閱該型服務(wù)器 的用戶手冊中的“錯誤信息”章節(jié)進(jìn)行判別。或與產(chǎn)品供應(yīng)商聯(lián)系維 修。(2) 如果系統(tǒng)無法運(yùn)行開機(jī)自檢測試， 且屏幕顯示錯誤信息， 應(yīng)參閱該型服務(wù)器的用戶手冊中的“錯誤信息”章節(jié)進(jìn)行判別。如果手冊推薦的方法無法解決問題，應(yīng)與產(chǎn)品供應(yīng)商聯(lián)系維修。3. 如果系統(tǒng)通過開機(jī)自檢測試，但不運(yùn)行，可按以下步驟進(jìn)行操作：(1) 檢查以確保服務(wù)器在安裝實(shí)用程序中配置正確。(2) 如果服務(wù)器仍無法工作， 應(yīng)關(guān)機(jī)并卸下除顯示器和鍵盤以外的所有外圍設(shè)備。測試

7、服務(wù)器，并注意現(xiàn)在是否正常工作。(3) 如果服務(wù)器仍不工作， 應(yīng)關(guān)閉顯示器、 服務(wù)器和所有外圍設(shè)備， 然 后按 (4) 條執(zhí)行。4. 檢查內(nèi)置硬件：(1) 斷開的電源線，卸下服務(wù)器主機(jī)蓋。(2) 檢查所有附件板是否牢固地固定在各自的插槽中。(3) 確保所有磁盤驅(qū)動器電源電纜和數(shù)據(jù)電纜已牢固并正確地聯(lián)接。 使 用機(jī)內(nèi)配置的布線和開關(guān)配置圖，查對海量存儲器配置。(4) 檢查并確保內(nèi)存條和內(nèi)存擴(kuò)展板牢固地固定在各自的插槽中， 且添 加的內(nèi)存條符合要求。(5) 重新裝上服務(wù)器蓋板，并鎖定系統(tǒng)。(6) 重新裝上所有電源線和電源電纜。(7) 打開服務(wù)器電源，查找錯誤信息。(8) 經(jīng)以上步驟檢查， 仍無法得

8、到有意義的錯誤信息， 應(yīng)與產(chǎn)品供應(yīng)商聯(lián)系維修。第三部分 服務(wù)器軟件故障的診斷和處理一、 服務(wù)器軟件故障分析和診斷軟件故障分析和診斷主要通過對主機(jī)運(yùn)行狀況、服務(wù)與進(jìn)程、網(wǎng)絡(luò)連接狀況、 系統(tǒng)端口、事件日志記錄進(jìn)行檢查，這種檢查的必要條件是服務(wù)器操作系統(tǒng)可以 引導(dǎo)啟動，并可以提供相應(yīng)的檢查界面。1. 主機(jī)運(yùn)行狀況的檢測服務(wù)器主機(jī)的CPU內(nèi)存、磁盤的使用情況對服務(wù)器的性能影響很大，如果出現(xiàn)問題，將直接影響到服務(wù)器的正常運(yùn)行，進(jìn)而對服務(wù)器上正在運(yùn)行的重要的應(yīng)用系統(tǒng)帶來不可預(yù)料的后果。因此，處理服務(wù)器軟件故障前，對主機(jī)的CPU內(nèi)存、磁盤資源使用情況進(jìn)行檢測是一個(gè)非常重要的步驟，往往可以在第一時(shí)間發(fā) 現(xiàn)主機(jī)

9、基本性能的狀態(tài)異常。在 Windows 平臺上，一般使用任務(wù)管理器中的“性能”選項(xiàng)卡檢測主機(jī) CPU和內(nèi)存的運(yùn)行狀況，使用資源管理器檢查磁盤的使用情況，檢查要點(diǎn)為：CPU使用值，一般不會持續(xù)超過 50% 內(nèi)存“認(rèn)可用量總數(shù)”持續(xù)超過“物理內(nèi)存總數(shù)”會引起系統(tǒng)性能下降； 內(nèi)存“認(rèn)可用量峰值”持續(xù)接近“認(rèn)可用量限制” ，系統(tǒng)將有崩潰的危險(xiǎn)； 任何裝有運(yùn)行系統(tǒng)的磁盤的可用空間趨近于零， 系統(tǒng)將停滯或有崩潰的危 險(xiǎn)。裝有操作系統(tǒng)的磁盤（一般為 ）的可用空間不應(yīng)低于磁盤分區(qū)總?cè)萘康?5%根據(jù)實(shí)際的運(yùn)行觀察，當(dāng)服務(wù)器C盤可用空間小于50 M時(shí)，系統(tǒng)的運(yùn)行將進(jìn)入不穩(wěn)定狀態(tài)。2. 服務(wù)、進(jìn)程管理的檢測服務(wù)器主

10、機(jī)上的服務(wù)和進(jìn)程主要來自二個(gè)部分，一是操作系統(tǒng)本身提供的系 統(tǒng)服務(wù)和進(jìn)程，這些服務(wù)的功能和狀態(tài)在 Windows 的服務(wù)列表中有比較詳細(xì)的描 述，這些服務(wù)的異常，系統(tǒng)一般會給出比較明確的錯誤提示。另一部分是應(yīng)用系統(tǒng)的服務(wù)，服務(wù)器上往往運(yùn)行著非常重要的應(yīng)用系統(tǒng)，例 如大型的數(shù)據(jù)庫系統(tǒng)、 Mail 系統(tǒng)、 WebServer 或特殊業(yè)務(wù)的應(yīng)用系統(tǒng)等。應(yīng)用系 統(tǒng)的進(jìn)程和服務(wù)是否正常運(yùn)行是判斷應(yīng)用系統(tǒng)是否正常的關(guān)鍵，如果這些關(guān)鍵的 進(jìn)程和服務(wù)已經(jīng)停止，則應(yīng)用系統(tǒng)肯定無法正常工作。監(jiān)測服務(wù)器上的進(jìn)程和服務(wù)是服務(wù)器管理的一個(gè)重點(diǎn)，對于進(jìn)程的監(jiān)測尤其 重要，檢查的要點(diǎn)為：有無可疑的進(jìn)程活動；有無不顯示進(jìn)程標(biāo)

11、識符（PID）的進(jìn)程活動；有無不顯示映象名稱的進(jìn)程活動； 有無不顯示用戶名或顯示非法用戶名的進(jìn)程活動； 有無大量占用CPU的進(jìn)程； 有無大量占用內(nèi)存的進(jìn)程； 有無 GDI 對象異常的進(jìn)程。3. 網(wǎng)絡(luò)狀況檢測服務(wù)器網(wǎng)絡(luò)組件的運(yùn)行狀況是服務(wù)器能否維持正常的網(wǎng)絡(luò)訪問和提供正常的 網(wǎng)絡(luò)服務(wù)的一個(gè)關(guān)鍵。在服務(wù)器運(yùn)行異常時(shí)必須檢測服務(wù)器網(wǎng)卡的配置情況是否 正常，最簡單的測試是在 DOS提示符下運(yùn)行ipconfig /all命令，察看各個(gè)網(wǎng)絡(luò)連接當(dāng)前的配置狀態(tài)。使用網(wǎng)絡(luò)監(jiān)視器可以獲得更多的信息，在網(wǎng)絡(luò)監(jiān)視器的實(shí)時(shí)部分，主要監(jiān)視網(wǎng)絡(luò)利用率、每秒幀數(shù)、每秒字節(jié)數(shù)、每秒廣播、每秒多播等指標(biāo)，在捕獲統(tǒng)計(jì)中，主要監(jiān)視

12、緩沖區(qū)里的幀、當(dāng)緩沖區(qū)超出限制時(shí)幀的丟失數(shù)、緩沖區(qū)利用率、 丟失的幀數(shù)等指標(biāo)。當(dāng)發(fā)現(xiàn)以上指標(biāo)有異常，應(yīng)進(jìn)一步對捕獲的數(shù)據(jù)幀進(jìn)行分析，此時(shí)應(yīng)特別注 意查尋有無源地址或目標(biāo)地址異常的幀，有無協(xié)議異常的幀。4. 系統(tǒng)端口檢測 網(wǎng)絡(luò)中的服務(wù)器系統(tǒng)通常會提供一系列的服務(wù)給網(wǎng)絡(luò)中的其他機(jī)器進(jìn)行訪問 和使用，這些服務(wù)都是通過一些指定的端口進(jìn)行通訊的，所以系統(tǒng)業(yè)務(wù)端口的正 常與否對于系統(tǒng)業(yè)務(wù)有直接的影響。對服務(wù)器的系統(tǒng)業(yè)務(wù)端口的檢測可以在DOS提示符下使用n etstat命令，該命令隨帶的參數(shù)所表示的意義如下：-a 顯示所有連接和監(jiān)聽端口。-b 顯示包含于創(chuàng)建每個(gè)連接或監(jiān)聽端口的可執(zhí)行組件。在某些情況下已知可

13、執(zhí)行組件擁有多個(gè)獨(dú)立組件，并且在這些情況下包含于創(chuàng) 建連接或監(jiān)聽端口的組件序列被顯示。這種情況下，可執(zhí)行組件 名在底部的 中，頂部是其調(diào)用的組件， 等等，直到 TCP/IP 部 分。注意此選項(xiàng)可能需要很長時(shí)間， 如果沒有足夠權(quán)限可能失敗。-e 顯示以太網(wǎng)統(tǒng)計(jì)信息。此選項(xiàng)可以與 -s 選項(xiàng)組合使用。-n 以數(shù)字形式顯示地址和端口號。-o 顯示與每個(gè)連接相關(guān)的所屬進(jìn)程 ID 。-p proto顯示 proto 指定的協(xié)議的連接； proto 可以是下列協(xié)議之一 :TCP、UDR TCPv6或UDPv6。如果與-s 選項(xiàng)一起使用以顯示按協(xié)議統(tǒng)計(jì)信息， proto 可以是下列協(xié)議之一 :IP、IPv6

14、、ICMP、ICMPv6、TCP、TCPv6、UDP 或 UDPv6。-r 顯示路由表。-s 顯示按協(xié)議統(tǒng)計(jì)信息。 默認(rèn)地，顯示 IP 、IPv6 、ICMP、ICMPv6、TCP、 TCPv6 UDP和UDPv6的統(tǒng)計(jì)信息；-p選項(xiàng)用于指定默認(rèn)情況的 子集。-v 與 -b 選項(xiàng)一起使用時(shí)將顯示包含于為所有可執(zhí)行組件創(chuàng)建連接或 監(jiān)聽端口的組件。Interval重新顯示選定統(tǒng)計(jì)信息，每次顯示之間暫停時(shí)間間隔（以秒計(jì)）。按CTRL+C停止重新顯示統(tǒng)計(jì)信息。如果省略，netstat 顯示當(dāng)前配置信息 （ 只顯示一次 ）對于UNIX服務(wù)器，可通過Connect系統(tǒng)業(yè)務(wù)端口，發(fā)送請求，以監(jiān)測端口是 否能

15、夠響應(yīng)。5. 日志檢查 服務(wù)器上的應(yīng)用系統(tǒng)或重要進(jìn)程運(yùn)行時(shí)會產(chǎn)生大量的日志文件，這些日志文 件對于檢查程序運(yùn)行狀態(tài)、查找程序出錯原因很有幫助。對于Windows平臺上，可使用的日志系統(tǒng)是管理工具中提供的 “事件查看器”， 其中包括了系統(tǒng)日志、 應(yīng)用程序和安全性日志， 需要重點(diǎn)關(guān)注的是 “錯誤”和“警 告”。另外，服務(wù)器上運(yùn)行的應(yīng)用程序也會提供相應(yīng)的日志系統(tǒng)，其提取日志的方 法因應(yīng)用系統(tǒng)的不同而不同，可參照相關(guān)的用戶手冊進(jìn)行。在 UNIX 平臺上，日志是以文件的形式存放，不同版本的 Unix 日志文件的目錄是不同的，在 Solaris 下一般是在Unix /var/log ，在AIX下，需要關(guān)注

16、的日志文件有:文件描述建議core 和 snapcore由應(yīng)用產(chǎn)生的dump文件，可用于診斷錯誤可刪除no hup.outnohup命令的輸出結(jié)果可刪除.xerrorsX11的輸出結(jié)果可截短mbox用戶郵箱中的郵件可截短smitog 和 smit.script用戶使用 smit命令后的日可適當(dāng)保留最后志1000行，或刪除/var/adm/wtmp記錄用戶的登錄信息，是二根據(jù)需要保留60天進(jìn)制文件，用 who命令來閱中有用的內(nèi)容，其余讀其內(nèi)容刪除/etc/security/failedlog in記錄用戶失敗的登錄信息，可根據(jù)需要保留60是二進(jìn)制文件，用 who命令天中有用的內(nèi)容，其來閱讀其內(nèi)容

17、余刪除/var/adm/sulog用戶使用su命令的日志可根據(jù)需要保留 60 天中有用的內(nèi)容，其 余刪除/var/adm/cro n/logcron 的日志可截短/var/tmp/s nmpd.logsnmp監(jiān)控進(jìn)程日志可截短/var/tmp/dpid.logsnmp子系統(tǒng)日志可截短/var/tmp/dpid2og/var/tmp/hostmidb.log/var/tmp/muxatmddeadetter未成功的郵件可刪除trcfile trace實(shí)用程序的輸出可刪除/var/adm/messages用于記錄 syslog 進(jìn)程的日志可適當(dāng)保留最后1000行，或刪除/etc/shutdow n

18、.log系統(tǒng)關(guān)機(jī)過程日志，用可適當(dāng)保留最后shutdow n -l命令產(chǎn)生1000行，或刪除服務(wù)器軟件故障的處理服務(wù)器的故障中，大部分是軟件故障。軟件故障對于服務(wù)器穩(wěn)定運(yùn)行的影響 很大，嚴(yán)重時(shí)將引起整個(gè)系統(tǒng)崩潰。一般常見的軟件故障主要有操作系統(tǒng)文件損 壞或丟失、設(shè)備驅(qū)動程序錯誤或損壞、服務(wù)進(jìn)程不能啟動、網(wǎng)絡(luò)地址配置錯誤或 丟失，以及應(yīng)用系統(tǒng)軟件方面的程序出錯等等。1. 操作系統(tǒng)故障的處理對于Windows系統(tǒng)，如果操作系統(tǒng)故障前對操作系統(tǒng)有過不適當(dāng)?shù)男薷亩鵁o 法復(fù)原，或發(fā)現(xiàn)系統(tǒng)提示缺少必須的文件、提示某些文件錯誤等情況，在排除服 務(wù)器感染病毒的可能以后，應(yīng)即使用升級安裝對操作系統(tǒng)進(jìn)行恢復(fù)。升級

19、安裝之前，應(yīng)對重要的配置文件和數(shù)據(jù)文件進(jìn)行備份或加適當(dāng)?shù)谋Ｗo(hù)。一般情況下，重要的數(shù)據(jù)文件不宜置于安裝操作系統(tǒng)的磁盤（如C:盤）。在備份時(shí)，應(yīng)盡量將這些重要文件置于具有安全保護(hù)的機(jī)器上。當(dāng)升級安裝無法恢復(fù)系統(tǒng)時(shí)，可以考慮全新安裝操作系統(tǒng)，安裝完成應(yīng)注意 打好補(bǔ)丁。然后進(jìn)行應(yīng)用系統(tǒng)的恢復(fù)。對于 UNIX 操作系統(tǒng)的故障，當(dāng)無法在短時(shí)間內(nèi)找到故障原因和處理方法時(shí)，應(yīng)立即與系統(tǒng)服務(wù)商的技術(shù)支持人員聯(lián)系。 對由于病毒感染引起的操作系統(tǒng)故障，可參照反病毒處理預(yù)案處理。2. 系統(tǒng)服務(wù)進(jìn)程的故障處理系統(tǒng)服務(wù)進(jìn)程故障時(shí)，應(yīng)檢查“服務(wù)”中相應(yīng)的服務(wù)項(xiàng)，檢查要點(diǎn)有：狀態(tài)、 啟動類型、登錄身份、服務(wù)失敗時(shí)計(jì)算機(jī)的反應(yīng)

20、，以及該服務(wù)所依賴的系統(tǒng)組件 是否已經(jīng)正常啟動。如有異常，應(yīng)根據(jù)情況作相應(yīng)處理。無異常后，可啟動該進(jìn) 程，并作進(jìn)一步檢查。如該進(jìn)程的狀態(tài)在“已啟動” ，檢查上述項(xiàng)目無異常的，可重新啟動該服務(wù)， 并作進(jìn)一步檢查。經(jīng)上述處理仍無法消除故障時(shí)，可進(jìn)入“控制面板 / 添加或刪除程序 / 添加或 刪除 Windows 組件”，檢查與故障的服務(wù)相對應(yīng)的組件是否被鉤選，如已被鉤選， 可先將其取消后，再次鉤選重裝。對于應(yīng)用系統(tǒng)的服務(wù)故障，應(yīng)檢查分析該軟件的錯誤日志，根據(jù)分析的結(jié)果 采取相應(yīng)的措施。必要時(shí)，應(yīng)重裝應(yīng)用系統(tǒng)。3. 設(shè)備驅(qū)動程序故障處理設(shè)備驅(qū)動程序故障時(shí)，將引起相關(guān)設(shè)備的異常運(yùn)行，其故障現(xiàn)象類似于硬件 故障，情況比較復(fù)雜，