第11章 系統(tǒng)故障分析和排查

第十一章系統(tǒng)故障分析和排查——

理論部分如何查看、終止系統(tǒng)中的進(jìn)程？crontab的配置記錄由哪幾部分組成？crontab配置文件分別存放在什么地方？課程回顧熟悉常見的日志文件及其分析方法學(xué)會(huì)解決常見的啟動(dòng)類故障學(xué)會(huì)解決常見的文件系統(tǒng)類故障技能展示本章結(jié)構(gòu)系統(tǒng)啟動(dòng)類故障排除日志文件分析MBR扇區(qū)故障GRUB引導(dǎo)故障系統(tǒng)故障分析和排查文件系統(tǒng)類故障排除日志文件分析修復(fù)文件系統(tǒng)主要日志文件/etc/inittab文件丟失遺忘root用戶的密碼檢測磁盤壞道

磁盤資源耗盡故障日志的功能用于記錄系統(tǒng)、程序運(yùn)行中發(fā)生的各種事件通過閱讀日志，有助于診斷和解決系統(tǒng)故障日志文件的分類內(nèi)核及系統(tǒng)日志由系統(tǒng)服務(wù)syslog統(tǒng)一進(jìn)行管理，日志格式基本相似用戶日志記錄系統(tǒng)用戶登錄及退出系統(tǒng)的相關(guān)信息程序日志由各種應(yīng)用程序獨(dú)立管理的日志文件，記錄格式不統(tǒng)一日志文件分析2-1日志文件分析2-2日志保存位置默認(rèn)位于：/var/log

目錄下主要日志文件介紹內(nèi)核及公共消息日志：/var/log/messages計(jì)劃任務(wù)日志：/var/log/cron系統(tǒng)引導(dǎo)日志：/var/log/dmesg郵件系統(tǒng)日志：/var/log/maillog用戶登錄日志：/var/log/lastlog、/var/log/secure、/var/log/wtmp、/var/run/btmp……由系統(tǒng)服務(wù)syslogd統(tǒng)一管理軟件包：sysklog-1.4.1-39.2主要程序：/sbin/klogd、/sbin/syslogd配置文件：/etc/syslog.conf內(nèi)核及系統(tǒng)日志3-1[root@localhost~]#grep-v"^#"/etc/syslog.conf|grep-v^$*.info;mail.none;authpriv.none;cron.none /var/log/messagesauthpriv.* /var/log/securemail.* -/var/log/maillogcron.* /var/log/cron……設(shè)備類別.日志級(jí)別消息發(fā)送位置日志消息的級(jí)別0EMERG（緊急）：會(huì)導(dǎo)致主機(jī)系統(tǒng)不可用的情況1ALERT（警告）：必須馬上采取措施解決的問題2CRIT（嚴(yán)重）：比較嚴(yán)重的情況3ERR（錯(cuò)誤）：運(yùn)行出現(xiàn)錯(cuò)誤4WARNING（提醒）：可能會(huì)影響系統(tǒng)功能的事件5NOTICE（注意）：不會(huì)影響系統(tǒng)但值得注意6INFO（信息）：一般信息7DEBUG（調(diào)試）：程序或系統(tǒng)調(diào)試信息等

內(nèi)核及系統(tǒng)日志3-2日志記錄的一般格式內(nèi)核及系統(tǒng)日志3-3[root@localhost~]#tail-5/var/log/messagesSep1411:22:44localhostkernel:sdb:cachedataunavailableSep1411:22:44localhostkernel:sdb:assumingdrivecache:writethroughSep1411:22:44localhostkernel:sdb:sdb1Sep1411:23:37localhostkernel:VFS:Can'tfindext3filesystemondevsdb1.Sep1416:54:48localhostNetworkManager:<information>starting...時(shí)間標(biāo)簽主機(jī)名子系統(tǒng)名消息字段保存了用戶登錄、退出系統(tǒng)等相關(guān)信息/var/log/lastlog：最近的用戶登錄事件/var/log/wtmp：用戶登錄、注銷及系統(tǒng)開、關(guān)機(jī)事件/var/run/utmp：當(dāng)前登錄的每個(gè)用戶的詳細(xì)信息/var/log/secure：與用戶驗(yàn)證相關(guān)的安全性事件分析工具users、who、w、last、lastb用戶日志分析程序日志分析由相應(yīng)的應(yīng)用程序獨(dú)立進(jìn)行管理Web服務(wù)：/var/log/httpd/access_log、error_log代理服務(wù)：/var/log/squid/access.log、cache.log、squid.out、store.logFTP服務(wù)：/var/log/xferlog……

分析工具文本查看、grep過濾檢索、Webmin管理套件中查看awk、sed等文本過濾、格式化編輯工具Webalizer、Awstats等專用日志分析工具及時(shí)作好備份和歸檔延長日志保存期限控制日志訪問權(quán)限日志中可能會(huì)包含各類敏感信息，如賬戶、口令等集中管理日志便于日志信息的統(tǒng)一收集、整理和分析杜絕日志信息的意外丟失、惡意篡改或刪除日志管理策略2-1日志管理策略2-2應(yīng)用示例：調(diào)整rsyslogd服務(wù)設(shè)置，建立集中管理的日志服務(wù)器將客戶機(jī)B中crond服務(wù)產(chǎn)生的日志消息，自動(dòng)發(fā)送到服務(wù)器A的/var/log/cron文件中[root@localhost~]#vi/etc/sysconfig/rsyslogSYSLOGD_OPTIONS="-r-x-m0"[root@localhost~]#vi/etc/syslog.confcron.*@服務(wù)器A客戶機(jī)B故障原因病毒、木馬等造成的破壞不正確的分區(qū)操作、磁盤讀寫誤操作故障現(xiàn)象找不到引導(dǎo)程序，啟動(dòng)中斷無法加載操作系統(tǒng)，開機(jī)后黑屏解決思路應(yīng)提前作好備份文件以RHEL安裝光盤引導(dǎo)進(jìn)入急救模式從備份文件中恢復(fù)修復(fù)MBR扇區(qū)故障2-1修復(fù)MBR扇區(qū)故障2-2應(yīng)用示例：1.備份MBR扇區(qū)數(shù)據(jù)

ddif=/dev/sdaof=/backup/sda.mbr.bakbs=512count=12.模擬MBR被破壞的故障

ddif=/dev/zeroof=/dev/sdabs=512count=13.RHEL光盤引導(dǎo)，進(jìn)入急救模式

boot:linuxrescue4.從備份文件中恢復(fù)MBR扇區(qū)

ddif=/tempdir/sda.mbr.bakof=/dev/sdabs=512count=1修復(fù)GRUB引導(dǎo)故障3-1故障原因MBR中的GRUB引導(dǎo)程序遭到破壞grub.conf文件丟失、引導(dǎo)配置有誤故障現(xiàn)象系統(tǒng)引導(dǎo)停滯，顯示“grub>”提示符解決思路嘗試手動(dòng)輸入引導(dǎo)命令進(jìn)入急救模式，從備份中恢復(fù)grub.conf向MBR扇區(qū)中重建grub程序應(yīng)用示例1：在“grub>”提示符后，手動(dòng)輸入引導(dǎo)命令成功進(jìn)入系統(tǒng)后，恢復(fù)或重建grub.conf配置文件修復(fù)GRUB引導(dǎo)故障3-2grub>root(hd0,0)grub>kernel/vmlinuz-2.6.18-8.el5roroot=/dev/VolGroup00/LogVol00rhgbquietgrub>initrd/initrd-2.6.18-8.el5.imggrub>boot[root@localhost~]#cd/boot/grub/[root@localhost~]#cpgrub.conf.bakgrub.conf從備份文件恢復(fù)應(yīng)用示例2：進(jìn)入急救模式，從備份文件中恢復(fù)grub.conf文件向MBR扇區(qū)中重建GRUB程序修復(fù)GRUB引導(dǎo)故障3-3sh-3.1#chroot/mnt/sysimagesh-3.1#cd/boot/grub/sh-3.1#cpgrub.conf.bakgrub.confsh-3.1#grub-install/dev/sda故障原因inittab文件被誤刪除，或者存在配置錯(cuò)誤故障現(xiàn)象啟動(dòng)中提示“...INIT:Noinittabfilefound”系統(tǒng)停滯，無法完成初始化解決思路進(jìn)入急救模式，從備份文件中恢復(fù)或者，在急救模式中重新安裝initscripts

軟件包

rpm-ivh--replacepkgsinitscripts-8.45.14.EL.i386.rpm/etc/inittab文件丟失故障原因遺忘root用戶的密碼故障現(xiàn)象無法進(jìn)行需要root權(quán)限的管理操作若沒有其他可用帳號(hào)，將無法登錄系統(tǒng)解決思路引導(dǎo)進(jìn)入單用戶模式，然后重設(shè)密碼

grub>kernel...single或

s或

1或進(jìn)入急救模式，然后重設(shè)密碼遺忘root用戶密碼請(qǐng)思考：Linux系統(tǒng)中最常用的公共日志文件是什么？如何進(jìn)入單用戶模式？使用RHEL光盤引導(dǎo)時(shí)，如何進(jìn)入修復(fù)模式？如何向MBR中重建GRUB程序？小結(jié)故障原因非正常關(guān)機(jī)、突然斷電、設(shè)備讀寫失誤等文件系統(tǒng)的超級(jí)塊（super-block）信息被破壞故障現(xiàn)象無法向分區(qū)中讀取或?qū)懭霐?shù)據(jù)啟動(dòng)后提示“Giverootpasswordformaintenance”

解決思路根據(jù)提示輸入root口令，進(jìn)入修復(fù)狀態(tài)使用fsck命令進(jìn)行修復(fù)修復(fù)文件系統(tǒng)2-1修復(fù)文件系統(tǒng)2-2應(yīng)用示例：模擬對(duì)/dev/sdb1分區(qū)的破壞操作

ddif=/dev/zeroof=/dev/sdb1bs=512count=4檢查是否能掛載該分區(qū)報(bào)錯(cuò)：mount:youmustspecifythefilesystemtype對(duì)/dev/sdb1分區(qū)進(jìn)行修復(fù)

fsck–y-text3/dev/sdb1再次掛載該分區(qū)故障原因磁盤空間已被大量的數(shù)據(jù)占滿，空間耗盡雖然還有可用空間，但文件數(shù)i節(jié)點(diǎn)耗盡故障現(xiàn)象無法寫入新的文件，提示“…:設(shè)備上沒有空間”部分程序無法運(yùn)行，甚至系統(tǒng)無法啟動(dòng)解決思路清理磁盤空間，刪除無用、冗余的文件轉(zhuǎn)移或刪除占用大量i節(jié)點(diǎn)的瑣碎文件進(jìn)入單用戶模式、急救模式進(jìn)行修復(fù)為用戶設(shè)置磁盤配額磁盤資源耗盡故障故障原因磁盤設(shè)備中存在壞道（邏輯的或物理的）故障現(xiàn)象讀取磁盤中的數(shù)據(jù)時(shí)，磁盤設(shè)備發(fā)出異常聲響。訪問磁盤中的某個(gè)文件時(shí)，反復(fù)讀取且出錯(cuò)，提示文件損壞。對(duì)于新建立的分區(qū)無法完成格式化。系統(tǒng)使用該磁盤時(shí)頻繁死機(jī)檢測磁盤壞道2-1解決思路檢測硬盤中是否存在壞道修復(fù)硬盤，或更換新的硬盤檢測磁盤壞道2-2root@localhost~]#badblocks-sv/dev/sdbCheckingblocks0to20971520Checkingforbadblocks(read-onlytest):5192832/20971520Passcompleted,0badblocksfound.本章結(jié)構(gòu)系統(tǒng)啟動(dòng)類故障排除日志文件分析MBR扇區(qū)故障GRUB引導(dǎo)故障系統(tǒng)故障分析和排查文件系統(tǒng)類故障排除日志文件分析修復(fù)文件系統(tǒng)主要日志文件/etc/inittab文件丟失遺忘root用戶的密碼檢測磁盤壞道

磁盤資源耗盡故障第十一章系統(tǒng)故障分析和排查——

上機(jī)部分需求描述查