網(wǎng)絡(luò)故障一個(gè)經(jīng)典案例.doc

交換機(jī)是局域網(wǎng)中一種很重要的網(wǎng)絡(luò)設(shè)備，它的工作狀態(tài)與客戶端系統(tǒng)的上網(wǎng)狀態(tài)息息相關(guān)。可是，在實(shí)際工作過(guò)程中，交換機(jī)的狀態(tài)很容易受到外界的干擾，那樣一來(lái)局域網(wǎng)中就會(huì)出現(xiàn)各種各樣的網(wǎng)絡(luò)故障;為了保證網(wǎng)絡(luò)運(yùn)行穩(wěn)定，我們必須在平時(shí)對(duì)交換機(jī)進(jìn)行妥善管理、維護(hù)，避免交換機(jī)發(fā)生故障。這不，筆者在對(duì)單位局域網(wǎng)進(jìn)行維護(hù)時(shí)，曾經(jīng)遇到過(guò)物理連接不當(dāng)，而造成樓層交換機(jī)無(wú)法ping通的故障現(xiàn)象。這種網(wǎng)絡(luò)故障的排查讓筆者頗費(fèi)一番周折;由于該故障相對(duì)典型，而且其排查思路可供借鑒，現(xiàn)在筆者就將它貢獻(xiàn)出來(lái)與大家分享。案發(fā)現(xiàn)場(chǎng)筆者所在的大樓包含若干個(gè)單位，為了保證每個(gè)單位都能獨(dú)立上網(wǎng)，并且要求它們的上網(wǎng)狀態(tài)不受其他單位的影響，筆者選用了路由交換機(jī)作為大樓網(wǎng)絡(luò)的核心交換機(jī)，同時(shí)在交換機(jī)上對(duì)每個(gè)單位設(shè)置了不同的虛擬工作子網(wǎng)。由于各家單位分布在不同的樓層，每個(gè)樓層分布的單位家數(shù)也不完全相同，有的樓層有兩、三家單位，有的樓層多達(dá)五、六家單位，不同樓層的單位工作子網(wǎng)全部通過(guò)對(duì)應(yīng)樓層的交換機(jī)，連接到大樓局域網(wǎng)中，并通過(guò)大樓網(wǎng)絡(luò)中的硬件防火墻訪問(wèn)Internet網(wǎng)絡(luò)。為了提高網(wǎng)絡(luò)管理效率，網(wǎng)絡(luò)管理員平時(shí)都會(huì)通過(guò)遠(yuǎn)程連接方式對(duì)交換機(jī)進(jìn)行管理、維護(hù);可是，今天早上一上班，筆者在掃描診斷局域網(wǎng)核心交換機(jī)各個(gè)交換端口的工作狀態(tài)時(shí)，發(fā)現(xiàn)其中某個(gè)交換端口處于down狀態(tài)。查看網(wǎng)絡(luò)管理檔案，找到連接該端口的是四樓某二層交換機(jī)，遠(yuǎn)程登錄該樓層交換機(jī)時(shí)，發(fā)現(xiàn)遲遲無(wú)法登錄成功，使用ping命令測(cè)試該交換機(jī)的IP地址時(shí)，返回的結(jié)果為“Request time out”;就在筆者納悶為什么沒(méi)有人報(bào)故障時(shí)，電話鈴聲如期而至，果然來(lái)自四樓的用戶開(kāi)始接二連三地報(bào)修網(wǎng)絡(luò)故障了。根據(jù)上述故障現(xiàn)象，筆者估計(jì)可能是樓層交換機(jī)的工作狀態(tài)出現(xiàn)了意外，于是跑到該故障交換機(jī)現(xiàn)場(chǎng)，切斷該設(shè)備的電源，過(guò)一段時(shí)間后再次接通電源，進(jìn)行重新啟動(dòng)，等到啟動(dòng)操作完畢后，筆者又使用了ping命令測(cè)試該交換機(jī)的IP地址，此時(shí)返回的結(jié)果已經(jīng)正常，而且遠(yuǎn)程登錄操作也能夠很順利地進(jìn)行。然而，半個(gè)小時(shí)之后，該故障交換機(jī)又出現(xiàn)了相同的故障現(xiàn)象，并且進(jìn)行ping命令測(cè)試時(shí)，又返回了不正常的測(cè)試結(jié)果;后來(lái)筆者不放心，又重新經(jīng)過(guò)反復(fù)啟動(dòng)測(cè)試，發(fā)現(xiàn)故障交換機(jī)始終無(wú)法正常ping通。深入排查既然經(jīng)過(guò)反復(fù)重啟不能解決問(wèn)題，筆者估計(jì)引起該故障的原因比較復(fù)雜，考慮到這種故障現(xiàn)象在網(wǎng)絡(luò)管理過(guò)程中經(jīng)常會(huì)碰到，于是筆者按照下面的思路進(jìn)行了深入排查：1、考慮到整個(gè)大樓網(wǎng)絡(luò)中，只有四樓的某個(gè)樓層交換機(jī)出現(xiàn)這種現(xiàn)象，筆者初步判斷可能是該樓層交換機(jī)自身問(wèn)題引起的，為了能夠確?？梢詼?zhǔn)確定位故障原因，筆者準(zhǔn)備利用一臺(tái)工作狀態(tài)正常的交換機(jī)來(lái)替換故障交換機(jī)，看看故障現(xiàn)象是否仍然存在;同時(shí)，將那臺(tái)被懷疑可能存在問(wèn)題的交換機(jī)連接到一個(gè)獨(dú)立的網(wǎng)絡(luò)工作環(huán)境，經(jīng)過(guò)半個(gè)小時(shí)的測(cè)試、觀察，筆者看到那臺(tái)被連接到獨(dú)立網(wǎng)絡(luò)環(huán)境的故障交換機(jī)工作狀態(tài)是正常的，而且在該網(wǎng)絡(luò)環(huán)境下可以ping通它的IP地址，而那臺(tái)新替換的交換機(jī)連接到大樓網(wǎng)絡(luò)后，卻不能正常ping通了;依照這些現(xiàn)象，筆者認(rèn)為四樓的交換機(jī)自身出現(xiàn)問(wèn)題的可能性幾乎沒(méi)有。2、在排除了故障交換機(jī)自身狀態(tài)因素后，筆者對(duì)整個(gè)大樓網(wǎng)絡(luò)的組網(wǎng)結(jié)構(gòu)和網(wǎng)絡(luò)狀態(tài)重新進(jìn)行了回顧。由于大樓中其他樓層的用戶都能正常上網(wǎng)，唯獨(dú)四樓的一部分用戶不能上網(wǎng);查閱四樓的組網(wǎng)資料，筆者看到四樓分布了五家單位，當(dāng)時(shí)網(wǎng)絡(luò)管理員在四樓布置了兩臺(tái)樓層交換機(jī)，將它們通過(guò)級(jí)聯(lián)方式連接在一起，同時(shí)在這兩臺(tái)交換機(jī)中劃分了五個(gè)虛擬工作子網(wǎng)，保證了每家單位都能獨(dú)立地工作于自己的虛擬工作子網(wǎng)中。既然核心交換機(jī)上的對(duì)應(yīng)端口已經(jīng)被down掉，那么整個(gè)四樓的所有單位都不能上網(wǎng)才對(duì)，為什么現(xiàn)在只有一部分用戶上報(bào)故障現(xiàn)象呢?等到上班時(shí)間一到，筆者立即電話聯(lián)系其他幾家沒(méi)有報(bào)修網(wǎng)絡(luò)故障的單位，得到的答復(fù)說(shuō)他們剛剛才發(fā)現(xiàn)網(wǎng)絡(luò)訪問(wèn)不正常，正準(zhǔn)備向大樓網(wǎng)絡(luò)管理員求救，如此說(shuō)來(lái)整個(gè)四樓的所有單位都是不能正常上網(wǎng)的，那么引起該故障的原因應(yīng)該在這幾家單位的虛擬工作子網(wǎng)中。3、在將故障排查范圍鎖定在位于四樓的五家單位之后，筆者認(rèn)為既然重新啟動(dòng)四樓某個(gè)交換機(jī)的設(shè)備，能夠暫時(shí)地將網(wǎng)絡(luò)故障恢復(fù)，只是在半個(gè)小時(shí)之后，相同的網(wǎng)絡(luò)故障現(xiàn)象才會(huì)再次現(xiàn)象;對(duì)照這種特殊的現(xiàn)象，筆者懷疑可能是網(wǎng)絡(luò)廣播風(fēng)暴，造成了交換機(jī)在一定時(shí)間內(nèi)發(fā)生了堵塞現(xiàn)象，最終堵死了核心交換機(jī)的對(duì)應(yīng)交換端口。為了便于分析故障，筆者利用專業(yè)的網(wǎng)絡(luò)監(jiān)聽(tīng)工具對(duì)四樓交換機(jī)的級(jí)聯(lián)端口進(jìn)行了網(wǎng)絡(luò)傳輸數(shù)據(jù)包分析，結(jié)果發(fā)現(xiàn)無(wú)論是輸入數(shù)據(jù)包流量，還是輸出數(shù)據(jù)包流量，都非常地大，幾乎超過(guò)了正常數(shù)值的100倍左右，這說(shuō)明四樓的網(wǎng)絡(luò)中出現(xiàn)了網(wǎng)絡(luò)堵塞現(xiàn)象。4、那么究竟是網(wǎng)絡(luò)病毒引起的網(wǎng)絡(luò)堵塞，還是網(wǎng)絡(luò)環(huán)路引起的網(wǎng)絡(luò)堵塞呢?筆者打算觀察一下故障交換機(jī)級(jí)聯(lián)端口的狀態(tài)信息變化，特別是輸出廣播包的變化，如果輸出廣播包每秒鐘都在不停增大的話，那十有八九就能證明四樓網(wǎng)絡(luò)中存在網(wǎng)絡(luò)環(huán)路現(xiàn)象;基于這樣的分析思路，筆者使用Console控制線直接連接到故障交換機(jī)上，以系統(tǒng)管理員身份登錄進(jìn)入該系統(tǒng)后臺(tái)，同時(shí)使用display命令查看了該交換機(jī)級(jí)聯(lián)端口的輸出廣播包的變化，并且每隔一秒鐘查看一次，之后比較每次查看的結(jié)果，經(jīng)過(guò)反復(fù)測(cè)試，筆者發(fā)現(xiàn)故障交換機(jī)的輸出廣播包大小果然在不斷地增大著，這說(shuō)明四樓的五家單位中，肯定存在網(wǎng)絡(luò)環(huán)路現(xiàn)象。5、仔細(xì)查看了四樓的兩臺(tái)交換機(jī)，筆者發(fā)現(xiàn)它們之間的物理連接是正常的;此外，這兩臺(tái)交換機(jī)的各個(gè)交換端口直接與四樓各個(gè)房間的墻上上網(wǎng)插口相連，按理來(lái)說(shuō)，只要各個(gè)房間不隨意使用交換機(jī)進(jìn)行級(jí)聯(lián)，應(yīng)該不會(huì)出現(xiàn)網(wǎng)絡(luò)環(huán)路現(xiàn)象的?，F(xiàn)在既然證明四樓網(wǎng)絡(luò)中存在網(wǎng)絡(luò)環(huán)路現(xiàn)象，這說(shuō)明肯定有人在隨意使用交換機(jī)進(jìn)行擴(kuò)展上網(wǎng)，我們只要找到擴(kuò)展交換機(jī)，并對(duì)它的物理連接進(jìn)行檢查，就能迅速找到具體的故障節(jié)點(diǎn)了，于是筆者電話聯(lián)系四樓各家單位的網(wǎng)絡(luò)管理員，要求他們對(duì)各個(gè)辦公房間進(jìn)行檢查，并上報(bào)使用下級(jí)交換機(jī)的房間;沒(méi)有多長(zhǎng)時(shí)間，檢查結(jié)果就反饋給了筆者，竟然有10個(gè)左右的房間使用了下級(jí)交換機(jī)進(jìn)行擴(kuò)展上網(wǎng)。6、筆者深知這10個(gè)房間的網(wǎng)絡(luò)連接，最有可能出現(xiàn)網(wǎng)絡(luò)環(huán)路現(xiàn)象，那究竟是哪一個(gè)房間呢?難道筆者依次要到各個(gè)房間的現(xiàn)場(chǎng)，查看他們的網(wǎng)絡(luò)連接嗎?經(jīng)過(guò)認(rèn)真考慮，筆者找來(lái)了組網(wǎng)資料，將這10個(gè)房間使用的交換端口號(hào)碼一一找了出來(lái)，之后使用網(wǎng)絡(luò)線纜直接插入到這些交換端口中，并在這些端口的視圖模式狀態(tài)下，依次ping故障交換機(jī)的IP地址，結(jié)果ping到第六個(gè)交換端口時(shí)，筆者發(fā)現(xiàn)從該端口無(wú)法正常ping通;為了判斷該交換端口是否真的存在問(wèn)題，筆者又在該交換端口視圖模式狀態(tài)下，使用display命令查看了該交換端口的狀態(tài)信息，經(jīng)過(guò)查看分析，筆者發(fā)現(xiàn)該交換端口的輸入、輸出數(shù)據(jù)包大小明顯不正常，于是筆者估計(jì)該交換端口肯定是造成故障交換機(jī)工作狀態(tài)不正常的原因。查閱檔案資料后，筆者迅速根據(jù)那個(gè)交換端口號(hào)碼，找到了對(duì)應(yīng)的那個(gè)上網(wǎng)房間，到了現(xiàn)場(chǎng)后，筆者發(fā)現(xiàn)該房間中僅有的兩個(gè)上網(wǎng)端口，都連接了小集線器，而這兩臺(tái)集線器下面都連接有幾臺(tái)計(jì)算機(jī)，更要命的是還有一條網(wǎng)絡(luò)線將它們直接連接在了一起，這樣一來(lái)這兩個(gè)集線器之間就形成了一個(gè)網(wǎng)絡(luò)環(huán)路，該環(huán)路造成的廣播風(fēng)暴最終堵塞了故障交換機(jī)的級(jí)聯(lián)端口，從而造成了整個(gè)四樓網(wǎng)絡(luò)都不能正常上網(wǎng)。故障解決將該多余的網(wǎng)絡(luò)線纜拔除之后，筆者重新查看了該交換端口的狀態(tài)信息，結(jié)果發(fā)現(xiàn)輸入、輸出數(shù)據(jù)包大小都恢復(fù)了正常，再次查看核心交換機(jī)上對(duì)應(yīng)的交換端口狀態(tài)時(shí)，發(fā)現(xiàn)原因的“down”狀態(tài)已經(jīng)變成了“up”狀態(tài)，而且此時(shí)筆者也能正常ping通四樓的故障交換機(jī)了，這說(shuō)明問(wèn)題果然是由四樓某個(gè)房間的用戶非法擴(kuò)展使用交換機(jī)或集線器引起的。后來(lái)，筆者經(jīng)過(guò)進(jìn)一步詢問(wèn)上網(wǎng)用戶了解到，他們的房間在前天晚上進(jìn)行了打掃除，當(dāng)時(shí)所有的網(wǎng)絡(luò)線全部被拔了下來(lái);當(dāng)清潔工作結(jié)束之后，上網(wǎng)用戶由于對(duì)連