接入層交換機(jī)故障一例

1、接入層交換機(jī)故障一例隨著醫(yī)院信息化的發(fā)展， 醫(yī)院的基礎(chǔ)網(wǎng)絡(luò)架構(gòu)變得越來(lái)越復(fù) 雜，新網(wǎng)老網(wǎng)并存，內(nèi)外外網(wǎng)并存，醫(yī)院網(wǎng)絡(luò)帶寬需求也越來(lái)越 大，網(wǎng)絡(luò)故障的頻率越來(lái)越高，而且，一些少見(jiàn)的比較隱性的、 怪異的故障，解決起來(lái)費(fèi)時(shí)費(fèi)力，接入層交換機(jī)，作為網(wǎng)絡(luò)中的 重要一環(huán)，一般情況下，只要是主流的品牌交換，性能還是比較 穩(wěn)定的，不過(guò)，這并不意味著交換機(jī)設(shè)備不會(huì)發(fā)生故障，隨著工 作時(shí)間的推移， 工作使用環(huán)境的變化， 交換機(jī)內(nèi)部的元器件也會(huì) 發(fā)生老化現(xiàn)象， 由于出廠時(shí)間較早， 交換機(jī)本身的操作系統(tǒng)不夠 成熟，當(dāng)某個(gè)網(wǎng)絡(luò)事件發(fā)生時(shí)，容易觸發(fā)交換機(jī)工作性能下降， 此時(shí)交換機(jī)發(fā)生故障的機(jī)率就比較高了。 該文下面的一則

2、網(wǎng)絡(luò)故 障，就是由于交換機(jī)操作系統(tǒng)版本較低， 使得在某一網(wǎng)絡(luò)環(huán)境下 性能急劇下降， 導(dǎo)致部分局域網(wǎng)出現(xiàn)無(wú)法上網(wǎng)的故障！ 由于該故 障少有發(fā)生， 解決起來(lái)比較棘手， 為此筆者就將該故障的詳細(xì)排 查經(jīng)過(guò)還原出來(lái)，與各位朋友共同交流！ 11故障現(xiàn)象1.1 網(wǎng)絡(luò)環(huán)境 發(fā)生故障的區(qū)域是我院的體檢中心，其網(wǎng)絡(luò)環(huán)境見(jiàn)原拓?fù)?圖，體檢中心共有 26 個(gè)終端工作站，用兩臺(tái) 24 口的華三 S3100 百兆交換機(jī)，通過(guò)又膠線(xiàn)級(jí)聯(lián)后再用多模光纖上聯(lián)至華三 S7506E 核心交換機(jī)， 二層純內(nèi)網(wǎng)架構(gòu)， 兩臺(tái)級(jí)聯(lián)的交換機(jī)單獨(dú)劃分在一個(gè)VLAN里，使用時(shí)間也就兩年多。1.2 故障表現(xiàn)某天下午突然接到體檢中心電話(huà)說(shuō)收費(fèi)電腦

3、的網(wǎng)不通了， 工 作站進(jìn)不了，當(dāng)信息科工作人打開(kāi)威盾內(nèi)網(wǎng)安全管理軟件查看 時(shí)，發(fā)現(xiàn)該科室有多處工作站不通，隨到現(xiàn)場(chǎng)排查，發(fā)現(xiàn) Ping 主服務(wù)器不通， 但約二三分鐘后又都自動(dòng)通了， 通了后全天都正 常，接下來(lái)的幾天，都是早上七點(diǎn)四十到八點(diǎn)剛上班那段時(shí)間， 也總是出現(xiàn)類(lèi)似故障，偶爾下午也會(huì)發(fā)生一兩次，開(kāi)始時(shí)，一周 只有一兩天發(fā)生， 后來(lái)幾呼天天早上都會(huì)發(fā)生， 早上體檢人多時(shí)， 嚴(yán)重影響正常醫(yī)療工作。故障模擬如下：部分 PC( PC-1, PC-4) PING HIS 服務(wù)器通暢，PC-2、PC-3 Ping主服務(wù)器不通暢；此時(shí)，交換機(jī) V30, V36的CPU使用率瞬 時(shí)達(dá)到65濃上后立即又恢復(fù)

4、正常； PC-1 ping PC-2通暢，PC-1 ping PC-3 不通暢， ping HIS 服務(wù)器不通暢。2分析與檢修出現(xiàn)斷網(wǎng)后：1)通過(guò)TELNET能夠遠(yuǎn)程登錄到兩臺(tái)交換機(jī)， 說(shuō)明從核心到該接入層交換機(jī)是通的，查看了交換機(jī)的CPU使用 率、日志及STP狀態(tài)，除了個(gè)別端口反復(fù) UP或DOW外，均未發(fā) 現(xiàn)異常，懷疑是個(gè)別電腦跳線(xiàn)接觸不良引起的，于是，更換了端 口反復(fù)UP或DOW的那兩臺(tái)工作站電腦跳線(xiàn)、 網(wǎng)卡及墻上的超五 類(lèi)模塊，交換機(jī)出錯(cuò)日志如下：2)通過(guò)上面的排查處理后，故障還是存在，重啟交換機(jī)能 好一會(huì)兒， 但第二天還是有類(lèi)似故障發(fā)生， 只是交換的端口沒(méi)有 上面的出錯(cuò)日志了，日志發(fā)給

5、交換機(jī)廠商分析說(shuō)機(jī)器沒(méi)有問(wèn)題， 于是再自行排查， 將原先兩臺(tái)做級(jí)聯(lián)的交換機(jī)， 增加了一條鏈路， 兩交換機(jī)都用光纖連到核心交換機(jī)上，如上圖中的現(xiàn)拓?fù)洹?)采用不同鏈路以后，故障還是存在，于是又做了如下排 查：將一臺(tái)同型號(hào)的備用新 24 口交換機(jī)更換了其中一臺(tái)；懷疑 電壓不穩(wěn)，又給兩臺(tái)交換機(jī)配上了 UPS后備電源；咨詢(xún)了幾家網(wǎng) 絡(luò)公司，為防止STP波動(dòng)，啟用了交換機(jī)的邊緣端口，甚至將 STP協(xié)議濾過(guò)掉，故障還是會(huì)發(fā)生；懷疑是體檢中心某臺(tái)設(shè)備引 起的，信息科人員早上去蹲點(diǎn)，一臺(tái)一臺(tái)幫他們開(kāi)機(jī)，還是沒(méi)發(fā) 現(xiàn)問(wèn)題所在。4)懷疑有病毒或網(wǎng)絡(luò)風(fēng)暴， 請(qǐng)網(wǎng)絡(luò)公司過(guò)來(lái)測(cè)試流量也沒(méi)發(fā)現(xiàn)問(wèn)題，考慮到總是在早上發(fā)生，

6、當(dāng)所有PC同時(shí)啟動(dòng)時(shí)，交換機(jī)CPU使用率有個(gè)一過(guò)性的急速上升，數(shù)據(jù)處理能力下降，導(dǎo)致部分?jǐn)?shù)據(jù)不能從交換機(jī)(V30)傳輸出去，由此懷疑交換機(jī)處 理能力不足導(dǎo)致， 于是， 使用高性能 24口千兆交換機(jī) H3CS5120 SI替換V30( h3c S3100 )百兆交換機(jī)，進(jìn)行測(cè)試，結(jié)果，接在 千兆交換機(jī)上的電腦，故障消除，接在百兆交換機(jī)上的電腦，故 障依然存在。5)兩臺(tái)百兆交換機(jī)才用兩年，難道會(huì)同時(shí)老化，處理性能下降了， 何況換了一個(gè)新的同型號(hào)的備用交換機(jī)也不行， 難道真的都要用千兆的嗎？經(jīng)多方咨詢(xún)懷疑是交換機(jī)系統(tǒng)版本太低引 起的，雖然不能確認(rèn)上述故障就是由交換機(jī)后臺(tái)系統(tǒng)的版本太低 引起的，但是，

7、我們知道最新版本的后臺(tái)系統(tǒng)存在的BUG會(huì)更少，運(yùn)行起來(lái)自然也就更穩(wěn)定，于是，先將故障交換機(jī)通過(guò)搭建 FTP 服務(wù)器對(duì)交換機(jī)的操作系統(tǒng)進(jìn)行升級(jí)，從低版本操作系統(tǒng) Release 5103P01 升級(jí)到新版本 Release R5203P07 。2 結(jié)果， 連接在千兆和百兆交換機(jī)上的電腦一切正常。6） 將另一臺(tái)原先的百兆交換的操作系統(tǒng)也升級(jí)到最新版 本，換回那臺(tái)千兆的交換機(jī)。升級(jí)后，兩臺(tái)原來(lái)的百兆交換機(jī)， 除了交換機(jī)的內(nèi)存使用率比原來(lái)高些，達(dá)到50%，其它情況一切正常，各終端工作站的應(yīng)用也都能正常使用。3討論交換機(jī)故障問(wèn)題大致包括物理層故障、 端口協(xié)商以及自環(huán)問(wèn) 題、 Vlan 問(wèn)題、設(shè)備兼容問(wèn)題等，從上面的故障排除過(guò)程來(lái)看， 當(dāng)出現(xiàn)網(wǎng)絡(luò)故障時(shí)通常按以下步驟檢查排除：（1）根據(jù)故障信息分析故障類(lèi)型，盡量按照先易后難的順序，如：是硬件故障還 是軟件引起的故障；（ 2）確定故障范圍；（ 3）進(jìn)行故障隔離，對(duì)故 障范圍內(nèi)的網(wǎng)絡(luò)基礎(chǔ)設(shè)備， 在排查故障時(shí)盡可能地按照“終端工 作站-連接線(xiàn)纜 -端口模塊-網(wǎng)絡(luò)跳線(xiàn) -交換機(jī)”這樣的順序依次 逐一進(jìn)行排查 3 。當(dāng)然，網(wǎng)絡(luò)故障原因復(fù)雜、多變，還存在一 些用常規(guī)方法無(wú)法排查的疑難故障， 比如網(wǎng)絡(luò)病毒、 網(wǎng)絡(luò)拓?fù)淙毕荨€(gè)別元器件老化等，這些故障沒(méi)有特有規(guī)律可尋