銳捷網(wǎng)絡(luò)技術(shù)培訓(xùn)系列課程-中級(jí)排錯(cuò)案例分析與技巧交流

第1頁銳捷網(wǎng)絡(luò)技術(shù)培訓(xùn)系列課程-（中級(jí)）

排錯(cuò)案例分析與技巧交流培訓(xùn)組梅林

第2頁前言

本PPT節(jié)選了銳捷網(wǎng)絡(luò)工程師的故障處理報(bào)告，通過對(duì)報(bào)告排查過程的分析，了解如何把排錯(cuò)思路與規(guī)范應(yīng)用到實(shí)際工作中。此外對(duì)如何引導(dǎo)客戶詳細(xì)描述故障現(xiàn)象和信息；有效的獲得他人技術(shù)協(xié)助，提供了一些建議。適用于對(duì)網(wǎng)絡(luò)理論及網(wǎng)絡(luò)設(shè)備使用有一定基礎(chǔ)的工程師和網(wǎng)絡(luò)維護(hù)人員。第3頁課程目標(biāo)通過本課程的學(xué)習(xí)，您可以掌握如下知識(shí)點(diǎn)：分享故障排查實(shí)例故障處理報(bào)告的結(jié)構(gòu)通過提問定位網(wǎng)絡(luò)問題提高獲取技術(shù)協(xié)助的效率第4頁提綱故障排查報(bào)告點(diǎn)評(píng)故障處理報(bào)告結(jié)構(gòu)定位網(wǎng)絡(luò)問題時(shí)如何提問？如何提高尋求技術(shù)協(xié)助時(shí)的效率第5頁故障排查報(bào)告點(diǎn)評(píng)故障排查報(bào)告點(diǎn)評(píng)

遠(yuǎn)程撥號(hào)接入VPN故障處理點(diǎn)評(píng)訪問數(shù)據(jù)中心服務(wù)器頻繁掉線故障處理點(diǎn)評(píng)第6頁遠(yuǎn)程撥號(hào)接入VPN故障處理故障現(xiàn)象簡(jiǎn)述

某客戶使用windows2000server自帶的vpn撥號(hào)程序，撥入遠(yuǎn)端的vpn服務(wù)器（銳捷R3662路由器構(gòu)建的pptpserver），發(fā)現(xiàn)ping超過1432字節(jié)大小的包時(shí)，就出現(xiàn)不通的現(xiàn)象，而ping1432字節(jié)及其以下的包都很正常。斷開vpn撥號(hào)，直接撥VPN服務(wù)器外網(wǎng)地址可以ping通5000字節(jié)大小的包。第7頁遠(yuǎn)程撥號(hào)接入VPN故障處理網(wǎng)絡(luò)拓?fù)鋱D/應(yīng)用說明

應(yīng)用說明：WINDOWS2000主機(jī)通過一臺(tái)ADSL路由器接入到internet,當(dāng)主機(jī)需要訪問總部數(shù)據(jù)時(shí)，便先在本機(jī)上運(yùn)行VPN撥號(hào)程序，連接總部廣域網(wǎng)路由器R3662（VPN服務(wù)器）。VPN建立后，主機(jī)得到一私有IP,然后便能訪問總部數(shù)據(jù)服務(wù)器。第8頁遠(yuǎn)程撥號(hào)接入VPN故障處理故障具體現(xiàn)象撥號(hào)主機(jī)在沒有建立vpn連接前上網(wǎng)正常。并能夠ping通R3662外網(wǎng)接口地址，包的大小可以超過2000字節(jié)。測(cè)試中ping8000字節(jié)大小的包也可以收到正?；貞?yīng)。通過windows2000server的vpn撥號(hào)程序與遠(yuǎn)端vpn服務(wù)器建立vpn連接。建立pptp隧道。并且在撥號(hào)主機(jī)上ping1500字節(jié)大小的包不通。經(jīng)過測(cè)試,ping1432字節(jié)的大小的包是可以收到回應(yīng)的。凡是超過1432字節(jié)的包都無法收到回應(yīng)。故障初次發(fā)生時(shí)間及發(fā)生頻率：該WIN2000主機(jī)開始VPN使用便產(chǎn)生該故障；只要報(bào)文大小超過1432，必定故障現(xiàn)象重現(xiàn)。第9頁遠(yuǎn)程撥號(hào)接入VPN故障處理故障詳細(xì)分析vpn沒有建立前。撥號(hào)主機(jī)與vpn路由器的外網(wǎng)口之間能夠正常通訊。而且ping8000字節(jié)大小的包沒有問題。說明電信線路的連通性是沒有問題的。批注：首先在未建立VPN前，使用PING命令驗(yàn)證了線路質(zhì)量的穩(wěn)定性，基于分層排查的思路，排除了物理層線路質(zhì)量原因。vpn撥號(hào)主機(jī)能夠與vpn服務(wù)器之間建立起VPN連接。且在未建立隧道前ping1432字節(jié)大小以上的包正常。說明線路上電信的設(shè)備沒有對(duì)vpn隧道進(jìn)行限制。Vpn兩端的配置經(jīng)過檢查也沒有問題。

批注：基于分塊排查的思路，排除了路由器VPN功能可能存在的故障因素。通過這種方式，也初步驗(yàn)證了配置的正確性。第10頁遠(yuǎn)程撥號(hào)接入VPN故障處理故障詳細(xì)分析通過自帶筆記本（安裝xp系統(tǒng)）,使用cdma無線上網(wǎng)卡。撥入到vpn服務(wù)器上。能夠建立連接,而且ping3000字節(jié)大小的包是正常的。說明vpn內(nèi)部服務(wù)器和vpn設(shè)備本身沒有問題。

批注：利用另一臺(tái)PC訪問測(cè)試，基于替換排查的思路，進(jìn)一步確定了配置的正確性及VPN服務(wù)的正常。到此我們已經(jīng)可以確定，該故障的產(chǎn)生與用戶的VPN客戶端環(huán)境有關(guān)。如果將該筆記本配置WIN2000SERVER同網(wǎng)段IP,接入在ADSL設(shè)備后撥VPN驗(yàn)證，這樣更準(zhǔn)確，更有說服力。注意：一些工程師對(duì)該故障處理可能就到此結(jié)束了，只是簡(jiǎn)單的告訴用戶故障與主機(jī)系統(tǒng)有關(guān)，需要重裝系統(tǒng)或者更換其它操作系統(tǒng)。而沒有去分析原因背后更深層次的原因。第11頁遠(yuǎn)程撥號(hào)接入VPN故障處理故障詳細(xì)分析

為什么windows2000的vpn客戶端只能ping通最大為1432字節(jié)的包呢？下面分析一下：

當(dāng)VPN發(fā)出PING1432字節(jié)的報(bào)文時(shí)，實(shí)際IP報(bào)文經(jīng)過添加一系列包頭后，長度變?yōu)?492。而1492字節(jié)是ADSL設(shè)備接口的MTU最大值。最外層IP頭PPPIP頭ICMPIP包(數(shù)據(jù))報(bào)文封裝過程GRE第12頁遠(yuǎn)程撥號(hào)接入VPN故障處理最終解決方案向用戶解釋故障原因后，將windows2000server操作系統(tǒng)的主機(jī)更換成xp操作系統(tǒng)。向用戶建議在網(wǎng)點(diǎn)處使用專用VPN設(shè)備與中心VPN設(shè)備間建立SITE-TO-SITE模式的VPN連接，減少vpn撥號(hào)的復(fù)雜性和局限性。經(jīng)驗(yàn)總結(jié)替換法處理在很多時(shí)候可以很好的定位出網(wǎng)絡(luò)故障點(diǎn)。涉及到廣域網(wǎng)通訊時(shí)，如果正常報(bào)文大小的PING測(cè)試能通過，而大報(bào)文PING測(cè)試失敗，要考慮MTU方面的問題。第13頁訪問數(shù)據(jù)中心服務(wù)器頻繁掉線故障故障現(xiàn)象簡(jiǎn)述

某客戶反饋.該處使用R2690路由器為出口設(shè)備,線路為一條2MSDH線路.近一周反復(fù)出現(xiàn)內(nèi)網(wǎng)訪問外網(wǎng)掉線故障,每天少則掉線三四次,多則七八多次.同時(shí)訪問內(nèi)網(wǎng)服務(wù)器還存在掉包情況。第14頁訪問數(shù)據(jù)中心服務(wù)器頻繁掉線故障網(wǎng)絡(luò)拓?fù)鋱D/應(yīng)用說明

應(yīng)用說明：用戶網(wǎng)絡(luò)中心是一臺(tái)S2150G交換機(jī)，通過下掛一些非網(wǎng)管交換機(jī)連接本單位所有PC，本地?cái)?shù)據(jù)服務(wù)器直接連接在S2150G上。用戶出口部署了一臺(tái)R2690路由器，路由器連接G/V轉(zhuǎn)換器－》光貓，通過一條2MSDH線路訪問省中心數(shù)據(jù)服務(wù)器。第15頁訪問數(shù)據(jù)中心服務(wù)器頻繁掉線故障故障具體現(xiàn)象用戶訪問接入在S2150G的本地?cái)?shù)據(jù)服務(wù)器時(shí)，發(fā)現(xiàn)服務(wù)器響應(yīng)緩慢。用戶在客戶端PC上PING本地?cái)?shù)據(jù)服務(wù)器，發(fā)現(xiàn)有丟包情況。用戶訪問省中心數(shù)據(jù)服務(wù)器時(shí)發(fā)現(xiàn)有時(shí)無法連接，此時(shí)用戶在客戶端PC上PING省中心數(shù)據(jù)服務(wù)器，發(fā)現(xiàn)無響應(yīng)，用戶不做任何操作，過一段時(shí)間后訪問外網(wǎng)自動(dòng)恢復(fù)正常。故障首次發(fā)生時(shí)間及頻率：內(nèi)網(wǎng)訪問掉包與外網(wǎng)訪問無法連接的故障初次發(fā)生大約在一周前。內(nèi)網(wǎng)訪問掉包故障現(xiàn)象一直存在；外網(wǎng)訪問無法連接的故障最初時(shí)一天發(fā)生2－3次，到向我工程師報(bào)故障時(shí)，一天出現(xiàn)7，8次。第16頁訪問數(shù)據(jù)中心服務(wù)器頻繁掉線故障故障詳細(xì)分析首先排查內(nèi)網(wǎng)掉包問題。與用戶交流得知,該公司網(wǎng)線已使用了五六年,許多PC雖然是百兆網(wǎng)卡，但都無法運(yùn)行100M,只能在交換機(jī)上將端口降為10M后,網(wǎng)絡(luò)才能使用。此時(shí)判定這部分用戶線路一定存在老化現(xiàn)象,建議用戶更換掉這部份線路。批注：首先，將故障分段：優(yōu)先處理內(nèi)網(wǎng)故障，防止內(nèi)網(wǎng)故障干擾外網(wǎng)故障排查。對(duì)網(wǎng)絡(luò)掉包故障，根據(jù)分層法，先處理物理層存在的問題。用戶重新部署線路后,反饋PC都可以使用100M訪問網(wǎng)絡(luò)了,但內(nèi)網(wǎng)訪問還是有掉包情況,檢查用戶交換機(jī)配置，只有VLAN與管理IP配置，確認(rèn)配置無誤。

批注：和網(wǎng)絡(luò)設(shè)備相關(guān)的故障，排除線路問題后，通常先確定設(shè)備配置是否正確。第17頁訪問數(shù)據(jù)中心服務(wù)器頻繁掉線故障故障詳細(xì)分析建議用戶在S2150G上直接連接兩臺(tái)PC相互PING測(cè)試，發(fā)現(xiàn)還是存在掉包的情況，因此使用一臺(tái)備件交換機(jī)，導(dǎo)入故障交換機(jī)配置后替換測(cè)試，故障消失，經(jīng)過長時(shí)間PING大數(shù)據(jù)包測(cè)試，無掉包情況。批注：先根據(jù)分段排查原則，將測(cè)試PC直連中心交換機(jī)，避免中間設(shè)備與線纜干擾。同時(shí)根據(jù)替換法，懷疑設(shè)備問題時(shí)，使用另一臺(tái)設(shè)備替換排查是最簡(jiǎn)單，也是最有效的方式。將交換機(jī)替換后,內(nèi)網(wǎng)訪問掉包問題解決,但外網(wǎng)口掉線情況依然頻繁。第18頁訪問數(shù)據(jù)中心服務(wù)器頻繁掉線故障故障詳細(xì)分析檢查路由器配置，未發(fā)現(xiàn)配置錯(cuò)誤；檢查CPU利用率，SHCPU值為2％。于是檢查設(shè)備版本信息：

Red-Giant#SHVERRed-GiantOperatingSystemSoftwareRGNOS(tm)RELEASESOFTWARE,Version8.52(building6)

設(shè)備軟件版本已是最新，對(duì)該版本沒有通告過類似故障情況。批注：根據(jù)分段排查原則，在確認(rèn)內(nèi)網(wǎng)正常后，對(duì)出口問題先排查路由器工作狀態(tài)。對(duì)于掉線類型的故障，確定路由器設(shè)備配置正確的同時(shí)，也要確定CPU利用率是否過高。此外我們建議確保設(shè)備RGNOS系統(tǒng)版本是發(fā)布的最新版本。第19頁訪問數(shù)據(jù)中心服務(wù)器頻繁掉線故障故障詳細(xì)分析故障發(fā)生時(shí),SH路由器串口信息：Red-Giant#shinterfaceserial4/1serial4/1isUP,lineprotocolisDOWNHardwareisInfineonDSCC4PEB20534H-10serialDescription:jianyangInterfaceaddressis:4/30MTU1500bytes,BW2000Kbit

EncapsulationprotocolisPPP,loopbacknotset,butseemsasifinloopbackstate.Keepaliveintervalis200sec,setCarrierdelayis2secRXloadis11,Txloadis2

LCPAcksentClosed:ipcp第20頁訪問數(shù)據(jù)中心服務(wù)器頻繁掉線故障故障詳細(xì)分析

Queueingstrategy:WFQ5minutesinputrate90808bits/sec,32packets/sec5minutesoutputrate22092bits/sec,33packets/sec343821packetsinput,129308802bytes,0reslack,0nobuffer,3droppedReceived1broadcasts,0runts,0giants0inputerrors,0CRC,0frame,0overrun,0abort339962packetsoutput,27542504bytes,0underruns,14dropped0outputerrors,0collisions,2interfaceresets3carriertransitionsV35DTEcable

DCD=upDSR=upDTR=upRTS=upCTS=up

從標(biāo)紅部分我們可用看出,物理線路正常,問題出在PPPLCP協(xié)商上，接口狀態(tài)提示有環(huán)路。

第21頁訪問數(shù)據(jù)中心服務(wù)器頻繁掉線故障故障詳細(xì)分析電信工程師配合將光貓到局端打環(huán)測(cè)試,發(fā)現(xiàn)光貓?jiān)O(shè)備存在問題,電信將兩端光貓更換,但測(cè)試發(fā)現(xiàn)故障依然存在。批注：根據(jù)分段排查的原則，確認(rèn)廣域網(wǎng)線路是否存在傳輸問題。使用DEBUG命令跟蹤分析PPP第22頁訪問數(shù)據(jù)中心服務(wù)器頻繁掉線故障故障詳細(xì)分析Red-Giant#debugppperrorPPP:serial4/0rcvdid106didn'tmatchsentid109,droppingpacket,state=AcksentPPP:serial4/0stateisFSM_TERMSENT,droppingpacketPPP:serial4/0rcvdid107didn'tmatchsentid110,droppingpacket,state=TermsentPPP:serial4/0stateisFSM_TERMSENT,droppingpacketPPP:serial4/0rcvdid108didn'tmatchsentid111,droppingpacket,state=TermsentPPP:serial4/0stateisFSM_TERMSENT,droppingpacketPPP:serial4/0rcvdid109didn'tmatchsentid112,droppingpacket,state=TermsentPPP:serial4/0rcvdid110didn'tmatchsentid113,droppingpacket,state=AcksentPPP:serial4/0rcvdid111didn'tmatchsentid113,droppingpacket,state=AcksentPPP:serial4/0rcvdid112didn'tmatchsentid113,droppingpacket,state=AcksentPPP:serial4/0LCPappearstobeloopedback.PPP:serial4/0LCPappearstobeloopedback.第23頁訪問數(shù)據(jù)中心服務(wù)器頻繁掉線故障故障詳細(xì)分析通過DEBUG跟蹤觀察發(fā)現(xiàn):外網(wǎng)口通訊一段時(shí)間后，PPPrcvdid與sentid號(hào)出現(xiàn)不一致現(xiàn)象。向TAC中心反饋該情況后，初步判定問題可能是因?yàn)镚/V轉(zhuǎn)換器處理異常造成。

批注：根據(jù)分層排查的原則，通過DEBUG方式排查PPP協(xié)商故障原因。不足之處：因?yàn)閷?duì)協(xié)議轉(zhuǎn)換器的內(nèi)部具體情況，工程師不了解。所以判斷時(shí)不能百分之百肯定。第24頁訪問數(shù)據(jù)中心服務(wù)器頻繁掉線故障最終解決方案將本地G/V轉(zhuǎn)換器更換為與省中心同品牌,相同型號(hào)的G/V,測(cè)試一天,網(wǎng)絡(luò)穩(wěn)定。因?yàn)橛脩舳薌/V轉(zhuǎn)換器,光貓,交換機(jī)均出現(xiàn)問題,建議用戶檢查電源質(zhì)量。經(jīng)驗(yàn)總結(jié)對(duì)于PPP協(xié)商導(dǎo)致的故障，利用相關(guān)的DEBUG命令，能比較迅速的找到問題所在，前提是需要工程師對(duì)PPP協(xié)商過程熟悉。第25頁提綱故障排查報(bào)告點(diǎn)評(píng)故障處理報(bào)告結(jié)構(gòu)定位網(wǎng)絡(luò)問題時(shí)如何提問？提高尋求技術(shù)協(xié)助時(shí)的效率第26頁故障處理報(bào)告結(jié)構(gòu)故障處理報(bào)告結(jié)構(gòu)

當(dāng)我們最終排除了網(wǎng)絡(luò)故障后，流程的最后一步就是對(duì)所做的工作進(jìn)行文字記錄，通過前面的案例，我們可以了解到一個(gè)規(guī)范的故障處理報(bào)告一般由如下幾個(gè)部分構(gòu)成：故障現(xiàn)象簡(jiǎn)述：這是用戶反饋的故障信息，此時(shí)的故障現(xiàn)象并不一定準(zhǔn)確與完全。但這是我們從用戶處獲取的第一手信息。網(wǎng)絡(luò)拓?fù)鋱D/應(yīng)用說明：對(duì)用戶網(wǎng)絡(luò)結(jié)構(gòu)與故障相關(guān)應(yīng)用的簡(jiǎn)要說明，便于后面分析使用。故障具體現(xiàn)象：這是工程師在現(xiàn)場(chǎng)收集的故障信息，要求準(zhǔn)確，信息量豐富。第27頁故障處理報(bào)告結(jié)構(gòu)故障處理報(bào)告結(jié)構(gòu)故障詳細(xì)分析：這是對(duì)故障排查過程的重現(xiàn),要求真實(shí),準(zhǔn)確的反映實(shí)際處理過程。最終解決方案：針對(duì)發(fā)現(xiàn)的故障原因，提出有效，合理的解決方案是故障排查的最重要的目的。經(jīng)驗(yàn)總結(jié)：故障處理完畢后，能自己歸納，提煉出排錯(cuò)心得，有助于提高今后處理類似故障的效率,這也是排錯(cuò)報(bào)告的精髓所在。第28頁提綱故障排查報(bào)告點(diǎn)評(píng)故障處理報(bào)告結(jié)構(gòu)定位網(wǎng)絡(luò)問題時(shí)如何提問？提高尋求技術(shù)協(xié)助時(shí)的效率第29頁定位網(wǎng)絡(luò)問題時(shí)如何提問？定位網(wǎng)絡(luò)問題時(shí)如何提問？多數(shù)情況下，你會(huì)聽到客戶這樣的求助，他說出了一個(gè)常見問題，但又沒有該問題產(chǎn)生原因的任何信息。例如，客戶說：“我的機(jī)器不能夠訪問FTP服務(wù)器了”。這時(shí)你會(huì)怎樣處理？定位網(wǎng)絡(luò)問題的過程，實(shí)質(zhì)上是不斷提出問題的過程(問客戶或問自己)。第30頁定位網(wǎng)絡(luò)問題時(shí)如何提問？定位網(wǎng)絡(luò)問題時(shí)如何提問？提問通常應(yīng)以這樣一個(gè)順序進(jìn)行：誰出了問題？是什么問題？問題何時(shí)發(fā)生的？何處發(fā)生的故障？第31頁定位網(wǎng)絡(luò)問題時(shí)如何提問？誰出了問題？

是單個(gè)用戶、一組存在共性的用戶還是網(wǎng)絡(luò)中的所有用戶？對(duì)于單個(gè)用戶的問題，下一步提問可能應(yīng)關(guān)注下列方面：物理層問題，包括連接該用戶的網(wǎng)絡(luò)電纜問題；該特定主機(jī)上的硬件問題；該特定主機(jī)軟件問題，尤其網(wǎng)絡(luò)協(xié)議方面的問題；該特定主機(jī)的IP地址或子網(wǎng)掩碼問題；默認(rèn)網(wǎng)關(guān)問題；第32頁定位網(wǎng)絡(luò)問題時(shí)如何提問？誰出了問題？

對(duì)于一組用戶問題或所有用戶問題，下一步提問可能應(yīng)關(guān)注下列方面：網(wǎng)絡(luò)設(shè)備問題，比如路由器或交換機(jī)；路由器接口問題；服務(wù)器問題；訪問列表設(shè)置問題；VLAN配置問題；第33頁定位網(wǎng)絡(luò)問題時(shí)如何提問？是什么問題？

是連通性問題，還是性能差的問題？如果是連通性問題，是完全連通性問題？還是部分連通性問題？完全連通性問題，下一步提問可能應(yīng)關(guān)注以下方面：硬件故障；遠(yuǎn)程通信服務(wù)故障；路由協(xié)議故障；第34頁定位網(wǎng)絡(luò)問題時(shí)如何提問？是什么問題？

是部分連通性問題，下一步提問可能應(yīng)關(guān)注以下方面：訪問列表問題；子網(wǎng)掩碼問題；路由協(xié)議不兼容問題；是性能問題，下一步提問可能應(yīng)關(guān)注以下方面：網(wǎng)絡(luò)擁塞；路由環(huán)路；非最佳路由；第35頁定位網(wǎng)絡(luò)問題時(shí)如何提問？問題何時(shí)發(fā)生的？

是間歇性問題，還是經(jīng)常發(fā)生的問題，或者是剛剛發(fā)生的問題？間歇性問題，下一步提問可能應(yīng)關(guān)注以下方面：網(wǎng)絡(luò)擁塞或廣播風(fēng)暴；路由環(huán)路；遠(yuǎn)程通信服務(wù)故障；網(wǎng)絡(luò)介質(zhì)質(zhì)量差第36頁定位網(wǎng)絡(luò)問題時(shí)如何提問？問題何時(shí)發(fā)生的？

剛剛才發(fā)生的問題，下一步的提問可能應(yīng)關(guān)注下列方面：新的硬件故障或介質(zhì)故障；新增設(shè)備或拓?fù)涓淖儯辉O(shè)備重新添加修改了配置；路由協(xié)議是否發(fā)生變化；第37頁定位網(wǎng)絡(luò)問題時(shí)如