交換機二層環(huán)路問題處理指南

目錄HYPERLINK1 介紹 3HYPERLINK2 網(wǎng)絡(luò)業(yè)務(wù)故障，如何確認存在環(huán)路？ 3HYPERLINK2.1 第一步：是否可以通過端口流量發(fā)現(xiàn)數(shù)據(jù)風暴？ 4HYPERLINK2.2 第二步：是否可以通過MAC-Flapping檢測漂移？ 5HYPERLINK2.2.1 框式交換機 5HYPERLINK2.2.2 盒式交換機 7HYPERLINK2.3 第三步，是否可以通過環(huán)路檢測發(fā)現(xiàn)環(huán)路？ 8HYPERLINK2.3.1 LoopDetection(框式) 9HYPERLINK2.3.2 LoopbackDetection(盒式) 10HYPERLINK3 環(huán)路問題發(fā)生后，如何快速破環(huán)？ 11HYPERLINK3.1 第一步：是否理解網(wǎng)絡(luò)業(yè)務(wù)并明確拓撲？ 11HYPERLINK3.2 第二步：是否需要用影響最小的方法破環(huán)？ 11HYPERLINK3.2.1 方法一：端口退出成環(huán)VLAN破環(huán) 11HYPERLINK3.2.2 方法二：shutdown成環(huán)端口破環(huán) 11HYPERLINK3.2.3 方法三：通過拔出成環(huán)光纖破環(huán) 11HYPERLINK3.3 第三步：操作后確認業(yè)務(wù)是否恢復？ 12HYPERLINK4 環(huán)路問題發(fā)生后，如何定位問題根因？ 12HYPERLINK4.1 第一步：是否由于近期施工操作引入環(huán)路？ 12HYPERLINK4.2 第二步：是否由于近期修改配置引入的環(huán)路？ 12HYPERLINK4.3 第三步：是否典型的常見環(huán)路問題？ 13HYPERLINK4.3.1 交換機自環(huán)出現(xiàn)環(huán)路 13HYPERLINK4.3.2 交換機下游設(shè)備自環(huán)出現(xiàn)環(huán)路 13HYPERLINK4.3.3 環(huán)形組網(wǎng)鏈路震蕩導致環(huán)收斂震蕩 14HYPERLINK4.3.4 環(huán)形組網(wǎng)寄存器下發(fā)失敗無法破環(huán) 14HYPERLINK4.3.5 鏈路單通引入RRPP網(wǎng)絡(luò)單向環(huán) 15HYPERLINK4.3.6 協(xié)議堵塞的端口L2PT（bpdu-tunnel）協(xié)議報文成環(huán) 16HYPERLINK4.3.7 下游設(shè)備報文轉(zhuǎn)發(fā)異常導致疑似環(huán)路 17HYPERLINK4.4 第四步：收集信息返回研發(fā)分析 17HYPERLINK5 環(huán)路問題解決后，網(wǎng)絡(luò)是否需要優(yōu)化？ 19HYPERLINK5.1 第一步：是否需要部署適當?shù)钠骗h(huán)協(xié)議？ 19HYPERLINK5.2 第二步：是否需要提升鏈路質(zhì)量和可靠性？ 19HYPERLINK5.3 第三步：是否需要部署廣播抑制提升網(wǎng)絡(luò)健壯性？ 19HYPERLINK5.4 第四步：是否需要部署QoS保證協(xié)議報文優(yōu)先轉(zhuǎn)發(fā)？ 19HYPERLINK6 結(jié)束語 19介紹以太網(wǎng)鏈路由于各種原因，導致數(shù)據(jù)或協(xié)議報文環(huán)形轉(zhuǎn)發(fā)，導致網(wǎng)絡(luò)形成數(shù)據(jù)風暴，最終影響正常業(yè)務(wù)。本文檔僅介紹二層網(wǎng)絡(luò)的常見環(huán)路問題識別和處理。本指導手冊按照如下思路進行二層環(huán)路問題分析和處理：網(wǎng)絡(luò)業(yè)務(wù)故障，如何觀察確認存在二層環(huán)路？環(huán)路問題發(fā)生后，如何快速破環(huán)恢復業(yè)務(wù)？如何排查環(huán)路問題的根本原因，是否已知案例？。針對問題原因，對網(wǎng)絡(luò)進行適當?shù)膬?yōu)化。處理二層環(huán)路問題，您首先需要準備如下：整網(wǎng)的拓撲圖，包含設(shè)備名稱、登陸方式、系統(tǒng)MAC。登陸軟件，記錄全部的操作記錄。準備好這些，我們開始二層環(huán)路問題的處理之旅。網(wǎng)絡(luò)業(yè)務(wù)故障，如何確認存在環(huán)路？網(wǎng)絡(luò)業(yè)務(wù)故障后，如發(fā)生二層環(huán)路，通常會存端口流量數(shù)據(jù)風暴和反復大量的MAC漂移現(xiàn)象。因此，在骨干鏈路所在的節(jié)點，通過如下三步操作：圖1：環(huán)路排查流程圖可以判斷網(wǎng)絡(luò)是否可能存在二層環(huán)路。第一步：是否可以通過端口流量發(fā)現(xiàn)數(shù)據(jù)風暴？通過displayinterfacebrief命令，查看所有接口下的流量，存在環(huán)路的接口上InUti和OutUti兩個計數(shù)會逐步增加：第一次查詢：[151]dispinterfaceEthernetbrief|inupPHY:Physical*down:administrativelydown(l):loopback(b):BFDdownInUti/OutUti:inpututility/outpututilityInterfacePHYAuto-NegDuplexBandwidthInUtiOutUtiTrunkGigabitEthernet0/0/2upenablefull100M0%0.01%--GigabitEthernet0/0/16upenablefull1000M0.56%0.56%1GigabitEthernet1/0/12upenablefull1000M0.56%0.56%1MEth0/0/1upenablehalf100M0.01%0.01%--最后一次查詢：[151]dispinterfaceEthernetbrief|inupPHY:Physical*down:administrativelydown(l):loopback(b):BFDdownInUti/OutUti:inpututility/outpututilityInterfacePHYAuto-NegDuplexBandwidthInUtiOutUtiTrunkGigabitEthernet0/0/2upenablefull100M0%0.01%--GigabitEthernet0/0/16upenablefull1000M76%76%1GigabitEthernet1/0/12upenablefull1000M76%76%1MEth0/0/1upenablehalf100M0.01%0.01%--一般情況下，查詢只能看到網(wǎng)絡(luò)的當前流量結(jié)果，此時需要和網(wǎng)絡(luò)的正常業(yè)務(wù)流量進行比較，業(yè)務(wù)流量的帶寬可以從客戶的網(wǎng)絡(luò)流量監(jiān)控圖獲取。如果只有一臺設(shè)備的一個端口出入方向流量較大，可能是單端口環(huán)回。如果只有一臺設(shè)備的兩個端口流量較大，可能是本設(shè)備兩個端口環(huán)回；如果某端口只有單方向流量，只有出或者只有入，需要重點排查，因為環(huán)路有可能在該端口的上下游設(shè)備。

通常情況下：如果當前網(wǎng)絡(luò)流量遠大于正常業(yè)務(wù)，可能存在二層環(huán)路。如果當前網(wǎng)絡(luò)流量正常，沒有部署廣播抑制，沒有二層環(huán)路。如果當前網(wǎng)路流量比正常流量稍大，且部署了廣播抑制，需要繼續(xù)后面的第二步和第三步操作。第二步：是否可以通過MAC-Flapping檢測漂移？MAC地址漂移即設(shè)備上一個接口學習到的MAC地址在同一VLAN中另一個接口上也學習到，后學習到的MAC地址表項的覆蓋原來的表項。導致MAC地址漂移的因為包括網(wǎng)絡(luò)存在環(huán)路、或者非法用戶進行網(wǎng)絡(luò)攻擊。例如下圖，當Switch1向兩個方向同時發(fā)報文時，在Switch2上的兩個不同端口都會收到該報文，從而出現(xiàn)MAC地址漂移。當Switch2的兩個端口出現(xiàn)了MAC地址漂移時，說明交換機的兩個端口間可能出現(xiàn)了環(huán)路。圖2：MAC-Flapping示意圖MAC地址漂移，交換機所有形態(tài)和版本均默認支持漂移，具體的MAC漂移配置主要是指漂移后是否告警，漂移后是否設(shè)置端口堵塞的功能。由于框式交換機和盒式交換機MAC漂移檢測的命令行和檢測存在差異，我們分別介紹：框式交換機V1R2版本，在非S系列單板上支持全局使能的MAC-Flapping檢測功能（全局使能，只支持發(fā)送TRAP）。在V1R2上，開啟MAC地址漂移檢測：[Quidway]mac-flappingalarmenableV1R3及以后的版本，在V1R2版本的基礎(chǔ)上，新增了基于VLAN的MAC地址漂移檢測、檢測到MAC地址漂移后執(zhí)行對應(yīng)的動作策略。在V1R3及以后的版本上，開啟MAC地址漂移檢測（下面兩個命令均可使用）：系統(tǒng)視圖下：[Quidway]loop-detecteth-loopalarm-onlyVLAN視圖下：[Quidway-vlan1001]loop-detecteth-loopalarm-only各個版本的告警信息存在一定的差異，樣例如下：版本告警信息V1R1不支持V1R2全局檢測VLAN檢測不支持V1R3全局檢測VLAN檢測V1R6全局檢測VLAN檢測盒式交換機盒式交換機（不包括23、27系列）V1R3及以后版本，不支持全局使能的MAC地址漂移檢測，只支持基于VLAN的MAC地址漂移檢測，同時支持檢測到漂移后的發(fā)送TRAP、阻塞端口等動作。開啟MAC地址漂移檢測：VLAN視圖下：[Quidway-vlan1001]loop-detecteth-loopalarm-only各個版本的告警信息存在一定的差異，樣例如下：版本告警信息V1R3V1R3V1R6第三步：設(shè)備作為三層網(wǎng)關(guān)，是否存在大量ARP報文被CPCAR丟包記錄？<dgg62aslhwug>dispclock2011-11-3020:04:32WednesdayTimeZone:BJadd08:00:00<dgg62aslhwug>dispcpu-defendarp-requeststatisticsslot3CPCARonslot3-------------------------------------------------------------------------------PacketTypePass(Bytes)Drop(Bytes)Pass(Packets)Drop(Packets)-------------------------------------------------------------------------------<dgg62aslhwug>dispcpu-defendarp-replystatisticsslot3CPCARonslot3-------------------------------------------------------------------------------PacketTypePass(Bytes)Drop(Bytes)Pass(Packets)Drop(Packets)-------------------------------------------------------------------------------<dgg62aslhwug>dispclock2011-11-3020:04:35WednesdayTimeZone:BJadd08:00:00<dgg62aslhwug>dispcpu-defendarp-requeststatisticsslot3CPCARonslot3-------------------------------------------------------------------------------PacketTypePass(Bytes)Drop(Bytes)Pass(Packets)Drop(Packets)-------------------------------------------------------------------------------<dgg62aslhwug>dispcpu-defendarp-replystatisticsslot3CPCARonslot3-------------------------------------------------------------------------------PacketTypePass(Bytes)Drop(Bytes)Pass(Packets)Drop(Packets)-------------------------------------------------------------------------------通常情況下，ARP的交互是有序進行，短時間內(nèi)不會出現(xiàn)超多報文的丟棄。問題一般發(fā)生在9300作為匯聚網(wǎng)關(guān)場景，出現(xiàn)上述情況后，可能的原因是ARP的廣播報文在物理環(huán)形的網(wǎng)絡(luò)中轉(zhuǎn)發(fā)，形成協(xié)議報文的風暴，當前設(shè)備上送CPU，被交換機CPU限速丟棄。第四步，當前是否可以增加配置環(huán)路檢測發(fā)現(xiàn)環(huán)路？框式交換機和盒式交換機都支持檢測環(huán)，框式交換機的環(huán)路監(jiān)測稱為LoopDetection；盒式交換機的環(huán)回監(jiān)測稱為LoopbackDetection。LoopDetection(框式)框式交換機端口配置LoopDetection功能以后，設(shè)備會從該端口發(fā)送環(huán)路檢測報文，在端口所屬且使能LoopDetection功能的VLAN內(nèi)進行環(huán)路檢測，如果設(shè)備接收到自己發(fā)送的檢測報文，網(wǎng)絡(luò)上存在環(huán)路?？蚴浇粨Q機上的環(huán)路監(jiān)測能檢測到下面兩種情況下的端口環(huán)路：設(shè)備上端口收到本端口發(fā)送的檢測報文。設(shè)備上端口收到非本端口發(fā)送的檢測報文。開啟了LoopDetection以后，用displayloop-detection命令可以查看當前環(huán)路檢測的狀態(tài)，用displayloop-detectioninterface命令可以查看具體某一個端口的狀態(tài)。<Quidway>displayloop-detectionLoopDetectionisenable.Detectionintervaltimeis5seconds.Followingvlansenableloop-detection:vlan556Followingportsareblockedforloop:NULLFollowingportsareshutdownforloop:NULLFollowingportsarenolearningforloop:NULL<Quidway>displayloop-detectioninterfacegigabitethernet1/0/0Theportisenable.Theport'sstatuslist:StatusWorkModeRecovery-timeEnabledVLAN-----------------------------------------------------------------------NormalShutdown200556告警示例如下：版本告警信息V1R2V1R3V1R6LoopbackDetection(盒式)盒式交換機端口配置LoopbackDetection功能以后，設(shè)備會從該端口發(fā)送環(huán)路檢測報文，一個untagged報文和指定VLANTag報文。盒式交換機的LoopbackDetection，只能針對設(shè)備上端口收到本端口發(fā)送的檢測報文的環(huán)路。開啟了LoopDetection以后，用displayloop-detection命令可以查看環(huán)路檢測功能的配置信息和接口狀態(tài)信息。<Quidway>displayloopback-detectLoopback-detectisenabledinthesystemviewLoopback-detectinterval:30Loopback-detecksending-packetinterval:5InterfaceProtocolIDRecoverTimeActionStatus--------------------------------------------------------------------------------GigabitEthernet0/0/260230blockNORMAL盒式交換機告警示例如下：版本告警信息V1R3V1R6環(huán)路問題發(fā)生后，如何快速破環(huán)？以太網(wǎng)的環(huán)路，會在短時間內(nèi)形成數(shù)據(jù)風暴，當端口的流量達到帶寬的最大負荷，會形成鏈路擁塞，影響網(wǎng)絡(luò)業(yè)務(wù)。因此，在確認網(wǎng)絡(luò)發(fā)生數(shù)據(jù)環(huán)路后，請按照如下步驟處理：第一步：是否理解網(wǎng)絡(luò)業(yè)務(wù)并明確拓撲？環(huán)形網(wǎng)絡(luò)拓撲一般較為復雜，可以向客戶尋求網(wǎng)絡(luò)拓撲結(jié)構(gòu)全圖，具體到網(wǎng)絡(luò)的VLAN規(guī)劃信息，每臺設(shè)備名稱、系統(tǒng)MAC、管理IP，本端端口名稱、對端端口名稱。完整的拓撲信息是解決環(huán)路問題的首要條件，如果沒有拓撲圖，需要從發(fā)現(xiàn)環(huán)路的設(shè)備，通過逐跳登陸，記錄設(shè)備信息、端口信息和VLAN信息，手動繪制完整的拓撲。 第二步：是否需要用影響最小的方法破環(huán)？緊急破環(huán)又稱手動破環(huán)，當網(wǎng)絡(luò)風暴嚴重影響正常的業(yè)務(wù)時，需要在盡快恢復業(yè)務(wù)。可以通過如下三個方法緊急破環(huán)：(注意緊急破環(huán)不要影響遠程telnet路徑所在的設(shè)備、端口和VLAN，避免無法登陸。)方法一：端口退出成環(huán)VLAN破環(huán)將成環(huán)的網(wǎng)絡(luò)上，其中一個端口退出成環(huán)VLAN，屬于影響面最小的方法。端口命令行備注Accessundodefaultvlan可能影響下游業(yè)務(wù)。Trunkundoporttrunkallow-passvlanid無Hybridundohybridvlanid不區(qū)分tagged和untagged備注：需要注意不要shutdown遠程telnet路徑所在的端口，避免無法遠程登陸。方法二：shutdown成環(huán)端口破環(huán)Shutdown成環(huán)的物理端口，也可以達到破環(huán)的效果。此時，需要保證shutdown的端口兩端在全部VLAN內(nèi)能夠通信。方法三：通過拔出成環(huán)光纖破環(huán)通過拔出成環(huán)的光纖，可以緊急破環(huán)。備注：該方法可以使用shutdown端口代替，只有在設(shè)備無法登陸時才使用。第三步：操作后確認業(yè)務(wù)是否恢復？通過ping等測證網(wǎng)絡(luò)通信質(zhì)量，并和客戶一起觀察現(xiàn)網(wǎng)業(yè)務(wù)是否已經(jīng)恢復。環(huán)路拓撲存在冗余鏈路和配置，環(huán)路破除后業(yè)務(wù)會自行恢復，特殊情況在此不一概而論。環(huán)路問題發(fā)生后，如何定位問題根因？第一步：是否由于近期施工操作引入環(huán)路？如果環(huán)路問題是由于近期施工操作引入，可以和施工方確認，了解施工的過程，特別是新增線路連接的細節(jié)，結(jié)合拓撲結(jié)構(gòu)，確認后排出物理環(huán)路。第二步：是否由于近期修改配置引入的環(huán)路？常見的容易配置引入環(huán)路的命令行如下：特性命令行成環(huán)原因應(yīng)對方案接口管理Undoshutdown端口進入轉(zhuǎn)發(fā)引入環(huán)路。關(guān)閉端口或者部署破環(huán)協(xié)議STPBpduenable盒式交換機端口下需要使能bpduenable命令才能接收并處理STP報文。配置命令（V1R6及以后版本已默認使能）框式交換機端口下需要去使能該命令，交換機才不會透傳STP報文。刪除命令bpdubridgeenable使能該命令會導致STP報文透傳，無法上送處理。刪除命令bpdu-tunnelstpbridgeroleprovider使能該命令會導致STP無法處理報文。刪除命令RRPPRrppenable全局不配置rrppenable，無法計算堵塞端口破環(huán)。配置命令SmartLinkSmartlinkenableSmartLink組模式下不使能該命令，無法計算堵塞端口。配置命令第三步：是否典型的常見環(huán)路問題？交換機自環(huán)出現(xiàn)環(huán)路圖3：設(shè)備自環(huán)出現(xiàn)環(huán)路前置條件：交換機未配置STP和LDT問題現(xiàn)象：端口出方向和入方向流量持續(xù)增加。問題原因：端口自環(huán)或者鏈路環(huán)回。處理方法：1、首先在端口下去使能loopbackinternal。2、設(shè)備由于鏈路引入環(huán)路有兩種：一種是單端口收發(fā)環(huán)回。第二種是設(shè)備上兩個端口環(huán)路。 此類環(huán)路造成的原因是光纖或者網(wǎng)線誤接，需要拆除連線。交換機下游設(shè)備自環(huán)出現(xiàn)環(huán)路圖4：下游設(shè)備自環(huán)出現(xiàn)環(huán)路前置條件：設(shè)備未部署STP和LDT，本設(shè)備未環(huán)回。問題現(xiàn)象：端口入方向和出方向流量持續(xù)增大，環(huán)回鏈路在下游。問題原因：下游鏈路環(huán)回或者自環(huán)。處理方法：1、首先逐跳向下游尋找環(huán)路的鏈路。1、然后在端口下去使能loopbackinternal。2、設(shè)備由于鏈路引入環(huán)路有兩種：一種是單端口收發(fā)環(huán)回。第二種是設(shè)備上兩個端口環(huán)路。 此類環(huán)路造成的原因是光纖或者網(wǎng)線誤接，需要拆除連線。環(huán)形組網(wǎng)鏈路震蕩導致環(huán)收斂震蕩圖5：環(huán)路堵塞端口存在振蕩前置條件：設(shè)備部署STP、RRPP、SEP或者SMLK等破環(huán)協(xié)議。問題現(xiàn)象：環(huán)路一段時間收斂正常，一段時間收斂失敗，或者持續(xù)震蕩。問題原因：網(wǎng)絡(luò)上鏈路存在震蕩，導致環(huán)網(wǎng)協(xié)議報文轉(zhuǎn)發(fā)失敗，反復超時震蕩。如：1、鏈路存在錯包，協(xié)議報文被丟棄。

2、未知單播抑制、不合理的qos等配置丟棄協(xié)議報文。處理方法：如因為錯包丟棄，建議更換問題網(wǎng)線、光纖或者光模塊。如因為被抑制丟包，建議修改單播抑制和不合理的Qos配置。觀察當前網(wǎng)絡(luò)帶寬，確認是否是網(wǎng)絡(luò)流量擁塞，導致協(xié)議報文丟失，超時放開堵塞端口導致臨時環(huán)路，此類問題需要進行網(wǎng)絡(luò)優(yōu)化。環(huán)形組網(wǎng)寄存器下發(fā)失敗無法破環(huán)圖6：環(huán)形網(wǎng)絡(luò)無法破環(huán) 前置條件：物理環(huán)路，協(xié)議已經(jīng)破環(huán)。問題現(xiàn)象：網(wǎng)絡(luò)數(shù)據(jù)風暴問題原因：軟件計算堵塞端口正確，但是芯片下發(fā)失敗。處理方法：此類問題極其少見，可以通過shutdown、undoshutdown期望的堵塞端口，觀察協(xié)議是否收斂成功。鏈路單通引入RRPP網(wǎng)絡(luò)單向環(huán)圖7：鏈路單通造成的RRPP環(huán) 前置條件：RRPP組網(wǎng)問題現(xiàn)象：RRPP堵塞端口超時放開問題原因：RRPP心跳檢測方向，鏈路單通。處理方法：解決單通鏈路問題。 該問題有兩個規(guī)避方法：1、鏈路自協(xié)商，鏈路質(zhì)量較差的情況下，鏈路單通無法協(xié)商UP，無單通問題。2、通過在鏈路上部署DLDP檢測協(xié)議，檢測到鏈路單通后，會完全shutdown兩側(cè)的端口，解決單向環(huán)環(huán)路問題。協(xié)議堵塞的端口L2PT（bpdu-tunnel）協(xié)議報文成環(huán)圖8：已經(jīng)破環(huán)的網(wǎng)絡(luò)協(xié)議報文成環(huán) 前置條件：二層網(wǎng)絡(luò)環(huán)路收斂正常，堵塞端口狀態(tài)下發(fā)正常 問題現(xiàn)象：displ2protocol-tunnelstatistics查看到報文增加很快，軟轉(zhuǎn)發(fā)成環(huán)。 問題原因：由于堵塞端口軟件轉(zhuǎn)發(fā)L2PT（bpdu-tunnel）協(xié)議報文，未判斷端口是否堵塞，從堵塞端口發(fā)送L2PT報文，引起的L2PT報文成環(huán)， 處理方法：R6以前版本需要加載最新的補丁解決問題。V1R6C00SPC900解決該問題。下游設(shè)備報文轉(zhuǎn)發(fā)異常導致疑似環(huán)路圖9：報文轉(zhuǎn)發(fā)異常導致環(huán)路前置條件：二層網(wǎng)絡(luò)環(huán)路收斂正常，堵塞端口狀態(tài)下發(fā)正常問題現(xiàn)象：在LSW3形成頻繁的MAC-Flapping，出現(xiàn)疑似環(huán)路問題。問題原因：二層網(wǎng)絡(luò)的邊緣設(shè)備，由于個別廠家實現(xiàn)差異，對于無法處理的報文，會反彈轉(zhuǎn)發(fā)，常見的設(shè)備有機頂盒等。處理方法：由于報文反彈，此類問題需要更換邊緣設(shè)備解決。第四步：收集信息返回研發(fā)分析如果問題還沒有解決，那么問題可能是由于交換機的軟件或者硬件故障導致環(huán)路，您需要收集信息返回研發(fā)進行分析。相對其他單臺設(shè)備問題，環(huán)路問題涉及多臺設(shè)備或者整網(wǎng)。相關(guān)信息參考價值、收集方法以及細節(jié)要求如下表。序號環(huán)路相關(guān)是否必選？信息價值？如何收集？信息是否達標？1全網(wǎng)拓撲圖是有利于研發(fā)理解網(wǎng)絡(luò)業(yè)務(wù)，確認組網(wǎng)拓撲。向客戶收集或者執(zhí)行繪制，需要明確到。設(shè)備名稱、設(shè)備和接口MAC、端口連接信息、VLAN規(guī)劃2登