BNG專家組系列培訓(xùn)4-典型故障定界與定位

1、HUAWEI TECHNOLOGIES CO., LTDHuawei Confidential Security Level: 2022-7-4王亞平王亞平 0012488900124889BNG BNG 典型故障定界與典型故障定界與定位定位內(nèi)容介紹內(nèi)容介紹 1、用戶上下線類、用戶上下線類 2、用戶無(wú)法上網(wǎng)或者上網(wǎng)慢、用戶無(wú)法上網(wǎng)或者上網(wǎng)慢 3、CPU高與安全防攻擊高與安全防攻擊 4、用戶側(cè)組播、用戶側(cè)組播Page 3用戶上線流程介紹用戶上線流程簡(jiǎn)單來(lái)說(shuō)就是用戶在用戶上線流程簡(jiǎn)單來(lái)說(shuō)就是用戶在BRAS上進(jìn)行認(rèn)證登記，上進(jìn)行認(rèn)證登記， BRAS下發(fā)用戶數(shù)據(jù)轉(zhuǎn)發(fā)所下發(fā)用戶數(shù)據(jù)轉(zhuǎn)發(fā)所需要表項(xiàng)到底層的

2、過(guò)程。需要表項(xiàng)到底層的過(guò)程。1. 用戶發(fā)出連接請(qǐng)求報(bào)文到達(dá)BRAS 后，BRAS 的接入識(shí)別組件負(fù)責(zé)處理用戶報(bào)文，從中提取用戶的物理位置信息并判斷是否允許接入，如果允許接入則向連接管理組件發(fā)用戶連接請(qǐng)求。2. 連接管理組件根據(jù)接入限制等條件判斷是否允許用戶接入，如果允許用戶接入，給接入識(shí)別組件回應(yīng)成功。3. 接入識(shí)別組件接到連接管理組件成功回應(yīng)后，通知用戶，用戶向接入識(shí)別組件發(fā)認(rèn)證請(qǐng)求報(bào)文，接入識(shí)別組件從報(bào)文中提取用戶名等認(rèn)證信息，將認(rèn)證信息打包后發(fā)送給連接管理組件要求認(rèn)證。4. 連接管理組件將來(lái)自接入識(shí)別組件的認(rèn)證請(qǐng)求轉(zhuǎn)發(fā)給AAA 及用戶管理組件。5. AAA 及用戶管理組件根據(jù)認(rèn)證方案、授

3、權(quán)方案進(jìn)行認(rèn)證和授權(quán)，然后將認(rèn)證結(jié)果連同授權(quán)信息回應(yīng)給連接管理組件。6. 如果認(rèn)證成功，連接管理組件向地址分配與管理組件申請(qǐng)IP 地址。7. 地址分配與管理組件根據(jù)用戶的地址池信息，采用相應(yīng)的地址分配策略分配IP 地址（遠(yuǎn)端地址需要到外部的DHCP 服務(wù)器分配），并將分配結(jié)果回應(yīng)給連接管理組件。8. 連接管理組件將認(rèn)證結(jié)果連同IP 地址一起回應(yīng)給接入識(shí)別組件，接入識(shí)別組件與用戶交互后，用戶即可上線。9. 用戶上線后，AAA 及用戶管理組件、業(yè)務(wù)控制組件共同負(fù)責(zé)對(duì)用戶使用的基本業(yè)務(wù)、增值業(yè)務(wù)進(jìn)行計(jì)費(fèi)、帶寬限制、QoS 等控制。Page 4PPP用戶上線流程用戶PPPoEPPPCMAAARadiu

4、sAMDHCPC撥號(hào)上線 PPPoE發(fā)現(xiàn)階段協(xié)商創(chuàng)建PPPoE控制塊 底層鏈路Up事件創(chuàng)建PPP控制塊 LCP協(xié)商開(kāi)始Chap認(rèn)證，發(fā)送Challenge回應(yīng)Chap Challenge，發(fā)送用戶名發(fā)起用戶認(rèn)證請(qǐng)求攜帶用戶物理信息創(chuàng)建用戶表項(xiàng)用戶認(rèn)證請(qǐng)求認(rèn)證請(qǐng)求認(rèn)證回應(yīng)，可能含有授權(quán)信息認(rèn)證回應(yīng)（含有授權(quán)信息）根據(jù)AAA授權(quán)獲取IP地址通過(guò)DHCPC向服務(wù)器申請(qǐng)地址 地址申請(qǐng)回應(yīng)用戶認(rèn)證回應(yīng)IPCP協(xié)商連接UPSAM下發(fā)用戶CIP表項(xiàng)用戶CIP表項(xiàng)下發(fā)成功回應(yīng)上線連接完成通知上線完成計(jì)費(fèi)開(kāi)始請(qǐng)求計(jì)費(fèi)開(kāi)始回應(yīng)用戶獲取IP地址，上線成功PPP連接UP回應(yīng)Chap Success，認(rèn)證成功Page

5、5DHCP用戶上線流程用戶上線完成客戶終端DHCPRDHCPSUCMAAAAM RadiusSAMDiscovery報(bào)文 連接請(qǐng)求用戶認(rèn)證請(qǐng)求遠(yuǎn)程認(rèn)證請(qǐng)求認(rèn)證回應(yīng)用戶認(rèn)證回應(yīng)含授權(quán)信息CM連接回應(yīng)，含地址池號(hào)轉(zhuǎn)發(fā)discovery根據(jù)地址池號(hào)，申請(qǐng)地址和網(wǎng)關(guān)從地址池中分配空閑地址回應(yīng)OfferOffer報(bào)文Request 報(bào)文轉(zhuǎn)發(fā)Request地址Renew或地址確認(rèn)請(qǐng)求地址申請(qǐng)成功回應(yīng)ACKAck報(bào)文連接建立UP下發(fā)CIB表項(xiàng)CIB表項(xiàng)下發(fā)回應(yīng)創(chuàng)建用戶Mac Hash表項(xiàng)創(chuàng)建用戶表項(xiàng)用戶獲取IP地址，上線成功上線連接完成通知ARP下發(fā)ARP探測(cè)請(qǐng)求創(chuàng)建ARP表項(xiàng)，啟動(dòng)探測(cè)定時(shí)器ARP探測(cè)請(qǐng)求

6、回應(yīng)拆分CIB表項(xiàng)，下發(fā)到微碼Page 6上述用戶上線流程中的任何一點(diǎn)有問(wèn)題都會(huì)導(dǎo)致用戶無(wú)法上線上述用戶上線流程中的任何一點(diǎn)有問(wèn)題都會(huì)導(dǎo)致用戶無(wú)法上線具體問(wèn)題點(diǎn)可通過(guò)如下手段進(jìn)行確認(rèn)具體問(wèn)題點(diǎn)可通過(guò)如下手段進(jìn)行確認(rèn)ptrace - 定位無(wú)法上線問(wèn)題的殺手锏pdisplay aaa online-fail-record pdebug p客戶端及設(shè)備鏡像抓包trace無(wú)信息無(wú)信息p二層設(shè)備及鏈路pVlan配置pME60配置p單板硬件p單板VLAN表項(xiàng)用戶無(wú)法上線定位方法及思路ltrace有信息有信息p規(guī)格pIP地址池配置pRadius服務(wù)器pDHCP服務(wù)器pME60設(shè)備內(nèi)部隊(duì)列Page 7用戶無(wú)法

7、上線定位方法及思路接口板接口板主控板主控板用戶PPPoEPPPCMAAARadiusAMDHCPC撥號(hào)上線 PPPoE發(fā)現(xiàn)階段協(xié)商創(chuàng)建PPPoE控制塊 底層鏈路Up事件創(chuàng)建PPP控制塊 LCP協(xié)商開(kāi)始Chap認(rèn)證，發(fā)送Challenge回應(yīng)Chap Challenge，發(fā)送用戶名發(fā)起用戶認(rèn)證請(qǐng)求攜帶用戶物理信息創(chuàng)建用戶表項(xiàng)用戶認(rèn)證請(qǐng)求認(rèn)證請(qǐng)求認(rèn)證回應(yīng)，可能含有授權(quán)信息認(rèn)證回應(yīng)（含有授權(quán)信息）根據(jù)AAA授權(quán)獲取IP地址通過(guò)DHCPC向服務(wù)器申請(qǐng)地址 地址申請(qǐng)回應(yīng)用戶認(rèn)證回應(yīng)IPCP協(xié)商連接UPSAM下發(fā)用戶CIP表項(xiàng)用戶CIP表項(xiàng)下發(fā)成功回應(yīng)上線連接完成通知上線完成計(jì)費(fèi)開(kāi)始請(qǐng)求計(jì)費(fèi)開(kāi)始回應(yīng)用戶獲

8、取IP地址，上線成功PPP連接UP回應(yīng)Chap Success，認(rèn)證成功報(bào)文是否到達(dá)me60ppp chasten配置防攻擊Vlan是否允許接入MTU等配置是否合理接口板接口板UCM隊(duì)列是否正常Radius性能是否足夠Radius是否正常（掛死）地址池配置Client與server狀態(tài)用戶表項(xiàng)是否正確用戶獲取地址后馬上掉線是否配置radius-server是否達(dá)到規(guī)格，表項(xiàng)滿AAA隊(duì)列是否正常Page 8用戶異常掉線定位方法及思路用戶上線之后用戶上線之后ME60有對(duì)用戶在線檢測(cè)的功能，如果多次檢測(cè)用戶沒(méi)有回有對(duì)用戶在線檢測(cè)的功能，如果多次檢測(cè)用戶沒(méi)有回應(yīng)設(shè)備就會(huì)對(duì)用戶進(jìn)行下線處理應(yīng)設(shè)備就會(huì)對(duì)用

9、戶進(jìn)行下線處理一般用戶異常掉線都是由于一般用戶異常掉線都是由于ME60沒(méi)有收到用戶在線檢測(cè)報(bào)文回應(yīng)報(bào)文。沒(méi)有收到用戶在線檢測(cè)報(bào)文回應(yīng)報(bào)文。即檢測(cè)或者檢測(cè)回應(yīng)報(bào)文在二層網(wǎng)絡(luò)或者即檢測(cè)或者檢測(cè)回應(yīng)報(bào)文在二層網(wǎng)絡(luò)或者M(jìn)E60內(nèi)部丟棄內(nèi)部丟棄確認(rèn)方法一般只有在確認(rèn)方法一般只有在ME60下行的二層網(wǎng)絡(luò)進(jìn)行抓包。確認(rèn)丟包位置下行的二層網(wǎng)絡(luò)進(jìn)行抓包。確認(rèn)丟包位置PPP用戶用戶缺省情況下，時(shí)間間隔為20秒，重傳次數(shù)為3次 配置PPP二層檢測(cè)時(shí)間間隔為40秒，超時(shí)檢測(cè)次數(shù)為4次。 Quidway interface virtual-template 1Quidway-Virtual-Template1 ppp

10、keepalive interval 40 retransmit 4DHCP用戶：用戶：缺省情況下，時(shí)間間隔為30秒，重傳次數(shù)為5次 配置允許探測(cè)用戶失敗的次數(shù)為2，探測(cè)用戶的間隔時(shí)長(zhǎng)是32秒。system-viewQuidway interface GigabitEthernet 3/0/0.3Quidway-GigabitEthernet3/0/0.3basQuidway-GigabitEthernet3/0/0.3-basuser detect retransmit 2 interval 32 內(nèi)容介紹內(nèi)容介紹 用戶上下線類用戶上下線類 用戶無(wú)法上網(wǎng)或者上網(wǎng)慢用戶無(wú)法上網(wǎng)或者上網(wǎng)慢 CP

11、U高與安全防攻擊高與安全防攻擊 用戶側(cè)組播用戶側(cè)組播Page 10用戶流量轉(zhuǎn)發(fā)流程介紹 LPUA板QDR*6RDRAM*6PIC連接器FPGAQDRTTM552TTM553DDR*10QDR*1QDR*7I2800E2800TCAM4*18MbitI587E587FICSD567FPGACPU7447北橋64460zbuszbusEPLDRLDRAMQDR*1RLDRAMQDR*1PCI0PCI1SPI4.2SPI4.2SPI4.2SPI4.2SPI4.2FLASHBOOTROMLocalBusDDR*18TCAM+TM扣板ZBT*2RDRAM*6QDR*6hbusPage 11l發(fā)現(xiàn)階段流程

12、：發(fā)現(xiàn)階段流程：l1）用戶發(fā)向設(shè)備的報(bào)文：查PCT/VCT表項(xiàng)中bas使能從報(bào)文中取出ethtype字段ethtype為8863上送cpl2）設(shè)備回應(yīng)用戶的報(bào)文軟件發(fā)給微碼，微碼透?jìng)?。l會(huì)話階段流程：會(huì)話階段流程：l1）PPP控制報(bào)文的處理流程l PPPOE的發(fā)現(xiàn)階段結(jié)束后，PPP協(xié)商開(kāi)始。微碼用ppp頭中的ppp_protocol將控制報(bào)文上送l2）PPP數(shù)據(jù)報(bào)文的處理流程l用戶去網(wǎng)絡(luò)側(cè)： l 查ipct/ivctbas使能ethtype 為8864用sp+smac+session ID+vlan ID查usermac表根據(jù)表中的CIB index讀取用戶CIB表，獲得各種信息根據(jù)報(bào)文中的D

13、IP查路由進(jìn)行轉(zhuǎn)發(fā) L4ACL（用戶信息做key）下行去網(wǎng)絡(luò)側(cè)流程和8090一致l網(wǎng)絡(luò)側(cè)去用戶側(cè)：l查pct/vct 用DIP查FIB，命中動(dòng)作去bas側(cè)從表中獲得CIB index和UAIB index下行用CIB index查CIB表得到用戶信息L4ACL（用戶信息做key）根據(jù)UAIB index查用戶封裝表，進(jìn)行報(bào)文封裝 用戶流量轉(zhuǎn)發(fā)流程介紹 LPUA板(PPPOE)Page 12l用戶上線報(bào)文的處理流程用戶上線報(bào)文的處理流程l 查IPCT/IVCT表bas使能ethtype為0800用smac+sip+vlan查usermac表usermac miss是UDP報(bào)文，且原端口號(hào)為67或

14、68上送cpl用戶表項(xiàng)什么時(shí)候下發(fā)？ldhcp server回應(yīng)ack時(shí)候通知cm下發(fā)表項(xiàng)，在此之前微碼查usermac都會(huì)miss。l用用戶戶數(shù)據(jù)數(shù)據(jù)報(bào)報(bào)文文處處理流程理流程l用戶側(cè)去網(wǎng)絡(luò)側(cè)流程：l 查IPCT/IVCTbas使能ethtype為0800用smac+sip+vlan查usermac表根據(jù)表中CIB index讀CIB表，獲得用戶信息用dip查fib進(jìn)行轉(zhuǎn)發(fā)L4ACL（用戶信息做key）下行流程和8090一樣。l網(wǎng)絡(luò)側(cè)去用戶側(cè)：l查pct/vct 用dip查FIB，命中動(dòng)作去用戶側(cè)從FIB中得到CIB index和UAIB index下行用CIB index查找用戶CIB表項(xiàng)獲

15、得用戶信息L4ACL(用戶信息做key)用UAIB查用戶封裝表封裝報(bào)文發(fā)送用戶流量轉(zhuǎn)發(fā)流程介紹 LPUA板(IPOE)Page 13用戶流量轉(zhuǎn)發(fā)流程介紹 LPUK板l用戶到網(wǎng)絡(luò)用戶到網(wǎng)絡(luò)X11588交換網(wǎng)X11588TMTMX11收到報(bào)文后解析PPPOE報(bào)文，剝掉PPPOE頭部和TAG，查usermac表獲取到特殊label封裝后送給588588收到報(bào)文后根據(jù)lable查insegment表彈標(biāo)簽，查FIB表得到出口信息588下行查詢ARP表封裝二層信息轉(zhuǎn)發(fā)出去X11把報(bào)文透?jìng)鞒鋈age 14用戶流量轉(zhuǎn)發(fā)流程介紹 LPUK板l網(wǎng)絡(luò)到用戶網(wǎng)絡(luò)到用戶X11588交換網(wǎng)X11588TMTMX11收

16、到報(bào)文后直接透?jìng)鹘o588588收到報(bào)文后根據(jù)IP查FIB表得到一個(gè)特殊的端口信息和一個(gè)token588下行查outsegment表封裝特殊label及二層頭送給X11X11查詢E-label-map表根據(jù)ov oq標(biāo)記來(lái)封裝PPPOE頭后轉(zhuǎn)發(fā)出去Page 15用戶上網(wǎng)慢就是用戶上網(wǎng)轉(zhuǎn)發(fā)的報(bào)文在中間鏈路（包括ME60，鏈路，其它三層、二層設(shè)備）存在丟包的情況。用戶與服務(wù)器間任何一點(diǎn)存在丟包都會(huì)存在問(wèn)題。具體問(wèn)題點(diǎn)可通過(guò)如下手段進(jìn)行確認(rèn)具體問(wèn)題點(diǎn)可通過(guò)如下手段進(jìn)行確認(rèn)p業(yè)務(wù)影響范圍劃分n根據(jù)業(yè)務(wù)影響范圍可以初步判斷是ME60下掛二層問(wèn)題：ME60某接口（子接口）業(yè)務(wù)有影響。其它端口下業(yè)務(wù)正常 。n

17、ME60用戶側(cè)單板問(wèn)題：ME60某單板下用戶上網(wǎng)慢，其它單板用戶上網(wǎng)正常 。n上行板或網(wǎng)絡(luò)側(cè)其它設(shè)備或鏈路問(wèn)題：整機(jī)用戶上網(wǎng)慢。p端口流量計(jì)數(shù)n查看網(wǎng)絡(luò)側(cè)和用戶側(cè)的端口計(jì)數(shù)，n是否有overrun，n是否有報(bào)文進(jìn)入或發(fā)出，n光功率是否正常p用戶限速n用戶的帶寬是否正常用戶上網(wǎng)慢問(wèn)題定位方法及思路Page 16用戶上網(wǎng)慢問(wèn)題定位方法及思路p設(shè)備告警n設(shè)備有單板智能心跳檢查、單板芯片狀態(tài)檢測(cè)等功能。許多情況下如果單板狀態(tài)異常，設(shè)備能自行檢查出來(lái)并打印相應(yīng)告警。n如果發(fā)現(xiàn)有告警，再找到相應(yīng)時(shí)間段的log和diag即可以基本看到問(wèn)題原因。p業(yè)務(wù)流量統(tǒng)計(jì)計(jì)數(shù)n如果明確知道某種業(yè)務(wù)有影響，且有故障用戶?？?/p>

18、以通過(guò)做UCL等統(tǒng)計(jì)計(jì)數(shù)方式查看報(bào)文丟棄點(diǎn)。p單板芯片狀態(tài)查看n可以查看單板內(nèi)各芯片狀態(tài)是否正常 。n如LPUA板的NP2800,587,TM552等芯片。LPUK板的X11，587 ,588等芯片。p抓包分析n對(duì)于用戶打開(kāi)網(wǎng)頁(yè)慢、組播卡等情況，如果如上方法仍然不能解決問(wèn)題。還可以通過(guò)故障用戶及BRAS、二層設(shè)備進(jìn)行抓包分析。確認(rèn)是否為MTU等問(wèn)題。Page 17用戶上網(wǎng)慢問(wèn)題案例分析 端口計(jì)數(shù) 一、故障現(xiàn)象一、故障現(xiàn)象ME60某trunk接口部分用戶無(wú)法上網(wǎng)，部分用戶上網(wǎng)正常。 二、原因分析二、原因分析pME60單板下行二層鏈路問(wèn)題p單板轉(zhuǎn)發(fā)問(wèn)題l三、問(wèn)題定位三、問(wèn)題定位p查看故障用戶所在t

19、runk的端口計(jì)數(shù)信息，發(fā)現(xiàn)某端口計(jì)數(shù)與其它端口不一致p前方排查對(duì)應(yīng)鏈路，發(fā)現(xiàn)接錯(cuò)端口導(dǎo)致如果用戶hash到此端口，就會(huì)導(dǎo)致用戶無(wú)法上網(wǎng)p注：以前其它局點(diǎn)也出現(xiàn)過(guò)ME60與對(duì)端設(shè)備eth-trunk個(gè)數(shù)不對(duì)應(yīng)，鏈路單通等問(wèn)題Page 18用戶上網(wǎng)慢問(wèn)題案例分析 用戶限速 一、故障現(xiàn)象一、故障現(xiàn)象ME60整機(jī)部分用戶上網(wǎng)正常。 二、原因分析二、原因分析p用戶速率較小p用戶隊(duì)列太長(zhǎng)，隊(duì)列調(diào)度導(dǎo)致上網(wǎng)慢l三、問(wèn)題定位三、問(wèn)題定位p查看用戶帶寬及限速方式display access-user user-id 5341 - User access index : 5341 State : Used Ou

20、tbound qos configuration : User-CAR Outbound cir : 2098(kbps) Outbound pir : 2098(kbps)display access-user domain 163.gd verbose -Basic: User access index : 5 State : Used Outbound qos configuration : User-queue Outbound cir : 2098 (kbps) Outbound pir : 2098 (kbps)p由于上網(wǎng)慢用戶使用user-queue限速，默認(rèn)用戶隊(duì)列長(zhǎng)度較小大，

21、當(dāng)用戶有突發(fā)時(shí)可能會(huì)出現(xiàn)延時(shí)較大情況，但是不會(huì)丟包p使用user-car限速，用戶隊(duì)列長(zhǎng)度較小用戶流量有突發(fā)時(shí)延時(shí)較小，但是會(huì)有丟包Page 19用戶上網(wǎng)慢問(wèn)題案例分析 告警類 一、故障現(xiàn)象一、故障現(xiàn)象ME60某單板上大量用戶組播卡，其它單板上業(yè)務(wù)正常。 二、原因分析二、原因分析pME60單板狀態(tài)正常pME60單板下行二層鏈路問(wèn)題l三、問(wèn)題定位三、問(wèn)題定位p查看單板告警信息p打印如下信息一般是由于ME60通過(guò)智能心跳檢查到設(shè)備存在改包。需要取到對(duì)應(yīng)時(shí)間段的log,diag日志聯(lián)系研發(fā)處理。YCSY-235-BAS-1.MAN.ME60display alarm all - Index Leve

22、l Date Time Info 1 Error 11-09-22 15:02:17 The number of intelligent heartbeat er rors reached the alarm threshold.LPU 7 -p注：V6R2版本增加了許多告警，可以自動(dòng)檢測(cè)單板是否轉(zhuǎn)發(fā)正常，光模塊光功率是否正常。同時(shí)日志中會(huì)有更詳細(xì)的信息幫助分析定位。Page 20用戶上網(wǎng)慢問(wèn)題案例分析 流量統(tǒng)計(jì) 一、故障現(xiàn)象一、故障現(xiàn)象p組網(wǎng)圖ME60雙上行到兩臺(tái)NE5000E設(shè)備p故障現(xiàn)象ME60大量用戶上網(wǎng)慢，客戶反饋多塊單板上用戶均存在類似問(wèn)題。 二、原因分析二、原因分析pME60上行

23、單板問(wèn)題導(dǎo)致丟包pME60上行設(shè)備或鏈路問(wèn)題導(dǎo)致丟包l三、問(wèn)題定位三、問(wèn)題定位l找到故障用戶后，通過(guò)在網(wǎng)絡(luò)側(cè)其它設(shè)備ping故障用戶，同時(shí)在ME60做UCL統(tǒng)計(jì)。Ping時(shí)存在丟包，通過(guò)統(tǒng)計(jì)計(jì)數(shù)查看丟包點(diǎn)。l通過(guò)在ping時(shí)查看統(tǒng)計(jì)計(jì)數(shù)，發(fā)現(xiàn)ME60收發(fā)均正常，無(wú)丟包?？梢源_認(rèn)為ME60發(fā)送icmp replay報(bào)文后在三層網(wǎng)絡(luò)丟棄。Page 21用戶上網(wǎng)慢問(wèn)題案例分析 芯片計(jì)數(shù) 一、故障現(xiàn)象一、故障現(xiàn)象p故障現(xiàn)象ME60某單板上大量用戶上網(wǎng)慢。 l三、問(wèn)題定位三、問(wèn)題定位l查看設(shè)備無(wú)異常告警。l查看單板芯片狀態(tài)，發(fā)現(xiàn)TM芯片狀態(tài)異常。lME60-hidecmdeagfy-debug 6 de

24、bug-code 45 2 0lTM status full report: lTM TID/REG VALUE ERROR_MASK LOG_MASK COUNT_ERROR COUNT_LOG COUNT_RESETl#2 0 x17/0 x00 0 x00000005 0 x0000000f 0 x00000000 10 0 1l#3 0 x20/0 x00 0 x00000800 0 x0000001f 0 x00005f20 0 1395 0lYL-XDL-BAS-1.MAN.ME60-hidecmdeagfy-debug 6 debug-code 45 3 0lThe count

25、of reset by self-check is 1l(1) 2011.10.11 09:24:51Page 22用戶上網(wǎng)慢問(wèn)題案例分析 抓包 一、故障現(xiàn)象一、故障現(xiàn)象p故障現(xiàn)象ME60某端口下掛用戶組播卡。 l三、問(wèn)題定位三、問(wèn)題定位l在用戶終端進(jìn)行抓包。l在終端抓包，發(fā)現(xiàn)有0.2%的丟包l在二層設(shè)備抓包。l在二層設(shè)備入方向抓包發(fā)現(xiàn)有0.2%的丟包l在ME60出端口進(jìn)行抓包。l在ME60出方向抓包，沒(méi)有丟包l最終確認(rèn)為二層設(shè)備與ME60之間鏈路丟包導(dǎo)致內(nèi)容介紹內(nèi)容介紹 用戶上下線類用戶上下線類 用戶無(wú)法上網(wǎng)或者上網(wǎng)慢用戶無(wú)法上網(wǎng)或者上網(wǎng)慢 CPU高與安全防攻擊高與安全防攻擊 用戶側(cè)組播用戶

26、側(cè)組播Page 24l產(chǎn)品的設(shè)計(jì)原則，單板CPU高不能影響設(shè)備業(yè)務(wù)運(yùn)行，因此單板CPU高是只是設(shè)備異常運(yùn)行的表現(xiàn)，往往不是導(dǎo)致設(shè)備業(yè)務(wù)故障的根因，某些情況下CPU使用率可以協(xié)助進(jìn)行網(wǎng)上問(wèn)題定位。lCPU高一般都是由于設(shè)備忙于處理某類業(yè)務(wù)，導(dǎo)致某個(gè)或某幾個(gè)任務(wù)長(zhǎng)時(shí)間占用CPU時(shí)間。因此可以通過(guò)查看哪幾個(gè)任務(wù)占用CPU大概推算出設(shè)備忙于處理哪類業(yè)務(wù)，進(jìn)而確認(rèn)忙于處理此類業(yè)務(wù)是否正常。l設(shè)備忙于處理某類業(yè)務(wù)，大部分場(chǎng)景由于設(shè)備收到大量上送CPU的報(bào)文導(dǎo)致。因此可以查看設(shè)備上送CPU報(bào)文類型進(jìn)一步分析。CPU高類問(wèn)題分析Page 25l1、查看歷史告警及日志l通過(guò)diag視圖display alarm

27、 all history命令查看設(shè)備歷史告警，確認(rèn)CPU使用率高的頻率。l設(shè)備啟動(dòng)后，日志會(huì)每間隔30分鐘記錄一次整機(jī)CPU和內(nèi)存信息，用于監(jiān)控設(shè)備CPU/內(nèi)存運(yùn)行軌跡l2、確認(rèn)哪些任務(wù)CPU使用率。lCPU高過(guò)程中，可以通過(guò)命令display cpu-usage slot 查看具體CPU高的任務(wù)l沒(méi)有看到CPU高的第一現(xiàn)場(chǎng)，也可以通過(guò)查看命令確認(rèn)TOP3任務(wù) Apr 3 2014 00:17:00+08:00 ME60 %01VOSCPU/4/CPU_USAGE_HIGH(l)1485793:Slot=1;The CPU is overloaded(CpuUsage=80%, Thresho

28、ld=80%), and the tasks with top three CPU occupancy are: POXR total : 22% NonDopraTask(k) total : 13% TSD total : 10%CPU高類問(wèn)題定位手段Page 26l3、查看上送報(bào)文類型。通過(guò)diag視圖ME60-diagnosedisplay cpu-defend statistics-all slot 命令查看單板上送CPU的報(bào)文類型及個(gè)數(shù)。多次查看進(jìn)行比較，可以確認(rèn)哪種類型報(bào)文上送過(guò)快。l4、使用安全防攻擊命令。ME60為了更好的發(fā)現(xiàn)攻擊行為。設(shè)備會(huì)自己對(duì)報(bào)文上送CPU的情況進(jìn)行分析

29、。對(duì)于發(fā)現(xiàn)可能存在的攻擊行為，會(huì)將此攻擊行為的源MAC、目的MAC、源IP、目的IP、源端口號(hào)、目的端口號(hào)、協(xié)議類型等信息記錄到內(nèi)存中。同時(shí)可以通過(guò)命令進(jìn)行查看。 命令如下：display attack-source-trace slot brief dispaly attack-source-trace slot 3 briefInfo: Please waiting. No 1 Packet Info: Interface Name : GigabitEthernet3/0/2 Vlanid : 0 Attack Type : Application apperceive Source I

30、p : 16.1.1.1 Dest Ip : 224.0.0.5 Source Port : 0 Dest Port : 0 Protocol Num : 89 Attack Pack Time : 2002-10-19 20:36:07 Attack Trace Data: 01 00 5e 00 00 05 00 05 00 05 00 05 08 00 45 c0 00 40 5c 1d 00 00 01 59 6b 81 10 01 01 01 e0 00 00 05 02 01 00 2c 02 02 02 02 00 00 00 00 e7 98 00 00 00 00 00 00

31、 00 00 00 00 ff ff ff 00 00 0a 02 01 00 00 00 28 10 01 01 01 00 00 00 - CPU高類問(wèn)題定位手段Page 27l網(wǎng)絡(luò)主要攻擊類型及對(duì)應(yīng)措施網(wǎng)絡(luò)主要攻擊類型及對(duì)應(yīng)措施 1、終端發(fā)送大量特殊轉(zhuǎn)發(fā)報(bào)文造成對(duì)轉(zhuǎn)發(fā)帶寬的攻擊、終端發(fā)送大量特殊轉(zhuǎn)發(fā)報(bào)文造成對(duì)轉(zhuǎn)發(fā)帶寬的攻擊 2、終端發(fā)送大量協(xié)議或者上送報(bào)文，導(dǎo)致、終端發(fā)送大量協(xié)議或者上送報(bào)文，導(dǎo)致CPU過(guò)載過(guò)載 3、終端發(fā)送某種協(xié)議報(bào)文，導(dǎo)致某種資源耗盡、終端發(fā)送某種協(xié)議報(bào)文，導(dǎo)致某種資源耗盡防攻擊是通過(guò)對(duì)上送報(bào)文進(jìn)行分類，用防攻擊是通過(guò)對(duì)上送報(bào)文進(jìn)行分類，用CPCar控制報(bào)文的帶寬、優(yōu)

32、先級(jí)和包長(zhǎng)，同控制報(bào)文的帶寬、優(yōu)先級(jí)和包長(zhǎng)，同時(shí)控制總的上送帶寬，以達(dá)到控制。優(yōu)先保證高優(yōu)先級(jí)業(yè)務(wù)，防止單板時(shí)控制總的上送帶寬，以達(dá)到控制。優(yōu)先保證高優(yōu)先級(jí)業(yè)務(wù)，防止單板CPU過(guò)載過(guò)載以及攻擊產(chǎn)生時(shí)發(fā)出告警以達(dá)到防御的目的。以及攻擊產(chǎn)生時(shí)發(fā)出告警以達(dá)到防御的目的。目前目前CPU被攻擊時(shí)對(duì)業(yè)務(wù)的影響主要來(lái)自于被攻擊時(shí)對(duì)業(yè)務(wù)的影響主要來(lái)自于三三方面原因：方面原因：1.沒(méi)有區(qū)分合法協(xié)議報(bào)文和非法協(xié)議報(bào)文，沒(méi)有區(qū)分合法協(xié)議報(bào)文和非法協(xié)議報(bào)文，CPU忙于處理大量非法協(xié)議報(bào)文利用率忙于處理大量非法協(xié)議報(bào)文利用率大幅升高，影響了對(duì)正常協(xié)議大幅升高，影響了對(duì)正常協(xié)議 報(bào)文的處理報(bào)文的處理；2.部分協(xié)議報(bào)文使用

33、同一通道上送部分協(xié)議報(bào)文使用同一通道上送CPU處理，當(dāng)其中一個(gè)協(xié)議發(fā)生環(huán)路時(shí)堵塞了該處理，當(dāng)其中一個(gè)協(xié)議發(fā)生環(huán)路時(shí)堵塞了該通道，影響了其他協(xié)議通道，影響了其他協(xié)議3.協(xié)議報(bào)文的上送通道帶寬不合理，發(fā)生問(wèn)題時(shí)影響其他上送通道的協(xié)議處理。協(xié)議報(bào)文的上送通道帶寬不合理，發(fā)生問(wèn)題時(shí)影響其他上送通道的協(xié)議處理。安全防攻擊分析與配置Page 28防攻擊支持黑防攻擊支持黑/白白/自定義名單功能。這三種名單本身也是協(xié)議上送通自定義名單功能。這三種名單本身也是協(xié)議上送通道，可以對(duì)他們配置道，可以對(duì)他們配置Car限速，丟棄，設(shè)置優(yōu)先限速，丟棄，設(shè)置優(yōu)先級(jí)等動(dòng)作，這使得我們對(duì)協(xié)議報(bào)文的過(guò)濾和控制非常有效。級(jí)等動(dòng)作，

34、這使得我們對(duì)協(xié)議報(bào)文的過(guò)濾和控制非常有效。 我們可以我們可以用用ACL將合法的，未知的，非法的放入這些名將合法的，未知的，非法的放入這些名單中，分開(kāi)處理，避免攻擊或攻擊時(shí)的牽連影響。鑒于以上三點(diǎn)攻擊單中，分開(kāi)處理，避免攻擊或攻擊時(shí)的牽連影響。鑒于以上三點(diǎn)攻擊情況，結(jié)合防攻擊功能的特點(diǎn)，防攻擊配置思情況，結(jié)合防攻擊功能的特點(diǎn)，防攻擊配置思路如下：路如下：1.收集設(shè)備上運(yùn)行的各種業(yè)務(wù)涉及的協(xié)議，并進(jìn)行歸類收集設(shè)備上運(yùn)行的各種業(yè)務(wù)涉及的協(xié)議，并進(jìn)行歸類2.用用ACL對(duì)三層報(bào)文進(jìn)行過(guò)濾，合法協(xié)議報(bào)文入白名單和自定義名單，對(duì)三層報(bào)文進(jìn)行過(guò)濾，合法協(xié)議報(bào)文入白名單和自定義名單，其他報(bào)文走黑名單其他報(bào)文走黑

35、名單3.對(duì)以下三類名單的優(yōu)先級(jí)，上送帶寬，告警功能進(jìn)行規(guī)劃對(duì)以下三類名單的優(yōu)先級(jí)，上送帶寬，告警功能進(jìn)行規(guī)劃4.非三層業(yè)務(wù)進(jìn)行帶寬限制，設(shè)備上不部署的業(yè)務(wù)有選擇地關(guān)閉非三層業(yè)務(wù)進(jìn)行帶寬限制，設(shè)備上不部署的業(yè)務(wù)有選擇地關(guān)閉安全防攻擊分析與配置內(nèi)容介紹內(nèi)容介紹 用戶上下線類用戶上下線類 用戶無(wú)法上網(wǎng)或者上網(wǎng)慢用戶無(wú)法上網(wǎng)或者上網(wǎng)慢 CPU高與安全防攻擊高與安全防攻擊 用戶側(cè)組播用戶側(cè)組播Page 30組播組網(wǎng)與介紹BRAS設(shè)備作為用戶側(cè)DR設(shè)備接入，部署用戶側(cè)組播業(yè)務(wù)組播部署涉及的協(xié)議分為主機(jī)-路由器之間的組成員關(guān)系協(xié)議和路由器-路由器之間的組播路由協(xié)議。組成員關(guān)系協(xié)議包括IGMP(互連網(wǎng)組管理協(xié)議)。組播路由協(xié)議分為域內(nèi)組播路由協(xié)議和域間組播路由協(xié)議。域內(nèi)的組播協(xié)議又分為密集模式與稀疏模式。域內(nèi)組播路由協(xié)議主要使用PIM-SM，PIM-DM，DVMRP協(xié)議。目前現(xiàn)網(wǎng)部署基本使用的都是PIM-SM。Page 31查看是否存在組播轉(zhuǎn)發(fā)表、路由表查看是否存在組播轉(zhuǎn)發(fā)表、路由表 使用display multicast routing-table、 display multicast routing-table查看是否存在(*,G),(S,G)表項(xiàng)查看用戶側(cè)接