專題五：交換機(jī)CPU使用率高故障處理

1、Security Level: HUAWEI TECHNOLOGIES CO., LTD.S S系列交換機(jī)系列交換機(jī)CPUCPU使用率高故障處理使用率高故障處理目錄目錄l診斷工具pdisplay工具plog工具l報文沖擊導(dǎo)致的CPU使用率高問題lCPU使用率高問題信息采集HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 3display cpu-usage CPU Usage Stat. Cycle: 60 (Second) CPU Usage : 40% Max: 54% CPU Usage Stat. Time : 2008-05-27 09

2、:21:46 CPU utilization for five seconds: 50%: one minute: 49%: five minutes: 47% Max CPU Usage Stat. Time : 2008-05-26 09:30:07. TaskName CPU Runtime(CPU Tick High/Tick Low) Task Explanation BOX 0% 0/ 35090 BOX Output _TIL 0% 0/ 0 Infinite loop event task _EXC 0% 0/ 0 Exception Agent Task bcmRX 2% 0

3、/ 3b69a bcmRX VIDL 50% 0/af3cd700 DOPRA IDLE TICK 0% 0/ 1414bb FOAM 0% 0/ 0 FOAM FTS 25% 0/ 416 FTS IPCQ 0% 0/ 10105f IPCQIPC task for single queue SOCK 10% 0/ ecb2fc SOCKPacket schedule and process 空閑任務(wù)任務(wù)描述HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 4display cpu-defend statistics all Statistic

4、s on slot 0: - Packet Type Pass(Bytes) Drop(Bytes) Pass(Packets) Drop(Packets) - arp-miss 0 0 0 0 arp-reply 384 0 6 0 arp-request 346825664 83619584 5419151 1306556 dhcp-client 0 0 0 0 dhcp-server 1427 0 4 0 igmp 2240 0 35 0 nap 0 0 0 0 nd 1424 0 16 0 snmp 0 0 0 0 tcp 0 0 0 0 telnet 0 0 0 0 ttl-expi

5、red 0 0 0 0 unknown-multicast 0 0 0 0 - l對于報文沖擊導(dǎo)致CPU高的情形，可進(jìn)一步通過cpu-defend統(tǒng)計查詢功能確認(rèn)具體的協(xié)議類型。l協(xié)議上送過多判斷標(biāo)準(zhǔn)：該協(xié)議對應(yīng)的Drop列有大量計數(shù)，且相對于Pass計數(shù)占比較高，例如上表中的arp-request類型。HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 5display logbuffer Logging buffer configuration and contents : enabled Allowed max buffer size : 1

6、024 Actual buffer size : 512 Channel number : 4 , Channel name : logbuffer Dropped messages : 0 Overwritten messages : 0 Current messages : 395 Feb 28 2012 16:37:40 Quidway %01SNMP/4/DECODE_ERR(l):Failed to login through SNMP, because of the decoded PDU error. (Ip=9, Times=4) Feb 28 2012

7、16:35:36 Quidway %01VOSCPU/4/CPU_USAGE_HIGH(l)126:Slot=5;The CPU is overloaded, and the tasks with top three CPU occupancy are FTS(40%), SNPG(30%), bcmRX(5%). (CpuUsage=99%, Threshold=80%) lCPU使用率高往往還伴有告警、日志出現(xiàn)，可以通過查看日志緩沖區(qū)的歷史記錄，搜索CPU_USAGE_HIGH日志，以便確認(rèn)CPU占用率TOP 3的任務(wù)。目錄目錄l診斷工具l報文沖擊導(dǎo)致的CPU使用率高問題p定位思路p故障舉

8、例p第一步：檢查CPU占用率TOP任務(wù)p第二步：檢查上送過多的協(xié)議類型p第三步：按協(xié)議類型分別處理lCPU使用率高問題信息采集HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 7CPU使用率檢查確認(rèn)TOP任務(wù)確認(rèn)報文類型協(xié)議分類處理其它情形信息采集l最常見協(xié)議沖擊CPU致使用率高主要表現(xiàn)在bcmRX、FTS、SOCK等任務(wù)上。lbcmRX是設(shè)備硬件中斷觸發(fā)的的收包任務(wù)，它會將收取到的報文立刻轉(zhuǎn)交軟件層面的FTS任務(wù)進(jìn)行分發(fā)處理。l對于屬于三層協(xié)議處理的報文，往往還伴隨有SOCK任務(wù)占用率高的情況出現(xiàn)。HUAWEI TECHNOLOGIES CO.

9、, LTD.Huawei Confidential 8故障描述：故障描述：交換機(jī)產(chǎn)生CPU_USAGE_HIGH告警：備注：備注：如果網(wǎng)管需要主動監(jiān)測CPU使用率，可通過OID：.4.1.20.1.5獲取。Feb 28 2012 16:35:36 Quidway %01VOSCPU/4/CPU_USAGE_HIGH(l)126:Slot=5;The CPU is overloaded, and the tasks with top three CPU occupancy are FTS(27%), VPS(15%), bcmRX(5%). (Cpu

10、Usage=99%, Threshold=80%)HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 9display cpu-usage slot x CPU Usage Stat. Cycle: 60 (Second) CPU Usage : 85% Max: 99% CPU Usage Stat. Time : 2001-04-25 16:15:00 CPU utilization for five seconds: 90%: one minute: 85%: five minutes: 86% Max CPU Usage Stat. Tim

11、e : 2001-04-24 17:17:07. TaskName CPU Runtime(CPU Tick High/Tick Low) Task Explanation BOX 0% 0/ dad772 BOX Output _TIL 0% 0/ 0 Infinite loop event task _EXC 0% 0/ 0 Exception Agent Task VIDL 15% 8/b51c8f1b DOPRA IDLE TICK 0% 0/ 91e2d7f CLKI 0% 0/ 0 CLKI DEV 0% 0/ 12202d9 DEV Device bcmRX 5% 0/ cb81

12、7af bcmRX CHAL 0% 0/ 0 CHAL FTS 23% 0/ 5a876 FTS MOD 0% 0/ 0 MOD Module Management l通過故障現(xiàn)象中的告警信息，可以確認(rèn)CPU占用率TOP任務(wù)中包含有bcmRX、FTS報文收取任務(wù)，基本可以確認(rèn)屬于協(xié)議收報過多導(dǎo)致CPU占用率上升。l可以通過CPU使用率查詢功能進(jìn)一步核實TOP任務(wù)中是否包含有收包任務(wù)；可以通過slot指明查詢的槽位號。HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 10l通過cpu-defend統(tǒng)計查詢功能，確認(rèn)哪類協(xié)議存在沖擊情形，可以通過各類

13、協(xié)議的Drop列計數(shù)進(jìn)行確認(rèn)。如果某類協(xié)議Drop計數(shù)非常大，且Drop列計數(shù)相對于Pass列計數(shù)占比較高(例如達(dá)到20%以上)，則認(rèn)為屬于此類協(xié)議存在沖擊CPU情況。例如上表中的arp-request，后續(xù)按照第三步中的ARP協(xié)議對應(yīng)處理方式進(jìn)行處理。l注意，查看統(tǒng)計時，需要關(guān)注協(xié)議沖擊位于哪個槽位，即“Statistics on slot x”。display cpu-defend statistics all Statistics on slot 0: - Packet Type Pass(Bytes) Drop(Bytes) Pass(Packets) Drop(Packets) -

14、arp-miss 0 0 0 0 arp-reply 384 0 6 0 arp-request 346825664 83619584 5419151 1306556 dhcp-client 0 0 0 0 dhcp-server 1427 0 4 0 dhcpv6-reply 0 0 0 0 dhcpv6-request 0 0 0 0 icmp 0 0 0 0 icmpv6 0 0 0 0 igmp 2240 0 35 0 HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 11第三步：按協(xié)議類型分別處理第三步：按協(xié)議類型分別處理-1lARPA

15、RP通過display interface檢查哪些接口存在Broadcast數(shù)量異常，并在此接口配置廣播流量抑制，限制單個接口廣播速率(例如限制為50pps)：# #broadcast-suppression pps 50.broadcast-suppression pps 50.# #lDHCPDHCP請確認(rèn)本機(jī)是否需要開啟DHCP，如果不需要請在全局undo dhcp enable；如果需要，建議在下行接口開啟dhcp error-down功能(具體信息請參考用戶手冊)：#dhcp snooping check dhcp-rate enabledhcp snooping check dhc

16、p-rate trigger error-down# 并建議通過基于dhcp報文的流量統(tǒng)計功能，來發(fā)現(xiàn)哪個接口發(fā)送了過多的DHCP報文。HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 12第三步：按協(xié)議類型分別處理第三步：按協(xié)議類型分別處理-2lTCP/ARP-MISSTCP/ARP-MISS此種情況一般是由于網(wǎng)絡(luò)中存在針對不存在的某些直連網(wǎng)段IP地址進(jìn)行掃描導(dǎo)致的. 當(dāng)有數(shù) 據(jù)報文發(fā)送到這些不存在的IP地址時，會將數(shù)據(jù)上送CPU處理，以觸發(fā)ARP學(xué)習(xí)過程，建議此時在每個vlanif接口下調(diào)整ARP學(xué)習(xí)延遲時間：# #interface vla

17、nif1000interface vlanif1000 arp-fake expire-time 30 arp-fake expire-time 30# #lTTL-EXPIREDTTL-EXPIRED如果不需要本機(jī)在tracert中顯示，建議丟棄此類報文：# #cpu-defend policy testcpu-defend policy test deny packet-type ttl-expired deny packet-type ttl-expired# #Cpu-defend-policy test globalCpu-defend-policy test globalCpu-d

18、efend-policy testCpu-defend-policy test# #HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 13第三步：按協(xié)議類型分別處理第三步：按協(xié)議類型分別處理-3lReserved-multicast Reserved-multicast 此類報文一般屬路由協(xié)議報文，目的IP地址224.0.0.X，如果設(shè)備不需要此類報文(或者啟用OSPF路由但未起組播功能)，可以直接丟棄處理(或者升級到最新版本)：# #cpu-defend policy testcpu-defend policy test deny packet

19、-type reserved-multicast deny packet-type reserved-multicast# #Cpu-defend-policy test globalCpu-defend-policy test globalCpu-defend-policy testCpu-defend-policy test# #HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 14第三步：按協(xié)議類型分別處理第三步：按協(xié)議類型分別處理-4lND/ICMPV6/DHCPV6ND/ICMPV6/DHCPV6如果本機(jī)不需要IPV6功能，建議直接丟棄

20、此類報文：# #cpu-defend policy testcpu-defend policy test deny packet-type nd deny packet-type nd deny packet-type icmpv6 deny packet-type icmpv6 deny packet-type dhcpv6-request deny packet-type dhcpv6-request deny packet-type dhcpv6-reply deny packet-type dhcpv6-reply# #Cpu-defend-policy test globalCpu-

21、defend-policy test globalCpu-defend-policy testCpu-defend-policy test# #HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 15第三步：按協(xié)議類型分別處理第三步：按協(xié)議類型分別處理-5lOSPFOSPF請檢查是否存在路由表項過大，或者OSPF PEER過多情形，并根據(jù)實際情況考慮對路由進(jìn)行優(yōu)化，以降低路由表項數(shù)目或OSPF PEER數(shù)目。lSNMPSNMP檢查是否存在頻繁的網(wǎng)管操作，例如獲取接口流量，建議適當(dāng)降低網(wǎng)管獲取交換機(jī)信息的頻率。l如果不屬于上述常見協(xié)議類型，或者其它情

22、況導(dǎo)致的CPU高情形，建議立刻搜集設(shè)備當(dāng)前診斷信息、日志信息、本次定位過程的操作記錄等，并返回華為服務(wù)處理。目錄目錄l診斷工具l報文沖擊導(dǎo)致的CPU使用率高問題lCPU使用率高問題信息采集HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 17信息搜集信息搜集l搜集cfcard中的logfile目錄下的日志信息，針對沒有cfcard的盒式設(shè)備，請通過如下命令搜集：display logbufferdisplay logbufferdisplay trapbufferdisplay trapbufferl搜集設(shè)備診斷信息，命令為： display d

23、iagnostic-information display diagnostic-information l搜集cpu-defend統(tǒng)計信息(10分鐘內(nèi)多搜集幾次) display cpu-defend statistics alldisplay cpu-defend statistics allHUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 18信息搜集信息搜集l搜集搜集TOPTOP任務(wù)的監(jiān)控信息：任務(wù)的監(jiān)控信息：1. 通過_hidecmd或diagnose進(jìn)入診斷視圖；2. 通過display cpu-usage檢查cpu占用較高任務(wù)，例如

24、EOAM較高：Quidway-hidecmd displaydisplay cpu-usagecpu-usage slot x - 可指定槽號檢查CPU Usage Stat. Cycle: 10 (Second)CPU Usage : 38% Max: 99%CPU Usage Stat. Time : 2013-01-06 03:08:57 CPU utilization for five seconds: 38%: one minute: 33%: five minutes: 35%.TaskName CPU Runtime(CPU Tick High/Tick Low) Task Ex

25、planationBOX 0% 0/ 18f78e BOX Output _TIL 0% 0/ 0 Infinite loop event task _EXC 0% 0/ 0 Exception Agent Task VIDL 61% 0/b7abe65c DOPRA IDLE TICK 0% 0/ 143074e STND 0% 0/ b3412 STNDStandby task EOAM 24% EOAM 24% 0/4994c174 EOAMEthernet OAM 802.1ag 0/4994c174 EOAMEthernet OAM 802.1ag HUAWEI TECHNOLOGI

26、ES CO., LTD.Huawei Confidential 19信息搜集信息搜集3. 通過display taskdisplay task查找任務(wù)對應(yīng)的taskid，例如EOAM的taskid為79:Quidway-hidecmd display taskdisplay task slot x - 可指定槽號name Tid VOS_TidVOS_Tid priority Status CPU Total(Millsecs)=BOX 0 x6ec5230 1 8 sleep 36830_TIL 0 x6ebaf90 2 250 eventblock 0_EXC 0 x6eb0cf0 3 1

27、35 eventblock 0VIDL 0 x6ea6a50 4 1 preemptready 79669745TICK 0 x6e9c7b0 5 205 preemptready 476396STND 0 x6daa8b0 6 80 eventblock 18097FTPS 0 x6dbc240 7 100 sleep 230536DEV 0 x6e7ffd0 8 140 eventblock 14818TCTL 0 x6c6a460 77 100 eventblock 45NAP 0 x6c601c0 78 100 eventblock 45EOAM EOAM 0 x6c55f20 0 x

28、6c55f20 7979 100 eventblock 29468818TRAF 0 x6c4bc80 80 100 eventblock 25659SLAG 0 x6c419e0 81 100 eventblock 56HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 20信息搜集信息搜集4. 根據(jù)taskid設(shè)置監(jiān)控閥值。閥值的設(shè)置可參考相應(yīng)任務(wù)的現(xiàn)有占用率，如上面的EOAM模塊CPU利用率為24，那么我們設(shè)置監(jiān)控比這個值低一點，例如設(shè)置成20，具體命令為: set task-monitor-record threshold threshol

29、d taskid taskidQuidway-hidecmdset task-monitor-record threshold 20 taskid 79set task-monitor-record threshold 20 taskid 79 slot x 可指定槽號Task Monitor has been set on slot 5, TaskId is 79, Threshold is 55. 查看任務(wù)監(jiān)控記錄，具體命令為：display task-monitor-recordQuidway-hidecmddisplay task-monitor-recorddisplay task-monitor-record slot x 可指定槽號= Task Cpu-usage Monitor Record (slot: 5) =Current Index: 0HUAWEI TECHNOLOGIES CO., LTD.Huawei Confidential 21信息搜集信息搜集6.最后，必須要關(guān)閉任務(wù)監(jiān)