无线控制器WX3510H CPU高问题处理案例

关键词:
问题现象

客户采购我司AC管理内网无线,AC旁挂在核心交换机,运行一段时间后巡检发现AC CPU利用率持续在50%左右,由于临近假期,客户担心CPU过高影响无线网络使用,要求排查CPU利用率高原因。

 ===============display cpu===============  
Slot 1 CPU 0 CPU usage:
      50% in last 5 seconds
      50% in last 1 minute
      50% in last 5 minutes

===========================================================
=================================================================
  ===============display cpu-usage history slot 1 ===============  
100%|                                                            
 95%|                                                            
 90%|                                                            
 85%|                                                            
 80%|                                                            
 75%|                                                            
 70%|                                                            
 65%|                                                            
 60%|                                                            
 55%|                                                            
 50%|############################################################
 45%|############################################################
 40%|############################################################
 35%|############################################################
 30%|############################################################
 25%|############################################################
 20%|############################################################
 15%|############################################################
 10%|############################################################
  5%|############################################################
     ------------------------------------------------------------
              10        20        30        40        50        60  (minutes)
               cpu-usage (Slot 1 CPU 0) last 60 minutes (SYSTEM)

原因分析

对于CPU高问题,首先需要检测CPU进程,分析哪个功能模块占用CPU资源,查看CPU进程占用资源,检查发现kdrvfwd进展占用大量CPU进程,kdrvfwd是设备转发进程,负责转发设备收到的流量,kdrvfwd进程正常情况占用CPU 3%左右,目前占用资源高出正常值太多,推断AC处理大量无用流量(广播或组播)

===============display process cpu slot 1===============  
CPU utilization in 5 secs: 50.5%; 1 min: 50.5%; 5 mins: 50.4%
    JID      5Sec      1Min      5Min    Name
      1      0.0%      0.0%      0.0%    scmd

  170      6.2%      6.2%      6.2%    [kdrvfwd8]
      171      6.2%      6.2%      6.2%    [kdrvfwd9]
      172      6.2%      6.2%      6.2%    [kdrvfwd10]
      173      6.2%      6.2%      6.2%    [kdrvfwd11]
      174      6.2%      6.2%      6.2%    [kdrvfwd12]
      175      6.2%      6.2%      6.2%    [kdrvfwd13]
      176      6.2%      6.2%      6.2%    [kdrvfwd14]
      177      6.2%      6.2%      6.2%    [kdrvfwd15]

查看CPU处理接口报文统计情况发现设备G1/0/1收到大量广播报文,每秒钟24万PPS左右

********************fpl showdpstat: start ****************************
idx     item                       stat                 speed(pps)
----------------------------------------------------------------------
  1 GE1/0/1RxUnicast               189886               4
  2 GE1/0/1RxBroadcast             2124847907           213984
  3 GE1/0/1RxMulticast             637788978            31453
  4 GE1/0/1TxUnicast               129582               4
  5 GE1/0/1TxBroadcast             1962                 0
  6 GE1/0/1TxMulticast             5                    0

接口统计记录如方向存在大量广播和组播报文:

===============display interface=============== 

GigabitEthernet1/0/1

Current state: UP

Line protocol state: UP

Last 300 second input: 240269 packets/sec 19570072 bytes/sec 19%

Last 300 second output: 12 packets/sec 1129 bytes/sec 0%

Input (total):  2585524974 packets, 212510013352 bytes

         177007 unicasts, 1982234642 broadcasts, 603113325 multicasts, 0 pauses

Input (normal):  2585524974 packets, 212510013352 bytes

         177007 unicasts, 1982234642 broadcasts, 603113325 multicasts, 0 pauses

通过上面信息判断核心交换机发送大量广播和组播报文,AC将这部分报文上送CPU处理,导致AC的CPU利用率持续很高,现场工程师了解到客户前一天业务变更,将有线和无线业务vlan打通共用,初步怀疑共用vlan透传广播报文引起,在AC上开启基于vlan的二层隔离,并隔离有线到无线的广播报文,配置之后观察CPU使用率下降恢复到割接之前。

解决办法

在AC上开启基于vlan的二层隔离解决:

user-isolation vlan 2 permit-mac 000f-e212-7788

user-isolation vlan 2 enable

undo user-isolation permit-broadcast 

案例信息

案例类型:经验案例
案例号:201709300026
创建时间:2017年9月30日
更新时间:2017年10月6日
发布时间:2017/10/6 14:49:12
文章密级:游客可见
有效期:长期有效
发布者:赵杰
点击次数:171
评论平均得分:0
关键词:无线,AC,CPU,WX3510H
产品线:无线控制器
产品系列:WX3000H系列
产品版本:
故障类型:

常用操作
收藏