• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 漏洞说明
  • 全部
  • 全部
  • 大数据引擎
  • 知了引擎
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
搜索引擎
匹配模式
高级搜索

防火墙阶段性丢包,同时cpu占用率增高

  • 0关注
  • 0收藏,53浏览
粉丝:0人 关注:0人

问题描述:

 66     51.3%     24.3%     19.2%    [kdrvdp1]

进程占用突然增高,同时ping防火墙丢包,业务丢包

组网及组网描述:

5 个回答
粉丝:16人 关注:2人

防火墙阶段性 CPU 冲高 + ping 丢包、进程 kdrvdp1 占用高完整排查方案
一、先明确核心信息解读
图表:Slot1 CPU0 近 60 分钟系统 CPU 长期基线 20% 左右,阶段性冲高至 45%~55%,波动峰值对应丢包时段;
现象:ping 防火墙内网网关 168.192.0.1 出现时延突增 190~275ms + 间歇性请求超时;
关键进程:kdrvdp1 占用 CPU 51.3%,是本次故障根进程。
kdrvdp1 进程是什么(H3C SecPath V7 防火墙)
kdrvdp = Data Plane 数据转发平面进程,负责:
报文转发、会话表处理、DPI 应用识别、SSL 解密、流量统计、ACL 匹配、攻击防范、特征库检测;
该进程 CPU 飙升 =大量报文上送 CPU 软处理,转发平面过载,直接导致 ping 时延高、丢包、业务卡顿。
二、分步骤定位根因(按排查优先级)
步骤 1:查看转发平面过载诱因(先抓流量 / 表项)
1.1 查看会话表数量,是否打满、大量新建会话
bash
运行
display session table statistics
display session table aging-time

高发场景:
内网中病毒、挖矿、端口扫描,每秒大量新建 TCP/UDP 会话;
会话老化时间设置过长,无效长连接堆积占用 CPU 遍历。
优化:收紧会话老化时间
bash
运行
session aging-time tcp 300
session aging-time udp 60
session aging-time tcp-fin 10
session aging-time tcp-rst 5

1.2 查看 DPI/SSL 解密占用(kdrvdp1 最常见诱因)
bash
运行
display dpi cpu
display ssl cpu
display dpi memory

全局全量 SSL 解密:所有流量都解密,加密报文消耗大量 CPU;
全量应用识别、恶意 URL、入侵防御 IPS 全开;
特征库版本老旧存在性能 BUG,频繁特征匹配循环占用 CPU。
优化方案:
SSL 解密仅针对业务网段,不全局 untrust 流量全解密;
临时关闭 IPS、恶意 URL 过滤验证 CPU 是否下降;
升级固件 + 更新最新特征库修复性能缺陷。
1.3 查看流量统计 / 采样开销
bash
运行
display flow statistics configuration

开启 1:1 全量流量采样、MTA/NTA 流量画像,每包都做统计分析,持续消耗转发 CPU;
优化:调低采样比例(1:100),关闭无用本地流量缓存,远端 syslog 转发日志。
1.4 攻击防范 / 异常流量上送 CPU
bash
运行
display attack statistics

内网扫描、SYN 洪水、ICMP 大包、端口扫描,防火墙逐包校验防护,全部上送 kdrvdp1 处理;
优化:配置域间 ACL 丢弃恶意扫描源,收紧攻击防范阈值,开启硬件快速丢弃。
步骤 2:查看接口流量,定位流量冲击源
bash
运行
display interface brief | include rate
display packet-drop statistics

某接口瞬时带宽跑满,大流量报文冲击 CPU;
端口存在大量 CRC 错包、广播风暴、组播风暴,转发平面持续处理广播报文。
步骤 3:确认是否版本 BUG(kdrvdp 进程 CPU 泄漏)
现象:设备长期运行(30 天以上),kdrvdp1 占用缓慢持续上涨,阶段性冲高丢包,重启后临时恢复。
处理:
收集诊断包:display diagnostic-information 400 提单确认是否该版本存在转发进程 CPU 泄漏已知缺陷;
维护窗口升级设备至官方稳定修复版本。
步骤 4:硬件资源校验
bash
运行
display device
display cpu-usage history

单 CPU 核长期跑满(你截图 Slot1 CPU0 单核冲高),无多核分担;
设备规格不足:业务流量超出整机转发性能上限,只能扩容或分流业务。
三、快速临时缓解操作(业务不中断,立即降 CPU)
临时关闭冗余安全功能验证
bash
运行
system-view
undo ips enable
undo app-control enable
undo url-filter enable

关闭全局全量 SSL 解密,仅保留必要业务解密策略
缩短各类会话老化,快速回收无效会话
关闭流量全采样,调整采样比例
配置 ACL 封禁内网扫描、挖矿恶意 IP 源
四、长期根治方案
流量分层优化
仅业务核心流量开启 DPI/SSL,普通互联网流量不做深度检测,卸载转发 CPU 压力;
会话优化
收紧老化时间,配置会话自动清理阈值,超过 80% 自动回收闲置会话;
日志远端存储
所有安全审计、流量日志外发 syslog 服务器,本地不缓存日志占用转发资源;
版本升级
升级至修复 kdrvdp 转发进程性能 BUG 的稳定固件,同步更新 DPI/URL 特征库;
流量分流
大带宽业务前置交换机分流,避免防火墙单设备承载全部流量;
定期运维
每月清理无效安全策略 / ACL,季度维护窗口重启释放转发进程内存 CPU 泄漏。
五、故障现象对应逻辑总结
kdrvdp1(转发平面 CPU)冲高 → 报文处理时延增加 → ping 网关出现大延迟、超时丢包 → 业务访问卡顿、断流;
根本:深度检测、海量会话、异常流量、版本缺陷四类因素导致转发 CPU 过载。

暂无评论

粉丝:131人 关注:11人

kdrvdp1转发进程,kdrvdp1占用率高代表性能不足


丢包的话 抓包分析看看丢在那里了 

暂无评论

粉丝:10人 关注:9人

排查步骤与命令:
1. 查看CPU占用进程
display process cpu-usage
定位占用高的进程(如kdrvdp1),确认是否为异常进程或业务进程。
2. 检查防火墙会话表
display firewall session table
若会话数过多(如超过10万),可能因连接数限制导致丢包。
3. 查看接口流量与丢包
display interface GigabitEthernet X
确认接口是否过载(流量接近带宽上限),或存在CRC错误等硬件问题。
4. 检查防火墙策略匹配
display firewall policy
确认是否有策略未命中或重复策略导致规则冲突。
5. 系统日志与告警
display logbuffer
检查是否有硬件错误、模块崩溃或关键服务重启记录。
6. 硬件资源监控
display hardware resource
确认内存、硬盘使用率是否异常,排查硬件故障。
关键配置建议:
限制会话数:firewall session-table max-concurrent [value]
进程优先级调整:process-priority [process-id] [level]
流量过滤:通过ACL/安全策略限制非业务流量。
可能原因:
1. 会话表溢出:大量并发连接耗尽资源。
2. 异常进程入侵:恶意进程(如病毒/挖矿)占用CPU。
3. 接口过载:单口流量过大导致处理延迟。
4. 策略错误:规则冲突或性能优化不足。
优先检查会话表与异常进程,硬件资源监控辅助定位故障。

暂无评论

粉丝:22人 关注:1人

针对您描述的“防火墙阶段性丢包且 CPU 占用率增高”的问题,结合您提供的日志信息 [kdrvdp1] 占用 51.3%,可以初步判定这是防火墙数据转发平面(内核转发进程)过载导致的典型故障。
在中低端或常规架构的防火墙中,kdrvdp(kdrv data plane)负责底层的数据包转发。当该进程 CPU 占用率异常偏高时,设备处理报文的能力达到瓶颈,就会导致新连接无法建立、现有连接超时,进而引发业务丢包和 Ping 防火墙丢包的现象。
建议您按照以下步骤进行快速排查与消缺:

第一步:确认系统整体负载与历史趋势

首先确认是单核被异常流量打满,还是整体负载过高。
  • 查看整体 CPU 趋势:执行 display cpu-usage history,观察 CPU 占用率升高的时间点是否与业务高峰期或特定事件重合。
  • 检查多核负载均衡:执行 display process cpu | include kdrv。由于 kdrvdp1 是转发平面的内核进程,如果单核使用率接近阈值(例如 48 核设备的单核极限约 2.08%),说明该核心已满载,导致业务卡顿和丢包。

第二步:排查引发转发平面过载的常见原因

kdrvdp 占用过高通常由以下三种情况引起:
  1. 网络攻击(最常见)
    外部 DDoS 攻击或内网中毒终端发起的扫描、DoS 攻击,会导致防火墙忙于处理海量攻击报文。
    • 排查命令:执行 display attack-defense log 或 display logbuffer,检查是否有大量的攻击日志(如 SYN Flood、ICMP Flood)。
    • 验证方法:检查会话表统计 display firewall session table summary,若会话数量巨大或存在大量 SYN 半开状态,基本可确认为攻击导致。
  2. 流量统计/监控功能过载
    如果设备开启了 DPI(深度包检测)、NetStream 流导出或全局流量统计,海量流量持续采样会极大消耗转发进程资源。
    • 排查命令:执行 display process cpu,查看是否有 ntopd(流量统计进程)等伴随占用过高。
  3. 单条异常大流
    内网某台主机正在进行大文件传输或异常的高并发连接,导致单核转发压力过大。

第三步:应急处置与优化建议

根据排查结果,建议采取以下措施恢复业务:
  • 临时止血(针对攻击):若确认遭受攻击,可临时启用或收紧攻击防御规则(如限制 SYN 报文速率),或直接通过 ACL 限制异常源 IP 的流量。操作后观察 CPU 变化,若断开外网后 CPU 骤降,则证实为外部攻击。
  • 关闭非必要统计(针对性能瓶颈):如果不需要精细的流量报表,建议关闭全局流量统计以释放 CPU 资源:
    system-view undo flow-stat global enable undo ip traffic-statistics live application enable
    执行后等待 1~3 分钟,观察 kdrvdp 进程 CPU 是否回落。
  • 优化 TCP 分片与 MSS:如果丢包多发生在特定业务(如开启 AV 防病毒后),可能是报文分片重组失败导致。可在外网出接口调低 MSS:tcp mss adjust 1360
  • 硬件升级评估:如果排查发现是正常业务流量确实超出了该型号设备的转发性能上限(CPU 长期处于 80% 以上),则需要考虑升级更高性能的防火墙或进行负载均衡部署。

暂无评论

粉丝:0人 关注:1人

丢包有可能是软件版本的问题,不过最好排查一下物理层(跳线 光衰 接口)与网络层(安全防护日志或者系统日志),检查一下配置

暂无评论

编辑答案

你正在编辑答案

如果你要对问题或其他回答进行点评或询问,请使用评论功能。

分享扩散:

提出建议

    +

亲~登录后才可以操作哦!

确定

亲~检测到您登陆的账号未在http://hclhub.h3c.com进行注册

注册后可访问此模块

跳转hclhub

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作

举报

×

侵犯我的权益 >
对根叔社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 pub.zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明