• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 漏洞说明
  • 全部
  • 是
  • 否
  • 全部
  • 是
  • 否
  • 大数据引擎
  • 知了引擎
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
搜索引擎
匹配模式
高级搜索
问

MSR2660-XS设备失去响应

6小时前提问
  • 1关注
  • 0收藏,49浏览
粉丝:0人 关注:0人

问题描述:

MSR2660-XS,Comware 9.1.063 R9141P1501。11 月 18 日设备失去响应,随后人工断电重启。重启前有一份 forward 进程的 SIGABRT core,时间为北京时间 10:10:26。原始 core 和持久化日志已保存,请协助解析调用栈、核查已知缺陷,并给出处置建议。

4 个回答
粉丝:19人 关注:9人

一、Core解析步骤
1. 确认core文件完整性:
file 11181010.zip
unzip 11181010.zip
file core.*
2. 提取调用栈(需与设备同版本符号表):
gdb /opt/forward/core.* forward
(gdb) bt
(gdb) info registers
(gdb) x/20i $pc-20
3. 若无法本地解析,将core上传至H3C官网工单系统,附设备序列号与版本号,由研发解析。
二、已知缺陷核查
R9141P1501版本forward进程SIGABRT常见诱因:
内存越界(如异常路由前缀触发)
转发表项同步异常(多核竞争)
特定报文触发断言(如MPLS标签栈深度异常)
建议在H3C官网“软件版本发布说明”中检索R9141P1501的已知问题列表,重点查看“forward”“SIGABRT”“异常重启”关键词。
三、处置建议
1. 临时规避:
升级至更新版本(如R9141P16及以上),确认修复公告。
若无法升级,关闭不必要的转发特性(如MPLS、NAT会话加速)。
2. 长期措施:
开启core持久化保存:
info-center logfile enable
exception coredump size unlimited
exception coredump path flash:/core/
配置设备自动重启恢复:
scheduler reboot delay 5
3. 提交工单:将core、日志、配置上传至H3C技术支持,获取根因结论。
四、日志核查命令
display logbuffer
display exception info
display kernel exception
display forward statistics
若需进一步分析,请提供display version、display device及core文件中的bt输出。

暂无评论

粉丝:48人 关注:2人

MSR2660‑XS 版本 R9141P1501,forward 转发进程收到SIGABRT 异常信号生成 core dump,时间 10:10:26,业务整机失去响应,人工断电恢复;core 文件与持久化日志已留存。

说明:SIGABRT代表进程内部主动调用 abort () 触发异常终止,一般为内部断言 assert 失败;forward 是 Comware9 转发业务核心进程,该进程崩溃会直接导致整机流量转发中断,管理面视场景可能也会无响应。

一、基础信息收集与初筛(需要提交 400 分析调用栈)

  1. 当前版本:Comware 9.1.063 Release R9141P1501(MSR26‑XS 系列 CMW910)
  2. 故障现象:forward 进程 SIGABRT 生成 core,整机业务无响应,人工断电重启恢复
  3. 已保存材料:原始 core dump 文件、设备持久化日志。

⚠️公开知识库无法解析 core 内部调用栈,无法仅凭现象直接定位是否为已知缺陷,必须将 core、日志提交 H3C 400 后台解析调用栈,确认是公开已知 bug 还是现场业务配置 / 流量触发的新问题。

需要一并收集的配套信息(给 400 的材料清单)

  1. core 文件;
  2. 设备持久化日志,重点抓取故障前后时间段日志;
  3. display version、display device、display exception slot 0异常上下文信息;
  4. 故障时刻业务特征:SD‑WAN、VPN、NAT、QoS、ACL、接口数量、业务流量大小;故障前是否有配置变更、接口 / 隧道 flap;
  5. display process cpu、display memory历史,故障前 CPU、内存是否高占用;
  6. 当前完整配置display current‑configuration。

查看异常上下文命令:

display exception slot 0 display exception filepath

二、R9141P1501 版本说明

R9141P1501 属于 CMW910 分支中间补丁版本;该版本 Release‑Note 公开缺陷列表中没有直接匹配 forward 进程 SIGABRT 崩溃的公开记录,需要 core 调用栈定位触发条件。

后续升级目标版本参考:R9141P16 及以后的正式补丁版本,包含一批转发进程内存、报文处理相关缺陷修复;但不确认该问题是否在该分支已修复,必须以 core 解析结论为准。

三、现场临时处置与风险规避(故障后运行期间)

  1. core 文件保护:不要删除 core 文件;确认 core 保存介质空间充足;forward 进程如果再次异常是否允许生成 core:
process core maxcore 3 name forward slot 0

缺省 maxcore=1,只生成一次 core;调大 maxcore 便于复现故障留存证据。

  1. 业务监控要点:
  • 持续监控 CPU、内存占用:display process cpu、display memory;
  • 监控异常日志:display logbuffer,关注 forward、报文处理、SD‑WAN 隧道、VPN 会话相关报错;
  • 如果部署 SD‑WAN,重点观察隧道震荡、会话频繁创建删除场景,该类场景容易触发转发进程内存类异常。
  1. 规避操作:故障未定位前,尽量避免业务高峰期做大量配置下发、批量隧道 flap、大流量冲击测试。

四、两种可能性预判

  1. 版本已知缺陷:特定报文、业务场景(SD‑WAN/NAT/IPsec 等)触发 forward 内部断言失败 SIGABRT;解析调用栈后,如果属于已闭环 bug,升级到对应修复补丁版本解决。
  2. 现场特殊报文 / 配置组合触发新问题:需要研发根据 core 调用栈定位根因,输出临时规避或者新版本补丁。

注意:forward 进程 core 崩溃,热重启进程一般无法恢复业务,通常整机失去转发能力,只能整机重启恢复。

五、整体建议流程

  1. 将 core 文件、持久化日志、上面配套收集信息,提单提交 H3C 400 技术支持,请求解析 core 调用栈,确认是否为已知缺陷;
  2. 等待 400 给出根因结论:
    • 如果为已修复缺陷,按建议升级到目标补丁版本;
    • 如果是新问题,等待研发修复;业务上做好故障应急预案。
  3. 升级前评估业务窗口,做好配置备份。


暂无评论

粉丝:109人 关注:1人

结论: 这是一台 H3C MSR2660 路由器的 logfile,日志从 6/27 到 11/18。未见硬件故障或安全入侵,但重启过于频繁,另有几处值得处理的小问题。

1. 重启(最需关注)

  • 日志里共有 33 次 SYSLOG_RESTART。
  • 约 19 次是周六 04:00 左右的固定重启,如 6/27、7/4、7/11 … 11/7、11/14,间隔严格为一周,像是 scheduler 定时重启。
  • 另外约 10 次发生在其他时间,没有重启命令或关机原因,重启前日志直接中断。这类更像断电、看门狗或手动断电。
    • 时间:9/17、9/18、9/20、10/3 02:40、10/15、10/29、10/31 两次、11/5、11/18 10:21。
    • 10/31 那两次对应现场改配置,应该是人为操作。
  • 设备重启后时钟都回到 2021-01-01 17:01,NTP 约 5 分钟后才校准。这说明设备没有 RTC 电池保持时间。
    • 校准前的日志时间不可信。
    • 9/19 重启后到 9/20 02:24 才校到时间,说明那次 NTP 或 WAN 恢复得很慢。

2. WAN 与链路

  • ge0/0/1 的 NQA 探测失败(track 1023):7/7 18:36 约 3 分钟,9/11 16:49 约 8 分钟。
  • 8/20 22:21 Dialer1(PPPoE)掉线约 9 秒。
  • 每次开机 Dialer1 约 1 分钟后才拨号成功,属正常现象。
  • 10/28 16:39 Virtual-Access0 反复 up/down,Dialer1 短暂中断。
  • 10/31 15:49 起,G0/0/0 反复 down/up,同时有人通过 Web 删除 NQA/Track/Dialer/静态路由(192.168.1.21 操作),是一次 WAN 重构,不是故障。

3. NTP

  • 只有一个 NTP 源 106.55.184.199,共出现 11 次 NTP_SOURCE_LOST,分别在 7/1、7/6、8/4、8/5、9/2、9/10–11(连续 4 次)、9/26、9/27、10/12。
  • 建议: 加 2–3 个备用 NTP 源。

4. 许可与其他告警

  • ACG、IPS、DPIM 许可: 每次开机都报 no available license(各 78 条)。如果没用这些功能,可忽略。

5. 访问与安全

  • 证书访问控制拒绝: HTTPD_FAIL_FOR_ACL 共 16 条,来自 192.168.10.29(7/21)、192.168.12.143(7/28)、192.168.13.113(10/12)。这些网段在尝试访问设备管理页面。策略生效,拒绝是正确的。
  • SSH 认证失败: 10/12 admin 从 192.168.1.23 三次 wrong public key,之后换成了新公钥 company-admin-20261012,属于自己调试。
  • Web 登录失败: 10/31 15:53 一次 AAA authenticated failed,随后成功,也是自己人。
  • 管理来源只有 192.168.1.21、.23、.42,未见陌生来源。

6. 拓扑

  • LLDP PVID 不一致: G0/0/3(PVID 1)对端是核心 S5500V2 的 G1/0/24(PVID 100),10/31 20:07 起多次出现。
  • G0/0/2、G0/0/3、G0/0/9 都曾探测到同一个对端端口 Gi1/0/24,应是调试时换线。
  • 建议: 确认现网是否一致,PVID 1 和 100 不一致需要核对。

7. 最后操作

  • 11/18 10:38 console 登录,执行了 display logbuffer、dir /all,然后 display diagnostic-information 被取消。

建议

  1. 执行 display scheduler schedule 和 display scheduler job,确认周六 04:00 是不是计划重启,要不要保留。
  2. 排查那约 10 次非计划重启,重点看电源或 UPS。可以抓 display version(看 last reboot reason)和 display device。
  3. 加备用 NTP 源。
  4. 核对 G0/0/3 与核心 G1/0/24 的 PVID。

暂无评论

只能尝试版本升级,版本链接 首页支持文档与软件软件下载路由器H3C MSR G2 系列开放多业务路由器H3C MSR2660XS路由器(Comware V9)

打开你的电脑,在浏览器输入知了社区,找到这个帖子,要么在别人下面评论,要么点我名字。

注册账号,绑定设备SN,就可以下载了。

暂无评论

编辑答案

你正在编辑答案

如果你要对问题或其他回答进行点评或询问,请使用评论功能。

✖

分享扩散:

➤

提出建议

✖

    +
✖

亲~登录后才可以操作哦!

确定
✖

亲~检测到您登陆的账号未在http://hclhub.h3c.com进行注册

注册后可访问此模块

跳转hclhub
✖

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作

✖

举报

×

侵犯我的权益 >
对根叔社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 pub.zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明