问
大模型集群老掉卡啥的
13小时前提问
- 0关注
- 0收藏，43浏览
zhiliao_Gixe
九段
大模型集群掉卡通常不是单一硬件故障，需按网络、服务器、GPU本身三层排查。以下是排查步骤和关键命令。
1. 确认掉卡现象
是GPU从PCIe总线消失（lspci | grep -i nvidia 看不到卡），还是驱动报错（nvidia-smi 报 Xid 错误）？
记录掉卡时间点，与网络日志、服务器日志对比。
2. 网络层排查（H3C交换机）
大模型训练依赖 RDMA（RoCEv2），网络抖动或丢包会导致集合通信超时，表现为“掉卡”。
检查端口 CRC 错误和丢包：
display interface GigabitEthernet 1/0/1
关注 CRC、input errors、output errors 是否持续增长。
检查 PFC 死锁和 ECN 标记：
display qos interface GigabitEthernet 1/0/1
display pfc statistics
若 PFC 暂停帧计数异常增长，可能是拥塞导致 RDMA 断链。
检查 RoCE 相关配置（以 S12500 系列为例）：
display priority-flow-control
display dcb
确保 lossless 队列配置正确，避免丢包触发重传超时。
3. 服务器层排查
查看 GPU Xid 错误码：
dmesg | grep -i nvidia
nvidia-smi -q | grep -i xid
常见 Xid 74（NVLink 故障）、79（GPU 掉卡）、109（驱动异常）。
检查 PCIe 链路状态：
lspci -vvv -s | grep -i "LnkSta"
若降速到 Gen1/Gen2，可能是插槽或线缆问题。
检查内存和 CPU 报错：
dmesg | grep -i "mce\|edac\|corrected"
4. 硬件层排查
掉卡集中在同一台服务器，优先更换 GPU 插槽或转接卡。
掉卡分散在多台服务器，检查机柜供电（GPU 峰值功耗高，电压跌落会导致掉卡）和散热。
使用 nvidia-burn 或 gpu-burn 做压力测试，复现掉卡。
5. 快速定位建议
若掉卡伴随网络日志中的 PFC 风暴或端口 flap，优先排查交换机配置和光模块。
若掉卡伴随 Xid 74/79，优先更换 NVLink 桥接器或 GPU 卡。
若掉卡无任何日志，检查 BIOS 中 PCIe 热插拔设置，关闭 ASPM 节能。
H3C 官网资料路径：登录新华三官网 → 支持 →
1. 确认掉卡现象
是GPU从PCIe总线消失（lspci | grep -i nvidia 看不到卡），还是驱动报错（nvidia-smi 报 Xid 错误）？
记录掉卡时间点，与网络日志、服务器日志对比。
2. 网络层排查（H3C交换机）
大模型训练依赖 RDMA（RoCEv2），网络抖动或丢包会导致集合通信超时，表现为“掉卡”。
检查端口 CRC 错误和丢包：
display interface GigabitEthernet 1/0/1
关注 CRC、input errors、output errors 是否持续增长。
检查 PFC 死锁和 ECN 标记：
display qos interface GigabitEthernet 1/0/1
display pfc statistics
若 PFC 暂停帧计数异常增长，可能是拥塞导致 RDMA 断链。
检查 RoCE 相关配置（以 S12500 系列为例）：
display priority-flow-control
display dcb
确保 lossless 队列配置正确，避免丢包触发重传超时。
3. 服务器层排查
查看 GPU Xid 错误码：
dmesg | grep -i nvidia
nvidia-smi -q | grep -i xid
常见 Xid 74（NVLink 故障）、79（GPU 掉卡）、109（驱动异常）。
检查 PCIe 链路状态：
lspci -vvv -s
若降速到 Gen1/Gen2，可能是插槽或线缆问题。
检查内存和 CPU 报错：
dmesg | grep -i "mce\|edac\|corrected"
4. 硬件层排查
掉卡集中在同一台服务器，优先更换 GPU 插槽或转接卡。
掉卡分散在多台服务器，检查机柜供电（GPU 峰值功耗高，电压跌落会导致掉卡）和散热。
使用 nvidia-burn 或 gpu-burn 做压力测试，复现掉卡。
5. 快速定位建议
若掉卡伴随网络日志中的 PFC 风暴或端口 flap，优先排查交换机配置和光模块。
若掉卡伴随 Xid 74/79，优先更换 NVLink 桥接器或 GPU 卡。
若掉卡无任何日志，检查 BIOS 中 PCIe 热插拔设置，关闭 ASPM 节能。
H3C 官网资料路径：登录新华三官网 → 支持 →
暂无评论
不能直接判定就是显卡硬件损坏，分软件、固件、供电散热、PCIe 链路、硬件五类定位。
重要：一旦发生掉卡，先收集日志再重启；重启后 XID、PCIe 报错日志会丢失，很难定位根因。
第一步：故障发生瞬间必收集日志（不要先重启）
#抓取GPU内核报错，重点看XID编号（掉卡核心依据）
dmesg -T | grep -iE 'NVRM|Xid|aer|pcie' > gpu_err.log
journalctl -k -b -1 > lastboot.log
#查看GPU ECC、状态
nvidia‑smi -q > smi_status.txt
nvidia‑smi ‑q ‑d ECC > ecc.txt
nvidia‑bug‑report.sh #生成完整NVIDIA诊断包
#查看PCIe AER总线错误
dmesg -T | grep AER
lspci -nn | grep‑i nvidia
重点 XID 含义（高频）：
- Xid 79：GPU has fallen off the bus：GPU 从 PCIe 总线脱离，典型掉卡，供电 / 散热 / PCIe / 硬件都有可能
- Xid 48：不可纠正 ECC 双位错误：显存硬件异常
- Xid74：NVLink 链路报错：多卡 NVLink 互连故障
- Xid 31：显存页错误：可能模型程序问题，也可能显存硬件
第二步分层排查（从软件→固件→硬件）
1）软件层面（应用、驱动、CUDA）
- 确认驱动版本、CUDA 版本匹配大模型框架；不要用过新 / 过旧驱动；多台集群所有节点驱动版本保持完全一致。
- 区分：是否只跑特定大模型任务才掉卡，空载不会掉。
- 空载长时间跑
dcgm‑diag压力测试就掉卡 →偏向硬件 / 底层问题 - 只有跑大模型训练任务才掉，空载稳定 →优先看程序、OOM、显存溢出、NCCL 配置问题
- 空载长时间跑
- 容器环境：确认容器没有屏蔽 PCIe、P2P 能力；NCCL 配置参数是否合理。
2）服务器 BIOS/BMC/VBIOS 固件（AI 集群高频踩坑）
很多随机掉卡是固件 bug，不是显卡坏。
- 升级服务器 BIOS、BMC (HDM) 到 H3C 官网对应服务器最新固件；关闭 PCIe ASPM、L1 省电状态；AI 服务器 GPU 负载高，电源管理省电特性极易触发 PCIe 链路复位导致掉卡NVIDIA Dev...。
- 更新 GPU 的 VBIOS 显卡固件。
- BIOS 中确认 PCIe 速率：不要自动协商，必要时强制 Gen4；确认 Riser 扩展卡固件版本。
3）散热、温度、功耗、供电（高负载大模型头号诱因）
- 监控 GPU 温度：大模型满载温度持续＞85℃，会触发降速甚至硬件复位掉卡；检查风扇配置、风道是否堵塞。
- 供电检查：
- 确认服务器电源功率满足整机多 GPU 满负载功耗，AI 卡满载功耗很高；
- GPU 供电线必须使用服务器原装供电线缆，接口确认完全插紧；多卡不要一分多的转接线；
- HDM/BMC 页面看电源 12V 电压波动，电压波动大直接会造成 Xid79 掉卡。
现象：只有跑大模型满载负载才掉卡，空载正常，90% 和供电 / 散热相关。
4）PCIe 链路、Riser 卡问题
- 交叉测试定位：把掉卡的 GPU 换到其他 PCIe 槽位。
- 如果故障跟着显卡走：怀疑 GPU 本身；
- 如果故障跟随槽位 / Riser 卡：Riser 扩展卡故障、主板 PCIe 插槽问题。
- 观察 dmesg 大量 AER PCIe 纠错报错，代表物理链路不稳定。
5）NVLink 多卡互连场景
如果是 NVLink 多卡集群，执行
nvidia‑smi nvlink ‑s
nvidia‑smi nvlink ‑e
观察 NVLink 链路错误计数器持续上涨，XID74，排查 NVLink 线缆，更换线缆测试。
6）硬件判定
- 同一个 GPU 反复报 Xid‑48 不可纠正 ECC、多次 Xid‑79，更换槽位依旧复现 →显卡硬件故障，走 RMA 维保。
- 多块卡随机轮流掉卡，一般不是显卡硬件，优先排查服务器 BIOS、供电、Riser、整机电源。
集群业务层面补充
- UIS 超融合 CVK 场景，如果是 GPU 直通给虚拟机，要确认 CVK 内核、IOMMU 配置，升级 CVK 版本；vGPU 虚拟化场景也要确认版本兼容性。
- 集群建议部署 DCGM 监控，持续采集 GPU 温度、功耗、ECC、XID 事件，提前预警，不要等任务崩溃才发现问题。
快速总结
- 故障出现先保存日志，不要直接重启，XID 日志重启丢失无法定位。
- Xid79 掉卡不等于显卡坏，优先查：BIOS（关闭 ASPM）、供电线缆、散热温度、Riser 卡。
- 交叉测试：更换 GPU 槽位，判断故障是跟随显卡，还是跟随槽位 / Riser。
- 空载 dcgm‑diag 就掉卡偏向硬件底层；只有跑大模型任务才掉卡，兼顾排查应用、NCCL、驱动 CUDA 版本。
暂无评论
编辑答案
➤
✖
亲~登录后才可以操作哦!
确定
✖
✖
你的邮箱还未认证，请认证邮箱或绑定手机后进行当前操作
✖
举报
×
侵犯我的权益
>
对根叔社区有害的内容
>
辱骂、歧视、挑衅等（不友善）
侵犯我的权益
×
侵犯了我企业的权益
>
抄袭了我的内容
>
诽谤我
>
辱骂、歧视、挑衅等（不友善）
骚扰我
侵犯了我企业的权益
×
您好，当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时，您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 pub.zhiliao@h3c.com 邮箱，我们会在审核后尽快给您答复。
- 1. 您举报的内容是什么？（请在邮件中列出您举报的内容和链接地址）
- 2. 您是谁？（身份证明材料，可以是身份证或护照等证件）
- 3. 是哪家企业？（营业执照，单位登记证明等证件）
- 4. 您与该企业的关系是？（您是企业法人或被授权人，需提供企业委托授权书）
我们认为知名企业应该坦然接受公众讨论，对于答案中不准确的部分，我们欢迎您以正式或非正式身份在根叔知了上进行澄清。
抄袭了我的内容
×
原文链接或出处
诽谤我
×
您好，当您发现根叔知了上有诽谤您的内容时，您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱，我们会尽快处理。
- 1. 您举报的内容以及侵犯了您什么权益？（请在邮件中列出您举报的内容、链接地址，并给出简短的说明）
- 2. 您是谁？（身份证明材料，可以是身份证或护照等证件）
我们认为知名企业应该坦然接受公众讨论，对于答案中不准确的部分，我们欢迎您以正式或非正式身份在根叔知了上进行澄清。
对根叔社区有害的内容
×
垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载
>
辱骂、歧视、挑衅等（不友善）
骚扰我
诱导投票
不规范转载
×
举报说明
暂无评论