Roce无损网络案例

可以参考这个

https://www.h3c.com/cn/Service/Document_Software/Document_Center/Home/Public/00-Public/Learn_Technologies/Technical_Topics/H3C_RoCE-19790-Long/

RoCEv2 无损网络完整案例 + 全套配置文档（H3C 数据中心 Spine-Leaf 标准方案）
一、案例概述（两大典型落地场景）
场景 1：分布式存储 NVMe-oF RoCE 后端网（UIS/CAS 超融合）


存储RoCE双平面组网
组网架构：独立无损存储平面，Spine-Leaf 二层 / 三层 ECMP，和业务 TCP 网物理隔离
设备选型
Leaf：S6850/S9825 25G/100G 下行服务器，100G 上行 Spine
Spine：S9825-64D 100G/400G 高密度
服务器：Mellanox ConnectX-5/6 25G/100G RDMA 网卡
业务流量：存储副本同步、数据重建、NVMe 读写，零丢包、低时延
优先级规范（行业通用）
RoCE 业务流：UDP4791，DSCP 26 → 802.1p CoS3（无损队列，开启 PFC）
RoCE 拥塞反馈 CNP 报文：DSCP48 → CoS7（最高优先级，禁止阻塞）
场景 2：AI 大模型 GPU 训练 RoCE 集群
无收敛 Spine-Leaf，400G 全线速，队列 5 承载 RoCE，AI ECN 智能拥塞控制
服务器多 GPU + 双 100G RDMA 网卡双归 Leaf，DRNI/M-LAG 冗余接入
二、无损网络四大核心组件（LLDP/DCBX/PFC/ECN）
LLDP+DCBX：端到端协商 PFC、优先级、缓存参数，交换机与 RDMA 网卡自动同步无损配置，避免两端参数不匹配丢包
PFC（802.1Qbb）：基于优先级暂停帧，仅对 RoCE 无损队列开启，防止拥塞丢包；必须配套死锁检测防止全局死锁
ECN（DCQCN）：显式拥塞标记，提前抑制发送速率，减少 PFC 反压扩散
精细化缓冲区调度：划分无损队列 Headroom 缓存，满足长距光纤飞行字节需求
三、完整配置模板（H3C V7/V8 交换机，Leaf 通用，Spine 仅路由部分差异）
1. 全局基础配置（Leaf/Spine 通用）
plaintext
# 1. 全局LLDP+DCBX（承载无损参数协商）
lldp global enable
lldp tlv-enable dot1-tlv dcbx
dcbx version ieee # 网卡统一IEEE标准，禁用CEE

# 2. PFC全局缓存与死锁防护（RoCE CoS3）
priority-flow-control poolID 0 headroom 131072
priority-flow-control deadlock cos 3 interval 10
priority-flow-control deadlock precision high

# 3. 队列调度：无损队列CoS3采用严格优先，隔离普通TCP流量
qos queue schedule 0 sp 1 wfq 2 wfq 3 sp 4 wfq 5 wfq 6 wfq 7 sp

# 4. RoCE流量DSCP-CoS映射（全网统一）
traffic classifier ROCE operator and
if-match udp-port 4791
if-match dscp af31 # DSCP26=AF31
traffic behavior ROCE
remark dot1p 3
traffic classifier CNP operator and
if-match dscp cs6 # DSCP48=CS6
traffic behavior CNP
remark dot1p 7
qos policy ROCE_MARK
classifier ROCE behavior ROCE
classifier CNP behavior CNP

# 5. 全局开启ECN拥塞标记
ecn global enable
2. 服务器下行接口配置（Leaf 接 RDMA 网卡，核心无损端口）
plaintext
interface Twenty-FiveGigE 1/0/1
port link-mode route
port rate-limit ingress all none
port rate-limit egress all none
# 绑定QoS标记策略识别RoCE流量
qos apply policy ROCE_MARK inbound
# 开启LLDP/DCBX与网卡协商无损参数
lldp enable
lldp tlv-enable dot1-tlv dcbx
dcbx mode willing disable # 交换机为主控，不跟随网卡配置
# 仅CoS3开启PFC无损流控，其余队列关闭PFC
priority-flow-control mode on
priority-flow-control priority 3 enable
# 超大MTU适配RoCE（9000巨帧）
jumboframe enable 9000
# 关闭不必要广播，避免抢占无损队列资源
undo stp enable
port-security disable
3. Leaf-Spine 上行互联口配置（100G 光纤）
plaintext
interface HundredGigE 1/0/25
port link-mode route
qos apply policy ROCE_MARK inbound
lldp enable
lldp tlv-enable dot1-tlv dcbx
dcbx mode willing disable
priority-flow-control mode on
priority-flow-control priority 3 enable
jumboframe enable 9000
# 三层ECMP路由（RoCEv2跨三层转发必备）
ip address 10.0.1.1 255.255.255.0
4. Leaf 三层网关 + ECMP 路由（RoCEv2 跨机柜互通）
plaintext
# 服务器存储网段VLANIF网关
interface Vlan-interface 100
ip address 192.168.100.1 255.255.255.0
ecn enable

# ECMP等价路由到两台Spine
ip route 192.168.100.0 255.255.255.0 10.0.1.2
ip route 192.168.100.0 255.255.255.0 10.0.1.3
5. Spine 简化配置（仅转发，PFC/LLDP/ECN 同 Leaf，仅路由不同）
plaintext
# 下联Leaf三层互联IP
interface HundredGigE 1/0/1
ip address 10.0.1.2 255.255.255.0
# 静态/IBGP接收所有存储网段路由
ip route 192.168.100.0 255.255.255.0 10.0.1.1
四、RDMA 网卡端配套配置（Mellanox OFED Linux）
1. 网卡 QoS 信任 DSCP（匹配交换机 DSCP-CoS 映射）
plaintext
# 查看当前配置
mlnx_qos -i ens4f0
# 修改信任模式为DSCP，仅优先级3开启PFC
mlnx_qos -i ens4f0 --trust dscp --pfc 0,0,0,1,0,0,0,0
# 永久保存OFED配置
mstconfig set PFCC=0,0,0,1,0,0,0,0 TrustState=dscp
2. 巨帧 MTU9000
plaintext
ifconfig ens4f0 mtu 9000
五、LLDP+DCBX 排错验证命令（定位两端无损参数不匹配）
plaintext
# 查看全局DCBX状态
display dcbx global
# 查看接口DCBX协商结果（网卡PFC/优先级是否同步）
display dcbx interface Twenty-FiveGigE 1/0/1
# 查看LLDP邻居DCBX TLV报文
display lldp neighbor-information interface Twenty-FiveGigE 1/0/1 verbose
# 查看接口PFC运行状态
display priority-flow-control interface Twenty-FiveGigE 1/0/1
# 查看ECN拥塞标记统计
display ecn statistics interface Twenty-FiveGigE 1/0/1
# 查看RoCE流量匹配计数
display qos policy interface Twenty-FiveGigE 1/0/1 inbound
六、典型故障案例（运维高频问题）
故障 1：RoCE 吞吐低、随机丢包，DCBX 协商失败
根因：网卡 Trust State 默认 PCP，交换机使用 DSCP 标记，两端优先级错位；LLDP 全局未开 DCBX TLV
修复：交换机全局lldp tlv-enable dot1-tlv dcbx，网卡修改 TrustState=dscp
故障 2：PFC 死锁，全网存储流量卡死
根因：未配置priority-flow-control deadlock死锁检测，长链路缓存不足
修复：全局配置死锁检测 + 增大 headroom 缓存
故障 3：CNP 拥塞报文被阻塞，无法抑制发送速率
根因：CNP 报文 CoS7 未设严格调度，被普通 TCP 流量挤占
修复：qos queue schedule 7 sp，保障拥塞反馈报文最高优先级
七、落地最佳实践规范
物理隔离：RoCE 无损存储网与业务 TCP 网分两套交换机，不混流
优先级固化：全网统一 RoCE=CoS3、CNP=CoS7，禁止随意修改
DCBX 管控：交换机 dcbx willing disable，以交换机配置为标准，网卡跟随
缓存预留：100G 长距光纤 headroom 不低于 131072cell，避免飞行字节溢出丢包
拓扑约束：RoCEv2 推荐 Spine-Leaf 三层 ECMP，不建议传统树形汇聚架构

官方最佳实践手册

《H3C无损网络最佳实践-6W102》 是必读的官方文档，涵盖以下系列交换机：

• S6805 / S6825 / S6850 / S9825 / S9850 / S9855 系列

• S9820系列（S9820-64H / S9820-8C）

关键特性说明

构建RoCE无损以太网需支持以下特性：

三、配置示例

1. PFC（优先级流量控制）配置

为指定优先级（如802.1p优先级5）开启PFC并配置门限：

2. ECN（显式拥塞通知）配置

通过WRED表配置ECN门限：

3. 流量分类与优先级标记

通过流分类将RoCE流量映射到高优先级队列：

• 使用traffic classifier定义匹配DSCP值为AF41或CS6的流量

• 通过traffic behavior标记本地优先级并绑定至高优先级队列

四、功能验证命令

以S9825-64D为例，验证RoCE无损功能是否就绪：

判定标准：版本≥R913x、DCB授权有效、上述命令输出正常，即可投入RoCEv2无损网络使用。

五、常见问题与排查

ECN配置后仍然丢包的可能原因：

1. 服务器网卡未启用ECN响应：ECN标记需要终端设备支持并正确响应

2. WRED参数与流量特征不匹配：默认参数可能需要根据实际流量调优

3. PFC与ECN未形成完整闭环：两者需协同工作

验证命令：