ADnet后台升级固件

联系办事处沟通吧

您好，参考

标准完整流程（ADDC 管控后台集群）

1. 操作前准备（窗口期、备份、校验）

1. 选定业务低峰窗口期，提前报备，关闭定时备份 / 巡检 / 自动任务；
2. 登录 ADDC 管控平台，确认集群全部节点健康、主备 / 集群角色正常、无告警、无数据同步异常、无正在执行的任务（编排、采集、导出、审计）；
3. 导出 ADDC 配置备份、数据库备份；
4. 核对 RAID 卡固件：型号匹配、H3C 官方原版固件、发行注记确认兼容当前 ADDC 版本，不跨大版本盲目降级；
5. 记录前置基线：RAID 卡 FW 版本、阵列状态（所有 VD Optimal，无 Degraded、Offline）、硬盘状态、BMC/IPMI 连通性、远程控制台正常；
6. 确认供电：该服务器 PDU、UPS 无隐患，刷写 RAID 固件过程中断电 = 阵列卡变砖、丢阵列风险；
7. 工具准备：arcconf/storcli、BMC 远程控制台、日志捕获开启。

2. 单节点集群隔离（关键，开关机文档里写得浅）

1. 在 ADDC 平台将该节点置维护模式、驱逐 / 排空该节点业务实例，确认业务已经漂移到其他存活节点；
2. 确认集群剩余节点数满足 HA 冗余（至少 N-1 可用，不能降到单节点）；
3. 确认该节点不再产生新的写入 IO，停止 ADDC 相关服务（遵循开关机指导里的服务停止顺序）。

3. 刷写 RAID 卡固件（刷写阶段不需要重启，刷完才重启生效）

1. 上传固件包到本地，校验 MD5；
2. 工具查询 Controller ID，确认识别到阵列卡；
3. 执行 romupdate 固件升级命令，刷写全程不要中断、不要关闭控制台、不要重启；
4. 刷写命令返回成功，此时固件还没生效，必须重启才生效；

重点区分：刷写动作 ≠ 生效；很多事故是刷一半直接断电。

4. 节点重启（严格按开关机指导的关机顺序）

1. 先停 ADDC 管控分析软件全套服务（按文档顺序：应用→数据库→中间件），再操作系统优雅关机，不要直接 BMC 硬重启；
2. 上电，进 BIOS/RAID 卡 HII 界面确认新固件已加载；
3. 进系统，检查 RAID 卡版本、阵列状态，确认 VD 全部正常，无硬盘报错。

5. 节点回纳集群、健康验收

1. 按文档开机顺序启动 ADDC 服务，等待管控进程、数据库、采集服务全部就绪；
2. 平台查看节点状态恢复正常，等待集群数据同步、缓存同步完成（这个等待是开关机文档最容易漏掉的）；
3. 验证业务：网管采集、拓扑、报表、告警、南向设备连通性正常；
4. 退出维护模式；
5. 确认集群整体健康，再进行下一台节点升级。

6. 全部节点完成后收尾

全部节点 FW 版本一致；留基线记录；清理临时固件包；恢复定时任务。

升级前准备工作（维护窗口内执行）

1. 集群状态检查（必须全部正常） 登录统一数字底盘 Web（SNA‑Center），查看集群 3 个节点状态：全部 Ready，无告警；控制器组件 SeerEngine‑DC 所有 pod 正常运行，无异常报错。 后台执行检查：

如果集群已经存在异常、pod 异常，禁止做硬件固件升级，先修复集群。

2. 配置 & 数据库备份

• 在 ADDC 页面做全量配置备份，导出配置文件；
• 如有外部独立仲裁盘，确认仲裁盘状态正常，仲裁盘不能离线；
• 记录当前 RAID 卡固件版本，RAID 阵列状态确认全部正常，无降级、重构。

3. 准备文件：对应型号 RAID 卡固件 rom 文件、storcli64/arcconf 升级工具，上传待升级节点服务器操作系统。
4. 维护窗口确认：单节点重启大约需要 15‑25 分钟，3 节点全部滚动完成预留至少 1.5 小时窗口；滚动升级过程集群会短暂单节点离线，业务整体不中断，但性能会下降。
5. 参考文档《网络管控分析软件产品开关机指导》关键点：集群禁止同时下电 2 个节点；关机顺序：先停止平台业务组件 → 再关闭服务器操作系统；开机顺序：先开服务器操作系统，等待节点操作系统完全就绪，再等待集群服务自动拉起。

⚠️ 不允许直接服务器硬断电、强制关机。

二、滚动升级流程（3 节点集群，逐台操作，一次只操作 1 台）

节点命名：Node‑1、Node‑2、Node‑3；每次仅操作其中 1 台，待该节点重新加入集群、所有 pod 恢复正常后，再操作下一台。

步骤 1：选择第一个待升级节点，执行节点驱逐（业务 pod 迁移）

登录该节点 SSH 后台，执行驱逐，把 pod 调度转移到另外两台健康节点：

执行完确认：该节点上面业务 pod 全部被驱逐，全部跑到另外 2 台节点运行。

步骤 2：升级 RAID 卡固件（操作系统内写入固件，此时固件并未生效，需要重启服务器才生效）

提示升级写入成功，此时新固件已经刷入 RAID 卡 Flash，但还没有运行新版本固件，必须服务器重启华为。

步骤 3：按照开关机指导文档，优雅关闭该服务器操作系统

不要直接物理断电！操作系统内优雅关机

等待服务器完全下电；等待约 2 分钟，再通过 HDM/BMC 远程执行上电开机。

重启过程 BIOS 阶段 RAID 卡加载新固件；进入操作系统后，核查 RAID 卡固件版本已经变为目标版本，确认 RAID 阵列没有异常。

步骤 4：节点重新加入集群，恢复调度

服务器启动完成，ssh 登录，确认操作系统正常。

必须确认：该节点 Ready，全部业务 pod 恢复正常，集群无告警，才能开始下一个节点操作。

步骤 5：重复上面步骤 1‑4，依次滚动升级剩余另外两个节点。

严禁：同时 cordon/drain 两台节点，同时关闭两台 ADDC 集群服务器，会造成集群仲裁失效，整个管控平台业务瘫痪。

三、全部节点升级完成后整体校验

1. SNA‑Center Web 界面，3 个节点全部 Ready，无硬件告警、集群告警；
2. kubectl get nodes全部 Ready；kubectl get pods -A所有 pod Running；
3. 每台服务器上确认 RAID 卡固件版本全部升级成功，RAID 阵列状态正常；
4. 登录 ADDC，验证控制器纳管交换机、下发配置、VxLAN 业务、视图页面访问等基础功能；
5. 做一次配置备份。

四、重点风险与特别注意（对应《网络管控分析软件产品开关机指导》）

1. 集群仲裁风险（最高风险） 3 节点集群，最多允许 1 台节点离线；任何时刻不能 2 台同时关机 / 离线，否则 K8s 集群失去仲裁，管控析业务整体不可用，需要整套集群全部重启修复，风险极高。
2. RAID 卡固件升级风险

• 固件刷写过程严禁断电，断电 RAID 卡可能 brick，阵列丢失；
• 部分 RAID 卡升级后需要冷重启（交流断电再上电，不是单纯操作系统 reboot），要看对应 RAID 卡手册；
• 升级前确认 RAID 阵列健康，阵列处于重构、降级状态禁止升级 RAID 固件。

3. 开关机文档关键点

• ❌错误做法：直接物理按电源按钮强制关机；同时关闭两台节点；没有 drain 驱逐 pod 直接重启服务器。
• ✅正确做法：drain 驱逐 pod → shutdown‑h now 优雅关机；HDM 上电；操作系统启动完成后集群自动恢复 pod。

4. 升级失败回退预案 如果升级后 RAID 识别异常，使用原版本固件回刷；如果集群节点加入异常，参考 ADDC 高危操作手册执行节点修复；必要时联系 H3C400 协助。
5. 区分：RAID 卡硬件固件 ≠ ADDC 软件版本；RAID 卡固件由服务器硬件侧提供，ADDC 升级包不包含 RAID 卡固件。

五、2 节点集群特殊提醒（极少部署）

如果是 2 节点 ADDC 集群（带独立外部仲裁盘），依然只能单节点滚动升级；升级过程保证仲裁盘在线；禁止两个控制器节点同时离线。