AD-Campus6.5版本三台物理机从旧机房迁移到新机房

参考

AD-Campus 7.3 维护手册-5W100-新华三集团-H3C

AD-Campus 6.5 三物理 Master 机房迁移完整实施方案（含开关机规范、风险点、校验步骤）
前置核心说明
AD-Campus6.5 底层为Matrix 三节点集群（etcd 分布式数据库 + 微服务集群 + 服务链 / SDN 控制器），三节点同时断电极易引发集群脑裂、etcd 数据损坏、控制器服务链异常、认证 / 策略丢失；迁移属于冷迁移，全程停机，必须严格按顺序关机、搬运、上电、集群校验。
三台节点统一命名：Node1（主 Leader）、Node2、Node3。
一、迁移前准备工作（迁移前 1~2 天完成，必做）
1. 全量数据双备份（最高优先级）
1）平台完整配置备份
登录 Matrix Web → 系统管理 → 配置备份，导出全量配置包本地留存；
2）数据库离线备份（三节点分别执行）
bash
运行
# 登录每台服务器root
su - matrix
matrix-db-backup
# 备份文件路径 /opt/matrix/backup/，拷贝至本地U盘/异地服务器

3）控制器业务备份（SeerEngine-Campus / 服务链 / Portal/EIA）
Web：园区控制器 → 运维 → 导出控制器策略、服务链模板、准入策略、VXLAN、SRv6 配置；
4）备份校验：将备份包解压查看配置文件无缺失，确认备份可恢复。
2. 信息台账收集（新旧机房网络不变仅换机柜可跳过 IP 变更，重点记录）
三台服务器网卡规划：管理口、集群互联 bond 口、业务上联口、存储口 IP、MAC；
集群参数：etcd 集群地址、各节点 node-id、集群虚拟 IP、NTP 服务器地址；
配套网络：上联交换机 VLAN、ACL、端口放行规则、AD-Campus 对接核心 / 汇聚配置；
硬件信息：服务器 SN、HDM 地址、硬盘 RAID、集群互联网线对应端口，全部贴纸质标签；
业务依赖：无线 AC、接入交换机、EIA 802.1X、Portal、服务链引流、iMC 联动参数。
3. 新机房环境预验收（搬迁前完成）
机柜 PDU 双路供电、接地达标，服务器双电源分两路 PDU；
交换机端口 VLAN、链路带宽、ACL、防火墙策略与旧机房完全一致；
集群互联网线提前布放，保证三节点两两互通（集群内网互通无拦截）；
NTP 可达，时间同步正常（集群时间不一致会直接脑裂）；
预留 HDM 远程管理口，方便搬迁后故障排查。
4. 业务通知与维护窗口确认
通知园区运维、用户，明确停机时长；
梳理业务影响：802.1X 认证、无线准入、服务链、访客 Portal、流量管控全部中断；
制定回滚方案：搬迁异常立刻运回旧机房恢复。
二、旧机房关机标准顺序（严禁三台同时断电，防止 etcd 脑裂）
关机核心原则
先停业务控制器 → 分批停止集群节点服务 → 操作系统安全关机；不能一次性三台同时断电。
步骤 1：停止 AD-Campus 园区控制器业务（所有节点统一操作）
登录 Matrix Web → 业务管理 → 停止 SeerEngine-Campus、服务链、准入、无线联动全部业务组件；
命令行批量停止微服务：
bash
运行
su - matrix
matrix-service stop all
# 等待5分钟，所有容器完全停止

步骤 2：分批关闭集群节点（顺序：Node3 → Node2 → Node1（Leader 最后关））
三节点 etcd 集群需要至少 2 节点存活保证数据一致性，先关从节点，最后关主 Leader：
登录 Node3 root，执行系统安全关机
bash
运行
sync;sync
shutdown -h now

等待服务器完全断电（电源灯琥珀待机），拔网线、HDM 线、电源线；
2. 间隔 3 分钟，登录 Node2，执行同样关机命令，断电拆线；
3. 最后关闭 Node1（集群 Leader），完成整机断电拆线。
关机禁忌
禁止三台同时执行 shutdown；
禁止直接拔电源硬断电（极易损坏 etcd 持久化数据，集群起不来）；
不要先关 Leader 再关从节点，会触发集群数据不一致。
三、设备搬运阶段注意事项
服务器断电后静置 5 分钟再搬运，防震泡沫包裹硬盘区域；
所有网线、模块、硬盘、配件单独分装，与对应服务器标签绑定；
搬运全程禁止剧烈颠簸，硬盘震动易坏导致集群数据丢失；
新机柜上架严格按照原机柜顺序摆放，HDM 口、业务口、集群互联口一一对应标签接线。
四、新机房上电开机标准顺序（顺序：Node1 → Node2 → Node3，先主后从）
开机核心原则
先启动 Leader 主节点，待集群基础 etcd 服务就绪，再依次启动两台从节点，避免集群选举异常。
步骤 1：新机柜接线校验
双电源分两路 PDU 上电，所有业务口、集群互联口、HDM 网线接好；
核对交换机端口 VLAN、链路无错插，集群内网三节点两两互通；
上电前确认 PDU 开关正常，无短路。
步骤 2：按顺序开机
先开启 Node1（原 Leader）服务器，等待系统完全启动，登录 root 查看集群基础服务：
bash
运行
su - matrix
matrix-service status etcd
# etcd正常running后，等待5分钟

间隔 3 分钟，开机 Node2，系统启动完成后等待集群自动加入；
间隔 3 分钟，开机 Node3，三节点全部上电完成。
步骤 3：集群网络连通校验（必查）
三台节点互相 ping 通管理 IP、集群互联 IP，无丢包：
bash
运行
# Node1测试
ping Node2集群IP
ping Node3集群IP

检查 bond 聚合端口全部 UP，无丢包、CRC 错包。
五、集群健康全面校验（搬迁后核心环节，分 4 层校验）
1. 底层 Matrix 集群状态校验
bash
运行
# 查看集群三节点在线状态
matrix-cluster status
# 正常输出：三个节点均online，Leader正常选举
# 查看etcd数据库健康
matrix-etcd health
# 输出healthy无报错

异常处理：节点离线 / 脑裂，停止所有业务，核对集群互联网线、IP、防火墙拦截。
2. 微服务组件状态校验
bash
运行
matrix-service status all

所有 matrix、controller、service-chain、portal、eia 容器必须 running，无 failed 状态。
3. AD-Campus 控制器与服务链业务校验
Web 登录 Matrix，查看园区控制器实例状态为运行；
检查服务链模板、引流策略、VXLAN、VLAN、ACL 配置完整无丢失；
核对 802.1X 准入、Portal 访客、无线联动配置与搬迁前一致；
下发一条测试策略到接入交换机，确认下发无报错。
4. 终端业务全量验证
有线终端 802.1X 认证正常上线，获取正确网段；
无线终端接入 SSID，认证、流量转发、服务链引流生效；
测试访客 Portal、带宽管控、安全策略、审计日志正常生成；
检查 iMC 联动、日志上报、NTP 时间同步无偏移。
六、迁移后收尾工作
导出搬迁后完整配置备份，异地留存；
核对服务器硬件告警（HDM 查看硬盘、电源、风扇无告警）；
记录搬迁日志：开关机时间、故障点、处理操作，更新运维台账；
撤销维护窗口，恢复园区正常业务使用。
七、高频风险与避坑要点（重点关注服务链、集群脑裂）
集群脑裂（最常见）
诱因：三台同时断电、关机顺序颠倒、集群互联不通、时间不同步；
现象：etcd unhealthy、单节点无法组成集群、控制器策略下发失败；
规避：严格遵守「先关从、后关主；先开主、后开从」，搬迁前校验 NTP。
服务链引流失效
诱因：搬迁后交换机端口 VLAN/ACL 变更、集群互联断流；
规避：新机房交换机配置完全复刻旧机房，搬迁后下发测试流量验证服务链转发。
etcd 数据库损坏
诱因：硬断电、搬运震动硬盘；
规避：全程系统命令安全关机，搬迁前完整数据库备份，损坏可通过备份恢复集群。
控制器配置丢失
诱因：集群未就绪就启动业务组件；
规避：开机后等待 etcd 健康再启动 SeerEngine-Campus、服务链服务。
跨节点网络不通
诱因：网线插错、VLAN 隔离、防火墙拦截集群内网；
规避：搬迁前贴标签，上电后三节点全互联 ping 测试。
八、极简开关机顺序速记
关机（旧机房）
Node3 → Node2 → Node1（Leader 最后关闭）
开机（新机房）
Node1（Leader 先启动）→ Node2 → Node3

一、 核心注意事项

1. 防止集群脑裂与数据损坏：在迁移前，必须确保集群处于健康状态。如果遇到应用运行状况问题，请勿强行关闭或启动集群。
2. IP 与 FQDN 严格对应：在新机房还原时，若使用相同的 IP 地址和 FQDN，必须确认所有已还原的节点 IP 地址和 FQDN 与其原始对应项目完全关联，绝不能发生节点 IP 互换的情况（例如节点 A 使用 B 的 IP），否则会导致集群还原失败。
3. 避免意外启动：必须确认在将集群还原至新站点之前，旧站点的集群实例电源已彻底关闭，防止发生“核心分裂”行为。
4. 备份与验证：搬迁前务必对所有节点进行全量数据备份，并采用“本地硬盘+云端”的双备份方案，避免搬迁途中硬件损坏导致数据丢失。

二、 集群关机顺序

1. 关闭所有非关键虚拟机（如文件服务器、备份服务器等）。
2. 停止高可用性、故障转移或负载均衡器。
3. 关闭应用服务器和数据库服务器。
4. 关闭域控制器（DC）。
5. 通过集群管理界面（如 Web 界面）点击“关机”按钮，安全关闭集群主要组件。
6. 关闭三台物理机（集群节点）的电源。
7. 最后关闭底层存储区域网络（SAN/NAS）和网络设备。

三、 完整迁移步骤

阶段 1：迁移前准备与备份

• 健康检查：检查三台物理机的集群状态，确保所有节点健康，无报错。
• 全量备份：对三台物理机及所有虚拟机进行全量备份，并验证备份文件的完整性与可恢复性。
• 新环境准备：在新机房提前规划好网络拓扑、VLAN 划分及 IP 地址分配，确保与旧机房保持一致或符合新规划。

阶段 2：安全停机与下架

• 执行关机：严格按照上述“关机顺序”依次关闭所有服务、集群组件、物理机及网络设备。
• 物理下架：记录好每台物理机、存储及网络设备的连线标签，进行物理下架并做好防静电、防震保护。

阶段 3：新机房上架与网络配置

• 设备上架：将设备运至新机房并上架，按照之前的标签恢复物理连线。
• 网络配置：上电前，在新机房的核心交换机上配置好对应的网关、VLAN 和防火墙策略，确保网络连通性。

阶段 4：集群启动与还原（关键）

1. 开启网络设备和存储设备，等待其完全启动并检查状态。
2. 开启三台物理机（集群节点）电源。
3. 还原顺序：必须先还原主要节点（Primary Node），然后再以任意顺序还原工作节点（Worker Nodes）。
4. 等待集群启动：集群中的所有服务器启动大约需要 90 分钟。在所有节点启动完成前，Web 界面可能无法显示完整功能，请耐心等待。

阶段 5：业务验证与上线

• 状态检查：确认所有节点正常运行，IP 地址和 FQDN 绑定无误，集群 Web 界面功能菜单正常显示。
• 业务测试：按照“先启动基础服务，后启动应用”的顺序拉起虚拟机，测试网络延迟、带宽稳定性及业务软件功能，确认无异常后再正式对外开放。