• 全部
  • 经验案例
  • 典型配置
  • 技术公告
  • FAQ
  • 漏洞说明
  • 全部
  • 全部
  • 大数据引擎
  • 知了引擎
产品线
搜索
取消
案例类型
发布者
是否解决
是否官方
时间
搜索引擎
匹配模式
高级搜索

CAS E0503 开启集群资源告警后无法关闭

2天前提问
  • 0关注
  • 0收藏,47浏览
粉丝:0人 关注:0人

问题描述:

 

集群资源告警开启一次后,即使关闭依旧产生告警信息。

2 个回答
粉丝:19人 关注:2人

一、现象根因拆解
界面状态逻辑分离
「集群共享存储利用率」这条指标当前状态为禁用,但告警阈值配置为空(紧急 / 重要 / 次要 / 提示全是--);
存储侧底层监控逻辑存在独立硬编码阈值(默认 98% 紧急阈值),界面开关只控制自定义阈值触发,不接管底层存储原生高水位告警。
历史告警残留 + 底层监控未关闭双重问题:
界面禁用仅关闭自定义配置的阈值告警;
共享文件系统本身内置存储容量保护告警,不受页面开关控制;
旧告警缓存未清理,实时告警列表持续刷新重复记录。
二、分步处置(先止损,再根治)
步骤 1:临时止损(先抑制新增告警)
方式 A:编辑指标,补全阈值屏蔽底层 98% 告警(推荐 Web 操作)
点击「集群共享存储利用率」右侧铅笔编辑按钮;
给紧急告警设置一个高于当前使用率的阈值,例如>=99;
逻辑:当前 98%<99%,不再匹配紧急阈值,停止生成新告警;
持续时间保持 120 分钟,保存;
等待 5~10 分钟观察实时告警页面,不再新增记录后,再执行禁用。
方式 B:一键清理历史堆积告警
实时告警页面顶部操作:
勾选全选框;
点击「一键清理」/「删除」,清空 118 条存量告警;
若后续仍新增,执行步骤 2 底层关闭存储原生告警。
步骤 2:永久关闭底层共享存储内置容量告警(根治根源)
CAS E0503 共享文件系统(CVK 分布式存储 / 3PAR 共享存储)两套告警体系:
Web 阈值配置告警(页面开关控制)
存储服务内置容量水位告警(不受页面开关控制)
操作 1:CVK 主机后台关闭存储容量告警(Console/SSH 登录 CVK)
bash
运行
# 查看共享存储告警开关配置
cat /etc/galaxy/storage_monitor.conf
# 关闭容量高水位监控告警,修改配置文件
vi /etc/galaxy/storage_monitor.conf
# 将 storage_capacity_alarm=1 修改为 0
storage_capacity_alarm=0
# 重启存储监控服务生效
systemctl restart galaxy-storage-monitor

操作 2:Web 界面彻底禁用指标(配置完高阈值后)
编辑「集群共享存储利用率」,将所有告警等级恢复为--;
点击右侧暂停按钮(灰色圆形),确认状态变为「禁用」;
批量操作→同步告警阈值到全集群 CVK 节点。
步骤 3:排查特殊场景(存储利用率 98% 本身业务风险)
存储使用率≥95% 属于高危场景,优先确认业务风险:
登录 CAS 存储页面查看共享文件系统总容量、已用容量;
清理快照、备份镜像、废弃虚拟机磁盘释放空间;
扩容共享存储资源,从根源消除 98% 水位。
若业务无法扩容、必须保留 98% 使用率,建议保留告警,不要长期关闭容量告警,防止存储写满导致虚拟机宕机、磁盘损坏。
三、界面操作完整流程(纯 Web 无需登录后台)
告警阈值配置页面 → 集群资源告警 → 集群共享存储利用率 → 编辑铅笔;
紧急告警阈值填写>=99,保存;
等待 10 分钟,实时告警不再新增;
返回阈值配置,再次编辑,所有告警等级改为--;
点击暂停图标,状态变为「禁用」;
进入实时告警页面,全选后一键清理历史告警;
观察 30 分钟,无新增告警即修复完成。
四、版本 bug 说明
CAS E0503 已知缺陷:
集群存储类指标仅禁用状态时,底层存储监控进程不会跟随页面开关停止采集告警;
CPU / 内存等主机资源指标无此问题,仅共享存储 IOPS、利用率存在该逻辑缺陷;
升级至 E0506 及以上版本修复该开关联动逻辑,新版禁用后底层同步关闭监控。
五、验证命令(CVK 后台确认告警关闭)
bash
运行
# 查看存储监控服务状态
systemctl status galaxy-storage-monitor
# 查看近半小时存储容量告警日志
grep "storage capacity over threshold" /var/log/galaxy/storage-monitor.log
# 无新日志输出代表底层告警已关闭

六、补充备选方案(不想修改后台配置)
如果需要长期关闭存储告警,不修改 CVK 配置:
告警服务器配置 → 过滤规则;
新增过滤规则:告警类型 = 集群资源告警、指标 = 集群共享存储利用率;
匹配后自动丢弃,不在实时告警页面展示,不产生推送。

暂无评论

粉丝:11人 关注:9人

1. 排查步骤:
检查告警配置是否生效:通过命令确认集群资源告警开关状态。
检查告警缓存或未清除的历史告警:确认是否有未处理的告警导致持续触发。
检查告警策略是否被其他配置覆盖:如全局告警策略或其他模块的告警设置。
重启相关服务:若配置生效但仍告警,尝试重启CAS管理服务。
2. 关键命令:
查看集群资源告警状态:cluster alarm resource show
关闭集群资源告警:cluster alarm resource disable
清除历史告警:cluster alarm clear
重启CAS管理服务:service cas-server restart(需在管理节点执行)
3. 补充信息:若上述操作无效,需提供CAS版本、具体告警内容(如告警ID、描述)、操作日志,以便进一步定位。

暂无评论

编辑答案

你正在编辑答案

如果你要对问题或其他回答进行点评或询问,请使用评论功能。

分享扩散:

提出建议

    +

亲~登录后才可以操作哦!

确定

亲~检测到您登陆的账号未在http://hclhub.h3c.com进行注册

注册后可访问此模块

跳转hclhub

你的邮箱还未认证,请认证邮箱或绑定手机后进行当前操作

举报

×

侵犯我的权益 >
对根叔社区有害的内容 >
辱骂、歧视、挑衅等(不友善)

侵犯我的权益

×

泄露了我的隐私 >
侵犯了我企业的权益 >
抄袭了我的内容 >
诽谤我 >
辱骂、歧视、挑衅等(不友善)
骚扰我

泄露了我的隐私

×

您好,当您发现根叔知了上有泄漏您隐私的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您认为哪些内容泄露了您的隐私?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)

侵犯了我企业的权益

×

您好,当您发现根叔知了上有关于您企业的造谣与诽谤、商业侵权等内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到 pub.zhiliao@h3c.com 邮箱,我们会在审核后尽快给您答复。
  • 1. 您举报的内容是什么?(请在邮件中列出您举报的内容和链接地址)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
  • 3. 是哪家企业?(营业执照,单位登记证明等证件)
  • 4. 您与该企业的关系是?(您是企业法人或被授权人,需提供企业委托授权书)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

抄袭了我的内容

×

原文链接或出处

诽谤我

×

您好,当您发现根叔知了上有诽谤您的内容时,您可以向根叔知了进行举报。 请您把以下内容通过邮件发送到pub.zhiliao@h3c.com 邮箱,我们会尽快处理。
  • 1. 您举报的内容以及侵犯了您什么权益?(请在邮件中列出您举报的内容、链接地址,并给出简短的说明)
  • 2. 您是谁?(身份证明材料,可以是身份证或护照等证件)
我们认为知名企业应该坦然接受公众讨论,对于答案中不准确的部分,我们欢迎您以正式或非正式身份在根叔知了上进行澄清。

对根叔社区有害的内容

×

垃圾广告信息
色情、暴力、血腥等违反法律法规的内容
政治敏感
不规范转载 >
辱骂、歧视、挑衅等(不友善)
骚扰我
诱导投票

不规范转载

×

举报说明