我是韩先超,51CTO 学堂 K8s、Python 教学总监、AIOps 实战训练营讲师,云计算架构师,具有 8 年项目实战经验+5 年教学经验,线上学员已达 300w+。
凌晨两点,群里又炸了。CPU 使用率才二十多,内存也没满,磁盘跟着叫。我点开 rules.yml,发现阈值还停在很久以前写的 20%。
反过来也常见。业务量涨了一个季度,阈值还是去年的数。真要顶满的时候,告警来得又晚又猛。

本文里涉及到的方案做的事很具体:向 Prometheus 要历史记录,算出未来 10 分钟的水位,让 DeepSeek 改出一份能执行的规则。人看完 diff,才允许它去碰服务器上的文件。

先把水位算出来
在抓取历史数据页面上,选择「过去 1 天」,采样步长自动是 1 分钟。9 条现有告警一起拉取,每条序列给出最小、平均、P95、最新值、斜率和 10 分钟预测值。
运维看 node-a 这一行就够了。CPU 最新 50.9,P95 57.0,10 分钟预测 49.5。规则里如果还写着 > 20,这条告警会从早响到晚。
查询不是另写一套指标,就是规则里原来的 PromQL。CPU 和内存是这样取的:
拉数走 Prometheus 的区间接口。1 天用 60 秒一步,7 天用 5 分钟,1 个月用 30 分钟,1 年用 6 小时。修改下一档阈值,优先看 1 天或 7 天的数据。
10 分钟预测值不是模型先猜的。程序先用最近大约 30 分钟的斜率做一条外推,连同 P95、最新值一起交给模型。模型负责决定阈值,不负责重算这张表。
模型交出的是规则,不是一段建议

点击「生成未来 10 分钟告警规则」之后,结果先放进编辑框,服务器上的文件不会自动覆盖。
这一次它做了四件事:CPU 阈值从 20 调到 65,for 从 2 秒改成 1 分钟;内存从 20 调到 75;磁盘容量从 80 调到 88。
这里 Nginx、流量、TCP 没动,InstanceDown 仍是 up == 0。
模型被要求只返回一个 JSON,里面是总结、预测说明、改动列表和完整的 rules.yml。约束写在系统提示里,关键就这几条:
- rules_yml 必须是完整 YAML,保留原有 groups、告警名称和标签。
- 只调整有历史数据且 adjustable 为 true 的阈值。
- InstanceDown 的 expr 必须保持 up == 0。
- 越高越糟:阈值要高于未来 10 分钟预测值和近期 P95,留出余量。百分比必须在 0 到 100 之间。
- 越低越糟:阈值要低于未来 10 分钟预测值,同样留出余量。
- 预测窗口是 10 分钟,不代表 for 要改成 10m。噪声大时,可以把 for 调到 30s 至 2m。
- 不要新增告警,不要删除告警,不要修改指标名称。
- CPU 属于越高越糟。P95 已经到 57,预测在 50 附近,20 一定误报,65 还留着尖峰能触发的位置。
for: 2s会被毛刺打响,所以一起改成1m。 - 磁盘 IO 那条相反,表达式是「100 减 IO 占用」,数值越低越差,阈值要往预测值下面放,不能照着 CPU 的方向抬。

人看完 diff,才允许写进去
规则下发页左边是待下发的全文,下面是和载入时内容的对比。YAML 不合法,写入按钮是灰的,还要勾上「我已核对差异」。
这次 diff 里红的是旧阈值,绿的是新阈值。告警名、标签、PromQL 的指标都没被换掉。
对应到文件里,CPU 这一段就是:
原来是 > 20 和 for: 2s,这里已做修改。
写入远程文件时,程序不直接覆盖。先把候选内容放到 rules.yml.candidate,同目录有 promtool 就先检查;检查失败就删掉候选,不自动覆盖正式文件。
通过之后,原文件复制成 rules.yml.bak. 时间戳,再替换。
写完可以调用 Prometheus 的 /-/reload。如果选错了,从 rules.yml.bak.* 里挑一份覆盖回去,再加载一次。
这页还盯着哪些告警
除了 CPU、内存和磁盘容量,同一份规则里还有:
- Nginx 2xx 请求速率
- 实例是否存活,只观察,不改
up == 0 - 磁盘 IO 性能,越低越糟
- 入网、出网流量
- TCP 当前连接数
自定义 PromQL 可以加进来看曲线,但不会因此多出一条新告警。可选一步:
把最新值和 10 分钟预测推到 Pushgateway,job 名是 deepseek_prediction,指标是 deepseek_metric_last 和 deepseek_metric_predict_10min。
Grafana 上就能看到模型当时拿来做判断的水位。
出现告警,运维的排障顺序就三步:历史数据,智能分析,规则下发。建议大家用浏览器访问,按同目录的部署手册打成镜像即可。
注意:阈值会过期。过期之前,先对比过去一天的 P95 和未来 10 分钟的预测,再决定 20 还该不该留在规则里。
文章来自:51CTO
![]()
