CPU 才到 20% 就响?告警阈值不该被固定设置。

我是韩先超,51CTO 学堂 K8s、Python 教学总监、AIOps 实战训练营讲师,云计算架构师,具有 8 年项目实战经验+5 年教学经验,线上学员已达 300w+。

凌晨两点,群里又炸了。CPU 使用率才二十多,内存也没满,磁盘跟着叫。我点开 rules.yml,发现阈值还停在很久以前写的 20%。图片

反过来也常见。业务量涨了一个季度,阈值还是去年的数。真要顶满的时候,告警来得又晚又猛。

图片

本文里涉及到的方案做的事很具体:向 Prometheus 要历史记录,算出未来 10 分钟的水位,让 DeepSeek 改出一份能执行的规则。人看完 diff,才允许它去碰服务器上的文件。

图片

先把水位算出来

在抓取历史数据页面上,选择「过去 1 天」,采样步长自动是 1 分钟。9 条现有告警一起拉取,每条序列给出最小、平均、P95、最新值、斜率和 10 分钟预测值。

运维看 node-a 这一行就够了。CPU 最新 50.9,P95 57.0,10 分钟预测 49.5。规则里如果还写着 > 20,这条告警会从早响到晚。

查询不是另写一套指标,就是规则里原来的 PromQL。CPU 和内存是这样取的:

{
    "alert": "物理节点cpu使用率",
    "unit": "%",
    "direction": "higher_is_worse",
    "query": '(100 - avg(irate(node_cpu_seconds_total{mode="idle"}[5m])) by (instance) * 100)',
},
{
    "alert": "物理节点内存使用率",
    "unit": "%",
    "direction": "higher_is_worse",
    "query": (
        "(node_memory_MemTotal_bytes - (node_memory_MemFree_bytes + "
        "node_memory_Buffers_bytes + node_memory_Cached_bytes)) / "
        "node_memory_MemTotal_bytes * 100"
    ),
},
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
  • 15.
  • 16.

拉数走 Prometheus 的区间接口。1 天用 60 秒一步,7 天用 5 分钟,1 个月用 30 分钟,1 年用 6 小时。修改下一档阈值,优先看 1 天或 7 天的数据。

def query_range(base, query, start, end, step):
    response = requests.get(
        f"{base}/api/v1/query_range",
        params={"query": query, "start": start, "end": end, "step": step},
        timeout=(5, 90),
    )
    response.raise_for_status()
    body = response.json()
    if body.get("status") != "success":
        raise RuntimeError(body.get("error") or "Prometheus 查询失败")
    return body.get("data", {}).get("result") or []
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.

10 分钟预测值不是模型先猜的。程序先用最近大约 30 分钟的斜率做一条外推,连同 P95、最新值一起交给模型。模型负责决定阈值,不负责重算这张表。

slope = recent_slope_per_min(times, values)
last = values[-1]
return {
    "p95": round_num(series.quantile(0.95)),
    "last": round_num(last),
    "slope_per_min": round_num(slope),
    "predict_10min": round_num(last + slope * 10),
}
切到 CPU 曲线,两台机器一整天都在 40 上下晃,没有一条靠近 20。
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.

模型交出的是规则,不是一段建议

图片

点击「生成未来 10 分钟告警规则」之后,结果先放进编辑框,服务器上的文件不会自动覆盖。

这一次它做了四件事:CPU 阈值从 20 调到 65,for 从 2 秒改成 1 分钟;内存从 20 调到 75;磁盘容量从 80 调到 88。

这里 Nginx、流量、TCP 没动,InstanceDown 仍是 up == 0。

模型被要求只返回一个 JSON,里面是总结、预测说明、改动列表和完整的 rules.yml。约束写在系统提示里,关键就这几条:

  1. rules_yml 必须是完整 YAML,保留原有 groups、告警名称和标签。
  2. 只调整有历史数据且 adjustable 为 true 的阈值。
  3. InstanceDown 的 expr 必须保持 up == 0。
  4. 越高越糟:阈值要高于未来 10 分钟预测值和近期 P95,留出余量。百分比必须在 0 到 100 之间。
  5. 越低越糟:阈值要低于未来 10 分钟预测值,同样留出余量。
  6. 预测窗口是 10 分钟,不代表 for 要改成 10m。噪声大时,可以把 for 调到 30s 至 2m。
  7. 不要新增告警,不要删除告警,不要修改指标名称。
  • CPU 属于越高越糟。P95 已经到 57,预测在 50 附近,20 一定误报,65 还留着尖峰能触发的位置。for: 2s 会被毛刺打响,所以一起改成 1m。
  • 磁盘 IO 那条相反,表达式是「100 减 IO 占用」,数值越低越差,阈值要往预测值下面放,不能照着 CPU 的方向抬。

人看完 diff,才允许写进去

规则下发页左边是待下发的全文,下面是和载入时内容的对比。YAML 不合法,写入按钮是灰的,还要勾上「我已核对差异」。

这次 diff 里红的是旧阈值,绿的是新阈值。告警名、标签、PromQL 的指标都没被换掉。

对应到文件里,CPU 这一段就是:

- alert: 物理节点cpu使用率
  expr: (100 - avg(irate(node_cpu_seconds_total{mode='idle'}[5m])) by(instance)*100)
    > 65
  for: 1m
  • 1.
  • 2.
  • 3.
  • 4.

原来是 > 20 和 for: 2s,这里已做修改。

写入远程文件时,程序不直接覆盖。先把候选内容放到 rules.yml.candidate,同目录有 promtool 就先检查;检查失败就删掉候选,不自动覆盖正式文件。

通过之后,原文件复制成 rules.yml.bak. 时间戳,再替换。

promtool = remote_parent(path).rstrip("/") + "/promtool"
check_cmd = (
    f"if [ -x {shlex.quote(promtool)} ]; then "
    f"{shlex.quote(promtool)} check rules {shlex.quote(staged)}; "
    "else echo PROMTOOL_MISSING; fi"
)
# 检查失败:删除候选文件,不覆盖 rules.yml
stamp = datetime.now(CST).strftime("%Y%m%d%H%M%S")
backup = f"{path}.bak.{stamp}"
replace_cmd = (
    f"if [ -f {shlex.quote(path)} ]; then cp -a {shlex.quote(path)} {shlex.quote(backup)}; "
    f"else echo NO_ORIGINAL; fi && mv -f {shlex.quote(staged)} {shlex.quote(path)}"
)
  • 1.
  • 2.
  • 3.
  • 4.
  • 5.
  • 6.
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.

写完可以调用 Prometheus 的 /-/reload。如果选错了,从 rules.yml.bak.* 里挑一份覆盖回去,再加载一次。

这页还盯着哪些告警

除了 CPU、内存和磁盘容量,同一份规则里还有:

  • Nginx 2xx 请求速率
  • 实例是否存活,只观察,不改 up == 0
  • 磁盘 IO 性能,越低越糟
  • 入网、出网流量
  • TCP 当前连接数

自定义 PromQL 可以加进来看曲线,但不会因此多出一条新告警。可选一步:

把最新值和 10 分钟预测推到 Pushgateway,job 名是 deepseek_prediction,指标是 deepseek_metric_last 和 deepseek_metric_predict_10min。

Grafana 上就能看到模型当时拿来做判断的水位。

出现告警,运维的排障顺序就三步:历史数据,智能分析,规则下发。建议大家用浏览器访问,按同目录的部署手册打成镜像即可。

注意:阈值会过期。过期之前,先对比过去一天的 P95 和未来 10 分钟的预测,再决定 20 还该不该留在规则里。

 

文章来自:51CTO

Loading

yinhua
Author: yinhua

作者 yinhua

发表回复