手机频繁地震动。值班工程师李工睁开眼,习惯性地解锁屏幕。PagerDuty 的红色通知:CPU usage > 80% on node-prod-07。
他打开 Grafana,看了三秒钟,关掉了。这台机器过去两周里每天都会在凌晨触发这条告警,没有一次真正影响服务。他在 Runbook 里把它标记为 known issue,然后继续睡。
凌晨三点半,真正的 P0 故障来了。支付服务出现超时,影响了大约 15 分钟的线上交易。
事后复盘,这次故障的前兆信号(数据库连接池耗尽)其实在两点钟就已经出现了。告警也有,就混在那 47 条通知里。
李工没有看到,或者说,他不再有能力从噪音里找到那一条信号了。
大家以为问题是 “监控不够”
这个场景,几乎每个做过生产值班的工程师都经历过。行业给出的标准答案通常是:加指标、加告警、买更好的监控工具。
于是,团队开始部署 Prometheus、接入 Datadog、上 APM、加链路追踪,每接入一个新服务,就新建一批告警规则。告警数量从 100 条涨到 300 条,再涨到每天 800 条。
CNCF 在 2023 年的可观测性调研中显示,超过 60% 的受访团队表示 “告警数量在过去两年显著增加”,但同期 MTTR(平均故障修复时间)的改善幅度远低于预期。
这个数字背后有一个很少被说出口的事实:监控工具让你看见了更多,但并不代表你理解了更多。
大家的直觉是 “监控不够”,所以拼命往系统里加告警。问题恰恰出在这里。
告警风暴的真正根源
真正的问题不是告警太少,而是设计告警的哲学出了问题。

这是一个典型的恶性循环。每一步的决策在局部都是合理的,但整体结果是系统越监控越脆弱。这不是系统本身,而是团队感知系统的能力在退化。
第一层根源:告警设计哲学的错误
Google SRE Book 里有一条判断告警质量的原则,讲得非常清楚:
Every page should be actionable. If a page can’t be acted on immediately, it shouldn’t be a page.
翻译成中文:每一条需要人响应的告警,都应该有明确的处置动作。如果一条告警需要工程师先判断 “要不要处理”,这个告警在设计层面就已经失败了。
但大多数团队的告警规则是这样生长出来的:
- 某次故障之后,加了一条告警,“以后不能再漏”
- 某个指标超阈值,加了一条告警,“万一有问题呢”
- 新接入了一个服务,把默认告警规则全部开启
没有人去问:这条告警,如果触发了,工程师应该做什么?久而久之,告警系统变成了一个信息垃圾场,里面什么都有,就是没有清晰的信号。
第二层根源:信噪比的系统性崩塌
噪音告警不只是浪费时间,它会重塑工程师的行为模式。
心理学里有一个概念叫告警疲劳(Alert Fatigue),在医疗领域被大量研究。ICU 里的护士在面对持续的低优先级报警之后,对高优先级警报的响应时间会显著延长。
运维场景里的机制完全相同。当工程师每天处理 200 条告警,其中 180 条是无需处理的噪音,他会逐渐训练自己的注意力过滤系统:看到某类告警,大脑直接降低优先级,快速跳过。
这个过滤是无意识的,也是合理的。因为它大多数时候是对的,直到它第一次错了。

第三层根源:组织代价被低估
告警风暴的成本,大多数团队只看到了 “工程师时间” 这一项。实际的代价更深:
- 认知负担:每次从睡眠中醒来处理告警,工程师需要花时间重新建立上下文。这个上下文恢复成本,往往比处理告警本身更高。
- 决策质量下降:长期高频的低价值告警处理,会让工程师在面对真实故障时,决策速度和准确性都有所下降。
- 人才流失:告警疲劳不会出现在离职报告里。但它是高级 SRE 离开公司的真实原因之一。一个能做架构设计的工程师,不会愿意长期充当告警分诊员。
告警疲劳是一种隐性的系统性风险,它消耗的不只是工时,而是团队的可靠性上限。
真实案例:他们怎么解的?
Google SRE:从制度层面限制告警数量
Google SRE 体系里有一个不常被提到的实践:定期做告警 Review。每隔一段时间,团队会系统性地检查过去的告警记录,回答三个问题:
1. 这条告警触发了多少次,每次都需要处理吗?
2. 如果这条告警不存在,会有什么影响?
3. 这条告警触发时,工程师的标准处置是什么?
如果一条告警无法明确回答第 3 个问题,它就应该被降级或删除。
这个实践的核心逻辑是:告警是运维团队注意力的调度系统,它的准入门槛应该和生产环境的 code review 一样严格。
Netflix:用 Runbook 质量来反向约束告警质量
Netflix 在其工程博客中分享过一个观点:如果一条告警没有对应的 Runbook,它就不应该存在。
这个规则看起来简单,实际执行起来会逼迫团队做一件很重要的事:在写告警之前,先想清楚 “如果触发了,人应该怎么做”。
这个倒逼机制,自然会过滤掉大量 “万一有问题” 的防御性告警。

两个案例共同揭示的规则是:告警治理不是一次性的清理工作,它是一个持续的工程实践。
第二反转:AI 降噪,到底在解决什么问题?
过去两年里,所有主流 AIOps 平台都把 “告警降噪” 作为核心卖点。
它的做法大体是:用机器学习对历史告警做关联,把同一根因触发的多条告警聚合成一个事件,降低工程师需要处理的告警条数。
这个能力是有价值的。但有一个问题很少被正视:
AI 压住了告警的数量,但如果根源的设计哲学没变,它只是把问题埋得更深。
原来 300 条告警里,250 条是噪音,50 条是真实信号。AI 聚合之后,可能变成 30 个事件,里面有 25 个是噪音聚合体,5 个是真实问题。
数量确实少了,但信噪比并没有根本改善,只是换了一种呈现形式。更危险的一种可能:AI 的置信度让工程师对聚合结果的判断降低了戒心。
原来 300 条告警,工程师知道里面有很多噪音,会保持警惕。现在 AI 给出了 30 个 “事件”,工程师可能会更倾向于相信它是对的。
真正危险的不是告警太多,而是该响的没响,或者响了但被系统认为不重要。
这是第二层反转:降噪工具解决的是效率问题,它没有解决告警质量的根本问题。
告警质量五层模型
基于以上分析,这里提出一个可以用于自检的评估框架:告警质量五层模型(Alert Quality Pyramid)。

| 层级 | 定义 | 应对方式 | 典型错误 |
| L1 噪音层 | 无业务意义的指标抖动 | 删除或设静默期 | 被当作告警保留 |
| L2 信息层 | 值得观察,无需响应 | 只在 Dashboard 展示 | 被配置成 PagerDuty 推送 |
| L3 诊断层 | 需要调查,不紧急 | 转为工单排期处理 | 和 P0 告警混在同一队列 |
| L4 行动层 | 需要立即人工介入 | 电话/短信唤醒值班 | 被 L1/L2 噪音淹没 |
| L5 预测层 | 趋势预警,尚未触发 | 主动排查,窗口期处置 | 大多数团队暂未到这里 |
一个简单的自检方法:随机抽取过去 30 天的 100 条告警,把它们放进这个五层模型里。如果 L1+L2 的占比超过 60%,你的告警系统需要认真重新设计了。
对不同角色意味着什么?
对 SRE/运维工程师
告警治理不只是 “减少告警数量”,它是一次对值班工作的重新定义。好的告警体系,应该让工程师把时间花在三件事上:
1. 处理真正的 L4 告警(少但重要)
2. 主动消化 L3 诊断告警(找根因,建知识库)
3. 推动 L1/L2 告警的系统性清理
而不是每天花 4 个小时在告警分诊上。
对技术团队负责人
告警治理值不值得投入?可以算一笔账:
- 假设团队 5 名工程师,每人每天花 2 小时处理告警,其中 60% 是无需处理的噪音
- 每人每年浪费在噪音告警上的时间约 300 小时,5 人合计约 1500 小时=大约 0.75 个工程师年
这还不算告警疲劳导致的故障漏检和 MTTR 延长带来的业务损失。告警治理的 ROI,算法上并不难。难的是让团队意识到这件事值得投入。
对 AIOps 工具选型
如果你正在评估 AIOps 告警治理类产品,建议重点问这几个问题:
- 它能帮我删除告警,还是只能帮我聚合告警?
- 它的降噪逻辑是否可解释,工程师能审计吗?
- 它有没有告警质量评分,而不只是数量统计?
- 它能不能帮我做告警的生命周期管理?
反方观点:认真对待批评
1. “告警少了,会不会漏掉问题?”
这是最常见的反驳,也是最有价值的担忧。这个担心成立,但它指向的解决方案往往是错的。大多数人的回答是 “那就多加几条告警”,这正是恶性循环的起点。
正确的回答是:用更好的可观测性体系来保证覆盖度,而不是用更多的告警来对冲不确定性。
具体来说:完善的指标体系+健康的 SLO/SLA 告警+链路追踪,可以在告警数量大幅减少的情况下,提供更高的故障感知能力。这是覆盖度和信噪比可以同时优化的问题。
2. “这些方法论大厂能用,我们这种规模做得到吗?”
部分成立。Google 和 Netflix 的实践背后有完整的工程文化和工具链支撑,小团队照搬会很痛苦。
但告警质量五层模型的核心逻辑,不依赖规模。一个 3 人运维团队,同样可以用这个框架来审视现有告警,把 L1 噪音告警静默掉,把 L2 信息告警移出值班队列。这件事不需要买工具,只需要改规则。
这个方向成立。但不是所有企业现在都应该去追 AI 降噪平台,先把自己的告警哲学理清楚,可能更有效。
结尾:回到那个凌晨两点
小李那次漏掉的告警,不是因为他不够认真。
是因为他已经被 300 条告警训练成了一个模式识别机器。大脑的防御机制告诉他:看到告警,先判断是否常见,常见的跳过。
这个判断 99% 的时候是对的。但他不知道,今天是那 1%。

告警治理这件事,终点不是让 AI 替你处理告警。终点是有一天,你的系统只会在真正需要你的时候打扰你。而不是每天用 300 条通知,消耗掉你最好的注意力。
一个你每天都需要仔细看的监控系统,不是在保护你,它在消耗你。
这是一个工程问题,也是一个管理问题。它的解法不复杂,但需要团队先承认:我们目前的做法,可能在错误的方向上很努力。
最后一个问题,想听听你们的真实情况:
如果今天给你一套 AI 告警降噪系统,能把值班告警从 300 条降到 30 条。你会先用它,还是先把原有的 300 条告警重新梳理一遍?
欢迎留言区聊聊你的想法。
本文来自微信公众号:哒哒AI工具库,欢迎关注!
文章来自:51CTO
![]()
