托管 Prometheus 提供功能强大的告警中心，方便您快速实现面向监控对象的告警配置。本文介绍告警中心的常见概念。 ## 告警规则托管 Prometheus 配置多等级的告警规则，通过不同等级，您可以使用不同的持续时间和阈值来表示不同的紧急程度。系统会周期性（1m）执行告警 PromQL 计算，然后根据不同时刻的结果以及告警规则指定的不同等级配置，计算生成告警事件，多等级告警流转示意图，如下图所示。 :::tip 告警事件：告警规则中配置的 PromQL 语句可以计算出很多的时序，在告警评估时刻达到告警阈值&告警持续时间的时序称为告警事件。 ::: ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_f2054e6b20474dd68cae3200e986f83a.png =967x) 生成告警事件后，托管 Prometheus 会根据在告警规则中绑定的告警聚合策略进行判断是否应该发送告警通知。当确定发送告警通知后，如果有命中告警静默策略则对应的告警事件不会进行告警发送，在发送阶段我们将通过您配置的告警通知策略将告警发送到不同的渠道中。 ## 告警聚合策略 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_fdda1ea0dda9157fd29d62434ddc6097.png =970x) 1. **聚合维度**：目前仅支持告警规则维度的聚合，表示发告警通知时，单条通知内的告警是来源于同一个告警规则。 2. **聚合周期**：告警规则产生第一个告警事件时，按告警聚合周期进行检查，是否有新增的告警事件/恢复事件，如果有新增，则在周期时间到后发送告警通知。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_62031161f50bc9544a22eb95e93c2633.png =968x) 3. **通知周期**：告警规则内无告警事件的变化时，达到告警通知周期，会再次发告警通知。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_a7653ec6a5ba1513a1b81ce003aafa9c.png =967x) 4. **首次发送告警通知的时间：**为首个告警事件产生时间 + 托管 Prometheus 维护的等待时间。 |**告警等级** |**首次通知等待时间** | |---|---| |P0 |30s | |P1/P2 |60s | ## 告警静默策略当部分资源存在已知问题，不想被告警通知打扰时，可以通过告警静默策略来禁止该资源的在指定时间范围内不发送告警通知。例如：假设您希望在 namespace: doc 下的 pod: doc 产生的告警均不要通知，可以通过下述方法来创建告警静默策略。存在某些告警规则在同一时刻产生。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_e2669defa2fde38138691d1ace6e5698.png =904x) ## 告警通知模版当托管 Prometheus 提供的默认告警通知模版不满足您的要求时，系统支持自定义告警通知模版，详情请参见 [自定义告警通知模版](https://www.volcengine.com/docs/6731/1206933?lang=zh)。 ## Annotation & Label 当告警规则生成的原生告警内容不满足您的需求时，系统还支持在告警规则中配置额外的 Annotation 或 Label。 * **Label（标签）**：指定一组要附加到警报的额外标签。如果与任何 PromQL 计算出的标签冲突，原标签值在通知时将会被覆盖，如果标签值是空，则在通知时不会展示该标签。标签值可以是纯文本或者模版。 * **Annotation（注释）**：指定一组信息标签，一般用于存储更长的附加信息，如警报描述或运行手册链接。注释值也可以使用模板。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_24b2cefac912d55b5d37bf7870d82979.png =902x) ### 模版标签和注释值可以使用 [go template ](https://pkg.go.dev/text/template)的方式来声明，包括两个变量： * `$labels`**：**为告警规则中 PromQL 计算出来的原始标签键值对，可以通过`{{$labels. }}`来取某个标签值。 * `$value`**：**为告警规则中 PromQL 计算出来的当前值。同时，托管 Prometheus 在模版中与原生 Prometheus 一样支持了很多便利化的 [函数](https://prometheus.io/docs/prometheus/latest/configuration/template_reference/#functions)，其中 [query 类](https://prometheus.io/docs/prometheus/latest/configuration/template_reference/#queries) 的函数暂未支持。 ### 样例在告警规则中增加 label `docKey: docValue` 和 annotation `detail: {{ $labels.instance}} in {{$labels.cluster}} has been scrapted`。当未使用任何告警规则模版时，飞书告警通知中收到的消息，如下图所示。 ![图片](https://portal.volccdn.com/obj/volcfe/cloud-universal-doc/upload_ab89488debdb50485ab1a86dd907376c.png =899x)