如何用单Prometheus-Grafana告警查询覆盖多实例并减少告警？

完全可以通过单条告警查询覆盖多个实例，核心是利用Prometheus的标签聚合与规则特性，让单条规则自动评估每个实例的指标阈值，触发时明确标识出异常实例。以下是具体实现步骤：

1. 编写通用告警查询 #

基于带instance标签的指标，使用by (instance)聚合语句按实例维度计算阈值。以节点CPU使用率监控为例：

avg by (instance) (100 - (avg by (instance) (irate(node_cpu_seconds_total{mode="idle"}[1m])) * 100)) > 90

这条查询会自动对每个instance单独计算CPU使用率，只要任一实例的使用率超过90%，就会触发告警条件。

2. 配置Prometheus告警规则 #

在Prometheus的告警规则文件中，保留instance标签并在注解中动态引用，确保告警能定位到具体实例：

groups:
- name: node_monitoring_alerts
  rules:
  - alert: HighCPUUsage
    expr: avg by (instance) (100 - (avg by (instance) (irate(node_cpu_seconds_total{mode="idle"}[1m])) * 100)) > 90
    for: 2m
    labels:
      severity: critical
    annotations:
      summary: "实例 {{ $labels.instance }} CPU使用率过高"
      description: "实例 {{ $labels.instance }} 的CPU使用率已连续2分钟超过90%。"

单条规则会为每个触发阈值的实例生成独立告警，但规则本身只需配置一次。

3. Grafana告警配置（若使用Grafana Alerting） #

如果用Grafana内置告警，在创建告警规则时：

• 构建查询时添加by (instance)聚合，确保按实例拆分时间序列
• 在告警评估设置中，启用「对每个序列单独评估」（不同版本可能显示为Evaluate every series individually）
• 在通知模板中通过{{ $labels.instance }}引用实例标签，明确告警来源

注意事项 #

• 确保你的监控指标带有instance标签（大部分官方exporter默认已包含，自定义指标需手动添加实例标识标签）
• 根据指标类型选择合适的聚合函数：如sum by (instance)用于流量类指标，max by (instance)用于峰值类指标
• 若需减少重复告警，可配置告警抑制规则（比如当节点宕机时，抑制该节点的其他资源告警）

内容的提问来源于stack exchange，提问作者Newandconfused