如何跨多标签复用同一Prometheus告警规则

不用重复编写告警规则就能覆盖多个数据中心，有几个实用方案：

方案1：单条规则覆盖所有目标区域 #

把原查询里指定单个数据中心的过滤条件，改成匹配多区域的正则，或者直接按区域聚合指标，这样一条规则就能自动触发对应区域的告警。

比如把原查询改成按datacenter分组聚合，每个区域的指标单独计算阈值：

groups:
- name: gc-alerts
  rules:
  - alert: HighG1EvacuationPauseCount
    # 按datacenter分组聚合，自动覆盖所有符合标签的区域
    expr: sum by (datacenter) (rate(jvm_gc_pause_seconds_count{service="my-service", cause="G1 Evacuation Pause"}[5m])) > 100
    for: 1m
    labels:
      severity: critical
      # 告警标签自动带上触发区域
      datacenter: "{{ $labels.datacenter }}"
    annotations:
      summary: "数据中心{{ $labels.datacenter }}G1回收暂停次数过高"
      description: "过去5分钟内，{{ $labels.datacenter }}的G1 Evacuation Pause次数达到{{ $value }}次，超过阈值100"

如果只需要覆盖特定几个区域，也可以把过滤条件改成datacenter=~"London|Paris|Tokyo"，再配合sum by (datacenter)使用。

方案2：用记录规则预聚合通用指标 #

先写一条记录规则，把所有区域的GC暂停指标统一聚合好，之后告警规则直接基于这个预聚合的指标编写，新增区域时只要指标标签符合要求，不用修改告警规则。

记录规则（提前聚合） #

groups:
- name: gc-recording-rules
  rules:
  - record: my_service:gc_pause:rate5m
    expr: sum by (datacenter) (rate(jvm_gc_pause_seconds_count{service="my-service", cause="G1 Evacuation Pause"}[5m]))

基于记录规则的告警 #

groups:
- name: gc-alerts
  rules:
  - alert: HighG1EvacuationPauseCount
    expr: my_service:gc_pause:rate5m > 100
    for: 1m
    labels:
      severity: critical
      datacenter: "{{ $labels.datacenter }}"
    annotations:
      summary: "数据中心{{ $labels.datacenter }}G1回收暂停次数过高"
      description: "过去5分钟内，{{ $labels.datacenter }}的G1 Evacuation Pause次数达到{{ $value }}次，超过阈值100"

这种方式把通用的聚合逻辑抽离，告警规则更简洁，后续调整聚合逻辑也只需要改记录规则。

方案3：用YAML锚点复用规则片段（适合区域差异化配置） #

如果不同区域需要设置不同阈值或专属标签，可以用YAML的锚点特性，复用规则的通用部分，只修改差异项，避免重复写大量相同内容。

示例：

groups:
- name: gc-alerts
  rules:
  # 定义规则模板锚点
  - &high_gc_pause_template
    alert: HighG1EvacuationPauseCount
    for: 1m
    labels:
      severity: critical
    annotations:
      summary: "G1回收暂停次数过高"
      description: "过去5分钟内达到{{ $value }}次，超过阈值"
  # 伦敦区域告警（复用模板，仅修改查询和区域标签）
  - <<: *high_gc_pause_template
    expr: sum(rate(jvm_gc_pause_seconds_count{datacenter="London", service="my-service", cause="G1 Evacuation Pause"}[5m])) > 100
    labels:
      datacenter: London
  # 巴黎区域告警（阈值调整为120）
  - <<: *high_gc_pause_template
    expr: sum(rate(jvm_gc_pause_seconds_count{datacenter="Paris", service="my-service", cause="G1 Evacuation Pause"}[5m])) > 120
    labels:
      datacenter: Paris

内容的提问来源于stack exchange，提问作者Sankalp