如何为小部分实例参数化Prometheus告警规则？

问题背景 #

需要配置室内温度监控的Prometheus告警规则：多数房间温度阈值统一，但2-3个特殊房间需调高阈值避免频繁告警；同时需满足两个可靠性要求：

• 遗漏特殊阈值的房间自动使用默认阈值
• 默认阈值指标缺失时触发配置错误告警

核心实现思路 #

通过自定义静态指标作为阈值，结合PromQL的标签匹配逻辑，实现差异化阈值对比。

1. 定义阈值指标 #

使用Node Exporter的textfile collector创建静态阈值指标（例如保存为/var/lib/node_exporter/temperature_thresholds.prom），格式如下：

# 特殊房间的自定义阈值
room_temperature_threshold{instance="room-special-1"} 30
room_temperature_threshold{instance="room-special-2"} 32
# 所有其他房间的默认阈值（无instance标签）
room_temperature_threshold 28

确保Node Exporter配置了--collector.textfile.directory=/var/lib/node_exporter，让Prometheus能抓取到该指标。

2. 编写告警规则 #

通过PromQL实现"优先匹配实例专属阈值，无专属则用默认阈值"的逻辑，告警规则示例：

- alert: HighTemperatureAlert
  expr: |
    # 匹配有专属阈值的房间
    room_temperature > on(instance) group_left() room_temperature_threshold{instance=~".+"}
    or
    # 匹配无专属阈值的房间（使用默认阈值）
    room_temperature > room_temperature_threshold unless on(instance) room_temperature_threshold{instance=~".+"}
  for: 5m
  labels:
    severity: warning
  annotations:
    summary: "房间 {{ $labels.instance }} 温度过高"
    description: "当前温度: {{ $value }}°C，阈值: {{ with $t := query (printf \"room_temperature_threshold{instance=\\\"%s\\\"}\" $labels.instance) }}{{ if $t }}{{ $t | first | value }}{{ else }}{{ query \"room_temperature_threshold\" | first | value }}{{ end }}{{ end }}°C"

# 默认阈值缺失的配置告警
- alert: DefaultTemperatureThresholdMissing
  expr: count(room_temperature_threshold) == count(room_temperature_threshold{instance=~".+"})
  for: 1m
  labels:
    severity: critical
  annotations:
    summary: "默认温度阈值缺失"
    description: "未检测到全局默认温度阈值，请检查textfile collector的阈值文件是否存在或格式正确。"

可靠性说明 #

1. 自动 fallback 到默认阈值：PromQL的unless逻辑会排除已匹配到专属阈值的实例，确保剩余实例使用无标签的默认阈值，无需手动维护所有实例的阈值。
2. 默认阈值缺失告警：通过count(room_temperature_threshold) == count(...)判断是否存在无标签的默认阈值（若两者相等，说明所有阈值都带instance标签，默认阈值缺失），快速发现配置错误。

内容的提问来源于stack exchange，提问作者keV