Prometheus中同一时间戳PromQL判定为真但未触发告警的排查

以下是你还可以排查的指标和检查点：

• 规则评估时间对齐验证

  • 查看prometheus_rule_evaluation_timestamp_seconds：按目标告警规则过滤，获取它最后几次评估的时间戳，和你手动查询的时间戳做对比，确认规则是否在你预期的时间点完成了评估。如果两者时间差超出evaluation_interval，可能存在规则调度的隐性延迟。
  • 分析prometheus_rule_group_evaluation_duration_seconds的分位数（如通过sum by (rule_group) (rate(prometheus_rule_group_evaluation_duration_seconds[5m]))查看趋势，或查看p95值）：单次的last_duration可能无法覆盖偶尔出现的超长评估耗时，若存在评估耗时超过evaluation_interval的情况，会导致规则评估滞后。

• 告警状态转换与当前状态检查

  • 检查prometheus_rule_state_transitions_total：通过rule标签过滤目标规则，查看是否存在inactive到pending或firing的状态转换记录。如果没有任何对应转换，说明规则评估时根本未触发状态变更。
  • 查询prometheus_rules指标：过滤目标规则，查看其state标签值，确认规则当前是否一直处于inactive状态，这能直接反映规则的实时评估结果。

• PromQL评估有效性验证

  • 查看prometheus_rule_eval_failures_total：若该指标针对目标规则有非零值，说明规则的PromQL在评估时出现了错误（如标签匹配异常、函数参数错误等），导致评估结果为空或无效。
  • 模拟规则评估上下文：在Prometheus表达式浏览器中，使用@指定规则评估的时间戳（例如你的PromQL语句 @ 1699999999），结合query.lookback-delta=2m的配置，验证此时的查询结果是否与你手动实时查询的一致——规则评估时会回溯2分钟的数据，和即时查询的上下文可能存在差异。

• 规则组配置与加载状态

  • 确认规则组的interval配置：如果目标规则所属的规则组单独定义了interval，会覆盖全局evaluation_interval，检查该值是否与你预期的1分钟不符，导致评估时间点错位。
  • 查看prometheus_rule_group_rules：确认目标规则确实被加载到了你排查的规则组中，避免因配置文件错误导致规则未被识别。

• 时序数据一致性检查

  • 查看prometheus_tsdb_head_samples_appended_total：确认在规则评估的时间窗口内，是否有对应指标的新样本被写入TSDB。若数据延迟写入，规则评估时可能还未获取到你手动查询时已存在的数据。
  • 检查prometheus_tsdb_head_max_time_seconds：该指标是TSDB中最新样本的时间戳，对比规则评估时间，若最新样本时间远晚于评估时间，说明数据 ingestion 存在延迟，导致规则评估使用了旧数据。

内容的提问来源于stack exchange，提问作者Conifers