如何基于标签检测单服务器上Prometheus指标llcPartitionConsuming缺失？

要实现单台服务器+指定Kafka分区的消费循环终止告警，你需要针对每个server和partition标签组合检测指标是否停止上报，而非检测整个指标是否消失。可以通过Prometheus的absent_over_time函数实现：

告警规则配置 #

alert: PartitionConsumingStopped
expr: absent_over_time(llcPartitionConsuming[5m]) == 1
for: 1m
labels:
  severity: critical
annotations:
  summary: "消费循环异常终止 (server: {{ $labels.server }}, partition: {{ $labels.partition }})"
  description: "服务器{{ $labels.server }}上的Kafka分区{{ $labels.partition }}消费循环已停止，过去5分钟未收到llcPartitionConsuming指标上报。"

原理说明 #

• absent_over_time(metric[duration]) 函数会按每个时间序列（即每个server+partition组合）检查：指定时长内是否无任何样本上报。若满足条件则返回1，否则返回空。
• 相比你之前使用的absent(llcPartitionConsuming)，这个函数是按标签维度生效的——只要单个server+partition组合的指标停止上报，就会触发对应告警，无需所有实例都停止。
• 可根据业务场景调整[5m]（检测无上报的时间窗口）和for: 1m（避免临时波动误告警的等待时长）的参数值。

额外优化建议 #

如果消费应用启动时会自动注册所有需消费的server+partition组合，可以先通过记录规则保存预期的标签集合，再对比当前上报的指标，避免因应用未部署某个分区而误告警：

# 记录规则：保存所有曾上报过的server+partition组合
record: llc_expected_partitions
expr: count(llcPartitionConsuming) by (server, partition)

修改后的告警规则：

alert: PartitionConsumingStopped
expr: llc_expected_partitions unless llcPartitionConsuming
for: 1m
labels:
  severity: critical
annotations:
  summary: "消费循环异常终止 (server: {{ $labels.server }}, partition: {{ $labels.partition }})"
  description: "服务器{{ $labels.server }}上的Kafka分区{{ $labels.partition }}消费循环已停止，指标llcPartitionConsuming不再上报。"

内容的提问来源于stack exchange，提问作者Prashant Pandey