如何通过Prometheus指标相减计算Pod运行时长？查询结果为空求解

核心原因 #

两个查询的时间序列标签集必须完全匹配才能执行算术运算，否则PromQL会返回空结果。另外，时间范围过窄或指标用法不当也会导致无数据返回。

具体解决方案 #

1. 统一标签过滤条件 #

分别执行两个查询，检查返回结果的标签（如namespace、pod等）是否完全一致。比如kube_pod_status_phase默认会携带namespace标签，如果kube_pod_created的查询没指定相同的namespace，就会导致标签不匹配。

修正后的查询要加上相同的过滤条件，比如指定命名空间：

# 终止时间查询
last_over_time(timestamp(kube_pod_status_phase{phase="Succeeded",pod=~"consumer-deployment.*",namespace="default"})[24h:])
# 创建时间查询
kube_pod_created{pod=~"consumer-deployment.*",namespace="default"}

2. 调整时间范围 #

[1h]的时间范围可能无法覆盖Pod的完整生命周期（比如Pod运行超过1小时才终止），把时间范围扩大到[24h]或更长，确保能包含Pod的创建和终止时刻。

3. 简化kube_pod_created的查询 #

kube_pod_created是一个gauge指标，值就是Pod的创建时间戳，不会随时间变化，不需要用last_over_time包裹，直接查询即可，避免多余的时间范围过滤导致数据丢失。

4. 验证单查询结果 #

先单独执行两个查询，确认它们返回的Pod列表完全重合：

• 如果kube_pod_created没有返回某个Pod，说明该Pod的创建时间不在监控数据保留范围内，或者指标采集有问题。
• 如果last_over_time(...)没有返回某个Pod，说明该Pod没有进入Succeeded状态，或者终止时间不在指定的时间范围内。

最终可用的相减语句 #

last_over_time(timestamp(kube_pod_status_phase{phase="Succeeded",pod=~"consumer-deployment.*",namespace="default"})[24h:])
-
kube_pod_created{pod=~"consumer-deployment.*",namespace="default"}

内容的提问来源于stack exchange，提问作者trey