Prometheus在K8s集群中容器下线后仍获取指标的异常问题

核心原因 #

这是Prometheus默认的目标检测、抓取重试机制，加上样本数据保留策略共同导致的：

• 容器下线后，Prometheus不会立刻标记目标为不可用，它会按照默认的scrape_interval（15秒）和scrape_timeout（10秒）重复尝试抓取，只有连续多次抓取失败后，才会将目标从活跃列表移除，这个重试周期加上本地缓存，会让旧指标持续可见。
• 另外，Prometheus的TSDB（时序数据库）不会立刻删除已下线目标的样本数据，默认会保留到全局清理周期（默认15天），查询时若未指定严格时间范围，就会返回最近的缓存样本。

具体调整方案 #

1. 快速过滤下线的K8s Pod #

修改Prometheus的抓取配置，只保留处于Running状态的Pod作为监控目标，下线（Terminating/Completed）的Pod会被立刻过滤：

scrape_configs:
- job_name: 'kubernetes-pods'
  kubernetes_sd_configs:
  - role: pod
  relabel_configs:
  - source_labels: [__meta_kubernetes_pod_phase]
    action: keep
    regex: Running

2. 缩短目标失效检测周期 #

调整Prometheus配置中的抓取和评估参数，加快对下线目标的识别速度：

global:
  scrape_interval: 5s       # 缩短抓取间隔
  scrape_timeout: 3s        # 缩短抓取超时
  evaluation_interval: 5s   # 缩短规则评估间隔

3. 查询时只取活跃目标 #

在PromQL查询中结合up指标，过滤掉已下线目标的旧数据：

# 示例：只查询当前在线Pod的容器指标
container_metric{job="your-job"} and on(pod) up{job="your-job"} == 1

4. 调整TSDB清理频率 #

如果需要更快清理旧样本，可以修改Prometheus启动参数，缩短数据清理间隔：

# 启动时添加参数，将清理间隔设为1分钟
prometheus --storage.tsdb.retention.cleanup_interval=1m

验证方式 #

1. 下线容器后，查看Prometheus的Targets页面，观察目标状态从UP变为DOWN的时间
2. 使用带up指标的查询语句，确认是否还能查到下线容器的指标
3. 查看Prometheus日志，确认目标移除的记录

内容的提问来源于stack exchange，提问作者user1523276