Prometheus的storage.tsdb.retention.*配置未生效，求原因及解决方法

在Kubernetes中部署Prometheus时，配置了以下存储保留参数，但Prometheus未按预期清理数据：

• --storage.tsdb.retention.time=2h：2小时后清理旧数据
• --storage.tsdb.retention.size=1KB：限制存储数据量（测试用，也曾尝试1MB、1GB等值）

Deployment配置如下：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: prometheus-deployment
  namespace: monitoring
  labels:
    app: prometheus-server
spec:
  replicas: 1
  selector:
    matchLabels:
      app: prometheus-server
  template:
    metadata:
      labels:
        app: prometheus-server
    spec:
      containers:
        - name: prometheus
          image: prom/prometheus
          args:
            - "--storage.tsdb.retention.time=2h"
            - "--storage.tsdb.retention.size=1KB"
            #- "--storage.tsdb.wal-compression"
            - "--config.file=/etc/prometheus/prometheus.yml"
            - "--storage.tsdb.path=/prometheus/"
          ports:
            - containerPort: 9090
          resources:
            requests:
              cpu: 500m
              memory: 500M
            limits:
              cpu: 1
              memory: 1Gi
          volumeMounts:
            - name: prometheus-config-volume
              mountPath: /etc/prometheus/
            - name: prometheus-storage-volume
              mountPath: /prometheus/
      volumes:
        - name: prometheus-config-volume
          configMap:
            defaultMode: 420
            name: prometheus-server-conf
  
        - name: prometheus-storage-volume
          emptyDir: {}

配置已成功应用，但数据未被清理，请问原因及解决方法？

1. TSDB块存储机制限制
   Prometheus的TSDB采用块级存储，默认每2小时生成一个数据块，单个块的大小通常远大于1KB（取决于采集的指标数量，至少几MB级别）。由于Prometheus只能删除整个数据块，无法拆分块进行部分清理：

• 如果设置retention.size=1KB，单个初始块就会超出限制，但Prometheus不会删除唯一的数据块（否则会丢失所有数据），因此不会触发清理。
• 同时设置retention.time和retention.size时，哪个条件先满足就触发清理，但如果size设置过小，会被块存储机制限制无法执行。

2. 参数未正确加载
   虽然Deployment配置看起来正确，但可能存在参数传递失败的情况，比如Pod启动时未正确读取args配置，导致Prometheus使用默认的保留策略（默认15天）。

3. 清理周期延迟
   Prometheus的后台清理任务默认每2小时执行一次，即使满足清理条件，也需要等待下一次清理周期才会执行，并非实时触发。

1. 验证参数是否正确加载

   • 查看Pod启动日志，确认参数已生效：

     kubectl logs -n monitoring <prometheus-pod-name>
     

     日志中应包含类似以下内容：

     tsdb retention time is set to 2h0m0s
     tsdb retention size is set to 1024 bytes
     

   • 如果日志中无这些信息，检查Deployment的args格式是否正确，确保参数前的--没有遗漏，且参数值与参数名之间无多余空格。

2. 调整合理的retention.size值

   • 由于块存储机制限制，retention.size需设置为大于单个数据块的合理值，建议至少设置为100MB（测试时可尝试10MB），修改后的args片段如下：

     args:
       - "--storage.tsdb.retention.time=2h"
       - "--storage.tsdb.retention.size=100MB"
       - "--config.file=/etc/prometheus/prometheus.yml"
       - "--storage.tsdb.path=/prometheus/"
     

3. 确认清理任务执行状态

   • 通过Prometheus指标查看清理任务是否运行：
     • 访问Prometheus UI或API，查看prometheus_tsdb_cleanups_total指标，该指标表示已执行的清理任务次数，如果数值为0，说明清理任务尚未执行。
     • 可通过重启Pod立即触发一次清理检查，但注意emptyDir存储会丢失数据。

4. 替换emptyDir为持久化存储（可选）

   • emptyDir仅在Pod生命周期内存在，Pod重启会丢失数据，不利于长期测试retention策略。建议改用PersistentVolumeClaim（PVC）作为存储卷，确保数据持久化：

     volumes:
       - name: prometheus-storage-volume
         persistentVolumeClaim:
           claimName: prometheus-pvc
     

5. 验证最终配置

   • 访问Prometheus API查看当前配置：

     curl http://<prometheus-service-ip>:9090/api/v1/status/config
     

     在返回结果的storage部分确认retention参数是否正确配置。

内容的提问来源于stack exchange，提问作者cevoye