如何获取已执行完成的Kubernetes Job Pod的资源使用情况？

对于已执行完成的Job Pod，kubectl top pod <pod_name>确实无法直接获取资源消耗数据——因为Kubernetes默认的metrics-server仅维护运行中Pod的实时资源指标，Pod终止后相关数据会被立即清理。结合你提供的Kubernetes版本（客户端v1.23.3、服务端v1.22.13），可以通过以下几种方案获取历史资源消耗信息：

一、提前部署持久化监控系统（推荐长期方案） #

部署Prometheus + Node Exporter + kube-state-metrics的组合，这类监控系统会持久化采集Pod全生命周期的CPU、内存使用数据，包括终止后的Pod历史指标：

• 配置Job的Pod模板，添加Prometheus采集注解：

  metadata:
    annotations:
      prometheus.io/scrape: "true"
      prometheus.io/port: "9100"
  

• 通过PromQL查询历史资源数据，比如：

  # 查询Pod生命周期内的CPU使用率均值
  avg_over_time(rate(container_cpu_usage_seconds_total{pod=~"<job-pod-name>"}[5m])[1h:1m])
  # 查询Pod生命周期内的内存峰值
  max_over_time(container_memory_working_set_bytes{pod=~"<job-pod-name>"}[1h])
  

注意：此方案需提前配置，无法回溯已执行完成且未被监控的Pod。

二、查看Pod终止时的内置统计信息 #

部分容器运行时（containerd、Docker）会在Pod终止时记录资源使用统计，可通过kubectl describe查看：

kubectl describe pod <completed-job-pod-name>

在输出的Containers模块中，可能会包含Termination Message或Resource Usage字段，展示CPU累计使用时长、内存峰值等数据（取决于容器运行时的配置）。

三、在Job Pod中内嵌资源采集脚本 #

自定义Job的启动命令，加入资源监控逻辑，将数据输出到日志或持久化存储：

• 示例Pod模板配置：

  spec:
    containers:
    - name: job-container
      image: your-image
      command: ["/bin/sh", "-c"]
      args:
        - "your-original-job-command & \
           while true; do \
             echo \"$(date) | CPU: $(ps aux | grep your-process | awk '{print $3}')% | MEM: $(ps aux | grep your-process | awk '{print $6}')KB\" >> /var/log/resource.log; \
             sleep 10; \
           done"
      volumeMounts:
      - name: resource-log
        mountPath: /var/log
    volumes:
    - name: resource-log
      persistentVolumeClaim:
        claimName: job-log-pvc
  

• Pod执行完成后，通过kubectl cp或挂载的PVC获取日志文件，分析资源消耗趋势。

四、查看kubelet节点本地日志（需节点权限） #

kubelet会在节点本地记录Pod的运行细节，可通过以下方式查询：

• 直接查看Pod的容器日志目录：

  # 路径格式：/var/log/pods/<namespace>_<pod-name>_<pod-uid>/<container-name>/
  cat /var/log/pods/default_my-job-pod_abc123/main/0.log
  

• 通过journalctl查看kubelet日志：

  journalctl -u kubelet | grep <pod-name>
  

注意：节点日志会按策略轮转清理，仅能保留近期数据，且需要节点SSH权限。

内容的提问来源于stack exchange，提问作者Kalyani