Kubernetes CronJob错过两次执行，如何进行故障排查？

1. 先查CronJob自身配置与状态 #

• 拉取完整配置，重点看spec.startingDeadlineSeconds：如果这个值设得比7分钟（420秒）小，控制器错过调度窗口后会直接跳过任务。执行命令：

  kubectl get cronjob <你的CronJob名称> -o yaml
  

• 查看状态详情，核对Last Schedule Time、活跃Job数量，以及事件栏的其他提示：

  kubectl describe cronjob <你的CronJob名称>
  

2. 验证控制器节点的时间同步 #

• 确认kube-controller-manager所在节点的系统时间：K8s调度完全依赖节点时间，漂移或时区错误会直接导致调度偏差。找到控制器Pod后执行：

  kubectl exec -n kube-system <kube-controller-manager-pod名称> -- date
  

  对比集群内正常节点的时间，确保时区一致、误差在几秒内。
• 检查CronJob的时区配置：如果指定了spec.timeZone，确认时区是否正确，有没有和控制器节点时区冲突。

3. 排查控制器的资源与任务队列 #

• 看控制器Pod的资源占用：如果CPU、内存跑满，调度任务会被阻塞或丢弃。执行：

  kubectl top pod -n kube-system <kube-controller-manager-pod名称>
  

• 扩大时间范围查控制器日志：哪怕当时没相关日志，也拉取1小时内的日志搜Cron相关内容，找队列溢出、处理延迟的线索：

  kubectl logs -n kube-system <kube-controller-manager-pod名称> --since=1h | grep -i cron
  

4. 检查Job历史残留与并发策略 #

• 列出该CronJob生成的所有Job，看56分、0分时间点有没有残留的异常Job（比如Failed/Pending状态）：

  kubectl get jobs --selector=job-name=<你的CronJob名称> --sort-by=.metadata.creationTimestamp
  

  如果有未清理的异常Job，可能触发了spec.concurrencyPolicy的限制（比如设为Forbid时，有活跃Job就会跳过新调度）。
• 确认并发策略：检查是Forbid、Replace还是Allow，看是否因为旧Job未正常结束导致新任务无法触发。

5. 验证Cron表达式的解析逻辑 #

• 手动核对*/7 * * * *的触发时间：应该是每小时的0、7、14、21、28、35、42、49、56分，用本地cron工具测试解析结果，避免表达式写错。
• 注意K8s的解析差异：K8s用的是robfig/cron库，部分特殊表达式和系统cron可能有细微差别，确认*/7是否被正确识别为每7分钟执行。

6. 排查API Server与ETCD的状态 #

• 测试API Server响应延迟：如果控制器和API Server之间网络波动，会导致Job创建请求失败。执行：

  kubectl exec -n kube-system <kube-controller-manager-pod名称> -- curl -k https://kubernetes.default.svc/healthz -w "%{time_total}\n"
  

  正常响应应该在几百毫秒内。
• 检查ETCD健康状态：ETCD存储异常会导致调度请求无法持久化，出现任务丢失。执行：

  kubectl exec -n kube-system <etcd-pod名称> -- etcdctl endpoint health
  

内容的提问来源于stack exchange，提问作者maxisme