Kubernetes中CronJob生成的Job被挂起，无法自动创建Pod怎么办？

我有一个CronJob，之前会生成Pod（但因错误失败）。现在发现生成的Job被挂起，且新Job不断创建，已出现200个此类Job，但均未生成Pod：

➜  ~ kubectl -n pc-control-plane get jobs -w
NAME              COMPLETIONS   DURATION   AGE
canary-28091035   0/1                      16m
canary-28091040   0/1                      11m
canary-28091045   0/1                      6m34s
canary-28091050   0/1                      94s
canary-28091055   0/1                      0s
canary-28091055   0/1                      0s

执行以下命令未找到该Job对应的Pod：

➜  ~ kubectl -n pc-control-plane get pods -w

另有一个Job可正常创建并完成：

pg-migrator       1/1           5s         5s

手动将Job的suspend: false修改后，它才生成Pod。之前无需修改Job，Pod虽经常崩溃但能正常启动。尝试删除所有现有Job并重建集群，但无济于事。需要解决无需手动干预的问题。

CronJob定义如下：

apiVersion: batch/v1
kind: CronJob
metadata:
  name: canary
  namespace: {{ .Release.Namespace }}
spec:
  schedule: "*/5 * * * *"
  jobTemplate:
    spec:
      template:
        spec:
          containers:
          - name: canary
            image: "{{ .Values.imageRegistry }}/canary:{{ .Values.version }}"
            imagePullPolicy: Always
          restartPolicy: OnFailure

1. 检查并修正CronJob的挂起配置 #

先确认CronJob本身是否被设置了挂起：

kubectl -n pc-control-plane get cronjob canary -o yaml | grep -i suspend

如果输出显示suspend: true，直接在CronJob的spec层级添加suspend: false，修改后的配置如下：

apiVersion: batch/v1
kind: CronJob
metadata:
  name: canary
  namespace: {{ .Release.Namespace }}
spec:
  schedule: "*/5 * * * *"
  suspend: false  # 确保CronJob本身不处于挂起状态
  jobTemplate:
    spec:
      template:
        spec:
          containers:
          - name: canary
            image: "{{ .Values.imageRegistry }}/canary:{{ .Values.version }}"
            imagePullPolicy: Always
          restartPolicy: OnFailure

应用修改：

kubectl apply -f <你的CronJob配置文件路径>

2. 配置并发策略与Job生命周期限制 #

当前每分钟生成的Job大量堆积，可能触发了集群的并发限制或者资源耗尽。给CronJob添加以下配置：

spec:
  schedule: "*/5 * * * *"
  suspend: false
  concurrencyPolicy: Replace  # 新Job替换旧的挂起Job，避免堆积
  successfulJobsHistoryLimit: 3  # 保留3个成功Job记录
  failedJobsHistoryLimit: 5      # 保留5个失败Job记录
  jobTemplate:
    spec:
      activeDeadlineSeconds: 300  # Job超时时间，5分钟后自动终止
      template:
        spec:
          containers:
          - name: canary
            image: "{{ .Values.imageRegistry }}/canary:{{ .Values.version }}"
            imagePullPolicy: Always
          restartPolicy: OnFailure

• 用concurrencyPolicy: Forbid可以禁止同时创建多个Job，直到上一个完成；用Replace则直接替换挂起的旧Job
• activeDeadlineSeconds防止Job无限挂起，占用资源

3. 排查单个Job的挂起原因 #

查看挂起Job的详细事件，定位不生成Pod的具体原因：

kubectl -n pc-control-plane describe job canary-28091055

重点看Events字段，常见问题包括：

• 节点资源不足（CPU/内存不够分配）
• 镜像拉取失败（镜像仓库不可达或权限不足）
• ServiceAccount没有创建Pod的权限
• 节点污点与Pod容忍度不匹配

4. 清理历史Job并重置CronJob状态 #

先批量删除所有挂起的canary Job：

kubectl -n pc-control-plane delete jobs -l cronjob=canary

然后重置CronJob状态，触发生成新的未挂起Job：

kubectl -n pc-control-plane patch cronjob canary -p '{"spec": {"suspend": true}}'
kubectl -n pc-control-plane patch cronjob canary -p '{"spec": {"suspend": false}}'

5. 确认CronJob控制器状态 #

检查集群的CronJob控制器是否正常运行（默认在kube-system命名空间）：

kubectl -n kube-system get pods -l k8s-app=cronjob-controller

如果控制器Pod异常，直接删除它，kubelet会自动重启：

kubectl -n kube-system delete pod <cronjob-controller-pod-name>

内容的提问来源于stack exchange，提问作者Aviral Srivastava