Kubernetes Job失败时如何不终止其余运行中Pod完成队列任务

问题场景说明 #

你当前使用的Kubernetes Job默认行为逻辑为：当Pod失败次数达到backoffLimit阈值时，Job控制器会自动终止所有运行中的Pod，同时将Job标记为Failed状态。

解决方案 #

方案1：Kubernetes 1.25及以上版本（原生支持） #

该版本正式引入了terminateUnfinishedPods配置字段，直接将其设为false即可实现需求：Job标记为失败状态后，不会主动终止运行中的Pod，所有已启动的Pod会继续执行直到任务完成。
修改后的配置示例如下：

apiVersion: batch/v1
kind: Job
metadata:
  name: pi
spec:
  parallelism: 10
  backoffLimit: 0
  # 新增配置项
  terminateUnfinishedPods: false
  template:
    spec:
      containers:
      - name: pi
        image: perl
        command: ["some",  "long", "command"]
      restartPolicy: Never

方案2：Kubernetes 1.24及更低版本 #

低版本原生Job无上述官方参数，可通过变通方案实现：

• 将backoffLimit设置为大于等于并行度的数值，避免Job因为达到重试上限提前终止所有Pod
• 自行实现一个轻量的监听服务，通过Kubernetes API监听该Job下属Pod的运行状态，当失败Pod数量达到你的预期阈值时，直接调用API将Job的状态手动修改为Failed，该操作不会影响正在运行的Pod的生命周期。

注意事项 #

• 如果你使用的是共享外部队列的任务消费模式，不需要额外设置completions字段，已启动的Pod会执行完已经拾取的任务后自动退出，不会生成新的Pod补充。
• 任务全部完成后可自行通过队列侧或者Pod状态确认所有任务的执行结果。

内容的提问来源于stack exchange，提问作者Fabrice Jammes