节点关机后如何自动重启GKE上的Kubernetes定时Job？

问题核心在于：抢占式节点被回收时，K8s向Pod发送SIGTERM信号，你的容器虽然能优雅关闭，但返回了0退出码（表示任务成功完成），导致Job认为任务已结束，不会触发重新调度。要解决这个问题，关键是让容器在任务未完成就被终止的场景下返回非0退出码，触发Job的重试机制。

具体解决方案 #

1. 修改容器启动脚本，区分正常结束与抢占终止 #

在容器的启动脚本中添加逻辑：监听SIGTERM信号，判断主任务是否已经完成——如果任务还在运行（说明是节点抢占导致的终止），就以非0码退出；如果任务已完成，正常返回0。

示例脚本（shell）：

#!/bin/bash

# 定义SIGTERM处理函数
handle_termination() {
    # 检查主任务进程是否还在运行
    if kill -0 "$MAIN_PID" 2>/dev/null; then
        echo "[WARN] 任务未完成，因节点抢占终止，返回非0退出码触发重试"
        # 先优雅停止主进程
        kill "$MAIN_PID"
        wait "$MAIN_PID"
        exit 1  # 非0码标记任务失败
    else
        echo "[INFO] 任务已完成，正常退出"
        exit 0
    fi
}

# 注册SIGTERM信号处理
trap handle_termination SIGTERM

# 启动主任务并记录PID
echo "[INFO] 启动主任务"
your-main-task-command &
MAIN_PID=$!

# 等待主任务完成，获取其退出码
wait "$MAIN_PID"
MAIN_EXIT_CODE=$?

# 主任务正常完成，返回其退出码
exit "$MAIN_EXIT_CODE"

2. 配置Job的重试策略 #

确保CronJob生成的Job具备正确的重试配置，让Pod失败后能被重新调度到其他节点：

• restartPolicy: OnFailure：仅当Pod失败（非0退出码）时重启（这是Job的默认值，可明确配置）
• backoffLimit：设置允许的重试次数（比如3次，根据实际需求调整）

示例CronJob配置：

apiVersion: batch/v1
kind: CronJob
metadata:
  name: daily-job
spec:
  schedule: "0 0 * * *"  # 每日凌晨执行
  jobTemplate:
    spec:
      backoffLimit: 3  # 最多重试3次
      template:
        spec:
          restartPolicy: OnFailure
          nodeSelector:
            cloud.google.com/gke-spot: "true"  # 指定调度到抢占式节点
          containers:
          - name: job-container
            image: your-image:latest
            command: ["/bin/bash", "-c", "/path/to/your/start-script.sh"]

补充说明 #

• GKE抢占式节点回收时，会先给Pod发送SIGTERM，随后进入终止宽限期。上述脚本通过检查主任务进程是否存活，能准确判断任务是否因抢占被中断。
• 如果你的主任务是长时间运行的脚本，也可以在脚本中定期检查节点状态（比如通过K8s向下API获取节点的node.kubernetes.io/unschedulable污点），提前终止并返回非0码，但进程监听的方式更直接可靠。

内容的提问来源于stack exchange，提问作者Rhand