如何实现Kubernetes故障Pod从断点恢复运行而非重新启动

首先明确基础事实：Kubernetes 不存在 Pod/容器崩溃后不重启、直接恢复进程运行状态的可能——容器崩溃的本质是容器内主进程完全退出，操作系统已经回收了该进程占用的所有内存、CPU 等运行时资源，没有任何技术手段能让已经退出的进程跳过重启步骤直接继续执行。
你需要的「从故障断点继续运行」效果，本质是通过持久化存储记录执行进度，让容器重启后自动跳过已完成的步骤，对外表现和无感知断点恢复一致。你之前了解的持久化存储、Volumes 特性完全可以实现这个需求，它不止能存普通业务文件，核心能力就是跨容器生命周期保留数据，刚好适配进度持久化的场景。

• 应用层改造：程序启动时优先读取指定路径下的进度记录文件，如果文件存在就直接读取上次中断的执行位置，从断点后开始执行业务逻辑；每完成一个执行步骤（对应你的场景就是打印完一个数字），立刻把当前最新进度写入进度文件，保证故障发生时丢失的进度最多只有当前未完成的1个步骤。
• 存储层配置：给 Pod 绑定持久卷（PersistentVolume），把存放进度文件的路径挂载到持久卷上，确保容器重启、甚至 Pod 漂移到其他节点后，进度文件不会随容器临时存储销毁而丢失。
• 重启策略保持默认即可：K8s 默认的容器重启策略Always会在容器崩溃后立刻拉起新容器，配合快速的进度读取逻辑，用户侧几乎感知不到重启过程。

全程用最简化的脚本和配置实现，不需要复杂的业务代码：

1. 编写业务 demo 程序 #

创建print.sh脚本，实现进度读取、打印、进度写入逻辑：

#!/bin/bash
# 进度文件存放在持久卷挂载目录下
PROGRESS_FILE="/data/progress.txt"
START=1

# 启动时先检查是否有历史进度
if [ -f "$PROGRESS_FILE" ]; then
    SAVED=$(cat "$PROGRESS_FILE")
    START=$((SAVED + 1))
    echo "检测到历史执行进度，从数字 $START 开始续打"
fi

# 顺序打印1-20
for ((i=START; i<=20; i++))
do
    echo "当前打印数字: $i"
    # 打印完成立刻持久化进度
    echo $i > "$PROGRESS_FILE"
    # 间隔2秒打印，方便手动模拟故障
    sleep 2
done

echo "全部数字打印完成，清理进度标记"
rm -f "$PROGRESS_FILE"

2. 构建容器镜像 #

创建同目录下的Dockerfile：

FROM alpine:3.20
WORKDIR /app
COPY print.sh .
RUN chmod +x print.sh
CMD ["/app/print.sh"]

执行镜像构建命令，推送到你的集群可以拉取的镜像仓库，或者本地测试集群直接加载镜像即可，示例镜像名打为print-demo:v1：

docker build -t print-demo:v1 .

3. 编写K8s资源清单 #

首先创建PVC配置pvc.yaml，用来申请持久化存储空间：

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: print-demo-pvc
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 100Mi
  # 替换为你集群可用的存储类名，本地测试集群也可以直接用hostPath模式的PV
  storageClassName: standard

再创建Deployment配置deploy.yaml，挂载持久卷到进度文件存放路径：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: print-demo
spec:
  replicas: 1
  selector:
    matchLabels:
      app: print-demo
  template:
    metadata:
      labels:
        app: print-demo
    spec:
      containers:
      - name: print-demo
        image: print-demo:v1
        volumeMounts:
        - name: progress-data
          mountPath: /data # 和脚本内进度文件路径保持一致
      volumes:
      - name: progress-data
        persistentVolumeClaim:
          claimName: print-demo-pvc

4. 故障模拟验证步骤 #

• 执行命令部署资源：kubectl apply -f pvc.yaml && kubectl apply -f deploy.yaml
• 查看实时运行日志：kubectl logs -f <替换为实际的Pod名称>，可以看到数字从1开始每2秒打印一个
• 等日志打印到数字10时，手动模拟容器崩溃：执行kubectl exec <替换为实际的Pod名称> -- kill 1杀掉容器主进程，K8s会自动触发容器重启
• 等容器重启完成后再次查看日志，会先输出进度检测提示，之后从数字11开始继续打印直到20，不会再从1重新开始
• 验证过程中你可以随时进入容器查看/data/progress.txt文件，里面存的就是当前最新的执行进度，容器重启后该文件不会丢失。

内容的提问来源于stack exchange，提问作者Ayush