Ephemeral volume存储限制触发Pod驱逐后进入错误状态求助

问题场景 #

配置了Deployment的临时存储容量限制，当emptyDir达到1Gi限制时Pod会被驱逐（符合预期），但驱逐后Pod在终止宽限期结束后进入错误状态，触发ExceededGracePeriod警告，此时Deployment下同时存在一个正常运行Pod和一个错误状态Pod。尝试过增加terminationGracePeriodSeconds、添加preStop钩子、给emptyDir设置存储限制等方法，均未解决问题。

对应的Deployment配置：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: vol
  namespace: namespace1
  labels:
    app: vol
spec:
  replicas: 1
  selector:
    matchLabels:
      app: vol
  template:
    metadata:
      labels:
        app: vol
    spec:
      containers:
        - name: vol
          image: <my-image>
          ports:
            - containerPort: 5000
          resources:
            limits:
              ephemeral-storage: "1Gi"
          volumeMounts:
            - name: ephemeral
              mountPath: "/volume"
      volumes:
        - name: ephemeral
          emptyDir: {}

解决思路 #

1. 排查容器进程的信号处理逻辑 #

ExceededGracePeriod本质是容器没能在宽限期内响应TERM信号正常退出：

• 检查应用是否监听并正确处理TERM信号：比如后台服务是否在收到TERM时执行资源清理、关闭连接后退出，避免进程僵死。
• 如果应用本身不支持TERM信号处理，在容器启动命令中加入tini作为入口进程，它会负责转发信号并确保子进程被正确终止。

2. 精准配置存储限制 #

给emptyDir直接设置sizeLimit，和容器的ephemeral-storage limits配合，让存储超限触发更及时准确，避免因容器内其他临时文件占用导致驱逐逻辑混乱：

volumes:
  - name: ephemeral
    emptyDir:
      sizeLimit: "1Gi"

3. 调整kubelet驱逐相关配置 #

检查节点kubelet的驱逐阈值设置，确保存储触发条件合理：

• 查看eviction-hard配置，比如设置nodefs.available<10%,imagefs.available<15%，避免节点存储剩余过少时才触发驱逐，导致Pod终止资源不足。
• 修改kubelet配置后需要重启kubelet服务生效。

4. 修复Deployment的Pod管理逻辑 #

出现错误Pod残留，可能是控制器没正确识别Pod状态：

• 确认Deployment的spec.selector.matchLabels和Pod模板的metadata.labels完全一致，确保控制器能管理所有关联Pod。
• 检查节点kubelet的podGCThreshold参数，若阈值过高会导致终止状态的Pod无法被及时清理，可适当降低该值。

5. 配置PodDisruptionBudget #

通过PDB限制同时运行的Pod数量，避免驱逐过程中出现多个Pod共存的情况：

apiVersion: policy/v1
kind: PodDisruptionBudget
metadata:
  name: vol-pdb
  namespace: namespace1
spec:
  minAvailable: 1
  selector:
    matchLabels:
      app: vol

内容的提问来源于stack exchange，提问作者Ashish