OracleLinux上单节点K8s 1.19.6重启后CoreDNS Pod处于Completed态如何自动拉起
根因说明
从你提供的日志和Pod状态来看,CoreDNS退出是因为收到了外部触发的SIGTERM终止信号,自身进程并没有崩溃,问题的核心是Pod被终止后Deployment控制器没有自动触发重建逻辑,导致退出的Pod一直停留在Completed状态。结合你当前环境是单节点K8s 1.19.6 + OracleLinux 8.3的配置,配套flannel也出现了两个重复DaemonSet管理的条目,说明之前手动调整组件配置时存在资源残留,是触发这个问题的常见诱因。
具体修复步骤
1. 清理残留的CoreDNS静态Pod配置
Kubernetes集群里,只有etcd、apiserver、controller-manager、scheduler这四个核心组件是由/etc/kubernetes/manifests/目录下的静态Pod文件管理的,CoreDNS和网络插件都应该由对应的控制器(Deployment/DaemonSet)管理:
- 执行命令查看静态Pod目录下的文件:
ls /etc/kubernetes/manifests/ - 如果目录下存在
coredns.yaml类的CoreDNS配置文件,直接删除即可。静态Pod的优先级高于Deployment管理的Pod,重启时静态Pod控制器会主动终止同命名空间下重名的Deployment管理Pod,直接触发你日志里看到的SIGTERM退出流程。
2. 校验kubelet启动配置,避免重启时序导致的误终止
K8s 1.19.6版本在OracleLinux 8上存在启动时序兼容问题:如果kubelet启动慢于系统服务的终止/清理流程,会误判运行中的CoreDNS为异常Pod并触发终止:
- 编辑kubelet的系统服务配置,确保服务开机后自动重启,没有启动次数限制:
写入以下内容后保存退出:systemctl edit kubelet.service[Service] Restart=always RestartSec=10 StartLimitIntervalSec=0 - 确认kubelet的cgroup驱动和容器运行时保持一致,执行
systemctl restart kubelet让配置生效。
3. 给CoreDNS Deployment补充自愈兜底配置
默认的CoreDNS配置在收到外部非预期终止信号后,可能因为状态判定滞后残留Completed状态的Pod,补充探针配置和重建策略后可以规避这个问题:
- 执行命令编辑CoreDNS Deployment:
kubectl edit deployment coredns -n kube-system - 在Pod模板的
containers配置块下补充以下两个探针配置,确保进程退出时kubelet直接拉起,不需要等控制器跨组件判定:livenessProbe: httpGet: path: /health port: 8080 initialDelaySeconds: 60 timeoutSeconds: 5 readinessProbe: httpGet: path: /ready port: 8181 initialDelaySeconds: 10 timeoutSeconds: 5 - 确认Deployment里的
restartPolicy为Always,这个值是Deployment管理Pod的默认值,如果手动修改过必须改回,否则Pod退出后永远不会自动重启。
验证操作
配置完成后,先手动删除当前残留的两个Completed状态的CoreDNS Pod,等待新生成的Pod进入Running状态、集群组件运行正常后,执行reboot重启系统,重启完成后CoreDNS会随kubelet自动拉起为Running状态,不需要手动重建。
内容的提问来源于stack exchange,提问作者landon_jt

