节点重启后ETCD文件损坏致Kubernetes无法启动，请求排查解决

遇到这种etcd快照损坏导致K8s集群罢工的情况别慌，咱们一步步来修复：

一、先停掉相关服务，避免二次损坏 #

首先得把依赖etcd的K8s组件和etcd本身停掉，防止服务在损坏状态下继续读写，把问题搞大：

systemctl stop kube-apiserver
systemctl stop etcd

二、移除损坏的快照文件 #

从你给出的报错信息来看，0000000000000005-00000000008cb33c.snap这个快照已经彻底损坏了，直接删掉它就行。要是之后想排查损坏原因，也可以先把这个文件复制到其他安全目录备份一下：

# 可选：先备份损坏文件
mkdir -p /tmp/broken-snap/
cp /var/lib/etcd/member/snap/0000000000000005-00000000008cb33c.snap /tmp/broken-snap/

# 删除损坏文件
rm -f /var/lib/etcd/member/snap/0000000000000005-00000000008cb33c.snap

三、用正常的快照恢复ETCD数据 #

接下来找你列表里最新的那个可用快照，比如0000000000000005-00000000008c651a.snap，用它来恢复etcd的数据。注意下面命令里的参数要和你原来的etcd配置匹配，比如节点名称、集群地址这些，你可以从/etc/etcd/etcd.conf或者etcd的systemd服务文件里找对应的配置：

etcdctl snapshot restore /var/lib/etcd/member/snap/0000000000000005-00000000008c651a.snap \
  --data-dir=/var/lib/etcd \
  --name=etcd-node-01 \
  --initial-cluster=etcd-node-01=http://你的节点IP:2380 \
  --initial-cluster-token=etcd-cluster-1 \
  --initial-advertise-peer-urls=http://你的节点IP:2380

四、修复数据目录的权限 #

恢复之后，一定要确保etcd数据目录的权限是对的，否则etcd服务启动会因为权限问题报错：

chown -R etcd:etcd /var/lib/etcd

五、重启服务并验证修复效果 #

先启动etcd，再依次启动K8s的核心组件：

systemctl start etcd
systemctl start kube-apiserver
systemctl start kube-controller-manager kube-scheduler kubelet

然后验证etcd是否正常运行：

etcdctl endpoint health

最后检查K8s集群状态，确认节点和Pod都恢复正常：

kubectl get nodes
kubectl get pods -A

后续预防小建议 #

• 定期自动备份etcd快照，比如用cron任务每天执行一次快照备份，存到安全的位置
• 开启etcd的自动压缩功能，避免快照文件堆积过多
• 定期检查节点磁盘的健康状态，比如用smartctl工具排查磁盘坏道，防止因为硬件问题导致文件损坏

内容的提问来源于stack exchange，提问作者Nicola Ben