You need to enable JavaScript to run this app. Kubernetes 1.18 RookIO卷Attach失败,Pod卡ContainerCreating如何修复
优惠活动
大模型
产品
解决方案
定价
更多

Kubernetes 1.18 RookIO卷Attach失败,Pod卡ContainerCreating如何修复

Rook Ceph块存储挂载故障排查与解决

核心根因

该问题属于CSI持久化卷状态残留故障:节点异常掉线时,Rook Ceph CSI未收到正常的卷卸载信号,旧的VolumeAttachment记录、Ceph侧RBD卷的主机绑定关系未被清除,即使Pod调度到其他节点,AttachVolume控制器仍会因旧attach状态锁、Ceph侧判定卷仍被旧节点占用,触发attach超时。

分步解决操作

1. 清除残留VolumeAttachment资源

执行命令删除异常的未关联VolumeAttachment记录,触发控制器重新对账:

kubectl delete volumeattachment csi-3424d1bdc5212aeef30e681c9d99df38dd68fdabb47e5f820125c90d54d61d7b

如果删除后仍报错,继续执行后续步骤。

2. 清理Ceph侧RBD卷绑定关系

首先自动匹配Rook工具箱Pod并进入终端:

kubectl exec -it $(kubectl get pod -n rook-ceph -l app=rook-ceph-tools -o name | cut -d/ -f2) -n rook-ceph -- bash

执行命令查看目标RBD卷的当前绑定状态:

rbd status replicapool/csi-vol-0c4a5173-e8a7-11ea-9bd1-0637030c9151

注意:清理前需确认所有关联该PV的Pod都处于未运行状态,避免误踢正在使用的客户端。

  • 如果输出中存在旧节点node05对应的客户端ID,执行强制解绑:
# 替换<旧client id>为上一步输出的对应客户端值
rbd client unmap replicapool/csi-vol-0c4a5173-e8a7-11ea-9bd1-0637030c9151 <旧client id>
  • 如果输出中存在残留锁记录,执行强制删锁:
# 替换<锁名称>、<锁持有者>为rbd status输出的对应值
rbd lock remove replicapool/csi-vol-0c4a5173-e8a7-11ea-9bd1-0637030c9151 <锁名称> <锁持有者>

3. 清理节点本地残留挂载

登录曾绑定该卷的node05节点,执行命令清理本地残留的RBD映射:

# 查找目标卷的本地映射设备
rbd showmapped |grep 0c4a5173-e8a7-11ea-9bd1-0637030c9151
# 先卸载残留挂载点(如果存在)
umount <对应挂载路径>
# 清理本地设备映射,替换<设备路径>为上一步输出的/dev/rbdX值
rbd unmap <设备路径>

4. 重启CSI组件清除缓存

完成上述清理后,重启Rook CSI相关组件,清除内部缓存的异常状态:

# 重启CSI控制器组件
kubectl rollout restart deployment rook-ceph-csi-provisioner -n rook-ceph
kubectl rollout restart deployment rook-ceph-csi-attacher -n rook-ceph
# 重启所有节点上的CSI节点插件
kubectl rollout restart daemonset rook-ceph-csi-nodeplugin -n rook-ceph

等待组件重启完成后,AttachVolume控制器会自动重新发起卷绑定流程,1-2分钟内即可看到VolumeAttachment的ATTACHED状态变为true,Pod会正常进入Running状态。

后续规避方案

  • 节点维护时优先执行kubectl drain <节点名>驱逐Pod,触发正常的卷卸载流程,避免硬重启导致状态残留
  • K8s 1.18版本可调整kube-controller-manager参数--attach-volume-reconcile-sync-period缩短对账周期,加快异常状态检测
  • Rook版本建议升级至1.4.x及以上,该版本修复了大量节点异常离线后的卷状态残留Bug

内容的提问来源于stack exchange,提问作者sfgroups

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.11 19:45:03