Kubernetes 1.18 RookIO卷Attach失败,Pod卡ContainerCreating如何修复
Rook Ceph块存储挂载故障排查与解决
核心根因
该问题属于CSI持久化卷状态残留故障:节点异常掉线时,Rook Ceph CSI未收到正常的卷卸载信号,旧的VolumeAttachment记录、Ceph侧RBD卷的主机绑定关系未被清除,即使Pod调度到其他节点,AttachVolume控制器仍会因旧attach状态锁、Ceph侧判定卷仍被旧节点占用,触发attach超时。
分步解决操作
1. 清除残留VolumeAttachment资源
执行命令删除异常的未关联VolumeAttachment记录,触发控制器重新对账:
kubectl delete volumeattachment csi-3424d1bdc5212aeef30e681c9d99df38dd68fdabb47e5f820125c90d54d61d7b
如果删除后仍报错,继续执行后续步骤。
2. 清理Ceph侧RBD卷绑定关系
首先自动匹配Rook工具箱Pod并进入终端:
kubectl exec -it $(kubectl get pod -n rook-ceph -l app=rook-ceph-tools -o name | cut -d/ -f2) -n rook-ceph -- bash
执行命令查看目标RBD卷的当前绑定状态:
rbd status replicapool/csi-vol-0c4a5173-e8a7-11ea-9bd1-0637030c9151
注意:清理前需确认所有关联该PV的Pod都处于未运行状态,避免误踢正在使用的客户端。
- 如果输出中存在旧节点
node05对应的客户端ID,执行强制解绑:
# 替换<旧client id>为上一步输出的对应客户端值 rbd client unmap replicapool/csi-vol-0c4a5173-e8a7-11ea-9bd1-0637030c9151 <旧client id>
- 如果输出中存在残留锁记录,执行强制删锁:
# 替换<锁名称>、<锁持有者>为rbd status输出的对应值 rbd lock remove replicapool/csi-vol-0c4a5173-e8a7-11ea-9bd1-0637030c9151 <锁名称> <锁持有者>
3. 清理节点本地残留挂载
登录曾绑定该卷的node05节点,执行命令清理本地残留的RBD映射:
# 查找目标卷的本地映射设备 rbd showmapped |grep 0c4a5173-e8a7-11ea-9bd1-0637030c9151 # 先卸载残留挂载点(如果存在) umount <对应挂载路径> # 清理本地设备映射,替换<设备路径>为上一步输出的/dev/rbdX值 rbd unmap <设备路径>
4. 重启CSI组件清除缓存
完成上述清理后,重启Rook CSI相关组件,清除内部缓存的异常状态:
# 重启CSI控制器组件 kubectl rollout restart deployment rook-ceph-csi-provisioner -n rook-ceph kubectl rollout restart deployment rook-ceph-csi-attacher -n rook-ceph # 重启所有节点上的CSI节点插件 kubectl rollout restart daemonset rook-ceph-csi-nodeplugin -n rook-ceph
等待组件重启完成后,AttachVolume控制器会自动重新发起卷绑定流程,1-2分钟内即可看到VolumeAttachment的ATTACHED状态变为true,Pod会正常进入Running状态。
后续规避方案
- 节点维护时优先执行
kubectl drain <节点名>驱逐Pod,触发正常的卷卸载流程,避免硬重启导致状态残留 - K8s 1.18版本可调整kube-controller-manager参数
--attach-volume-reconcile-sync-period缩短对账周期,加快异常状态检测 - Rook版本建议升级至1.4.x及以上,该版本修复了大量节点异常离线后的卷状态残留Bug
内容的提问来源于stack exchange,提问作者sfgroups
相关产品推荐
相关产品推荐

