GKE集群Pod重启后NFS卷无法挂载报错排查问询

• 首先核对NFS PV配置：检查accessModes、storageClassName、NFS服务IP、导出路径是否和正常运行的生产环境配置一致，重点确认该GKE集群是否开启了Workload Identity、PodSecurityPolicy或安全上下文约束，限制了卷挂载相关权限
• 清理节点残留挂载：登录故障Pod调度的目标节点，执行mount | grep nfs检查是否存在stale状态的旧NFS挂载记录，若存在执行umount -l <对应挂载路径>清理；同时删除/var/lib/kubelet/pods/<故障Pod UID>/volumes/kubernetes.io~nfs/下的残留目录后，重启Pod验证
• 适配GKE节点操作系统配置：如果集群节点使用Container-Optimized OS(COS)，需要在PV的mountOptions字段中明确指定NFS协议版本（如nfsvers=4.2），避免版本协商超时；同时检查VPC防火墙规则，确认节点到NFS服务的111、2049端口，以及NFS挂载相关的随机端口已放行
• 调整挂载超时参数：kubelet默认卷挂载超时时间为60s，若NFS服务响应延迟较高，可在PV的mountOptions中添加timeo=600、retrans=2参数延长超时阈值

• 内核日志：在故障节点执行dmesg，可查看NFS挂载的底层内核报错，比如权限拒绝、协议不支持、网络不可达等问题
• 节点systemd日志：执行journalctl -u kubelet --since "1h ago"可查看完整的kubelet挂载调用全链路日志，定位超时发生的具体阶段
• NFS服务端日志：查看NFS服务器的系统日志，确认Pod挂载请求是否到达服务端，是否有挂载超限、权限校验失败的报错
• 集群事件：执行kubectl describe pvc <关联PVC名称>、kubectl describe pod <故障Pod名称>查看关联的事件信息，通常会标注挂载失败的具体原因
• kube-controller-manager日志：GKE托管集群可通过云平台日志服务过滤控制器管理器的PV绑定、挂载相关日志，排查控制面的调度绑定问题
• 若集群使用NFS CSI驱动，可查看kube-system命名空间下NFS CSI相关Pod的日志，排查CSI调用链路的异常

内容的提问来源于stack exchange，提问作者Mugen