PVC卷挂载Pod超时：AWS Kops部署K8s有状态集问题求助

问题描述 #

我正尝试部署一个挂载Persistent Volume的StatefulSet，但出现了将PVC卷挂载到Pod时超时的问题。此前已通过kops在AWS上搭建Kubernetes集群，执行kubectl version命令得到以下版本信息：

$ kubectl version
Client Version: version.Info{Major:"1", Minor:"9", GitVersion:"v1.9.3", GitCommit:"d2835416544f298c919e2ead3be3d0864b52323b", GitTreeState:"clean", BuildDate:"2018-02-07T12:22:21Z", GoVersion:"go1.9.2", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"9", GitVersion:"v1.9.3", GitCommit:"d2835416544f298c919e2ead3be3d0864b52323b", GitTreeState:"clean", BuildDate:"2018-02-07T12:12:27Z", GoVersion:"go1.9.2", Compiler:"gc", Platform:"linux/amd64"}

排查与解决步骤 #

针对AWS Kops搭建的K8s集群里StatefulSet PVC挂载超时的问题，我整理了几个实用的排查方向，你可以一步步验证：

1. 先确认PVC的绑定状态 #

首先运行kubectl get pvc查看你的PVC是否处于Bound状态：

• 如果是Pending，说明PV没有被正确创建或绑定，优先排查：
  • 检查集群StorageClass：用kubectl get storageclass确认默认的gp2（或你指定的）StorageClass存在且正常。
  • 查看PVC事件：kubectl describe pvc <你的PVC名称>，里面会提示具体错误，比如权限不足、可用区不匹配、资源请求超限等。

2. 验证节点的EBS访问权限与状态 #

AWS上的PV本质是EBS卷，节点必须能正常操作EBS才能完成挂载：

• 检查节点IAM角色：Kops创建的节点会带有nodes.k8s.io角色，确保该角色拥有ec2:AttachVolume、ec2:DescribeVolumes等EBS操作权限（可以去AWS IAM控制台查看策略）。
• 检查EBS卷状态：登录AWS EC2控制台，确认对应EBS卷是available或in-use状态，没有被错误挂载到其他实例，也没有故障标记。
• 查看kubelet驱动日志：执行journalctl -u kubelet，检查是否有EBS驱动加载失败、挂载命令执行错误的日志。

3. 检查StatefulSet的VolumeClaimTemplate配置 #

StatefulSet的PVC是通过模板自动创建的，配置错误很容易导致挂载失败：

• 确认storageClassName与集群中存在的StorageClass名称完全一致（注意大小写）。
• 检查存储资源请求：比如resources.requests.storage不能低于EBS卷的最小限制（gp2卷最小1Gi）。
• 验证访问模式：EBS卷仅支持ReadWriteOnce，如果你的StatefulSet需要多节点共享，得改用其他存储类型（比如EFS），否则会导致跨节点挂载超时。

4. 深挖Pod与kubelet的挂载日志 #

挂载超时的核心原因基本都能在日志里找到：

• 查看Pod事件：kubectl describe pod <你的Pod名称>，重点关注FailedMount或TimeoutExpired类型的事件，里面会有具体的错误描述。
• 实时查看kubelet日志：登录Pod所在节点，执行journalctl -u kubelet -f，观察挂载过程中的报错，比如无法连接EBS服务、权限被拒绝等。

5. 考虑K8s 1.9.x版本的已知问题 #

你使用的1.9.3版本存在一些EBS挂载相关的已知问题：

• 可用区不匹配：EBS卷只能在创建时的可用区内使用，如果StatefulSet的Pod被调度到其他AZ，会直接挂载超时。可以给StatefulSet添加节点亲和性，限制Pod调度到目标AZ。
• kubelet挂载重试逻辑缺陷：部分场景下kubelet的挂载重试机制失效，重启kubelet服务（systemctl restart kubelet）可能临时解决问题。

总结 #

先从PVC绑定状态和StorageClass入手，再逐步验证节点权限、配置和日志，大部分挂载超时问题都能快速定位。如果还是无法解决，可以把kubectl describe pvc、kubectl describe pod以及kubelet日志的关键片段贴出来，方便进一步分析。

内容的提问来源于stack exchange，提问作者Roman