Kubernetes PV挂载目录已创建但为空，跨Pod读取文件失败如何解决

问题成因 #

• 存储访问模式限制：你的PV和PVC都配置了ReadWriteOnce（RWO）访问模式，该模式仅允许PV被单个节点上的Pod挂载读写，不支持跨节点挂载，哪怕第二个Pod仅执行读操作也不允许。
• 本地存储特性限制：你使用的是hostPath类型的PV，数据实际存储在第一个Pod调度到的节点的本地/data路径下，如果第二个Pod被K8s调度到其他节点，挂载的是当前节点本地的空/data目录，自然无法读到第一个Pod写入的文件。
• 写入缓存未落地：如果两个Pod调度到同一节点仍读不到，大概率是第一个Pod写入文件时，数据还在操作系统页缓存中，没有主动刷入磁盘，程序退出前未执行文件关闭、缓存同步操作，导致文件未实际写入PV对应的磁盘路径。
• PV绑定异常：你的PVC配置中未指定storageClassName: manual，可能出现PVC绑定到集群默认存储类的其他PV的情况，导致两个Pod实际挂载的不是同一个存储卷。

修复方案 #

方案1：单节点集群场景 #

• 先执行kubectl get pvc -n my-namespace确认PVC的STATUS为Bound，且绑定的PV名称是my-pv，如果绑定错误，给PVC添加storageClassName: manual配置后重新创建PVC。
• 给两个TFJob的Pod模板添加nodeSelector配置，强制两个Pod调度到同一节点，示例配置如下，将<第一个Pod运行的节点名称>替换为实际节点的主机名：

spec:
  tfReplicaSpecs:
    Worker:
      template:
        spec:
          nodeSelector:
            kubernetes.io/hostname: <第一个Pod运行的节点名称>

• 修改第一个Pod的写入程序，文件写入完成后主动调用f.close()关闭文件句柄，或者调用os.sync()将缓存强制刷入磁盘。
• 调整Pod启动顺序，等第一个Pod完全运行结束、PV资源被释放后再启动第二个Pod，避免RWO模式下挂载冲突。

方案2：多节点集群场景 #

更换存储后端，弃用不支持跨节点共享的hostPath本地存储，改用支持ReadWriteMany（RWX）访问模式的分布式存储，比如NFS、CephFS、Longhorn等，同时修改PV和PVC的accessModes字段为ReadWriteMany，即可支持跨节点的多个Pod同时读写同一个PV。

内容的提问来源于stack exchange，提问作者camelia