如何在搭载TPU的K8s集群中使用GCP Filestore NFS存储

TPU存储相关问题解答 #

• GCS 不是使用TPU的强制要求，官方文档仅将其作为开箱即用的最优实践示例提供，无硬性依赖。
• TPU芯片本身不会直接访问任何外部存储，所有文件IO操作都由Pod内的业务进程（训练/推理代码）先从挂载的存储介质读取到Pod内存后，再通过TPU驱动传递给TPU芯片，因此TPU完全感知不到后端存储的类型，只要Pod能正常挂载并读写对应路径，就能正常使用。
• 共享Filestore NFS挂载可以完全正常适配：你只需将现有NFS按常规方式挂载到Pod的/home/job路径，代码中直接读写该路径下的文件即可，无需做任何TPU专属改造，实测在v4、v5e、v5p等主流TPU型号下都可以稳定运行。
• GCS Fuse方案完全可行：你可以通过GCS Fuse将存储桶挂载到Pod的/home/job路径，用户侧同样无感知，需要注意两点：
  • 需提前配置好访问权限，可通过节点ServiceAccount或Workload Identity授予对应GCS存储桶的读写权限
  • 小文件随机读写性能略低于Filestore NFS，大文件顺序读写性能基本持平，可根据业务IO特性选择
• 官方文档示例中使用gs://格式路径的原因是主流ML框架（TensorFlow、PyTorch、JAX等）内置了原生GCS客户端支持，框架可直接通过API访问GCS资源，属于简化方案，不代表TPU仅支持该格式路径，普通POSIX路径/home/job完全可以正常使用。

内容的提问来源于stack exchange，提问作者hamx0r