You need to enable JavaScript to run this app.
导航
挂载共享文件系统
最近更新时间:2025.07.29 15:12:58首次发布时间:2022.01.26 13:45:46
复制全文
我的收藏
有用
有用
无用
无用

平台提供 TOS、NAS、vePFS 多种存储方案,并支持以共享文件系统的形式挂载到训练容器中。用户能在尽量不修改代码的前提下,像操作本地文件一样地操作远端数据,并在训练容器停止或者删除后远端数据也不会丢失。下文将以【开发机】为例介绍如何挂载共享文件系统。

相关概念

使用前提
  • 至少存在 >= 1 个 NAS / vePFS 的实例(需要额外联系管理员创建)或者 TOS 的存储桶(Bucket)。
  • 使用 NAS 或 vePFS 时,需要在资源组绑定存储的私有网络和子网。
  • 使用 vePFS 时,需要先在全局配置完成绑定,并在资源组上完成授权。

操作步骤
  1. 参考创建开发机完成开发机的创建(如果使用的是【自定义训练】模块则参考发起单机 / 分布式训练任务创建训练任务),填写完镜像、资源组、计算规格等基本信息后进入共享文件系统的挂载环节。
  2. 根据用户的实际需要选择添加 TOS、NAS、vePFS 中的一种或多种共享文件系统,每种存储方案的共享文件系统需要配置的参数不尽相同。

存储选项

配置说明

TOS(Fuse 版)

  • 源地址
    • 必填。选择需要挂载的 TOS 桶地址,或者填写 TOS 的访问链接,例如:tos://vemlp-cn/dataset/test/
  • 容器内访问路径
    • 必填。填写 TOS 文件系统在训练容器中的挂载地址,例如 /root/tos。在容器内访问时,可直接访问对应文件目录的内容。
  • 鉴权
    • 必填。需要填写对应源地址的可访问的 AKSK 用于鉴权。

vePFS

  • 源地址
    • 必填。选择需要使用的 vePFS 实例和挂载路径。例如 vemlp/test,即代表 vemlp 实例下的 /test 路径
    • 前置条件
      • 使用 vePFS 时,需预先选定所使用的队列。若所选队列(预付费队列)关联的资源组已配置过存储网络和 vePFS 实例,则在此处可选择到可用实例。
      • 若资源组已配置过,但没有可选项时,请联系管理员在全局配置中创建对应实例的挂载权限。操作路径为:【全局配置】->【vePFS 实例】->【添加挂载权限】。
  • 容器内访问路径
    • 必填。填写 vePFS 文件系统在训练容器中的挂载地址,例如 /root/vepfs。在容器内访问时,可直接访问对应文件目录的内容。
  • 读写权限
    • 必填。若所选目录具备读写权限,在挂载时可将挂载方式修改为只读,此修改仅对本次挂载生效。

NAS

  • 源地址
    • 必填。选择需要使用的 NAS 实例。支持缓存型、容量型和极速型。
    • 前置条件
      • 使用 NAS 时,需预先选定所使用的队列。若所选队列(预付费队列)关联的资源组已配置过存储网络,则在此处可选择到可用实例。
  • 容器内访问路径
    • 必填。填写 NAS 文件系统在训练容器中的挂载地址,例如 /root/nas。在容器内访问时,可直接访问对应文件目录的内容。

NAS(接入点挂载)
仅开白使用

  • 文件系统实例
    • 必填。选择需要使用的 NAS 实例。支持缓存型、容量型和极速型。
  • 文件系统协议
    • 必填。选择需要挂载的方式,支持 Fsx 协议(接入点)和 NFS 协议(挂载点)。
  • 文件系统目录
    • 必填。填写需要挂载的目录。当选择的协议是 Fsx 协议时,默认会填写接入点对应的目录地址。
  • 容器内访问路径
    • 必填。填写 NAS 文件系统在训练容器中的挂载地址,例如 /root/nas。在容器内访问时,可直接访问对应文件目录的内容。
  • 鉴权
    • 必填。需要填写对应源地址的可访问的 AKSK 用于鉴权。
    • 仅当满足以下条件时,需要鉴权:【缓存型】-【Fsx 协议】-【目录开启 IAM 鉴权】

TOS(CLoudFS 加速版)

  • CLoudFS 实例
    • 必填。选择需要加速的 CLoudFS 实例。该挂载方式需要先在全局配置绑定 CLoudFS 实例。
  • 源地址
    • 必填。选择需要挂载的 TOS 桶地址,或者填写 TOS 的访问链接,例如:tos://vemlp-cn/dataset/test/
  • 容器内访问路径
    • 必填。填写 TOS 文件系统在训练容器中的挂载地址,例如 /root/tos。在容器内访问时,可直接访问对应文件目录的内容。
  • 鉴权
    • 必填。需要填写对应源地址的可访问的 AKSK 用于鉴权。

SFCS
仅开白使用

  • SFCS 实例
    • 必填。选择需要加速的 SFCS 实例。该挂载方式需要先在资源组绑定 SFCS 实例。
  • 源地址
    • 必填。选择需要挂载的 TOS 桶地址,或者填写 TOS 的访问链接,例如:tos://vemlp-cn/dataset/test/
  • 容器内访问路径
    • 必填。填写 TOS 文件系统在训练容器中的挂载地址,例如 /root/tos。在容器内访问时,可直接访问对应文件目录的内容。
  • 鉴权
    • 必填。需要填写对应源地址的可访问的 AKSK 用于鉴权。
  1. 填写完上述配置后提交表单等待开发机状态达到运行中后,通过使用顶部菜单的【Terminal】-【New Terminal】打开终端,在终端(或者训练代码)读写各共享文件系统中的文件。