平台提供 TOS、NAS、vePFS 多种存储方案,并支持以共享文件系统的形式挂载到训练容器中。用户能在尽量不修改代码的前提下,像操作本地文件一样地操作远端数据,并在训练容器停止或者删除后远端数据也不会丢失。下文将以【开发机】为例介绍如何挂载共享文件系统。
相关概念
使用前提
- 至少存在 >= 1 个 NAS / vePFS 的实例(需要额外联系管理员创建)或者 TOS 的存储桶(Bucket)。
- 使用 NAS 或 vePFS 时,需要在资源组绑定存储的私有网络和子网。
- 使用 vePFS 时,需要先在全局配置完成绑定,并在资源组上完成授权。
操作步骤
- 参考创建开发机完成开发机的创建(如果使用的是【自定义训练】模块则参考发起单机 / 分布式训练任务创建训练任务),填写完镜像、资源组、计算规格等基本信息后进入共享文件系统的挂载环节。
- 根据用户的实际需要选择添加 TOS、NAS、vePFS 中的一种或多种共享文件系统,每种存储方案的共享文件系统需要配置的参数不尽相同。
存储选项 | 配置说明 |
|---|
TOS(Fuse 版) | - 源地址
- 必填。选择需要挂载的 TOS 桶地址,或者填写 TOS 的访问链接,例如:
tos://vemlp-cn/dataset/test/。
- 容器内访问路径
- 必填。填写 TOS 文件系统在训练容器中的挂载地址,例如
/root/tos。在容器内访问时,可直接访问对应文件目录的内容。
- 鉴权
- 必填。需要填写对应源地址的可访问的 AKSK 用于鉴权。
|
vePFS | - 源地址
- 必填。选择需要使用的 vePFS 实例和挂载路径。例如
vemlp/test,即代表 vemlp 实例下的 /test 路径 - 前置条件:
- 使用 vePFS 时,需预先选定所使用的队列。若所选队列(预付费队列)关联的资源组已配置过存储网络和 vePFS 实例,则在此处可选择到可用实例。
- 若资源组已配置过,但没有可选项时,请联系管理员在全局配置中创建对应实例的挂载权限。操作路径为:【全局配置】->【vePFS 实例】->【添加挂载权限】。
- 容器内访问路径
- 必填。填写 vePFS 文件系统在训练容器中的挂载地址,例如
/root/vepfs。在容器内访问时,可直接访问对应文件目录的内容。
- 读写权限
- 必填。若所选目录具备读写权限,在挂载时可将挂载方式修改为只读,此修改仅对本次挂载生效。
|
NAS | - 源地址
- 必填。选择需要使用的 NAS 实例。支持缓存型、容量型和极速型。
- 前置条件:
- 使用 NAS 时,需预先选定所使用的队列。若所选队列(预付费队列)关联的资源组已配置过存储网络,则在此处可选择到可用实例。
- 容器内访问路径
- 必填。填写 NAS 文件系统在训练容器中的挂载地址,例如
/root/nas。在容器内访问时,可直接访问对应文件目录的内容。
|
NAS(接入点挂载)
仅开白使用 | - 文件系统实例
- 必填。选择需要使用的 NAS 实例。支持缓存型、容量型和极速型。
- 文件系统协议
- 必填。选择需要挂载的方式,支持 Fsx 协议(接入点)和 NFS 协议(挂载点)。
- 文件系统目录
- 必填。填写需要挂载的目录。当选择的协议是 Fsx 协议时,默认会填写接入点对应的目录地址。
- 容器内访问路径
- 必填。填写 NAS 文件系统在训练容器中的挂载地址,例如
/root/nas。在容器内访问时,可直接访问对应文件目录的内容。
- 鉴权
- 必填。需要填写对应源地址的可访问的 AKSK 用于鉴权。
- 仅当满足以下条件时,需要鉴权:【缓存型】-【Fsx 协议】-【目录开启 IAM 鉴权】
|
TOS(CLoudFS 加速版) | - CLoudFS 实例
- 必填。选择需要加速的 CLoudFS 实例。该挂载方式需要先在全局配置绑定 CLoudFS 实例。
- 源地址
- 必填。选择需要挂载的 TOS 桶地址,或者填写 TOS 的访问链接,例如:
tos://vemlp-cn/dataset/test/。
- 容器内访问路径
- 必填。填写 TOS 文件系统在训练容器中的挂载地址,例如
/root/tos。在容器内访问时,可直接访问对应文件目录的内容。
- 鉴权
- 必填。需要填写对应源地址的可访问的 AKSK 用于鉴权。
|
SFCS
仅开白使用 | - SFCS 实例
- 必填。选择需要加速的 SFCS 实例。该挂载方式需要先在资源组绑定 SFCS 实例。
- 源地址
- 必填。选择需要挂载的 TOS 桶地址,或者填写 TOS 的访问链接,例如:
tos://vemlp-cn/dataset/test/。
- 容器内访问路径
- 必填。填写 TOS 文件系统在训练容器中的挂载地址,例如
/root/tos。在容器内访问时,可直接访问对应文件目录的内容。
- 鉴权
- 必填。需要填写对应源地址的可访问的 AKSK 用于鉴权。
|
- 填写完上述配置后提交表单等待开发机状态达到
运行中后,通过使用顶部菜单的【Terminal】-【New Terminal】打开终端,在终端(或者训练代码)读写各共享文件系统中的文件。