vePFS

最近更新时间：2023.04.13 11:37:08

首次发布时间：2022.09.27 19:58:21

火山引擎 vePFS 是一种高吞吐、低延时、可扩展并行的文件系统，用户将 vePFS 挂载到开发机、自定义任务中即可实现高性能的数据读写。同时机器学习平台支持用户基于 vePFS Fileset 配置挂载权限，实现较为精细的权限管控。

相关概念

使用前提

当前用户拥有 MLPlatformAdminAccess 的 IAM 策略（配置策略的方法详见权限管理）。
- 如果以 IAM 中的用户组配置挂载权限，需要额外配置 IAMReadOnlyAccess 的策略以获取用户组列表。
当前账号完成 VPC 的全局配置并在该 VPC 下创建 vePFS 实例及挂载点。
- 如果配置非根目录（/）的挂载权限，需要具备 vePFSFullAccess 的 IAM 策略前往 vePFS 的控制台页面创建 Fileset。

使用步骤

登录机器学习平台，单击左侧导航栏中的【全局配置】进入对应页面。
单击【vePFS】中的【绑定实例】进入实例选择页面，选择一个符合条件的 vePFS 实例，提交表单后等待绑定完成。
- 若当前不存在可用的 vePFS 实例，请前往 vePFS 控制后创建。
- 平台当前仅支持绑定 1 个 vePFS 实例，绑定后若想解绑请联系平台技术人员。
- 为避免跟平台的网段冲突，请选择位于 172.24~26.0.0/16 网段内的 vePFS 实例。
- 绑定实例后也能通过【禁用】来临时限制用户在机器学习平台上使用 vePFS。
待实例绑定完成后，单击【添加挂载权限】进入对应页面后需要配置如下参数。

参数名称 参数说明

vePFS 实例选择某个已绑定的 vePFS 实例，在该实例中进行细粒度的挂载权限隔离。必填。

参数名称	参数说明
vePFS 实例	选择某个已绑定的 vePFS 实例，在该实例中进行细粒度的挂载权限隔离。必填。
授权目录	需要配置挂载权限的目录，支持针对根目录、Fileset 目录以及 Fileset 下的子目录进行配置必填。根目录（`/`）：该 vePFS 文件系统的根目录，挂载后能访问该实例下的所有目录，相当于最高权限。 Fileset 目录：vePFS 中的某个 Fileset 对应的目录，挂载后仅能访问该目录及其子目录，Fileset 需要提前创建。 Fileset 下的子目录：选择了某个 Fileset 目录后，还支持用户手动填写一个该目录下的子目录路径实现更细粒度的权限控制。
授权范围	将上述目录授权给哪些用户使用，支持对主账号内所有用户开放或仅在指定范围内开放。必填。主账号内所有成员：主账号下所有子账号都能挂载该目录。指定范围内的成员：指定队列：仅指定队列中的成员能挂载该目录。指定用户组：仅指定用户组中的成员能挂载该目录，用户组的配置需要提前在【访问控制】中完成。进行该配置时需要具备 `IAMReadOnlyAccess` 的策略，否则无法获取用户组列表。指定子账号：仅指定子账号能挂载该目录，子账号的创建需要提前在【访问控制】中完成。

授权目录

需要配置挂载权限的目录，支持针对根目录、Fileset 目录以及 Fileset 下的子目录进行配置必填。

授权范围

将上述目录授权给哪些用户使用，支持对主账号内所有用户开放或仅在指定范围内开放。必填。

主账号内所有成员：主账号下所有子账号都能挂载该目录。
指定范围内的成员：
- 指定队列：仅指定队列中的成员能挂载该目录。
- 指定用户组：仅指定用户组中的成员能挂载该目录，用户组的配置需要提前在【访问控制】中完成。
  - 进行该配置时需要具备 IAMReadOnlyAccess 的策略，否则无法获取用户组列表。
- 指定子账号：仅指定子账号能挂载该目录，子账号的创建需要提前在【访问控制】中完成。

完成上述表单的提交后将生成一条挂载权限的配置记录，后续用户即可在创建开发机、自定义任务时以目录的粒度挂载 vePFS 共享文件系统。
如有需要，用户后续可通过【编辑】入口进行授权范围的动态修改或者通过【删除】入口删除该条记录，删除后挂载权限将回收。
- 如下图所示，该主账号下的所有子账号都能在创建开发机、自定义训练任务时挂载 /wch/fileset02/test 这个 vePFS 中的目录，而 /wch/fileset02/sub 这个目录仅某些用户能使用。