You need to enable JavaScript to run this app.
导航

CloudFS

最近更新时间2023.03.23 14:43:08

首次发布时间2022.11.29 16:27:02

大数据文件存储(Cloud File System,简称 CloudFS)是火山引擎面向大数据和机器学习生态的文件存储和加速服务。在机器学习平台上基于 CloudFS 挂载 TOS 共享文件系统并做缓存加速之前需要完成一些前置步骤,下文将介绍如何在平台上完成相关配置。

使用前提
  1. 当前用户拥有 MLPlatformAdminAccess 的 IAM 策略(配置策略的方法详见权限管理)。

  2. 当前账号下拥有 >=1 个 CloudFS 实例。

    • 如果该账号下未购买 CloudFS 实例,需要具备 CFSFullAccess 的 IAM 策略后前往 CloudFS 的控制台页面创建。
使用步骤
  1. 登录机器学习平台,单击左侧导航栏中的【全局配置】进入对应页面。

  2. 单击【CloudFS】中的【绑定实例】进入实例选择页面,选择若干个符合条件的 CloudFS 实例,提交表单后等待绑定完成。
    alt

  3. 管理员绑定成功后还需要检查算法工程师是否具备如下权限,否则在工程师使用 CloudFS 挂载 TOS 共享文件系统时会因缺少对应权限导致读写报错。

    • 使用 CloudFS 时,算法工程师需要具备 cfs:Readcfs:Write 的权限。
    • 除 CloudFS 权限外,算法工程师还需要对应 TOS 桶的权限才能正常向桶中读写数据。
      • 只读权限:挂载共享文件系统后支持读取桶中数据但无法写入。需要具备 tos:List*tos:Get* 的权限。
      • 读写权限:支持对桶中数据进行读写。需要具备 tos:List*tos:Get*tos:Put*tos:Del* 的权限。
  4. 此时具备适当权限的算法工程师便能在开发机、自定义训练等模块挂载 TOS 时也需要选择某个已绑定的 CloudFS 进行加速。

    • 该功能目前以白名单形式对外开放,开放前无需选择 CloudFS 实例。
      alt