You need to enable JavaScript to run this app.
导航
CloudFS
最近更新时间:2025.08.06 21:32:26首次发布时间:2022.11.29 16:27:02
复制全文
我的收藏
有用
有用
无用
无用

大数据文件存储(Cloud File System,简称 CloudFS)是火山引擎面向大数据和机器学习生态的文件存储和加速服务。在机器学习平台上基于 CloudFS 挂载 TOS 共享文件系统并做缓存加速之前需要完成一些前置步骤,下文将介绍如何在平台上完成相关配置。

使用前提
  1. 当前用户拥有 MLPlatformAdminAccess 的 IAM 策略(配置策略的方法详见权限管理)。
  2. 当前账号下拥有 >=1 个 CloudFS 实例。
    • 如果该账号下未购买 CloudFS 实例,需要具备 CFSFullAccess 的 IAM 策略后前往 CloudFS 的控制台页面创建。

使用步骤
  1. 登录机器学习平台,单击左侧导航栏中的【全局配置】进入对应页面。
  2. 单击【CloudFS】中的【绑定实例】进入实例选择页面,选择若干个符合条件的 CloudFS 实例,提交表单后等待绑定完成。
    Image
  3. 保障MLP以及CloudFS产品网络互通,请配置/检查:
    • 使用 CLoudFS 的资源组,配置的负载 VPC 与 CLoudFS 授权的 VPC 一致;并在 CloudFS 控制台 私有网络页签 为所有网络 开启全子网访问。
      Image
    • 使用 CLoudFS 的资源组,与 CLoudFS 配置同一安全组,并确认规则“允许安全组内的云服务器彼此通信”存在。
  4. 管理员绑定成功后还需要检查算法工程师是否具备如下权限,否则在工程师使用 CloudFS 挂载 TOS 共享文件系统时会因缺少对应权限导致读写报错。
    • 使用 CloudFS 时,算法工程师需要具备 cfs:Readcfs:Write 的权限。
    • 除 CloudFS 权限外,算法工程师还需要对应 TOS 桶的权限才能正常向桶中读写数据。
      • 只读权限:挂载共享文件系统后支持读取桶中数据但无法写入。需要具备 tos:List*tos:Get* 的权限。
      • 读写权限:支持对桶中数据进行读写。需要具备 tos:List*tos:Get*tos:Put*tos:Del* 的权限。
  5. 此时具备适当权限的算法工程师便能在开发机、自定义训练等模块挂载 TOS 时也需要选择某个已绑定的 CloudFS 进行加速。
    • 该功能目前以白名单形式对外开放,开放前无需选择 CloudFS 实例。
      Image