大数据文件存储(Cloud File System,简称 CloudFS)是火山引擎面向大数据和机器学习生态的文件存储和加速服务。在机器学习平台上基于 CloudFS 挂载 TOS 共享文件系统并做缓存加速之前需要完成一些前置步骤,下文将介绍如何在平台上完成相关配置。
使用前提
- 当前用户拥有
MLPlatformAdminAccess 的 IAM 策略(配置策略的方法详见权限管理)。 - 当前账号下拥有 >=1 个 CloudFS 实例。
- 如果该账号下未购买 CloudFS 实例,需要具备
CFSFullAccess 的 IAM 策略后前往 CloudFS 的控制台页面创建。
使用步骤
- 登录机器学习平台,单击左侧导航栏中的【全局配置】进入对应页面。
- 单击【CloudFS】中的【绑定实例】进入实例选择页面,选择若干个符合条件的 CloudFS 实例,提交表单后等待绑定完成。

- 保障MLP以及CloudFS产品网络互通,请配置/检查:
- 使用 CLoudFS 的资源组,配置的负载 VPC 与 CLoudFS 授权的 VPC 一致;并在 CloudFS 控制台 私有网络页签 为所有网络 开启全子网访问。

- 使用 CLoudFS 的资源组,与 CLoudFS 配置同一安全组,并确认规则“允许安全组内的云服务器彼此通信”存在。
- 管理员绑定成功后还需要检查算法工程师是否具备如下权限,否则在工程师使用 CloudFS 挂载 TOS 共享文件系统时会因缺少对应权限导致读写报错。
- 使用 CloudFS 时,算法工程师需要具备
cfs:Read 和 cfs:Write 的权限。 - 除 CloudFS 权限外,算法工程师还需要对应 TOS 桶的权限才能正常向桶中读写数据。
- 只读权限:挂载共享文件系统后支持读取桶中数据但无法写入。需要具备
tos:List*、tos:Get* 的权限。 - 读写权限:支持对桶中数据进行读写。需要具备
tos:List*、tos:Get*、tos:Put*、tos:Del* 的权限。
- 此时具备适当权限的算法工程师便能在开发机、自定义训练等模块挂载 TOS 时也需要选择某个已绑定的 CloudFS 进行加速。
- 该功能目前以白名单形式对外开放,开放前无需选择 CloudFS 实例。
