You need to enable JavaScript to run this app.
E-MapReduce

E-MapReduce

请输入
  • 文档首页
    • E-MapReduceEMR Serverless 队列操作指南配置与管理队列配置存储网络与vePFS挂载 TOS
复制全文
我的收藏
配置存储网络与vePFS
挂载 TOS
复制全文
我的收藏
挂载 TOS

本文为您介绍挂载vePFS的操作全流程。

背景信息

当前支持通过 FSX 和 S3FS 两种挂载方式方式挂载 TOS。

注意事项

说明

挂载要点

您需要获取有访问 TOS 权限的访问秘钥 AK、SK，通过 AK、SK来实现挂载加密认证。

网络/地域要求

您需要保障 TOS bucket 的地域与 EMR/存储网络 VPC 在同一个地域。

前提条件
  • 已创建 TOS 对象存储，用于挂载至 EMR Serverless 队列中，详细操作请参见：NAS 创建文件系统。
  • 准备有访问 TOS 权限的访问秘钥 AK、SK。获取途径：登录火山引擎控制台，在访问控制 ＞ API访问密钥页面创建和管理您的 Access Key。
  • 已创建 EMR Serverless 独占队列。

挂载 TOS

step1：队列存储网络配置（FSX方式需要）

  1. 登录并进入 EMR 控制台后，在页面左侧导航单击 资源管理>Serverless，单击待绑定存储的 Serverless 队列进入队列详情。
  2. 单击左侧导航的”存储网络与vePFS“，单击”存储网络配置“模块的”立即配置“。
    Image
  3. 选择私有网络，并配置子网与安全组。
    Image

step2：计算组配置共享文件存储

您可以在创建计算组时选择配置共享文件存储，也可修改计算组配置时配置。
Image

参数

配置说明

AK / SK

填写已准备好的AK、SK信息，单击”联通性测试“，完成联通性测试后继续后续参数的配置。

源地址

选择待挂载的 TOS bucket路径。

挂载路径

设置当前存储在 EMR 队列中挂载的路径。

只读开关

设置挂载存储后，是否设置为”只读“。打开开关后，后续仅支持从挂载的存储路径中读取数据，不支持写入数据。

step3：任务中配置共享文件存储

目前 EMR Serverless 产品可支持在下列引擎类型的作业中挂载存储。

  • Spark
  • Ray
  • CustomJob

当前支持在界面上进行设置，也支持在任务提交代码中设置。

  • 界面方式配置
    1. 登录 EMR Serverless 控制台，在左侧导航栏单击 作业中心 > 作业管理，进入作业管理页面后单击右上角的”创建作业“。
      Image
    2. 在创建作业参数配置中配置存储挂载，配置参数与上文中“计算组配置共享文件存储”参数一致。
      Image
  • 代码方式配置
    在作业原参数设置的基础上，您可以通过增加serverless.fsx.volumes参数来指定您需要在作业中挂载的文件系统路径及对应在 Pod 中的路径。
    同时，由于 fsx 访问协议服务接入点需要跨 VPC，因此，使用FSX挂载时，提交任务时需开启跨 VPC 设置。

    • 配置示例

      -- 开启跨VPC网络配置
set serverless.cross.vpc.access.enabled = true;

-- 设置存储挂载参数
set serverless.fsx.volumes=[{"type": "vepfs", "fileSystemId": "vepfs-cnxxx", "volumePath": "/abc/", "mountPath": "/data/def", "capacity": "100Gi", "readOnly": false}];

select 1;

      说明

      在 Spark 作业中挂载 NAS 文件系统时，需要增加set spark.files.useFetchCache=false;配置。

    • 参数说明

      参数名

      是否必填

      默认值

      说明

      type

      是

      无

      文件系统类型，此处可选值为：

      • vepfs
      • nas

      fileSystemId

      是

      无

      文件系统 ID

      volumePath

      是

      无

      文件系统待挂载的路径（vePFS/NAS 中的原路径），需满足：

      • 该路径在文件系统实例中已存在
      • 该路径是文件系统某个协议服务接入点根目录的子路径

      mountPath

      是

      无

      挂载到 Pod 中的路径

      capacity

      否

      100Gi

      容量

      readOnly

      否

      false

      是否为只读，false 为读写，true 为只读

注意

配置了存储挂载的作业暂无法使用独占队列的弹性资源，仅能在固定资源中执行。若固定资源被占满，这类作业会排队等待，直至固定资源释放后再调度执行

最近更新时间：2026.02.09 18:26:30
这个页面对您有帮助吗？
有用
有用
无用
无用