You need to enable JavaScript to run this app.
导航
E-MapReduce
  • 文档首页
    • /E-MapReduce/EMR Serverless 队列操作指南/运维管理/存储挂载
存储挂载
最近更新时间：2025.08.18 21:23:08首次发布时间：2025.06.26 11:18:13
复制全文
我的收藏
有用
有用
无用
无用

前提条件

注意

NAS仅缓存型实例支持FSX协议，创建NAS实例时请选择缓存型。

  • 确保文件系统实例开通 FSX 协议服务。
    • vePFS 实例管理页面选择并创建协议服务，协议服务类型为 FSX。详细操作请参见：管理 FSX 协议服务。
    • NAS 实例需联系 NAS 存储团队开通并绑定 FSX 协议服务。如有需要请提工单联系技术人员开通服务。
  • EMR Serverless 开通独占队列，并绑定 VPC。操作路径：EMR 控制台 > 资源管理 > Serverless > 独占队列名称 > 队列详情 > 网络设置。
  • 确保文件系统实例接入点所在 VPC 与 EMR Serverless 独占队列绑定 VPC 一致。

说明

文件系统接入点 VPC 的配置请参考创建接入点。

创建接入点

EMR Serverless 通过 FSX 协议挂载 vePFS/NAS 接入点，首先需要在 vePFS/NAS 控制台创建好接入点以便后续挂载和访问。

说明

若您需要通过 EMR 控制台管理进行挂载权限配置则可以跳过此步骤，EMR 控制台创建路径权限时会自动创建接入点。

vePFS

操作路径：vePFS 控制台 > 文件系统 > 文件系统列表 > 文件系统名称 > 协议服务 > 接入点管理 > 创建接入点。
Image

说明

  • 接入点私有网络建议和文件系统实例私有网络保持一致，若不一致请确保两个 VPC 网络互通。
  • 接入点根目录填写"/"即可（若您需要限制访问特定目录下的文件，可填特定目录）。

NAS

操作路径：NAS 控制台 > 文件系统 > 文件系统列表 > 文件系统名称 > 接入点 > 创建接入点。
Image

说明

  • 接入点私有网络建议和文件系统实例私有网络保持一致，若不一致请确保两个VPC网络互通。
  • 权限组选择默认权限组即可。
  • 接入点根目录填写"/"即可（若您需要限制访问特定目录下的文件，可填特定目录）。

权限管理

vePFS/NAS 接入点默认对本账号下所有子用户开放读写，如果您对子用户的读写权限有管控需求，可以通过以下两种方式管理权限：

方式一：通过 IAM 管理

打开 IAM 权限（以 vePFS 为例）。

  1. 登录 vePFS 控制台，选择文件系统>文件系统列表，选择需要的文件系统，进入文件系统详情页面。
  2. 选择协议服务 > 接入点管理，选择需要管理的接入点，点击接入点策略，开启IAM策略。

Image

说明

IAM 策略开启后，默认所有子用户无访问权限。特定子用户需接入点读写权限，可参考 权限策略。

方式二：通过 EMR 控制台管理

说明

您须拥有队列 Admin 权限和 vePFS/NAS 文件系统修改权限。

  1. 登录 EMR 控制台，选择资源管理 > Serverless。
  2. 在 EMR Serverless 页面，单击目标队列的队列名称。
  3. 在队列详情页面，点击存储挂载。
  4. 单击目标挂载服务右侧添加挂载权限或删除，可添加或删除子用户/用户组的读写权限。

Image

注意

  • EMR 控制台的权限列表仅显示并可管理通过该控制台创建、修改的权限，无法管理通过方式一在 IAM 手动设置的权限。
  • 作业实际执行时的读写权限为方式一和方式二的权限并集，您可以通过任意一种方式给子用户授权。

提交任务

目前 EMR Serverless 产品可支持在下列引擎类型的作业中挂载 vePFS/NAS：

  • Spark
  • Ray
  • CustomJob

在作业原参数设置的基础上，您可以通过增加serverless.fsx.volumes参数来指定您需要在作业中挂载的 vePFS/NAS 文件系统路径及对应在 Pod 中的路径。同时，由于 fsx 访问协议服务接入点需要跨 VPC，因此提交任务时需开启跨 VPC 设置。

示例

-- 开启跨VPC网络配置
set serverless.cross.vpc.access.enabled = true;

-- 设置vePFS/NAS挂载参数
set serverless.fsx.volumes=[{"type": "vepfs", "fileSystemId": "vepfs-cnxxx", "volumePath": "/abc/", "mountPath": "/data/def", "capacity": "100Gi", "readOnly": false}];

select 1;

说明

在 Spark 作业中挂载 NAS 文件系统时，需要增加set spark.files.useFetchCache=false;配置。

参数说明

参数名

是否必填

默认值

说明

type

是

无

文件系统类型，此处可选值为：

  • vepfs
  • nas

fileSystemId

是

无

文件系统 ID

volumePath

是

无

文件系统待挂载的路径（vePFS/NAS 中的原路径），需满足：

  • 该路径在文件系统实例中已存在
  • 该路径是文件系统某个协议服务接入点根目录的子路径

mountPath

是

无

挂载到 Pod 中的路径

capacity

否

100Gi

容量

readOnly

否

false

是否为只读，false 为读写，true 为只读

注意

配置了存储挂载的作业暂无法使用独占队列的弹性资源，仅能在固定资源中执行。若固定资源被占满，这类作业会排队等待，直至固定资源释放后再调度执行