You need to enable JavaScript to run this app.
E-MapReduce

E-MapReduce

请输入
  • 文档首页
    • E-MapReduceEMR Serverless 队列操作指南配置与管理队列配置存储网络与vePFS挂载vePFS
复制全文
我的收藏
配置存储网络与vePFS
挂载vePFS
复制全文
我的收藏
挂载vePFS

本文为您介绍挂载 vePFS 的操作全流程。

背景信息

当前支持通过 FSX 和 Native 两种挂载方式挂载 vePFS。
Image

对比项

FSX 方式

Native 方式

挂载接入点/挂载服务

您需要创建好 FSX 协议服务并创建接入点，用于挂载。

您可将 vePFS 添加为 EMR 的全局存储，添加后，EMR 将自动为您创建好 vePFS 的挂载服务，通过此挂载服务来挂载。

挂载要点

您需要自行创建FSX 协议服务并创建接入点。

由系统为您自动创建挂载服务，创建挂载服务的逻辑如下。

  • 在 EMR 添加第一个 vePFS 为 EMR 全局存储时，EMR 会为您创建一个挂载服务，并且将该 vePFS 实例绑定至该挂载服务上。
  • 继续添加 vePFS 为EMR 全局存储时：
    • 待添加的 vePFS 关联的 VPC/子网 与已创建好的挂载服务的 VPC/可用区 一致时，则，添加的 vePFS 绑定至此前已创建的挂载服务上。
    • 待添加的 vePFS 关联的 VPC/可用区 与已创建好的挂载服务的 VPC/子网 不一致时，则，EMR 会为您创建一个新的挂载服务，添加的 vePFS 绑定至本次新创建的挂载服务上。

网络要求

需要保障好接入点的 VPC 与 EMR 存储网络 VPC 为同一个 VPC。

队列只能添加到其存储网络 VPC 下的 vePFS 实例。

数量限制

EMR 无特殊限制，以 vePFS 为准。

挂载服务数量限制：

  • 添加 EMR 全局存储时，每个地域最多支持创建 2 个挂载服务；每个挂载服务最多支持关联 2 个 vePFS 实例。
  • 队列关联 vePFS 时，每个队列最多关联 1 个挂载服务，即，每个最多关联同个挂载服务中的 2 个 vePFS 实例。

资源类型要求

当前仅独占队列的固定部分计算资源支持挂载 vePFS，弹性部分资源不支持挂载。

前提条件
  • 已创建 vePFS 文件系统，用于挂载至 EMR Serverless 队列中，详细操作请参见：vePFS 创建文件系统。
  • 已创建 EMR Serverless 独占队列。

挂载 vePFS

vePFS 侧配置（FSX方式需要）

使用 FSX 方式挂载时，您需在 vePFS 侧创建好 FSX 协议服务和接入点；使用Native 方式无需此操作。

step1：创建 FSX 协议服务

使用 FSX 协议挂载 vePFS 时，您需要为 veFSX 文件系统创建好 FSX 协议服务，详细操作请参见：管理 FSX 协议服务。
Image

step2：创建接入点

EMR Serverless 通过 FSX 协议挂载 vePFS 时，您还需要在 vePFS 中创建好 FSX 协议服务的接入点，以便后续挂载和访问。
Image
关键配置参数说明如下，详细操作指导请参见：创建接入点。

关键参数

配置说明

私有网络

建议和EMR 存储网络配置处的VPC保持一致。

接入点根目录

填写"/"即可（若您需要限制访问特定目录下的文件，可填特定目录）。

EMR 侧配置

step1：添加全局存储配置（Native方式需要）

使用 Native 方式挂载时，您需要先将 vePFS 添加为EMR的全局存储，添加时，EMR 会自动为您创建挂载服务，创建挂载服务的逻辑与数量限制要求请参见上文的 背景信息。

  1. 登录并进入 EMR 控制台后，在页面左侧导航单击 配置管理>全局存储配置 ，进入全局存储配置页面后，单击页面右上角的”添加挂载“按钮。
    Image
  2. 选择需要添加的文件系统，单击 确定。
    Image
  3. 等待系统为您创建挂载服务，完成全局存储的添加。

    说明

    • 创建挂载服务需要一段时间，请您耐心等待。
    • 此外，如果后续您希望更换全局存储配置中的 vePFS 实例，请先绑定好需要挂载的新 vePFS 实例，再解绑不再使用的旧实例；当平台识别到挂载服务没有vePFS 实例绑定时，会自动删除 vePFS 挂载服务。
    当创建的挂载服务状态为”运行中“、添加的 vePFS 实例的状态为 ”已绑定“，则完成全局存储的添加。
    Image
    添加完成后，您也可以在已添加的 vePFS 实例列表中查看到为您创建的挂载服务，了解到各个添加的 vePFS 实例关联的挂载服务信息。

step2：队列存储网络配置

  1. 登录并进入 EMR 控制台后，在页面左侧导航单击 资源管理>Serverless，单击待绑定存储的 Serverless 队列进入队列详情。
  2. 单击左侧导航的”存储网络与vePFS“，单击”存储网络配置“模块的”立即配置“。
    Image
  3. 选择私有网络，并配置子网与安全组。
    Image
    • FSX：确保此处选择的 VPC，与上述步骤中文件系统实例接入点所在的 VPC 为同一个 VPC。
    • Native：确保此处选择的 VPC 和 全局存储配置添加 vePFS 实例的 VPC 为同一个 VPC。

step3：队列关联 vePFS（Native方式需要）

  1. 在 Serverless 队列详情的存储网络与vePFS页面中，单击”关联 vePFS 文件系统“，在弹窗中选择需要关联的vePFS。

    说明

    • 需先将 vePFS 添加至 EMR 的全局存储配置中，才可在此处的下拉框中选择对应 vePFS。
    • 同一个队列中，最多支持添加同一个挂载服务中的 2 个 vePFS ，您可以在全局存储配置中查看对应vePFS的挂载服务详情。
    Image
  2. 关联完成后，您可在此处查看到已关联至当前队列的所有 vePFS 文件系统，并可查看关联的 vePFS 实例的挂载服务信息。
    Image

step4：计算组配置共享文件存储

您可以在创建计算组时选择配置共享文件存储，也可修改计算组配置时配置。
Image

参数

配置说明

文件系统名称

在下拉框中选择待挂载的文件系统。

文件系统接入点
（FSX类型需配置）

在下拉框中选择已创建的接入点。

文件系统路径

查看需要挂载的 vePFS 的文件系统路径。此处会展示接入点的文件路径配置结果，无需再次配置。

挂载路径

设置当前存储在 EMR 队列中挂载的路径。

只读开关

设置挂载存储后，是否设置为”只读“。打开开关后，后续仅支持从挂载的存储路径中读取数据，不支持写入数据。

step5：任务中配置共享文件存储

目前 EMR Serverless 产品可支持在下列引擎类型的作业中挂载存储。

  • Spark
  • Ray
  • CustomJob

当前支持在界面上进行设置，也支持在任务提交代码中设置。

  • 界面方式配置
    1. 登录 EMR Serverless 控制台，在左侧导航栏单击 作业中心 > 作业管理，进入作业管理页面后单击右上角的”创建作业“。
      Image
    2. 在创建作业参数配置中配置存储挂载，配置参数与上文中“计算组配置共享文件存储”参数一致。
      Image
  • 代码方式配置
    在作业原参数设置的基础上，您可以通过增加serverless.vepfs.volumes参数来指定您需要在作业中挂载的文件系统路径及对应在 Pod 中的路径。
    同时，由于 fsx 访问协议服务接入点需要跨 VPC，因此，使用FSX挂载时，提交任务时需开启跨 VPC 设置。

    • 配置示例

      -- 设置fsx存储挂载参数 set serverless.vepfs.volumes=[{"type": "fsx", "fileSystemId": "vepfs-cnxxx", "accessPointId":"ap-xxx", "subPath": "/abc/", "mountPath": "/data/def", "readOnly": false}];
-- 设置native存储挂载参数 set serverless.vepfs.volumes=[{"type": "native", "fileSystemId": "vepfs-cnxxx", "accessPointId":"ap-xxx", "subPath": "/abc/", "mountPath": "/data/def", "readOnly": false}];

select 1;

      说明

      基于fsx方式挂载nas和tos在nas和tos文档中体现

    • 参数说明

      参数名

      是否必填

      默认值

      说明

      type

      是

      无

      文件系统类型，此处可选值为：

      • fsx
      • native

      fileSystemId

      是

      无

      文件系统 ID

      accessPointId

      是

      无

      接入点ID

      subPath

      是

      无

      文件系统待挂载的路径（vePFS/NAS 中的原路径），需满足：该路径在文件系统实例中已存在该路径是文件系统某个协议服务接入点根目录的子路径

      mountPath

      是

      无

      挂载到 Pod 中的路径

      readOnly

      否

      FALSE

      是否为只读，false 为读写，true 为只读

注意

配置了存储挂载的作业暂无法使用独占队列的弹性资源，仅能在固定资源中执行。若固定资源被占满，这类作业会排队等待，直至固定资源释放后再调度执行。

接入点权限管理（FSX支持）

vePFS 接入点默认对本账号下所有子用户开放读写，如果您对子用户的读写权限有管控需求，可以通过以下方式进行权限管控。

  1. 登录 vePFS 控制台，选择 文件系统>文件系统列表，选择需要的文件系统，进入文件系统详情页面。
  2. 选择协议服务 > 接入点管理，选择需要管理的接入点，点击接入点策略，开启IAM策略。
    Image

    说明

    IAM 策略开启后，默认所有子用户无访问权限。特定子用户需接入点读写权限，可参考 权限策略。

最近更新时间：2026.02.10 18:57:54
这个页面对您有帮助吗？
有用
有用
无用
无用