You need to enable JavaScript to run this app.
E-MapReduce

E-MapReduce

请输入
  • 文档首页
    • E-MapReduceEMR Serverless 队列操作指南队列管理创建队列
复制全文
我的收藏
队列管理
创建队列
复制全文
我的收藏
创建队列

资源队列是 EMR Serverless 中用于管理和隔离计算资源的逻辑单元，是计算能力，同时也是计费概念。我们支持用户在Serverless创建公共队列及独占混合异构队列，您可以自由组合 CPU 与 GPU 资源，实现数据预处理（CPU 密集型）与模型推理（GPU 密集型）的无缝串联，大幅提升资源利用率。队列创建完成后可运行Spark、Ray、Presto等多种类型任务。队列计费信息请参考计费概述。

说明

如需配置GPU资源，可通过 提工单 的方式，联系火山引擎技术支持人员申请。

前提条件

  • 已完成入门的相关准备工作。
  • 已开通 EMR Serverless 服务。
  • 队列创建购买前，请保证您的账户余额（即现金余额）大于等于0元，且余额加代金券的总金额不得小于100.00元人民币。

操作步骤

  1. 登录 EMR Serverless 控制台。
  2. 在顶部菜单栏中，根据实际场景，下拉选择地域和项目空间：
    1. 地域：创建的队列及相应资源将会部署在对应的地域内，一旦创建不能修改。
    2. 项目：默认显示默认项目。详见项目配置。
  3. 进入创建队列页面。
    1. 方式一：在总览界面，单击创建资源 > Serverless 队列。
    2. 方式二：在左侧导航栏中，选择 资源管理 > Serverless，​单击页面左上角的 创建资源 > Serverless 队列 按钮。
  4. 在创建队列界面，完成以下资源信息、付费信息、资源队列配置、元数据配置、其他配置等配置：

配置项

示例

说明

资源信息

地域

华北2（北京）

选择资源所在的地理区域。不同地域的资源之间内网不互通。

可用区

可用区A

选择资源所在的可用区。您可以选择单个或多个可用区，更配时允许追加，但不允许删减。选择多个可用区表示您接受跨可用区部署，且底层节点资源不一定平均分布在各可用区。当单个可用区资源不足或发生故障时，可以实现故障切换和容灾备份，但业务的访问响应延迟可能会增加。我们建议超过 3000CU 的队列使用多可用区方案，以获得更好的资源供应。

网络连接

开启

开启后，可以打通Serverless Spark到目标VPC的网络。
开启网络连接需额外配置以下参数：

  • 私有网络：选择当前项目下的私有网络。
  • 安全组：选择私有网络下的安全组。
  • 全局跨VPC路由：开启后，所有作业将自动绑定队列 VPC 网络（通过辅助网卡），所有作业都会消耗子网 IP，在作业高峰期可能因子网 IP 不足导致作业失败。若关闭，可在作业级别添加参数 serverless.cross.vpc.access.enabled=true 按需启用跨 VPC 访问。使用外部 HMS 作为元数据的计算组会默认绑定队列 VPC 网络（通过辅助网卡），不受配置控制。

付费信息

队列类型

包年包月独占队列

选择队列类型。

  • 公共队列：多用户共享，提升资源利用率与公平调度。适用于开发测试环境、小型任务集群。公共队列仅支持创建一次，创建后按实际使用量计费。不使用不收费，无需手动释放。
  • 包月包月独占队列：资源专属，保障关键任务的隔离与安全。适用于生产环境、关键任务。

付费时长

1个月

选择包年包月的购买时长。
默认值：1个月。

自动续费

开启

建议开启，以避免因资源到期影响业务。开启后，系统将在资源到期前按月从账户余额中自动扣费，无需手动支付。
说明：自动续费功能的周期配置为固定月度周期，该周期不受用户初始购买时长影响，为全局统一生效规则。

资源队列配置

队列名称

emr_queue

自定义队列的名称。可包含字母、数字、下划线，长度不超过99个字符。

CPU资源配置

机型

标准型 (1:4)

选择队列机型规格。
CPU 支持以下机型：
标准型 (1:4)：1 vCPU 配 4 GiB 内存。
内存增强型 (1:8)：1 vCPU 配 8 GiB 内存。
计算增强型 (1:2)：1 vCPU 配 2 GiB 内存。

固定

32

设置队列的固定资源大小，单位为 CU (Compute Unit)。这部分资源将按包年包月方式计费。
说明超过 50048 CU 的需求请通过提工单方式申请。

弹性

0

设置队列可动态扩展的弹性资源上限，单位为 CU。弹性容量在使用时按量计费。队列的弹性部分需小于等于256CU或最大限制（固定 CU 数），且输入值需为 32 CU 倍数。
说明如果不需要使用弹性资源，可设置为 0 CU。当前 1 CU 相当于 1 vCPU 和 4 GiB 内存。

GPU资源配置

规格

emr.ini2.7xlarge

选择GPU资源规格。你可以在列表中选择一种或多种资源规格，每一种实例规格对应一定量的 CPU、内存、GPU，例如emr.ini2.7xlarge包含1张GPU-NVIDIA A30、28 vCPU 、234 GiB 内存。
注意：队列创建完成后暂不支持增加或删除规格。

数量

2

配置每种规格的台数，如配置2台emr.ini2.7xlarge，则包含2张GPU-NVIDIA A30、56 vCPU 、468 GiB 内存。

mGPU

开启

mGPU 方案通过内核虚拟化技术，实现单张 GPU 显卡的共享，灵活分配算力核心与现存资源并严格隔离。 开启 mGPU 后，队列中的作业可直接指定调用单张 GPU 的部分核心与显存容量，在小模型场景能显著降低使用成本，提升资源利用率。

Runtime

Java

选择作业的运行时引擎。
Java：标准的 Java 运行时。
Bolt：火山引擎自研的原生内核加速引擎，可提升 Spark、Presto 等作业执行速度。（当前邀测阶段暂不收取）

元数据配置

LAS

开启

开通 EMR Serverless 队列时，需同步开通 LAS 作为元数据管理服务，LAS 开通详见：AI 数据湖服务开通。

其他配置

默认授予使用权限

关闭

配置队列的默认访问权限。开启后，默认 全部账号 均可直接使用该队列，包括查看队列信息、监控以及向队列提交作业。

标签

为资源添加标签，便于分类和管理。您可以选择已有标签，或创建新标签。说明最多可添加20个标签。

  1. 配置参数填写完成后， 单击立即创建，完成队列创建。
  2. 进入控制台 > 资源管理 > Serverless 查看创建的队列，待队列状态更新为运行中，即代表创建成功。

后续操作

  • 完成 EMR Serverless 队列的创建工作，后续您便可以开始创建并运行相关作业。详见创建并提交作业。
  • 创建独占队列后可在队列内创建计算组，进行加速并实现隔离负载。详见创建计算组。
最近更新时间：2026.01.07 16:39:12
这个页面对您有帮助吗？
有用
有用
无用
无用