You need to enable JavaScript to run this app.
文档中心
E-MapReduce

E-MapReduce

复制全文
下载 pdf
产品动态
EMR Serverless 动态(2026年)
复制全文
下载 pdf
EMR Serverless 动态(2026年)

本文介绍火山引擎 E-MapReduce(EMR)Serverless 的发布和文档动态,新特性将在各个地域陆续发布,欢迎体验。

2026年03月

EMR Serverless v 1.12.0 版本于2026年03月31日陆续在各地域上线,随本次版本上线的软件栈 3.21.0版本的新动态也汇总在此。

  • EMR 管控平台动态:Serverless 队列

    功能模块

    功能名称

    功能描述

    发布地域

    队列资源管理与配置

    CPU/GPU混合异构队列全面开放

    当前版本开始,EMR Serverles CPU/GPU混合异构队列正式面向所有用户开放,如果您需要购买 GPU 资源,只需联系销售锁定库存即可自助完成 CPU/GPU混合异构队列的购买。

    所有支持地域

    异构队列更配能力升级

    支持在原队列订单周期内灵活增减 CPU、GPU 规格,现已支持更改已有规格、新增规格、删减规格三种方式。
    Image

    • 更改已有规格:更改队列现存规格的数量,包括CU数、不同规格的GPU台数。
    • 新增规格:在原队列订单周期内增加CPU、GPU规格(无法更改已有规格的配置),新增规格的费用会按订单剩余周期收取。
    • 删减规格:删减队列中的某个资源规格,但需至少保留一种规格。

    更多关于队列的操作指导请参见查看及管理队列

    所有支持地域

    队列支持列表展示并展示资源使用情况

    队列管理交互体验全面升级,由卡片切换为支持搜索、多维过滤、自定义列的列表样式,并增加 vCPU、内存及 GPU 资源的分配与负载水位的直观展示,方便掌握队列容量健康度。
    Image

    所有支持地域

    支持作业优先级功能

    支持在队列级别控制是否启用作业优先级功能,开启后可以对通用计算组内的作业设置优先级,取值0~10,数值越大优先级越高。当队列负载打满时,高优作业会比低优作业更早运行。

    • 队列设置是否启用优先级功能:
      Image

    如上所示,您可按需打开/关闭作业优先级开关。

    • 开启后支持对通用计算组内的作业设置优先级,取值0~10(默认为:0),数值越大优先级越高。当队列负载打满时,高优作业会比低优作业更早运行。
    • 开启后,还支持设置是否允许作业抢占开关,即当队列负载打满时,是否允许通用计算组下低优先级(0~2)作业被更高优先级(3~10)作业抢占计算资源。默认在优先级>=3的任务会抢占优先级<=2的任务。
    • 作业优先级数值及抢占设置:
      -- 设置 数值
      set emr.job.priority = [0~10]
      
      -- 设置是否允许该作业被其他作业抢占
      set job.preemption.enable = [true/false]
      

    所有支持地域

    计算组

    支持配置Ray集群Head节点入站访问地址

    新增支持创建Ray Cluster 计算组时,配置集群的访问VPC网络和地址。
    Image
    打开访问配置开关后,需配置Ray 集群 Head 节点的入站访问地址(访问集群的 VPC 和公网IP(可选)),配置完成后,后续可通过配置的固定访问地址来连接集群,即,集群访问地址不会随计算组重启而变更。
    更多配置说明请参见创建与管理计算组

    所有支持地域

    创建Ray计算组支持资源余量校验

    创建 Ray 计算组时,将会对队列整体资源及单节点规格进行实时校验,若资源不足将给出明确提示。

    所有支持地域

    计算组容错优化

    计算组变更失败时将自动回滚至变更前配置运行。

    所有支持地域

    Spark 计算组支持选择调度策略

    新增支持Spark 计算组选择调度策略(对应开源参数spark.scheduler.mode),选项为FIFO、FAIR,默认为FAIR。(存量计算组的策略默认为FAIR)。
    Image

    所有支持地域

    管理运维

    操作日志支持查看详细步骤

    操作日志功能优化,新增支持查看队列/计算组操作的详细操作步骤,单击对应操作步骤即可查看细分步骤的日志详情。
    Image
    更多关于操作日志的介绍请参见操作日志

    所有支持地域

    开放性

    SDK

    EMR Serverless SDK 版本升级,获取并使用新版 SDK 详情请参见Spark-submit 工具使用说明

    所有支持地域

  • EMR 管控平台动态:Serverless 实例

    功能模块

    功能名称

    功能描述

    发布地域

    OLAP 实例

    监控告警

    监控告警页面体验优化,监控图表支持放大查看详细指标变动。
    Image

    所有支持地域

  • EMR 软件栈更新

    功能名称

    功能描述

    发布地域

    DolphinScheduler

    新增支持向下游节点输出 DolphinScheduler Serverless 任务的JobID,便于基于JobID 对 Serverless 任务做一些信息收集,方便做数据关联(升级为血缘),更多输出 Serverless 任务 JobID 的操作指导请参见:Dolphin Serverless 任务输出 JobID

    华南、柔佛、华北、华东、中国香港

    Spark

    • Spark on Blot 新增支持Iceberg cow表delete/update/merge操作。
    • 支持用户按需选择、动态加载对应版本Iceberg/Paimon等湖格式的plugin版本。配置示例可参见Spark 对湖仓表使用说明
    • Spark UI 的日志页面操作体验优化,修复偶现日志丢失问题,支持在日志页面快速翻页和下载日志。
    • 优化 Serverles Spark 的鉴权逻辑。

    Doris

    支持对接LAS环境下三类主流数据湖引擎的全场景访问能力,同时兼容HNS分层桶/ FNS普通桶、多Catalog切换。详情请参见 Doris 访问 LAS Catalog

2026年01月

EMR Serverless v 1.11.0 版本于2026年02月09日上线,随本次版本上线的软件栈 3.20.0版本的新动态也汇总在此。

  • EMR 管控平台动态:Serverless 队列

    功能模块

    功能名称

    功能描述

    发布地域

    队列/计算组管理与配置

    存储挂载功能升级与操作体验提升

    • 新增支持基于 Native 协议挂载 vePFS 实例,该功能白名单邀测中,如有需要,可通过提工单的方式联系客服开通。
    • 自当前版本开始,计算组/作业支持添加共享文件系统:vePFS、TOS、NAS。更多关于存储挂载的介绍请参见存储挂载概述

    Image
    旧版队列存储挂载功能页已下线,即不再支持对FSX的封装,您需要自行前往需自行前往vePFS、NAS控制台查看历史接入点或创建新的协议服务、接入点。

    所有支持地域

    支持保留”待支付“订单

    EMR控制台将对配置完成但未支付的队列进行保留,并标记为待支付状态,您可以在订单保留期继续完成支付。

    所有支持地域

    计算组新增配置参数

    PrestoSQL、Ray Cluster、Ray Serve 计算组新增支持配置自定义参数。以Presto SQL 计算组为例,您可以在计算组详情的参数配置页面配置custom catalogs、access control等自定义参数。
    Image
    您可以在参数配置页面根据需要添加对应的自定义参数配置,详情请参见自定义参数配置

    所有支持地域

    新增Spark、Presto计算组UI页面入口

    在Spark、 Presto计算组详情页面中新增对应引擎的 UI 页面入口,以下以 Spark UI 为例,您可以通过UI页面入口便捷地跳转至 UI 页面。
    Image

    所有支持地域

    监控与运维

    丰富资源监控指标,并全面对接云监控,支持实时监控告警

    队列监控能力升级,支持对队列、计算组、作业进行多个指标的监控,监控指标更加丰富,详情请参见资源与作业监控
    Image

    所有支持地域

    支持队列及计算组操作日志审计

    EMR Serverless 队列为您新增提供操作日志功能,您可以在此页面查看队列及队列中的计算组的操作日志详情,便于您回溯操作历史、进行操作审计,详情请参见操作日志
    Image

    所有支持地域

    作业提交与管理

    作业提交操作链路优化,支持非SQL类作业持久化管理及重复运行

    • 作业提交操作体验优化,当前支持“SQL编辑”与“创建作业”两个任务开发页面。
      Image
      • 进入 SQL编辑 页面后:您可以编辑并执行SQL类作业。
      • 进入创建作业页面后:您可以创建RayJob、PySpark、SparkJAR作业,创建完成后,您可以在作业管理页面查看作业配置详情、重复执行,提高作业编辑管理效率。

    所有支持地域

    作业实例列表交互优化,支持自定义列及排序

    • 作业实例运维体验优化,当前Serverless的作业提交运行后,作业运行实例新增记录至作业实例页面。
      Image
      即,您可以在作业实例页面查看EMR Serverless 和 EMR on VKE的作业实例详情。

    所有支持地域

  • EMR 管控平台动态:Serverless 实例

    功能名称

    功能描述

    发布地域

    作业诊断

    Serverless StarRocks、Doris 作业新增支持AI诊断能力,该功能白名单邀测中,如有需要,可通过提工单的方式联系客服开通。

    所有支持地域

    StarRocks 实例

    EMR Serverless 多仓版 StarRocks 实例发布 3.3.20 版本。

    所有支持地域

  • EMR 软件栈更新

    软件栈版本

    功能描述

    发布地域

    软件栈 EMR-V3.20.0

    与 EMR Serverless 相关的软件栈V3.20.0版本的新功能如下。软件栈版本的全量动态说明请参见:EMR-3.20.0发布说明

    • Spark
      • Spark on Bolt能力优化与升级。
        • 新增支持以下算子与函数,各算子与函数的使用示例可参见算子与函数
          • 算子:Sample、Cache Table、InMemoryTableScane
          • 函数:parse_url、base64 & unbase64、array_sort、flatten
        • Spark on Bolt新增支持iceberg/paimon timestamp字段类型。
        • Spark on Bolt新增支持读写CSV格式的数据。
      • 基于Spark-submit,新增提供Spark SQL工具,可使用此工具直接提交Serverless的Spark SQL任务,使用示例请参见使用命令提交Spark SQL作业
      • Spark下载文件性能优化。
    • Presto
      • 【Presto】支持客户配置引擎参数,支持监控指标。

    华南、柔佛、华北、华东、中国香港

最近更新时间:2026.03.31 21:02:01
这个页面对您有帮助吗?
有用
有用
无用
无用