功能发布记录

本文介绍火山引擎 E-MapReduce（EMR）各版本功能发布和文档动态，新特性将在各个地域陆续发布，欢迎体验。

2023年10月

EMR 2023年10月26日上线，重点功能更新如下：

• EMR平台功能更新

  功能名称	功能概述	发布地域
  Kerberos 集群能力	高安全类型的集群，其开源组件以 Kerberos 安全模式启动，因此只有经过认证的客户端（Client）才能访问集群内服务。 目前适配 Kerberos 能力的集群类型包括 Hadoop、Kafka、HBase、Flink 以及自定义集群。 该功能白名单发布	华南、柔佛、华北、华东
  EMR 新增适配 GPU 机型	Hadoop 集群和机器学习集群下新增 T4 与 V100GPU 机型实例，实现大数据与 GPU 混合的计算模式，满足 AI 计算的典型场景。 已知以下的 GPU 集群风险，我们将在未来的版本逐步修复： 同时部署 GPU 节点组与非 GPU 节点组，可能造成 Spark on GPU 任务无法提交； GPU 实例目前尚不支持提交包含 Delta Lake、Hudi、Iceberg 格式的 Spark on GPU 任务。
  支持 Tez UI	支持 Tez UI，便于分析任务的执行状态。

• EMR软件栈更新

  软件栈版本	功能描述	相关文档	发布地域
  软件栈EMR-V3.6.0	【组件】Spark 支持 GPU 机型 【组件】支持 Tez Web UI 【组件】Hadoop 集群类型、Kafka 集群类型、HBase 集群类型、Flink 集群类型、自定义集群类型适配 Kerberos，该特性属于白名单功能。 【组件】Tez 版本升级由 0.10.1 升级到 0.10.2 【组件】Spark 组件开箱参数优化，以及内核优化提高 SQL 执行性能 【组件】Hadoop 组件添加 Fuse 模块 【组件】Proton 组件由 1.4.3 升级到 1.5.0 版本	EMR-3.6.0 版本说明	华南、柔佛、华北、华东

2023年10月

EMR 2023年10月10日上线，重点功能更新如下：

• EMR 平台功能更新

  功能名称	功能描述	相关文档	发布地域
  StarRocks 集群支持 Task 节点	StarRocks 集群支持部署专用于计算的 CN 节点在 Task 节点组上，实现对计算资源的弹性控制。	StarRocks 快速开始	华东、华北、华南、柔佛
  集群状态优化	创建集群后的不同集群状态优化，新增待支付状态，剔除异常集群状态。	集群状态
  用户管理优化	添加用户时，用户名、用户组名称在密码长度、可支持的字符上添加限制； 用户重置密码时需输入原密码进行校验后，方可继续重置密码。	用户管理
  新增多个 Core 节点组	Hadoop 集群新增支持创建或扩容1个以上 Core 节点组，可通过该能力对存算一体架构下的 DataNode 进行滚动替换。	节点组管理
  新增 ECS 实例	新增 ECS 第三代 AMD 芯片实例 g3a、c3a、r3a。

• EMR 软件栈更新

  软件栈版本	功能描述	相关文档	发布地域
  软件栈 EMR-V3.5.0	新增软件栈EMR 3.5.0 【组件】新增 Proton 组件，针对存算分离场景提供的加速引擎，极大地提升作业的执行效率。关于该组件的介绍请参考 Proton 概述。 【组件】Spark 组件升级至 3.3.3 版本。 【组件】Kafka 组件升级至 3.2.4 版本，并提供 Kafka manager 服务。 【组件】优化 Hive on Tez 的任务启动流程，加载本地 jar 到 ClassPath，替换从 HDFS 下载。 【组件】StarRocks 组件适配火山云对象存储 TOS 服务。 【组件】Hue 组件升级至4.11.0版本。 【组件】Delta Lake 组件升级至 2.3.0 版本。	EMR-3.5.0 版本说明	华南、柔佛、华北、华东
  软件栈 EMR-V2.4.0	新增软件栈EMR 2.4.0 【组件】优化 Hive on Tez 的任务启动流程，加载本地 jar 到 ClassPath，替换从 HDFS 下载。 【组件】Hive 中新增 JobCommitter 功能，大幅提升存算分离场景下写数据到 TOS 的性能。 【组件】Hue 组件升级至 4.11.0 版本。	EMR-2.4.0 版本说明

2023年8月

EMR 2023年8月22日更新上线，重点功能更新如下：

• EMR 平台功能更新

  功能名称	功能描述	相关文档	发布地域
  新 region 发布	亚太东南（柔佛）Region 发布，欢迎体验。		华北、华东、华南、柔佛
  节点配置能力优化	节点组支持垂直变配，支持升级节点配置规格。	节点配置变更
  Iceberg connector 配置开箱即用	Presto、Trino独立集群集成 Iceberg connector、Hudi connector。	Presto 高阶使用 Trino 高阶使用
  新增集群组件监控指标	各组件节点的监控指标优化，包括 HDFS、Yarn、Zookeeper 服务监控指标能力提升。	监控概述 HDFS 监控指标 Yarn 监控指标 Zookeeper 监控指标
  云盘调整	Kafka、Pulsar、Clickhouse、Doris、StarRocks 独立集群下线PL0云盘，存量集群不受影响。

• EMR 软件栈更新

  软件栈版本	功能描述	相关文档	发布地域
  软件栈 EMR-V3.4.4 更新	【组件】StarRocks 组件默认将 QueryProfile 功能关闭 【组件】StarRocks 组件中添加元数据管理功能，适配火山云服务大数据研发治理套件	EMR-3.4.X 版本说明	华南、柔佛、华北、华东
  软件栈 EMR-V2.3.2 更新	【组件】修复 Spark 运行日志存放路径 【组件】Ranger 中为 Spark 用户赋予库表的操作权限，解决 Spark ThriftServer 告警问题	EMR-2.3.X 版本说明

2023年7月

EMR 2023年7月11日上线，重点功能更新如下：

• EMR 平台功能更新

  功能名称	功能描述	相关文档	发布地域
  元数据连接	元数据连接创建、编辑时，增加 RDS 账号密码校验功能 Ranger、Hive使用外置元数据链接使用限制优化 Ranger 绑定的元数据连接，只要集群绑定过，该元数据连接不允许再次被其他集群绑定 集群 Hive 绑定的元数据连接，不允许其他版本的 Hive 绑定	元数据连接	华北、华东、华南、柔佛
  用户管理	优化用户管理中明文密码展示情况； 统一收敛拥有 ReadOnlyAccess 权限的子账号，通过访问链接+用户名密码方式登录 Web UI 界面的操作权限。	OpenLDAP - 概述 OpenLDAP - 基础使用 用户管理

• EMR 软件栈更新

  软件栈版本	功能描述	相关文档	发布地域
  新增软件栈 EMR-V3.4.0	Iceberg 版本升级到1.2.0 Trino 版本升级到412 Presto 组件升级至0.280 Trino/Presto 中 keystore 文件生成机制以及策略优化 Hive 组件升级至3.1.3版本 StarRocks 升级至2.5.5 DolphinScheduler 组件升级至3.1.7 新增 Kyuubi 组件，版本为1.7.1 OpenLDAP 版本升级，从2.4.58升级至2.5.13 Hadoop 集群类型新增以下机型： ECS AMD 第二代 g2a 实例类型，北京、上海、广州区域上线； ECS Intel 第三代 g3i 机型，目前仅在北京区域上线。	EMR-3.4.0 版本说明 Iceberg Presto Trino Hive DolphinScheduler	华北、华东、华南、柔佛
  新增软件栈 EMR-V3.3.0	StarRocks 组件升级至2.5.5	EMR-3.3.0 版本说明
  新增软件栈 EMR-V2.3.0	新增 Phoenix 组件，版本为4.16.1 Flink 组件升级至1.16.1，增加对 HBase 、JDBC、Mysql CDC Connector 的支持 Hudi 组件升级至0.12.0 Trino 组件升级至412 Presto 组件升级至0.280 Iceberg 组件升级至1.2.0 DolphinScheduler 组件升级至3.1.7 OpenLDAP版本升级，从2.4.58升级至2.5.13 Hadoop 集群类型新增以下机型： ECS AMD 第二代 g2a 实例类型，北京、上海、广州区域上线； ECS Intel 第三代 g3i 机型，目前仅在北京区域上线。	EMR-2.3.0 版本说明 Iceberg Presto Trino Hive DolphinScheduler Flink

2023年3月

EMR 2023年3月28日上线，重点功能更新如下：

• EMR 平台功能更新

  功能名称	功能描述	相关文档	发布地域
  告警中心	新版本集群对接火山引擎云监控产品，集群对应的节点监控告警、服务告警均可在云监控配置告警规则，同时可展示在告警中心页面。	告警中心	华北、华东、华南、柔佛
  监控指标	新增 Doris、StarRocks、Impala、Kudu、ClickHouse、Presto、Trino 组件监控指标。	Doris StarRocks Impala Kudu ClickHouse Presto Trino

• EMR 软件栈更新

  软件栈版本	功能描述	相关文档	发布地域
  新增软件栈 EMR-V3.2.1	Doris版本升级至1.2.1； Kafka升级至2.8.1； Hudi升级至0.12.2； Flink升级至1.16.0，引入StarRocks、Doris、HBase和ByteHouse Connector，支持MySQL Sink，优化多个配置，达到开箱即用；支持avro，csv，debezium-json和avro-confluent等格式； Presto、Trino优化进入客户端方式。	EMR-3.2.1版本说明 Presto 基础使用 Trino 基础使用 Flink SQL Client 使用参考	华北、华东、华南、柔佛
  新增软件栈 EMR-V2.2.0	HBase集群中集成Knox组件用于访问代理；并集成了YARN和MapReduce2； Flink引擎支持avro，csv，debezium-json和avro-confluent等格式；	EMR-2.2.0 版本说明

2023年2月

EMR 2023年2月21日上线，重点功能更新如下：

• EMR 平台功能更新

  功能名称	功能描述	相关文档	发布地域
  弹性伸缩	弹性伸缩，支持根据需求，自动调整集群计算资源，新增动态伸缩模式、符合伸缩模式。	弹性伸缩	华北、华东、华南、柔佛
  退订集群	包年包月集群，支持退订操作。	退订集群
  作业管理	作业管理白名单发布，支持作业列表、作业详情、诊断报告和部分作业操作；
  Public History Server	Presto、Trino History服务全量发布，使用History服务，可以在集群释放后仍能查看历史的作业信息。
  集群组件端口说明	补充 HDFS、Yarn、Spark 等集群组件端口号。	集群组件端口号说明

• EMR 软件栈更新

  软件栈版本	功能描述	相关文档	发布地域
  新增软件栈 EMR-v3.1.1	新增 DolphinScheduler 组件服务，目前白名单发布。 新增Phoenix组件，版本为5.1.3，作为Hadoop集群的可选组件，HBase的必选组件。 Impala、Kudu、ClickHouse、Doris·StarRocks等服务的核心指标接入监控和告警管理； HBase组件中的表支持Snappy压缩； Ossa组件在Hadoop集群中变为必选组件，用于支持作业管理等功能； Hive组件行为与开源保持一致，不再支持中文的表字段名； Doris版本升级至1.1.5； Hudi组件：修复潜在的数据丢失等问题；	EMR-3.1.1版本说明 DolphinScheduler 概述	华北、华东、华南、柔佛
  新增软件栈 EMR-v2.1.1	新增 DolphinScheduler 组件服务。 Impala、Kudu、ClickHouse、Doris等服务的核心组件接入告警管理； 为Oozie系统用户赋予HDFS全路径、Hive库表、YARN 队列等资源的权限； Ossa组件在Hadoop集群中变为必选组件，用于支持作业管理等功能； 在Ranger中默认为系统用户配置HDFS等资源的权限。	EMR-2.1.1 版本说明 DolphinScheduler 概述

2022年12月

EMR 2022年12月15日上线重点功能更新如下：

• EMR 平台功能更新

  功能名称	功能描述	相关文档	发布地域
  Public History Server	Public History Server 作业执行历史集群外置，生产发布对 Presto、Trino 组件支持，白名单支持 Spark、MR，开启 Public History Server 功能后，用户可以查看历史集群的作业执行日志和记录。	-	华北、华东、华南、柔佛
  集群名称修改	集群列表和集群详情页面支持集群名称修改，便于用户调整管理集群。	-
  Python SDK	新增 EMR Python SDK，支持 Python 版本 3.6.0。	Python SDK

• EMR 软件栈更新

  软件栈版本	功能描述	相关文档	发布地域
  新增软件栈 EMR-v3.1.0	新增 StarRocks 2.4.1 独立集群（白名单），支持 MySQL 生态分析引擎搬站火山引擎。 新增 DophinScheduler（白名单）、Oozie（白名单），用户使用开源作业调度器。 EMR Pulsar 组件新增 Pulsar Manager。 ClickHouse 独立集群生产发布。	EMR-3.1.0版本说明 StarRocks概述 Oozie基础使用 Pulsar概述 ClinkHouse 概述	华北、华东、华南、柔佛
  新增软件栈 EMR-v2.1.0	新增 Hadoop 2.10.0 全量生产发布，便于 Hadoop 2.x 用户平行迁移	EMR-2.1.0版本说明

2022年10月

EMR 2022年10月11日上线重点功能更新如下：

• EMR 平台功能更新

  功能名称	功能描述	相关文档	发布地域
  弹性伸缩	Hadoop 集群支持按时间弹性伸缩（生产可用）	弹性伸缩	华北、华东、华南、柔佛
  存算分离	支持计算存储分离架构（生产可用）	存算分离最佳实践
  包年包月计费	支持包年包月购买方式 创建集群支持包年包月的售卖方式 支持按量付费转包年包月	计费说明 按量付费转包年包月
  集群克隆	新增集群克隆，支持对通过克隆集群的软件和硬件配置，快速创建集群	克隆集群
  集群缩容	支持对按量付费节点组缩容	缩容集群
  Tag、Project	支持 Tag 和 Project 功能，可以对集群绑定 tag，设置集群所属 Project	标签配置 项目配置
  ECS 机型新增	支持第2代 ECS intel 实例：g2i/c2i/r2i/d2s/i2	支持ECS实例

• EMR 软件栈更新

  软件栈版本	功能描述	相关文档	发布地域
  新增软件栈 EMR-v3.0.1	采用 Hadoop3.x 版本序列，主要组件包括：Hadoop 3.3.1、Spark 3.2.1、Hive3.1.3，相较于 EMR v1.3.0，组件更新升级如下 Flink 版本升级到 1.15.1 Iceberg 升级到 0.14 Hudi 版本升级到 0.11 Doris 版本升级到 1.1.1 新增数据格式 Delta Lake 2.0	EMR-3.0.1版本说明	华北、华东、华南、柔佛
  新增软件栈 EMR-v2.0.1	采用 Hadoop2.x 版本序列，降低使用 Hadoop 2.x 迁移到火山引擎的成本，主要组件包括：Hadoop 2.10.2、Hive 2.3.9、Spark 2.4.8	EMR-2.0.1版本说明

2022年8月

EMR 2022年8月4日上线重点功能更新如下：

• EMR 平台功能更新

  功能名称	功能描述	相关文档	发布地域
  弹性伸缩	弹性伸缩灰度发布，支持用户根据时间对节点组进行自动扩缩容	弹性伸缩	华北、华东、华南、柔佛

• EMR 软件栈更新

  软件栈版本	功能描述	相关文档	发布地域
  新增软件栈 EMR-v1.3.1	EMR flink 支持与 ByteHouse 云数仓版本对接 EMR Spark 3.x 版本升级到 3.2.1	EMR 1.3.1版本说明	华北、华东、华南、柔佛

2022年7月

EMR 2022年7月8日上线的重点功能更新如下：

• EMR 平台功能更新

  功能名称	功能描述	相关文档	发布地域
  新增 Region、新增可用区	新增华南1 广州 region 新增华北2 北京 region AZ2	-	华北、华东、华南、柔佛
  概览	新增产品概览页面，可以在概览页面快速了解集群信息	-
  存储分离架构	计算引擎 Spark、Flink、Presto 等全面支持 CloudFS，支持计算存储分离架构（Preview 版本）	存算分离最佳实践

• EMR 软件栈更新

  软件栈版本	功能描述	相关文档	发布地域
  新增软件栈 EMR-v1.3.0	新增 Apache Pulsar 组件	EMR 1.3.0版本说明 Pulsar概述	华北、华东、华南、柔佛

2022年4月

EMR 2022年4月15日上线的重点功能更新如下：

• EMR 平台功能更新

  分类	功能名称	功能描述	相关文档	发布地域
  EMR 平台功能更新		发布产品服务等级协议SLA	E-MapReduce服务等级协议	华北、华东、华南、柔佛
  	新增集群类型	新增 Presto、Trino、NoSQL 数据库 HBase、机器学习集群 TensorFlow、搜索服务 OpenSearch 独立的集群类型	Presto使用说明 Trino使用说明 HBase使用说明 TensorFlow使用说明 OpenSearch使用说明
  	新增组件 Hudi、Iceberg	Hadoop、Presto、Trino 集群中新增数据湖组件 Hudi、Iceberg	Hudi使用说明 Iceberg使用说明
  	新增 Open API	新增 EMR 集群操作 OpenAPI，包括创建集群、集群扩容、获取集群详细信息、集群释放四种 OpenAPI	API参考
  	交互和界面设计优化升级	-	-
  	用户管理	支持 LDAP 用户导入	用户管理
  	权限管理	支持权限管理页面化配置，操作简化处理	权限管理
  	服务滚动重启	新增滚动重启能力，保证服务的连续性	添加/重启服务
  	服务概览	丰富开源组件服务概览，用户可以快速了解集群概要信息	服务概述
  	操作系统切换	操作系统从 Debian 切换为 veLinux	-
  	引导操作	新增引导操作，用户可以创建集群时自定义集群运行环境，安装三方软件和自研软件	引导操作
  	集群脚本	新增集群脚本，用户可以更简单的自定义集群环境	集群脚本
  	ECS 机型新增	新增 ECS 最新实例类型支持，包括 g1ie、c1ie、r1ie 类型	支持ECS实例

2022年2月

火山引擎 EMR v1.1.1在2022年2月17日公测（GA）上线，是EMR发布的第三个版本，也是1.1.x第二个版本，该版本上线后，进一步提升产品安全性和性能。发布重点产品功能如下：

• EMR 平台功能更新

  功能名称	功能描述	相关文档	发布地域
  Kerberos	Hadoop 集群支持高安全模式，支持开启 Kerberos（仅对受邀用户开放，如有需求，可以通过联系产品团队开通）	-	华北、华东、华南、柔佛

• EMR 软件栈更新

  软件栈版本	功能描述	相关文档	发布地域
  新增软件栈 EMR-v1.1.1	新增 Apache Tez 0.10.1版本，并将 Tez 作为 Hive 默认执行引擎，提升 Hive 执行效率	EMR 1.1.1版本说明 Tez使用说明	华北、华东、华南、柔佛

2022年1月

火山引擎 EMR v1.1.0在2022年1月份上线，新增产品功能如下：

• EMR 平台功能更新

  分类	功能名称	功能描述	相关文档	发布地域
  EMR 平台功能更新	服务监控	新增集群服务监控功能，便于监控集群和开源组件服务的关键性能指标。	服务概述	华北、华东、华南、柔佛
  	操作日志	新增集群操作日志功能，便于您对集群操作和集群开源组件的操作进行审计。	集群操作日志
  	组件自定义参数	新增组件自定义配置参数配置，大数据 OP 可以自助参考开源组件文档添加参数，更加灵活。	管理服务配置参数
  	ECS机型新增	EMR 支持的 ECS 实例规格组更新，新增计算型 C 系列、内存型 R 系列、大数据型 D 系列实例规格组，丰富了集群节点的类型，大规模 HDFS 建议使用 D 系列降低成本。	支持ECS实例
  	新增集群类型	新增 EMR Stream 集群类型，新增 Kafka、Flink 组件，大数据流式计算场景，可以使用独立的 Kafka、Flink 集群进行数据实时分析。	Flink使用说明

• EMR 软件栈更新

  软件栈版本	功能描述	相关文档	发布地域
  新增软件 EMR-v1.1.0	新增 EMR Stream 集群类型	EMR 1.1.0版本说明	华北、华东、华南、柔佛

2021年9月

火山引擎 EMR v1.0.0在2021年9月产品邀测发布，产品功能如下

• EMR 平台功能发布

  功能名称	功能描述	相关文档	发布地域
  服务管理	支持集群服务管理，如添加服务，服务/组件启动和停止，服务常用参数配置	服务管理	华北、华东、华南、柔佛
  集群运维	支持集群运维管理，如集群扩容、释放，机器组管理，告警管理，查看集群操作日志	集群运维
  DataLeap 生态对接	支持对接大数据研发治理套件 DataLeap	大数据研发治理套件 DataLeap
  IAM 用户管理	支持 IAM 用户管理，可导入 IAM 用户，重置密码	用户管理

• EMR 软件栈更新

  软件栈版本	功能描述	相关文档	发布地域
  软件栈 EMR-v1.0.0 发布	支持 Hadoop 类型（HDFS、Spark、Hive&MR）集群创建	EMR 1.0.0版本说明	华北、华东、华南、柔佛