You need to enable JavaScript to run this app.
导航

功能发布记录

最近更新时间2024.05.08 10:56:18

首次发布时间2021.09.01 17:27:33

本文介绍火山引擎 E-MapReduce(EMR)各版本功能发布和文档动态,新特性将在各个地域陆续发布,欢迎体验。

2024年5月

EMR 2024年5月7日上线,重点功能更新如下:

  • EMR平台功能更新
功能名称功能概述发布地域

节点组扩容优化

  • Yarn体系下可以更灵活地调整自定义的NodeLabel以及Queue

  • 在使用存算分离架构数据湖集群时,支持对Core节点组进行扩容。

华南、柔佛、华北、华东

OLAP优化

  • StarRocks以及Doris集群,FE的部署数量上限由3个提升到了5个

  • StarRocks以及Doris集群,将默认的BE节点数从3个调整为4个

DophinScheduler自定义拓扑DophinScheduler Worker支持自定义部署到任意的Core或者Task节点组,实现计算节点和调度节点混合部署。
  • EMR软件栈更新
软件栈版本功能描述相关文档发布地域

软件栈EMR-V3.10.0

新增功能

  • 【组件】Spark中提供Native引擎功能,是一款自研的湖仓分析加速C++引擎,使用向量化计算、Codegen等加速技术等。

更改、增强和解决的问题

  • 【组件】Proton组件由1.8.0版本升级到1.8.4,优化访问TOS时的吞吐与请求次数、以及小文件写等场景,参考:Proton 发行版本

  • 【组件】HBase组件由2.3.7升级为2.5.2,并和Phoenix完成适配,参考:apache官网

  • 【组件】YARN组件修复开源问题[YARN-11178],解决在Kerbeor环境下CPU繁忙问题。

遗留问题

  • 【组件】当前 Spark 3.5.1 版本暂不支持 Spark on GPU 计算,我们将在开源社区提供该能力后,再发布支持 Spark on GPU 的组件。

  • 【组件】Hive组件集成 HBase 执行聚合函数时不支持tez引擎。

EMR-3.10.0发布说明

华南、柔佛、华北、华东

2024年3月

EMR 2024年3月14日上线,重点功能更新如下:

  • EMR平台功能更新
功能名称功能概述相关文档发布地域

支持创建Kerberos安全类型集群

Kerberos安全类型集群支持使用外部创建的KDC进行统一的身份管理和认证正式发布

华南、柔佛、华北、华东

自定义标签分账用户在创建集群/后续修改编辑的标签 同步到集群下所有的资源实例,用户可以根据标签进行分账 和 下载查询。

子账号开通EMR产品

主账号/拥有EMRFullAccess/AdministratorAccess权限的子账号可以登陆EMR控制台进行云资源访问授权

自定义部署拓扑支持Celeborn组件

Celeborn Worker 允许部署在独立Core和Task节点

支持EMR及其底层资源在项目间的移动

  • 对接官网平台Project 父子资源关系,实现EMR集群及其内部资源的批量移动;

  • 移动父资源时会伴随移动子资源,涉及到项目管理的操作都会随项目关系变化而变化,比如权限、账单。

项目配置

集群创建和扩容效率提升200节点集群5分钟完成交付,允许库存不足时部分节点优先交付

集群监控指标丰富

包括Kyuubi、Presto、Trino 服务监控指标丰富

  • EMR软件栈更新
软件栈版本功能描述相关文档发布地域

软件栈EMR-V3.9.0

新增功能

  • 【组件】HBase组件中新增ThriftServer服务。

更改、增强和解决的问题

  • 【组件】Spark组件版本由3.3.3升级为3.5.1。

  • 【组件】StarRocks组件版本由3.1.6升级为3.2.3,支持Assume role方式访问对象存储TOS,以及访问Paimon数据。且在Spark和Flink中集成了StarRocks connector。

  • 【组件】Hudi组件版本由0.12.2升级为0.14.1。

  • 【组件】Iceberg组件版本由1.2.0升级为1.4.3。

  • 【组件】Airflow组件版本由2.4.2升级为2.7.3。

  • 【组件】DolphinScheduler组件版本由3.1.7升级为3.1.9。

  • 【组件】Ray组件版本由2.3.0升级3.1.0。

  • 【组件】Proton组件由1.7.0升级为1.8.0,支持按路径配置是否缓存,优化读吞吐,优化Meta RPC执行效率;

EMR-3.9.0发布说明

华南、柔佛、华北、华东

2024年1月

EMR 2024年1月25日上线,重点功能更新如下:

  • EMR平台功能更新
功能名称功能概述相关文档发布地域
预置告警模板云监控上线EMR预置告警模板,可以一键应用,简化告警配置的操作流程华南、柔佛、华北、华东
StarRocks 弹性伸缩StarRocks独立集群支持自定义时间扩容和缩容,调整集群资源弹性伸缩华南、柔佛、华北、华东

集群监控指标丰富

包括Yarn、Hive、Celeborn 服务监控指标丰富

华南、柔佛、华北、华东

脚本功能优化支持设置脚本的执行超时时间;如果该脚本执行失败,支持继续执行下一个脚本华南、柔佛、华北、华东
  • EMR软件栈更新
软件栈版本功能描述相关文档发布地域

软件栈EMR-V3.8.0

  • 【组件】Celeborn组件版本由0.3.0升级为0.3.1。

  • 【组件】StarRocks组件版本由3.1.4升级为3.1.6。

  • 【组件】Ranger组件版本由2.1.0升级为2.3.0。

  • 【组件】Impala组件支持LZO数据压缩格式。

  • 【组件】开箱参数优化:

    • Kyuubi组件默认开启Spark动态资源调整参数。

    • Doris组件根据ECS机型动态设置内存。

  • 【组件】存算分离场景下,Proton的特性增强。

    • 支持元数据自动同步功能;

    • ObjectInputStream连接复用优化;

    • 优化Cache模式下随机读性能,Cache miss场景下追平RawFs;

    • RawFs支持Fuse;

    • 解决若干bug;

  • 【组件】Flink 集成Bytehouse CE Connector,实现数据写入能力

  • 【组件】存算分离场景下,优化 Spark 关于job committer 的配置参数。

  • 【组件】存算分离场景下,Impala组件支持读写存储在对象存储TOS中的Hive表。

  • 【组件】存算分离场景下,对存储在对象存储TOS中的Hive的parquet表,Sqoop支持增量导入数据到该表中。

  • 【组件】适配云上生态产品DataLeap,在DataLeap中终止Hive任务后,EMR Hive中会也同步将任务进行kill掉。

EMR-3.8.0 版本说明

华南、柔佛、华北、华东

2023年12月

EMR 2023年12月07日上线,重点功能更新如下:

  • EMR平台功能更新

    功能名称功能概述相关文档发布地域

    StarRocks 存算分离集群

    StarRocks V3.1.4 版本,支持创建存算分离集群,提升集群灵活性、处理性能以及更好的成本效益。

    创建 StarRocks 存算分离集群

    华南、柔佛、华北、华东

    StarRocks 服务监控指标更新 StarRocks 服务监控指标:新增 StreamLoad 导入字节数、导入行数监控;新增 FE 组件失败、超时、成功的 Query 数监控StarRocks 监控指标
    GPU 计算机型EMR 提供 GPU 计算机型,同时支持 Spark Rapids,为 Spark 做算子加速,提升计算性能,并降低使用成本。Spark on GPU 最佳实践
  • EMR软件栈更新

    软件栈版本功能描述相关文档发布地域

    软件栈EMR-V3.7.0

    新增功能

    • 【组件】Doris 提供 2.0.2 版本号和 1.2.5 版本号。

    • 【组件】StarRocks 提供 3.1.4 版本号和 2.5.13 版本号。3.1.4 版本下支持 StarRocks 的存算分离特性。

    更改、增强和解决的问题

    • 【组件】StarRocks 版本由 2.5.8 升级到 2.5.13。

    • 【组件】Trino 组件版本由 412 升级到 432。

    • 【组件】Pulsar 组件版本由 2.9.1 升级到 3.0.1。

    • 【组件】丰富 Doris、StarRocks、Kyuubi 组件的监控指标数据。

    • 【组件】Kerby 组件修复票据 renew 等问题。

    • 【组件】Ranger 组件中支持 role 和 user 创建和删除功能。

    EMR-3.7.0 版本说明

    华南、柔佛、华北、华东

2023年10月

EMR 2023年10月26日上线,重点功能更新如下:

  • EMR平台功能更新

    功能名称功能概述发布地域

    Kerberos 集群能力

    • 高安全类型的集群,其开源组件以 Kerberos 安全模式启动,因此只有经过认证的客户端(Client)才能访问集群内服务。

    • 目前适配 Kerberos 能力的集群类型包括 Hadoop、Kafka、HBase、Flink 以及自定义集群。

    该功能白名单发布

    华南、柔佛、华北、华东

    EMR 新增适配 GPU 机型

    • Hadoop 集群和机器学习集群下新增 T4 与 V100GPU 机型实例,实现大数据与 GPU 混合的计算模式,满足 AI 计算的典型场景。

    • 已知以下的 GPU 集群风险,我们将在未来的版本逐步修复:

      • 同时部署 GPU 节点组与非 GPU 节点组,可能造成 Spark on GPU 任务无法提交;

      • GPU 实例目前尚不支持提交包含 Delta Lake、Hudi、Iceberg 格式的 Spark on GPU 任务。

    支持 Tez UI

    • 支持 Tez UI,便于分析任务的执行状态。
  • EMR软件栈更新

    软件栈版本功能描述相关文档发布地域

    软件栈EMR-V3.6.0

    • 【组件】Spark 支持 GPU 机型

    • 【组件】支持 Tez Web UI

    • 【组件】Hadoop 集群类型、Kafka 集群类型、HBase 集群类型、Flink 集群类型、自定义集群类型适配 Kerberos,该特性属于白名单功能。

    • 【组件】Tez 版本升级由 0.10.1 升级到 0.10.2

    • 【组件】Spark 组件开箱参数优化,以及内核优化提高 SQL 执行性能

    • 【组件】Hadoop 组件添加 Fuse 模块

    • 【组件】Proton 组件由 1.4.3 升级到 1.5.0 版本

    EMR-3.6.0 版本说明

    华南、柔佛、华北、华东

2023年10月

EMR 2023年10月10日上线,重点功能更新如下:

  • EMR 平台功能更新

    功能名称功能描述相关文档发布地域
    StarRocks 集群支持 Task 节点StarRocks 集群支持部署专用于计算的 CN 节点在 Task 节点组上,实现对计算资源的弹性控制。StarRocks 快速开始华东、华北、华南、柔佛
    集群状态优化创建集群后的不同集群状态优化,新增待支付状态,剔除异常集群状态。集群状态

    用户管理优化

    • 添加用户时,用户名、用户组名称在密码长度、可支持的字符上添加限制;

    • 用户重置密码时需输入原密码进行校验后,方可继续重置密码。

    用户管理

    新增多个 Core 节点组Hadoop 集群新增支持创建或扩容1个以上 Core 节点组,可通过该能力对存算一体架构下的 DataNode 进行滚动替换。节点组管理
    新增 ECS 实例新增 ECS 第三代 AMD 芯片实例 g3a、c3a、r3a。
  • EMR 软件栈更新

    软件版本功能描述相关文档发布地域

    软件栈 EMR-V3.5.0

    新增软件栈EMR 3.5.0

    • 【组件】新增 Proton 组件,针对存算分离场景提供的加速引擎,极大地提升作业的执行效率。关于该组件的介绍请参考 Proton 概述

    • 【组件】Spark 组件升级至 3.3.3 版本。

    • 【组件】Kafka 组件升级至 3.2.4 版本,并提供 Kafka manager 服务。

    • 【组件】优化 Hive on Tez 的任务启动流程,加载本地 jar 到 ClassPath,替换从 HDFS 下载。

    • 【组件】StarRocks 组件适配火山云对象存储 TOS 服务。

    • 【组件】Hue 组件升级至4.11.0版本。

    • 【组件】Delta Lake 组件升级至 2.3.0 版本。

    EMR-3.5.0 版本说明

    华南、柔佛、华北、华东

    软件栈 EMR-V2.4.0

    新增软件栈EMR 2.4.0

    • 【组件】优化 Hive on Tez 的任务启动流程,加载本地 jar 到 ClassPath,替换从 HDFS 下载。

    • 【组件】Hive 中新增 JobCommitter 功能,大幅提升存算分离场景下写数据到 TOS 的性能。

    • 【组件】Hue 组件升级至 4.11.0 版本。

    EMR-2.4.0 版本说明

2023年8月

EMR 2023年8月22日更新上线,重点功能更新如下:

  • EMR 平台功能更新

    功能名称功能描述相关文档发布地域
    新 region 发布亚太东南(柔佛)Region 发布,欢迎体验。华北、华东、华南、柔佛
    节点配置能力优化节点组支持垂直变配,支持升级节点配置规格。节点配置变更

    Iceberg connector 配置开箱即用

    Presto、Trino独立集群集成 Iceberg connector、Hudi connector。

    新增集群组件监控指标

    各组件节点的监控指标优化,包括 HDFS、Yarn、Zookeeper 服务监控指标能力提升。

    云盘调整Kafka、Pulsar、Clickhouse、Doris、StarRocks 独立集群下线PL0云盘,存量集群不受影响。
  • EMR 软件栈更新

    软件版本功能描述相关文档发布地域

    软件栈 EMR-V3.4.4 更新

    • 【组件】StarRocks 组件默认将 QueryProfile 功能关闭

    • 【组件】StarRocks 组件中添加元数据管理功能,适配火山云服务大数据研发治理套件

    华南、柔佛、华北、华东

    软件栈 EMR-V2.3.2 更新

    • 【组件】修复 Spark 运行日志存放路径

    • 【组件】Ranger 中为 Spark 用户赋予库表的操作权限,解决 Spark ThriftServer 告警问题

2023年7月

EMR 2023年7月11日上线,重点功能更新如下:

  • EMR 平台功能更新

    功能名称功能描述相关文档发布地域

    元数据连接

    • 元数据连接创建、编辑时,增加 RDS 账号密码校验功能

    • Ranger、Hive使用外置元数据链接使用限制优化

      • Ranger 绑定的元数据连接,只要集群绑定过,该元数据连接不允许再次被其他集群绑定

      • 集群 Hive 绑定的元数据连接,不允许其他版本的 Hive 绑定

    元数据连接

    华北、华东、华南、柔佛

    用户管理

    • 优化用户管理中明文密码展示情况;

    • 统一收敛拥有 ReadOnlyAccess 权限的子账号,通过访问链接+用户名密码方式登录 Web UI 界面的操作权限。

  • EMR 软件栈更新

    软件版本功能描述相关文档发布地域

    新增软件栈 EMR-V3.4.0

    • Iceberg 版本升级到1.2.0

    • Trino 版本升级到412

    • Presto 组件升级至0.280

    • Trino/Presto 中 keystore 文件生成机制以及策略优化

    • Hive 组件升级至3.1.3版本

    • StarRocks 升级至2.5.5

    • DolphinScheduler 组件升级至3.1.7

    • 新增 Kyuubi 组件,版本为1.7.1

    • OpenLDAP 版本升级,从2.4.58升级至2.5.13

    • Hadoop 集群类型新增以下机型:

      • ECS AMD 第二代 g2a 实例类型,北京、上海、广州区域上线;

      • ECS Intel 第三代 g3i 机型,目前仅在北京区域上线。

    华北、华东、华南、柔佛

    新增软件栈 EMR-V3.3.0

    • StarRocks 组件升级至2.5.5

    新增软件栈 EMR-V2.3.0

    • 新增 Phoenix 组件,版本为4.16.1

    • Flink 组件升级至1.16.1,增加对 HBase 、JDBC、Mysql CDC Connector 的支持

    • Hudi 组件升级至0.12.0

    • Trino 组件升级至412

    • Presto 组件升级至0.280

    • Iceberg 组件升级至1.2.0

    • DolphinScheduler 组件升级至3.1.7

    • OpenLDAP版本升级,从2.4.58升级至2.5.13

    • Hadoop 集群类型新增以下机型:

      • ECS AMD 第二代 g2a 实例类型,北京、上海、广州区域上线;

      • ECS Intel 第三代 g3i 机型,目前仅在北京区域上线。

2023年3月

EMR 2023年3月28日上线,重点功能更新如下:

  • EMR 平台功能更新

    功能名称功能描述相关文档发布地域

    告警中心

    新版本集群对接火山引擎云监控产品,集群对应的节点监控告警、服务告警均可在云监控配置告警规则,同时可展示在告警中心页面。

    华北、华东、华南、柔佛

    监控指标

    新增 Doris、StarRocks、Impala、Kudu、ClickHouse、Presto、Trino 组件监控指标。

  • EMR 软件栈更新

    软件栈版本功能描述相关文档发布地域

    新增软件栈 EMR-V3.2.1

    • Doris版本升级至1.2.1

    • Kafka升级至2.8.1

    • Hudi升级至0.12.2

    • Flink升级至1.16.0,引入StarRocks、Doris、HBase和ByteHouse Connector,支持MySQL Sink,优化多个配置,达到开箱即用;支持avro,csv,debezium-json和avro-confluent等格式;

    • Presto、Trino优化进入客户端方式。

    华北、华东、华南、柔佛

    新增软件栈 EMR-V2.2.0

    • HBase集群中集成Knox组件用于访问代理;并集成了YARN和MapReduce2;

    • Flink引擎支持avro,csv,debezium-json和avro-confluent等格式;

2023年2月

EMR 2023年2月21日上线,重点功能更新如下:

  • EMR 平台功能更新

    功能名称功能描述相关文档发布地域

    弹性伸缩

    弹性伸缩,支持根据需求,自动调整集群计算资源,新增动态伸缩模式、符合伸缩模式。

    华北、华东、华南、柔佛

    退订集群

    包年包月集群,支持退订操作。

    作业管理作业管理白名单发布,支持作业列表、作业详情、诊断报告和部分作业操作;
    Public History ServerPresto、Trino History服务全量发布,使用History服务,可以在集群释放后仍能查看历史的作业信息。

    集群组件端口说明

    补充 HDFS、Yarn、Spark 等集群组件端口号。

  • EMR 软件栈更新

    软件栈版本功能描述相关文档发布地域

    新增软件栈 EMR-v3.1.1

    • 新增 DolphinScheduler 组件服务,目前白名单发布。

    • 新增Phoenix组件,版本为5.1.3,作为Hadoop集群的可选组件,HBase的必选组件。

    • Impala、Kudu、ClickHouse、Doris·StarRocks等服务的核心指标接入监控和告警管理;

    • HBase组件中的表支持Snappy压缩;

    • Ossa组件在Hadoop集群中变为必选组件,用于支持作业管理等功能;

    • Hive组件行为与开源保持一致,不再支持中文的表字段名;

    • Doris版本升级至1.1.5;

    • Hudi组件:修复潜在的数据丢失等问题;

    华北、华东、华南、柔佛

    新增软件栈 EMR-v2.1.1

    • 新增 DolphinScheduler 组件服务。

    • Impala、Kudu、ClickHouse、Doris等服务的核心组件接入告警管理;

    • 为Oozie系统用户赋予HDFS全路径、Hive库表、YARN 队列等资源的权限;

    • Ossa组件在Hadoop集群中变为必选组件,用于支持作业管理等功能;

    • 在Ranger中默认为系统用户配置HDFS等资源的权限。

2022年12月

EMR 2022年12月15日上线重点功能更新如下:

  • EMR 平台功能更新

    功能名称功能描述相关文档发布地域

    Public History Server

    Public History Server 作业执行历史集群外置,生产发布对 Presto、Trino 组件支持,白名单支持 Spark、MR,开启 Public History Server 功能后,用户可以查看历史集群的作业执行日志和记录。

    -

    华北、华东、华南、柔佛

    集群名称修改集群列表和集群详情页面支持集群名称修改,便于用户调整管理集群。-
    Python SDK新增 EMR Python SDK,支持 Python 版本 3.6.0。Python SDK
  • EMR 软件栈更新

    软件栈版本功能描述相关文档发布地域

    新增软件栈 EMR-v3.1.0

    • 新增 StarRocks 2.4.1 独立集群(白名单),支持 MySQL 生态分析引擎搬站火山引擎。

    • 新增 DophinScheduler(白名单)、Oozie(白名单),用户使用开源作业调度器。

    • EMR Pulsar 组件新增 Pulsar Manager。

    • ClickHouse 独立集群生产发布。

    华北、华东、华南、柔佛

    新增软件栈 EMR-v2.1.0新增 Hadoop 2.10.0 全量生产发布,便于 Hadoop 2.x 用户平行迁移EMR-2.1.0版本说明

2022年10月

EMR 2022年10月11日上线重点功能更新如下:

  • EMR 平台功能更新

    功能名称功能描述相关文档发布地域

    弹性伸缩

    Hadoop 集群支持按时间弹性伸缩(生产可用)

    弹性伸缩

    华北、华东、华南、柔佛

    存算分离支持计算存储分离架构(生产可用)存算分离最佳实践

    包年包月计费

    支持包年包月购买方式

    • 创建集群支持包年包月的售卖方式

    • 支持按量付费转包年包月

    集群克隆新增集群克隆,支持对通过克隆集群的软件和硬件配置,快速创建集群克隆集群
    集群缩容支持对按量付费节点组缩容缩容集群

    Tag、Project

    支持 Tag 和 Project 功能,可以对集群绑定 tag,设置集群所属 Project

    ECS 机型新增支持第2代 ECS intel 实例:g2i/c2i/r2i/d2s/i2支持ECS实例
  • EMR 软件栈更新

    软件栈版本功能描述相关文档发布地域

    新增软件栈 EMR-v3.0.1

    采用 Hadoop3.x 版本序列,主要组件包括:Hadoop 3.3.1、Spark 3.2.1、Hive3.1.3,相较于 EMR v1.3.0,组件更新升级如下

    • Flink 版本升级到 1.15.1

    • Iceberg 升级到 0.14

    • Hudi 版本升级到 0.11

    • Doris 版本升级到 1.1.1

    • 新增数据格式 Delta Lake 2.0

    EMR-3.0.1版本说明

    华北、华东、华南、柔佛

    新增软件栈 EMR-v2.0.1采用 Hadoop2.x 版本序列,降低使用 Hadoop 2.x 迁移到火山引擎的成本,主要组件包括:Hadoop 2.10.2、Hive 2.3.9、Spark 2.4.8EMR-2.0.1版本说明

2022年8月

EMR 2022年8月4日上线重点功能更新如下:

  • EMR 平台功能更新

    功能名称功能描述相关文档发布地域
    弹性伸缩弹性伸缩灰度发布,支持用户根据时间对节点组进行自动扩缩容弹性伸缩华北、华东、华南、柔佛
  • EMR 软件栈更新

    软件栈版本功能描述相关文档发布地域

    新增软件栈 EMR-v1.3.1

    • EMR flink 支持与 ByteHouse 云数仓版本对接

    • EMR Spark 3.x 版本升级到 3.2.1

    EMR 1.3.1版本说明

    华北、华东、华南、柔佛

2022年7月

EMR 2022年7月8日上线的重点功能更新如下:

  • EMR 平台功能更新

    功能名称功能描述相关文档发布地域

    新增 Region、新增可用区

    • 新增华南1 广州 region

    • 新增华北2 北京 region AZ2

    -

    华北、华东、华南、柔佛

    概览新增产品概览页面,可以在概览页面快速了解集群信息-
    存储分离架构计算引擎 Spark、Flink、Presto 等全面支持 CloudFS,支持计算存储分离架构(Preview 版本)存算分离最佳实践
  • EMR 软件栈更新

    软件栈版本功能描述相关文档发布地域

    新增软件栈 EMR-v1.3.0

    新增 Apache Pulsar 组件

    华北、华东、华南、柔佛

2022年4月

EMR 2022年4月15日上线的重点功能更新如下:

  • EMR 平台功能更新
    分类功能名称功能描述相关文档发布地域
    EMR 平台功能更新发布产品服务等级协议SLAE-MapReduce服务等级协议华北、华东、华南、柔佛

    新增集群类型

    新增 Presto、Trino、NoSQL 数据库 HBase、机器学习集群 TensorFlow、搜索服务 OpenSearch 独立的集群类型

    新增组件 Hudi、Iceberg

    Hadoop、Presto、Trino 集群中新增数据湖组件 Hudi、Iceberg

    新增 Open API

    新增 EMR 集群操作 OpenAPI,包括创建集群、集群扩容、获取集群详细信息、集群释放四种 OpenAPI

    API参考

    交互和界面设计优化升级--
    用户管理支持 LDAP 用户导入用户管理
    权限管理支持权限管理页面化配置,操作简化处理权限管理
    服务滚动重启新增滚动重启能力,保证服务的连续性添加/重启服务
    服务概览丰富开源组件服务概览,用户可以快速了解集群概要信息服务概述
    操作系统切换操作系统从 Debian 切换为 veLinux-
    引导操作新增引导操作,用户可以创建集群时自定义集群运行环境,安装三方软件和自研软件引导操作
    集群脚本新增集群脚本,用户可以更简单的自定义集群环境集群脚本
    ECS 机型新增新增 ECS 最新实例类型支持,包括 g1ie、c1ie、r1ie 类型支持ECS实例

2022年2月

火山引擎 EMR v1.1.1在2022年2月17日公测(GA)上线,是EMR发布的第三个版本,也是1.1.x第二个版本,该版本上线后,进一步提升产品安全性和性能。发布重点产品功能如下:

  • EMR 平台功能更新

    功能名称功能描述相关文档发布地域
    KerberosHadoop 集群支持高安全模式,支持开启 Kerberos(仅对受邀用户开放,如有需求,可以通过联系产品团队开通)-华北、华东、华南、柔佛
  • EMR 软件栈更新

    软件栈版本功能描述相关文档发布地域

    新增软件栈 EMR-v1.1.1

    新增 Apache Tez 0.10.1版本,并将 Tez 作为 Hive 默认执行引擎,提升 Hive 执行效率

    华北、华东、华南、柔佛

2022年1月

火山引擎 EMR v1.1.0在2022年1月份上线,新增产品功能如下:

  • EMR 平台功能更新

    分类功能名称功能描述相关文档发布地域

    EMR 平台功能更新

    服务监控

    新增集群服务监控功能,便于监控集群和开源组件服务的关键性能指标。

    服务概述

    华北、华东、华南、柔佛

    操作日志新增集群操作日志功能,便于您对集群操作和集群开源组件的操作进行审计。集群操作日志
    组件自定义参数新增组件自定义配置参数配置,大数据 OP 可以自助参考开源组件文档添加参数,更加灵活。管理服务配置参数

    ECS机型新增

    EMR 支持的 ECS 实例规格组更新,新增计算型 C 系列、内存型 R 系列、大数据型 D 系列实例规格组,丰富了集群节点的类型,大规模 HDFS 建议使用 D 系列降低成本。

    支持ECS实例

    新增集群类型新增 EMR Stream 集群类型,新增 Kafka、Flink 组件,大数据流式计算场景,可以使用独立的 Kafka、Flink 集群进行数据实时分析。Flink使用说明
  • EMR 软件栈更新

    软件栈版本功能描述相关文档发布地域
    新增软件 EMR-v1.1.0新增 EMR Stream 集群类型EMR 1.1.0版本说明华北、华东、华南、柔佛

2021年9月

火山引擎 EMR v1.0.0在2021年9月产品邀测发布,产品功能如下

  • EMR 平台功能发布

    功能名称功能描述相关文档发布地域
    服务管理支持集群服务管理,如添加服务,服务/组件启动和停止,服务常用参数配置服务管理华北、华东、华南、柔佛
    集群运维支持集群运维管理,如集群扩容、释放,机器组管理,告警管理,查看集群操作日志集群运维
    DataLeap 生态对接支持对接大数据研发治理套件 DataLeap大数据研发治理套件 DataLeap
    IAM 用户管理支持 IAM 用户管理,可导入 IAM 用户,重置密码用户管理
  • EMR 软件栈更新

    软件栈版本功能描述相关文档发布地域
    软件栈 EMR-v1.0.0 发布支持 Hadoop 类型(HDFS、Spark、Hive&MR)集群创建EMR 1.0.0版本说明华北、华东、华南、柔佛