云原生开源大数据平台 E-MapReduce -火山引擎

E-MapReduce

云原生开源大数据平台，提供企业级的 Hadoop、Spark、Flink、Hive、Presto、Kafka、Doris、StarRocks、Hudi、Iceberg 等大数据生态组件，100%开源兼容，快速构建企业级大数据平台，降低运维门槛

管理控制台

产品咨询

帮助文档

快速了解产品使用方法

产品定价

按量付费仅需 0.02 元/核/小时

最新动态

New

EMR StarRocks 集群正式上线

技术解读

Hot

EMR Stateless 创新理念及应用

重点功能

Stateless 云原生开源大数据平台

开源生态组件

集成Hadoop、Spark、Flink、Hive、Presto、Kafka、Hudi、Iceberg、Doris、StarRocks等组件，100%开源兼容，并基于字节内部实践持续深度优化

云原生运维

一站式云托管，提供集群管理、服务管理、用户管理、监控告警、日志查询等能力；支持服务监控指标体系，感知集群组件及任务的运行异常状况

存算分离架构

采用先进的Stateless架构，将EMR状态服务和数据外置，使长运行集群变为轻量级瞬态集群，实现性能和使用成本的深度优化

弹性伸缩策略

支持基于时间规则和集群负载两种弹性伸缩策略，并可搭配使用；配合Stateless存算分离架构，实现更为灵活的集群弹性粒度，成本更优

企业级安全

支持Kerberos和lAM两种强认证模式、RBAC模式、审计日志与访问审计等，安全管控服务支持高可用，协同火山引擎安全体系，实现全方位安全管控

支持云上生态

无缝对接火山引擎大数据研发治理套件DataLeap以及相关各类云上产品，提供云上一站式产品体验

重点功能

Stateless 云原生开源大数据平台

开源生态组件

集成Hadoop、Spark、Flink、Hive、Presto、Kafka、Hudi、Iceberg、Doris、StarRocks等组件，100%开源兼容，并基于字节内部实践持续深度优化

云原生运维

一站式云托管，提供集群管理、服务管理、用户管理、监控告警、日志查询等能力；支持服务监控指标体系，感知集群组件及任务的运行异常状况

存算分离架构

采用先进的Stateless架构，将EMR状态服务和数据外置，使长运行集群变为轻量级瞬态集群，实现性能和使用成本的深度优化

弹性伸缩策略

支持基于时间规则和集群负载两种弹性伸缩策略，并可搭配使用；配合Stateless存算分离架构，实现更为灵活的集群弹性粒度，成本更优

企业级安全

支持Kerberos和lAM两种强认证模式、RBAC模式、审计日志与访问审计等，安全管控服务支持高可用，协同火山引擎安全体系，实现全方位安全管控

支持云上生态

无缝对接火山引擎大数据研发治理套件DataLeap以及相关各类云上产品，提供云上一站式产品体验

产品架构

云原生湖仓一体功能架构

点击查看完整架构

产品架构

云原生湖仓一体功能架构

核心优势

重新定义云原生开源大数据平台

开源 & 开放

• 100%兼容社区主流版本，满足应用开发需求，便于平台整体迁移
• 提供半托管的白盒环境，支持引导操作与集群脚本等开放能力

Stateless云原生湖仓

• 无状态集群交付，优雅的存算分离架构，最大程度降本提效
• 灵活的弹性伸缩策略，支持按时间规则与集群负载两种模式
• 开放湖仓架构，灵活满足各类数据平台建设需求

引擎企业级优化

• Spark、Flink、Presto、Trino、Hudi、Iceberg、Doris、StarRocks 等核心引擎性能提升
• 企业级权限管理，火山引擎IAM+Kerberos认证

云上便捷运维

• 一站式云托管，分钟级创建/销毁集群，提供两种计费模式
• 精细化的集群运维与监控告警能力，支持丰富的组件操作

开源 & 开放

• 100%兼容社区主流版本，满足应用开发需求，便于平台整体迁移
• 提供半托管的白盒环境，支持引导操作与集群脚本等开放能力

Stateless云原生湖仓

引擎企业级优化

• Spark、Flink、Presto、Trino、Hudi、Iceberg、Doris、StarRocks 等核心引擎性能提升
• 企业级权限管理，火山引擎IAM+Kerberos认证

云上便捷运维

• 一站式云托管，分钟级创建/销毁集群，提供两种计费模式
• 精细化的集群运维与监控告警能力，支持丰富的组件操作

应用场景

支持多场景云上数据平台建设需求

云原生数据湖仓

开源兼容，支持平滑迁移和长期演进；提供企业级组件优化和管控能力，帮助企业开发运维降本增效。

离线/批量数据分析

对多种类型数据进行采集/导入/清洗转换，满足业务分析模型需求，支撑企业基于统一数据进行分析决策。

实时/流式计算

面向IoT、实时风控/预警等业务需求，支持数据实时采集接入和处理分析，实现实时数据展示或动作触发。

实时数仓

针对实时性、高并发等需求场景，基于EMR Doris / StarRocks搭建实时数仓并提供服务，支持十万级QPS在线/离线查询分析。

应用场景

支持多场景云上数据平台建设需求

云原生数据湖仓

开源兼容，支持平滑迁移和长期演进；提供企业级组件优化和管控能力，帮助企业开发运维降本增效。

离线/批量数据分析

对多种类型数据进行采集/导入/清洗转换，满足业务分析模型需求，支撑企业基于统一数据进行分析决策。

实时/流式计算

面向IoT、实时风控/预警等业务需求，支持数据实时采集接入和处理分析，实现实时数据展示或动作触发。

实时数仓

针对实时性、高并发等需求场景，基于EMR Doris / StarRocks搭建实时数仓并提供服务，支持十万级QPS在线/离线查询分析。

产品动态

功能发布记录

2023年3月

软件栈更新

新增软件栈 v3.2.1：Kafka、Hudi、Flink、Doris等组件版本升级；HBase集群集成MapReduce2和YARN组件

2023年3月

软件栈更新

新增软件栈 v2.2.0：HBase独立集群集成Knox、YARN、MapReduce2等组件；Flink引擎支持avro，csv等更多格式

2023年3月

平台功能更新

多项DataLeap&DataSail协同功能发布；弹性伸缩性能优化，时长进一步缩短；多项监控管理功能发布

2023年2月

软件栈更新

新增软件栈v3.1.1：发布StarRocks独立集群，新增Phoenix组件；新增软件栈v2.1.1：多个核心组件接入告警管理

2023年2月

平台功能更新

Presto，Trino集群接入Public History Server服务，支持集群释放后查询作业日志；包年包月集群支持退订

2022年12月

软件栈更新

新增软件栈v3.1.0：发布ClickHouse独立集群；新增软件栈v2.1.0：发布Hadoop 2.10.0集群

2022年12月

平台功能更新

发布Public History Server功能，支持历史集群日志回放；支持集群名称修改；新增EMR Python SDK

2022年11月

功能发布

支持EMR Flume读写TOS、CloudFS；新增软件栈v3.0.1；新增软件栈v2.0.1

2022年10月

功能发布

Hadoop集群支持按时间弹性伸缩；支持计算存储分离架构；支持包年包月购买方式

2022年10月

功能发布

新增软件栈v3.0.0，采用Hadoop3.x，支持数据格式Delta Lake；新增软件栈v2.0.0，采用Hadoop2.x，降低用户迁移成本

2022年10月

新增Region

新增华东2（上海）Region

2022年8月

功能发布

发布软件栈 v1.3.1，支持 Flink 写入 ByteHouse（云数仓版）；支持按量付费 Task 节点缩容

2022年7月

新增 Region

新增华南1（广州）Region；新增华北2（北京）Region

2022年7月

功能发布

发布软件栈 v1.3.0，新增 Pulsar 集群类型；支持存算分离架构，Spark、Flink、Presto、Trino 读写 CloudFS 和 TOS

2022年6月

正式商业化

功能发布

支持弹性块存储，极速型 SSD FlexPL

2022年5月

功能发布

发布软件栈 v1.2.1，新增 Doris 集群类型，支持 Presto 和 Trino Coordinator 服务高可用

2022年4月

功能发布

发布软件栈 v1.2.0，新增 Presto、Trino、HBase、Tensorflow、OpenSearch 集群类型；支持 OpenAPI

2022年2月

启动公测

功能发布

发布软件栈 v1.1.1；支持包年包月付费类型

2021年12月

功能发布

发布软件栈 v1.1.0；新增 Kafka、Flink 集群类型；新增服务监控模块，支持对组件指标的监控；新增日志管理模块，支持进行操作审计

2021年9月

启动邀测

功能发布

发布软件栈 v1.0.0；支持创建 Hadoop 集群；支持 IAM 用户管理；支持对接大数据研发治理套件 DataLeap

2023年3月

软件栈更新

新增软件栈 v3.2.1：Kafka、Hudi、Flink、Doris等组件版本升级；HBase集群集成MapReduce2和YARN组件

2023年3月

软件栈更新

新增软件栈 v2.2.0：HBase独立集群集成Knox、YARN、MapReduce2等组件；Flink引擎支持avro，csv等更多格式

2023年3月

平台功能更新

多项DataLeap&DataSail协同功能发布；弹性伸缩性能优化，时长进一步缩短；多项监控管理功能发布

2023年2月

软件栈更新

新增软件栈v3.1.1：发布StarRocks独立集群，新增Phoenix组件；新增软件栈v2.1.1：多个核心组件接入告警管理

2023年2月

平台功能更新

Presto，Trino集群接入Public History Server服务，支持集群释放后查询作业日志；包年包月集群支持退订

2022年12月

软件栈更新

新增软件栈v3.1.0：发布ClickHouse独立集群；新增软件栈v2.1.0：发布Hadoop 2.10.0集群

2022年12月

平台功能更新

发布Public History Server功能，支持历史集群日志回放；支持集群名称修改；新增EMR Python SDK

2022年11月

功能发布

支持EMR Flume读写TOS、CloudFS；新增软件栈v3.0.1；新增软件栈v2.0.1

2022年10月

功能发布

Hadoop集群支持按时间弹性伸缩；支持计算存储分离架构；支持包年包月购买方式

2022年10月

功能发布

新增软件栈v3.0.0，采用Hadoop3.x，支持数据格式Delta Lake；新增软件栈v2.0.0，采用Hadoop2.x，降低用户迁移成本

2022年10月

新增Region

新增华东2（上海）Region

2022年8月

功能发布

发布软件栈 v1.3.1，支持 Flink 写入 ByteHouse（云数仓版）；支持按量付费 Task 节点缩容

2022年7月

新增 Region

新增华南1（广州）Region；新增华北2（北京）Region

2022年7月

功能发布

发布软件栈 v1.3.0，新增 Pulsar 集群类型；支持存算分离架构，Spark、Flink、Presto、Trino 读写 CloudFS 和 TOS

2022年6月

正式商业化

功能发布

支持弹性块存储，极速型 SSD FlexPL

2022年5月

功能发布

发布软件栈 v1.2.1，新增 Doris 集群类型，支持 Presto 和 Trino Coordinator 服务高可用

2022年4月

功能发布

发布软件栈 v1.2.0，新增 Presto、Trino、HBase、Tensorflow、OpenSearch 集群类型；支持 OpenAPI

2022年2月

启动公测

功能发布

发布软件栈 v1.1.1；支持包年包月付费类型

2021年12月

功能发布

发布软件栈 v1.1.0；新增 Kafka、Flink 集群类型；新增服务监控模块，支持对组件指标的监控；新增日志管理模块，支持进行操作审计

2021年9月

启动邀测

功能发布

发布软件栈 v1.0.0；支持创建 Hadoop 集群；支持 IAM 用户管理；支持对接大数据研发治理套件 DataLeap

展开查看更多

接入流程

便捷的接入流程

01.｜服务开通

02.｜创建集群

03.｜管理集群

04.｜创建并运行作业

点击官网右上角“管理控制台”进入到 EMR 服务的开通申请页，提交信息并审核完成后可开通 EMR 服务

在 EMR 控制台中，根据分析场景创建所需的集群类型

通过集群管理界面对集群进行管理、监控和维护操作

通过 EMR 内置开源组件 Hue 或大数据研发治理套件 DataLeap 创建并提交作业

接入流程

便捷的接入流程

Step.01｜服务开通

点击官网右上角“管理控制台”进入到 EMR 服务的开通申请页，提交信息并审核完成后可开通 EMR 服务

Step.02｜创建集群

在 EMR 控制台中，根据分析场景创建所需的集群类型

Step.03｜管理集群

通过集群管理界面对集群进行管理、监控和维护操作

Step.04｜创建并运行作业

通过 EMR 内置开源组件 Hue 或大数据研发治理套件 DataLeap 创建并提交作业

获取1v1专家支持

一键启动火山引擎之旅

联系我们