云原生开源大数据平台 E-MapReduce -火山引擎

AI 时代开源大数据平台，提供丰富的增强型大数据组件，100% 兼容开源，具备极致弹性资源、存算分离架构，覆盖迁移上云、湖仓分析、多模数据处理、AI 应用等场景，加速 AI 业务落地，激发数据价值。

AI时代开源大数据平台，具备极致弹性资源、存算分离架构，覆盖迁移上云、湖仓分析、多模数据处理、AI应用等场景，加速AI业务落地。

产品形态

产品功能

产品优势

产品架构

应用场景

客户案例

产品动态

使用指南

产品形态

火山引擎EMR提供Spark、Presto、Ray、StarRocks、Doris、RSS等全托管服务，完全兼容开源，性能增强3~5倍，具备开箱即用、秒级弹性、免运维、自定义镜像的特性，让用户更专注于业务。

火山引擎EMR基于ECS的半托管模式，提供更全面的Hadoop、Spark等36+个大数据生态组件，计算存储资源归属用户，可登陆ECS进行自定义操作，具备存算分离、分钟级弹性、灵活自运维的特性。

火山引擎EMR基于VKE（K8S）的半托管模式，资源引擎从YARN升级为K8S统一调度，满足用户离线、在线、AI等不同Workload的潮汐混部运行，最大程度提升资源利用率，同时具备半托管的灵活性。

集成Hadoop、Flink、Hive、Ray、Hudi、Iceberg、Lance、StarRocks等大数据全栈组件，完全兼容开源，并基于字节跳动内部实践持续优化，Spark优化2.5倍+，Presto优化4.8倍+。

提供深度优化的Ray、Spark分布式引擎和多模态湖格式Lance，支持CPU、GPU异构资源混合调度，与AI数据湖服务(LAS)深度适配，构建AI数据湖，支撑数据准备/训练/推理等AI场景。

对接LAS提供湖、仓、AI一体化的元数据管理，数据统一存储、透明访问，多产品形态、多负载类型可联邦分析，支持湖仓分析、大模型数据预处理统一K8S资源池调度，提升资源利用率。

存储与计算解耦，可按需独立扩展与优化，资源灵活配比，提高资源利用率和系统性能；统一数据湖，支持多种计算引擎，自研湖加速引擎Proton，性能超过存算一体，成本降低30%+。

基于时间规则、集群负载等弹性伸缩策略，支持节点级、容器级、作业级弹性，提供丰富的弹性资源，如：抢占式/预约实例、弹性容器实例(VCI)等，灵活满足波峰波谷资源需求，极致降本。

单集群支持10万核以上（可跨AZ部署），可单次扩容1000节点，完备的容灾能力。EMR Spark达到10EB级处理量，日均Shuffle量超过400PB。EMR Ray提供GPU万卡集群稳定运行数据处理、训练和推理等AI业务。

一站式云托管，提供集群管理、服务管理、用户管理、监控告警、作业管理、日志查询等能力；支持服务监控指标体系，企业级诊断能力，感知集群组件及任务的运行异常状况，降低运维门槛。

支持Kerberos和lAM双认证模式、RBAC模式、审计日志等，具备数据加密、数据隔离、细颗粒度访问控制等能力，协同火山引擎安全体系，提供高可用、全方位的安全管控服务。