产品架构

产品架构

EMR产品架构如下：

基础设施： 基于火山引擎云服务器（ECS）、公网IP（EIP）、弹性块存储（EBS）、对象存储（TOS）、私有网络（VPC）为EMR提供弹性扩展、高可靠、高性能、安全隔离的部署环境。

数据存储： HDFS分布式文件系统支持海量结构化和非结构化数据存储，支持多种高效格式满足不同分析引擎要求，同时对接TOS对象存储，实现高可用低成本数据存储。支持Hudi、Iceberg、Delta Lake等多种数据湖存储格式，助力企业构建数据湖解决方案。

资源调度： 基于hadoop资源管理组件Yarn和Kubernetes，为上层应用提供统一的资源管理和调度。

开源引擎： 提供丰富的主流开源生态组件，100%兼容开源，并基于字节内部实践持续深度优化，覆盖离线计算、实时计算、交互式分析、OLAP数据库、NoSQL数据库、云搜索、数据科学、数据开发、权限管控等领域，满足各类大数据应用场景需求。

管控运维： 支持集群创建发放、一键部署、统一运维管理能力，支持集群弹性扩容、弹性伸缩、以及对各组件的监控、告警、配置、日志查看等一站式运维能力。