You need to enable JavaScript to run this app.
导航

基本概念

最近更新时间2023.01.18 17:24:17

首次发布时间2023.01.18 17:24:17

本文汇总使用E-MapReduce过程中涉及的基本概念,方便您查询和了解相关概念。

通用概念

概念说明
集群E-MapReduce产品中的一个独立的机器组合,为上层业务提供一些基础的引擎服务。每个E-MapReduce集群是由多个火山引擎ECS实例组成。
ECS实例一种由CPU、内存、云盘组成的资源集合,每一种资源都会逻辑对应到数据中心的计算硬件实体。

节点

E-MapReduce集群由多个不同类型的实例节点组成,包括主实例节点(Master)、核心实例节点(Core)和计算实例节点(Task)。不同实例节点上部署的服务进程不同,负责完成的任务也不同。例如:

  • 主实例节点(Master):集群服务部署管控等组件的节点,例如,Hadoop YARN的 ResourceManager。

  • 核心实例节点(Core):被主实例节点管理的节点。核心实例节点上会运行Hadoop HDFS的Datanode服务,并保存所有的数据。同时,核心实例节点也会部署计算服务来执行计算任务。例如,Hadoop YARN的NodeManager服务。

  • 计算实例节点(Task):专门负责计算的实例节点,不会保存HDFS数据,被计算的数据来自 Core 节点及 TOS 中,因此 Task 节点往往被作为弹性节点,可随时扩容和缩容;主要部署 NodeManager服务,可随时更改 Task 节点数,实现集群弹性伸缩,最小值为0。

地域和可用区

  • 地域(Region):是指物理数据中心所在的不同地理区域。

    • 为了降低访问时延、提高下载速度,建议您选择最靠近所需服务的地域购买ECS,资源购买成功后不支持更换地域。
  • 可用区(Availability Zone,简称AZ ):是指在同一地域内,电力和网络互相独立的物理区域。

    • 一个地域通常由多个可用区组成。只有同一地域内的不同可用区之间内网互通,且使用低时延链路相连。不同地域之间的可用区完全隔离。

云盘和本地盘

  • 云盘:数据块级别的块存储产品,采用分布式三副本机制,为ECS实例提供99.9999999%的数据可靠性保证。

  • 本地盘:ECS实例所在物理机上的本地硬盘设备,存储I/O性能、海量存储的性价比极高,但数据可靠性取决于物理机的可靠性,存在单点故障风险。

私有网络私有网络(VPC)为您的云上环境提供内网安全隔离功能,不同VPC间私网不通。
安全组安全组是一系列安全规则的集合,具备状态检测和数据包过滤能力,可以控制安全组内云服务器实例的入流量和出流量,是云服务器重要的网络安全隔离手段。
公网IP公网IP EIP(Elastic IP)提供独立的公网IP资源,包括公网IP地址与公网出口带宽服务,为云资源提供访问Internet服务。
标签由一对键值(Key-Value)组成。使用标签标识具有相同特征的资源后,例如所属组织或用途相同的资源,您可以基于标签方便地检索和管理资源。
项目火山引擎为客户提供的一套云资源管理方式,用于对云资源进行集中的编排管理。例如您可基于“项目”对资源进行分组,然后基于项目进行权限管理及账单查询。

计费概念

概念说明
包年包月又称为预付费,是一种先支付费用后使用资源的付款方式,适合计算和存储资源较为固定的使用方式。EMR包年包月的购买最小时长为1个月。
按量付费又称为后付费,是一种先使用资源后支付费用的付款方式,可以更加灵活的开启和关闭EMR集群。