You need to enable JavaScript to run this app.
导航

创建集群

最近更新时间2023.04.04 15:51:27

首次发布时间2021.09.01 17:27:34

本文将为您介绍在火山引擎 E-MapReduce(EMR)控制台上创建集群的详细步骤。

1 前提条件

  1. 已完成入门的相关准备工作,创建集群需完成企业认证

  2. 集群创建购买前,请保证您的账户余额(即现金余额)大于等于0元,且余额加代金券的总金额不得小于100.00元人民币。

2 操作步骤

2.1 创建集群入口

  1. 登录 EMR 控制台

  2. 在顶部菜单栏中,根据实际场景,下拉选择地域和项目空间:

    1. 地域:创建的集群及相应资源将会部署在对应的地域内,一旦创建不能修改。

    2. 项目:默认显示默认项目。详见项目配置

  3. 在总览界面,单击创建集群入口,开始集群创建。

2.2 集群快速创建配置

在创建集群界面,右上角单击快速创建按钮,完成以下软件配置、付费设置、可用地区、网络配置、实例设置、基础信息等配置:

  1. 集群参数配置:

    配置项示例说明
    软件配置
    分析场景数据湖数据分析的场景,EMR 已支持数据湖、实时计算、交互式分析、NoSQL、搜索、数据科学等多种分析场景。
    集群类型Hadoop默认为 Hadoop 集群类型,针对不同分析场景,您可选择更多类型,详细参考集群类型
    产品版本EMR-3.1.0EMR软件栈的版本,建议选择EMR最新的软件版本,目前已支持 EMR 1.2.1、1.3.1、2.0.1、2.1.0、3.0.1、3.1.0版本,不同版本说明详见产品版本

    服务高可用

    不开启

    选择集群是否开启高可用服务。开启高可用,Hadoop 集群会有三个 Master 节点来支持 ResourceManager 和 NameNode 的高可用,生产环境推荐使用高可用部署形态。

    说明

    交互式分析场景下,Presto、Trino 集群类型目前也已支持高可用形式,您可通过提工单,后台联系 EMR 技术支持人员进行白名单开通。

    必选服务HDFS\YARN\Hue\Spark\OpenLDAP 等默认的服务组件,不同集群类型,默认的必选服务不同,后期您可以在集群服务列表中启停服务。
    可选服务不勾选根据实际需求选择其他组件服务,被选中的组件会默认启动相关的服务。

    元数据选择

    内置数据库

    • 内置数据库:仅限使用在测试场景下,本地 MySQL 数据库部署在 EMR 集群单节点中,不能保证服务高可用,有稳定性风险,生产场景建议选择外置数据库;

    • 外置数据库:用于生产环境的集群,建议使用独立 RDS MySQL,可以选择使用火山引擎高可用版本的 RDS MySQL 5.7,下拉选择需链接的外置数据源。操作详见元数据链接

    付费设置

    付费类型

    按量付费

    • 按量付费:按实际开通时长以小时为单位进行收费,后付费模式,节点可以随时释放。

    • 包年包月:按月购买及续费,为预付费模式,节点到期之后才可以释放。

    详见计费说明

    可用地区
    可用区可用区B可用区是指在同一地域内,电力和网络互相独立的物理区域。在同一地域内可用区与可用区之间内网互通,可用区之间能做到故障隔离。
    网络配置

    选择项目

    全部项目

    火山引擎为您提供的一套云资源管理方式,用于对云资源进行集中的编排管理。
    详见项目配置

    VPC

    vpc-rr4e42vtxxxxx

    选择 EMR 集群所在地域的私有网络,建议 EMR 上下游系统在同一个私有网络。
    若没有可用的 VPC,单击创建VPC 前往新建。

    注意

    项目选择某个具体项目时,需确保 VPC 也在对应资源项目下。

    子网

    subnet-rr4e4qk77dvxxxxx

    子网用于为实例分配主网卡的私网IP地址,通过网卡可实现实例的网络管理,下拉选择对应 VPC 下可用区的子网,若没有可用的子网,单击创建子网前往创建。

    注意

    子网选择区分可用区,请选择上方对应可用区下的子网段。

    安全组

    Default

    选择配置的安全组规则,控制组内云服务器的出入流量,详见安全组概述
    您可下拉选择已有的安全组,如需创建新的安全组,单击创建安全组前往控制台创建。

    公网IP开启开启分配公网 IP 后,集群初始化时自动开通并生成公网 IP,配置在集群 master 实例上。如果选择不开启分配公网 IP,则无法通过公网 IP 访问集群。
    实例设置
    Master 节点节点数量 1主要负责 ResourceManager 和 NameNode 等控制进程的部署,根据场景需求,选择合适节点数量及机型规格,选型配置详见创建集群
    Core 节点节点数量 2主要负责集群所有数据的存储,创建集群完成后也支持按需进行扩容,根据场景需求,选择合适节点数量及机型规格,选型配置详见创建集群
    Task 节点(可选)不添加不保存数据,调整集群的计算力时使用。默认不开启,需要时可自行添加,最高可添加 5个 Task 节点组。
    基础信息
    集群名称EMR-Hadoop输入集群名称,只能包含中文、字母、数字、下划线和中划线。
    访问凭证密码用于远程登陆集群master节点ECS机器
    秘钥对/密码xxxxxxx自定义集群登录密码。

    集群配置-自定义创建方式,详见创建集群

  2. 配置参数填写完成后,勾选我同意EMR服务条款, 单击立即创建按钮,完成集群创建。

  3. 进入集群控制台 > 集群列表查看创建的集群,待集群状态更新为运行中,即代表创建成功。

3 后续步骤

当前已完成 EMR 集群的创建工作,后续您便可以开始创建并运行 EMR 相关作业。详见创建并运行作业