创建虚拟集群--E-MapReduce-火山引擎

文档中心

立即注册

导航

创建虚拟集群

最近更新时间：2025.06.12 14:38:59首次发布时间：2024.03.08 14:31:23

本文将为您介绍在火山引擎 E-MapReduce（EMR）控制台上基于 Kubernetes 创建集群的详细步骤。

前提条件

已完成入门的相关准备工作，创建集群需完成企业认证。
集群创建购买前，请保证您的账户余额（即现金余额）大于等于0元，且余额加代金券的总金额不得小于100.00元人民币。

操作步骤

创建虚拟集群入口

登录 EMR 控制台。
在顶部菜单栏中，根据实际场景，下拉选择地域和项目空间：
1. 地域：创建的集群及相应资源将会部署在对应的地域内，一旦创建不能修改。
2. 项目：默认显示默认项目。详见项目配置。
在 on VKE 集群列表界面，单击创建虚拟集群入口，开始虚拟集群创建。

创建虚拟集群配置

配置项		说明
产品版本		默认最新的软件版本。
服务		目前支持 Spark、Celeborn、Hive MetaStore、Ray、Volcano、ZooKeeper、Kyuubi、Proton 服务，可以单选或多选。 Celeborn 提供 Remote Shuffle 服务，解决 Kubernetes 场景下本地盘的依赖问题。 Ray 提供分布式计算框架，覆盖机器学习、模型训练等场景。 Proton 是火山引擎 E-MapReduce（EMR）团队推出的数据湖加速引擎，其深度优化的 TOS 访问能力和缓存能力，可极大地提升计算任务的执行效率。说明 Ray、Volcano 服务需要开白使用，如有需求请通过提工单的方式，联系火山引擎技术支持人员。
集群名称		集群的名字，长度限制为1~64个字符，仅可使用中文、字母、数字、中划线（-）和下划线（_）。
资源类型		选择新建 VKE 资源，或者已有 VKE 资源（仅白名单用户支持）。说明建议已有VKE集群安装 ingress 组件，否则会影响 EMR on VKE 集群访问链接功能。新建 VKE 资源目前不支持 ZooKeeper、Kyuubi 服务。新建 VKE 资源参数配置可参考：容器服务。
已有VKE资源（仅白名单用户支持）	VKE 集群	选择已创建的 VKE 集群。
已有VKE资源（仅白名单用户支持）	Namespace	服务部署的 VKE 命名空间。默认随机生成，也可以自定义。说明若您选择安装的服务依赖外置 RDS，为了避免网络访问问题，仅支持配置与已有 VKE 资源相同 VPC 下的数据连接实例。
新建VKE资源	付费类型	目前仅支持按量付费
	可用区	选择集群所在的可用区
	网络配置	如您没有可以使用的网络，请选择全新创建，系统将自动为您创建 VPC、子网和安全组如您有可使用的网络，请选择使用已有，选择需使用的 VPC、子网和安全组说明若您选择安装的服务依赖外置 RDS，为了避免网络访问问题，配置集群 VPC 时需要与该 RDS 所处的 VPC 相同。
	开启公网	VKE 集群开启公网访问，会创建 NAT 网关并收取服务费和流量费
	访问凭证	该凭证用于远程登陆集群 master 节点的 ECS 机器，您可选择密钥对或密码方式登录
	密钥对/密码	密钥对：下拉选择已创建成功的密钥对，或单击创建密钥对前往控制台创建，使用详见密钥对概述密码：输入集群 Master 节点登录密码长度限制在8～30之间。请勿设置过于简单，否则可能被其他用户恶意攻击说明为安全考虑，建议使用密钥对。密码只能由大写字母、小写字母、数字和特殊字符组成，且必须包含至少三项。特殊字符可以使用：`~!@#$%^&*()_-+= \|不能以“/”和“$6$”开头。 \|
专属节点		单击配置专属节点，可以配置 EMR 专属节点池或者配置专属节点。选择节点池或节点后，将对选择的节点打上 EMR 标签，被配置的节点允许运行 EMR 服务。配置专属节点池时，基于该节点池的扩容节点也会自动配置成 EMR 专属节点。说明您可前往容器服务控制台添加节点或改变节点配置。 ShuffleService 集群专至少需要 3 台专属节点，且必须为本地盘机型，比如i2g、i3s 等。部署 CelebornWorker 至少需要配置 3 个本地盘机型专属节点。部署 Proton 至少需要配置2个本地SSD机型专属节点，建议和CelebornWorker分开部署。您可以通过Pod部署配置中的节点调度策略设置。
配置 Pod 部署		容器组（Pod）是 Kubernetes 创建或部署的最小单位。一个 Pod 封装一个或多个容器（Container）、存储资源（Volume），包含一个独立的网络 IP 和管理控制容器运行方式的策略选项。您可根据需求调节容器组参数。说明如果资源类型为已有 VKE 资源，您可以通过节点调度策略设置不同 Pod 的亲和和反亲和性。您也可以通过调度策略设置 Pod 部署在期望的云服务器或者 GPU 服务器机型上。展示所选服务 Pod 部署信息，并对部署最小资源需求进行检查和提示。
污点容忍		当您需要为组件容器设置污点和容忍度时，您可以配置污点容忍项。目前污点容忍支持根据“effect”进行选择。
所属项目		火山引擎为您提供的一套云资源管理方式，用于对云资源进行集中的编排管理。详见项目配置。
关联 Shuffle Service 集群		支持 Spark 创建时和创建后关联 ShuffleService 集群。关联 ShuffleService 集群后，Spark Shuffle 部分会运行在关联的 ShuffleService 集群上。
TOS 桶		选择已有的 Bucket，或者在对象存储 TOS 控制台新建 Bucket。
AccessKey		AK/SK 用于读写 TOS 数据。建议使用独立的 IAM 账号创建 TOS 独立的 AK/SK。
SecretKey		AK/SK 用于读写 TOS 数据。建议使用独立的 IAM 账号创建 TOS 独立的 AK/SK。
标签		可以对集群以及对应的 VKE 集群进行打标