本文将为您介绍在火山引擎 E-MapReduce(EMR)控制台上基于 Kubernetes 创建集群的详细步骤。
前提条件
- 已完成入门的相关准备工作,创建集群需完成企业认证。
- 集群创建购买前,请保证您的账户余额(即现金余额)大于等于0元,且余额加代金券的总金额不得小于100.00元人民币。
操作步骤
创建虚拟集群入口
- 登录 EMR 控制台。
- 在顶部菜单栏中,根据实际场景,下拉选择地域和项目空间:
- 地域:创建的集群及相应资源将会部署在对应的地域内,一旦创建不能修改。
- 项目:默认显示默认项目。详见项目配置。
- 在 on VKE 集群列表界面 ,单击创建虚拟集群入口,开始虚拟集群创建。
创建虚拟集群配置
配置项 | 说明 |
---|
产品版本 | 默认最新的软件版本。 |
服务 | - 目前支持 Spark、Celeborn、Hive MetaStore、Ray、Volcano、ZooKeeper、Kyuubi、Proton 服务,可以单选或多选。
- Celeborn 提供 Remote Shuffle 服务,解决 Kubernetes 场景下本地盘的依赖问题。
- Ray 提供分布式计算框架,覆盖机器学习、模型训练等场景。
- Proton 是火山引擎 E-MapReduce(EMR)团队推出的数据湖加速引擎,其深度优化的 TOS 访问能力和缓存能力,可极大地提升计算任务的执行效率。
说明 Ray、Volcano 服务需要开白使用,如有需求请通过 提工单 的方式,联系火山引擎技术支持人员。 |
集群名称 | 集群的名字,长度限制为1~64个字符,仅可使用中文、字母、数字、中划线(-)和下划线(_)。 |
资源类型 | 选择新建 VKE 资源,或者已有 VKE 资源(仅白名单用户支持)。 说明 - 建议已有VKE集群安装 ingress 组件, 否则会影响 EMR on VKE 集群访问链接功能。
- 新建 VKE 资源目前不支持 ZooKeeper、Kyuubi 服务。
- 新建 VKE 资源参数配置可参考:容器服务。
|
已有VKE资源
(仅白名单用户支持) | VKE 集群 | 选择已创建的 VKE 集群。 |
Namespace | 服务部署的 VKE 命名空间。默认随机生成,也可以自定义。
 说明 若您选择安装的服务依赖外置 RDS,为了避免网络访问问题,仅支持配置与已有 VKE 资源相同 VPC 下的数据连接实例。 |
新建VKE资源 | 付费类型 | 目前仅支持按量付费 |
可用区 | 选择集群所在的可用区 |
网络配置 | - 如您没有可以使用的网络,请选择**全新创建,**系统将自动为您创建 VPC、子网和安全组
- 如您有可使用的网络,请选择**使用已有,**选择需使用的 VPC、子网和安全组

说明 若您选择安装的服务依赖外置 RDS,为了避免网络访问问题,配置集群 VPC 时需要与该 RDS 所处的 VPC 相同。 |
开启公网 | VKE 集群开启公网访问,会创建 NAT 网关并收取服务费和流量费 |
访问凭证 | 该凭证用于远程登陆集群 master 节点的 ECS 机器,您可选择密钥对或密码方式登录 |
密钥对/密码 | - 密钥对:下拉选择已创建成功的密钥对,或单击 创建密钥对 前往控制台创建,使用详见 密钥对概述
- 密码:输入集群 Master 节点登录密码长度限制在8~30之间。请勿设置过于简单,否则可能被其他用户恶意攻击
说明 - 为安全考虑,建议使用密钥对。
- 密码只能由大写字母、小写字母、数字和特殊字符组成,且必须包含至少三项。
- 特殊字符可以使用:`~!@#$%^&*()_-+= |不能以“/”和“$6$”开头。 |
|
专属节点 | 单击配置专属节点,可以配置 EMR 专属节点池或者配置专属节点。
选择节点池或节点后,将对选择的节点打上 EMR 标签,被配置的节点允许运行 EMR 服务。配置专属节点池时,基于该节点池的扩容节点也会自动配置成 EMR 专属节点。 说明 - 您可前往容器服务控制台 添加节点或改变节点配置。
- ShuffleService 集群专至少需要 3 台专属节点,且必须为本地盘机型,比如i2g、i3s 等。
- 部署 CelebornWorker 至少需要配置 3 个本地盘机型专属节点。
- 部署 Proton 至少需要配置2个本地SSD机型专属节点,建议和CelebornWorker分开部署。您可以通过Pod部署配置中的节点调度策略设置。

|
配置 Pod 部署 | 容器组(Pod)是 Kubernetes 创建或部署的最小单位。一个 Pod 封装一个或多个容器(Container)、存储资源(Volume),包含一个独立的网络 IP 和管理控制容器运行方式的策略选项。您可根据需求调节容器组参数。 说明 - 如果资源类型为已有 VKE 资源,您可以通过节点调度策略设置不同 Pod 的亲和和反亲和性。您也可以通过调度策略设置 Pod 部署在期望的云服务器或者 GPU 服务器机型上。
- 展示所选服务 Pod 部署信息,并对部署最小资源需求进行检查和提示。
|
污点容忍 | 当您需要为组件容器设置污点和容忍度时,您可以配置污点容忍项。目前污点容忍支持根据“effect”进行选择。 |
所属项目 | 火山引擎为您提供的一套云资源管理方式,用于对云资源进行集中的编排管理。详见项目配置。 |
关联 Shuffle Service 集群 | 支持 Spark 创建时和创建后关联 ShuffleService 集群。关联 ShuffleService 集群后,Spark Shuffle 部分会运行在关联的 ShuffleService 集群上。 |
TOS 桶 | 选择已有的 Bucket,或者在对象存储 TOS 控制台新建 Bucket。 |
AccessKey | AK/SK 用于读写 TOS 数据。建议使用独立的 IAM 账号创建 TOS 独立的 AK/SK。 |
SecretKey | AK/SK 用于读写 TOS 数据。建议使用独立的 IAM 账号创建 TOS 独立的 AK/SK。 |
标签 | 可以对集群以及对应的 VKE 集群进行打标 |