E-MapReduce
E-MapReduce
E-MapReduce
文档指南
请输入
产品动态与公告
产品简介
发行版本
版本说明
EMR-3.17.0及之前版本说明
EMR on ECS
发行版本
版本说明
EMR 3.x版本
EMR-3.6.X 版本说明
EMR-3.4.X 版本
EMR 2.x版本
EMR 1.x版本
EMR 1.3.x版本
产品计费
快速入门
EMR on ECS 快速入门
EMR on VKE 快速入门
EMR on ECS 操作指南
集群管理
集群配置
集群监控
EMR on VKE 操作指南
EMR Serverless 队列操作指南
提交作业
运维管理
开发指南
EMR Serverless 实例操作指南（OLAP）
操作指南
数据湖查询(StarRocks)
性能调优
组件操作指南
Celeborn
DolphinScheduler
HBase
Hive
Iceberg
Knox
Lance
Livy
MapReduce2
OpenLDAP
Phoenix
Proton
基础使用
高阶使用
Ranger
Ray
RayCluster 使用
Spark
StarRocks
数据湖分析
最佳实践
Tez
YARN
最佳实践
EMR on ECS 最佳实践
EMR Serverless 实例最佳实践
StarRocks
EMR Serverless 队列最佳实践
Spark
开发参考
API 参考
EMR on ECS API参考
集群管理
节点组管理
用户管理
用户组管理
应用管理
EMR on VKE API参考
集群管理
应用管理
SDK 参考
EMR on ECS SDK 参考
EMR Serverless SDK 参考
常见问题
- 文档首页
E-MapReduce产品简介发行版本版本说明EMR-3.17.0及之前版本说明EMR on VKE版本说明EMR-VKE-1.8.0发布说明
EMR-VKE-1.8.0发布说明
文档反馈
问问助手环境说明
系统环境
环境 | 语言 | 版本 |
|---|---|---|
OS | velinux1u3 SMP Debian 5.4.250-2 | |
OS | Java | 1.8.0_351 |
Spark | Java | 1.8.0_351 |
Spark | Scala | 2.12.18 |
Ray | Java | 1.8.0_351 |
Celeborn | Java | 1.8.0_351 |
Celeborn | Scala | 2.12.15 |
应用程序版本
软件 | 版本 |
|---|---|
Spark | 3.5.1 |
Ray | 2.39.0 |
Kuberay | 1.1.1 |
Celeborn | 0.5.0 |
Hive | 3.1.3 |
Zookeeper | 3.7.1 |
Kyuubi | 1.8.1 |
EMR-VKE-1.8.0发布说明
新增功能
- 新增弹性伸缩功能
EMR虚拟集群支持容器服务(VKE)的节点弹性伸缩能力，当节点池开启用弹性伸缩时，节点上的Pod因为资源不足处于Pending状态时触发自动扩容动作。用户通过EMR控制台可以查看和修改节点池弹性伸缩启用状态，查看扩缩容记录。弹性伸缩在后续的版本中将支持使用弹性容器实例VCI作为弹性算力。 - 弹性容器实例VCI调度Spark和Ray作业开箱即用
EMR-VKE-1.7.0及之前版本允许用户在创建虚拟集群时选择使用弹性容器实例（VCI）调度Spark作业。从EMR-VKE-1.8.0开始，允许用户在创建虚拟集群时选择使用VCI调度Ray作业和Spark作业。使用VCI调度Spark和Ray作业，无需预留固定资源，可以大幅减少资源成本。 - OpenAPI支持作业的查看和提交
从EMR-VKE-1.8.0开始，允许用户通过OpenAPI的方式提交和查看Spark和Ray作业。用户在工作流中通过EMR OpenAPI提交作业后，可通过EMR控制台监控和分析运行中和已完成的作业。
更新、增强和解决的问题
- RayHistoryServer支持查看运行中作业
EMR 3.13.0版本前的RayHistoryServer仅支持查看已完成的任务，如需查看运行中的Ray任务，须通过访问链接中的Ray Dashboard。EMR 3.13.0版本开始，允许用户通过RayHistoryServer同时查看运行中和已完成的任务。
遗留问题
- 创建EMR虚拟集群时选择新建VKE资源，暂不支持部署Kyuubi和Zookeeper服务，待后续版本支持。
组件说明
组件 | 描述 |
|---|---|
Celeborn Master | 维护Celeborn集群整体状态、活跃Shuffle和高可用 |
Celeborn Worker | 接收、存储和服务Shuffle 数据 |
Spark Operator | 用于在 Kubernetes 集群上部署和管理 Spark 应用程序 |
Spark History Server | Spark的Web UI组件，用于展示已完成的 Spark 作业的详细视图，包括作业的执行时间线、任务详情和资源使用情况 |
Ray Operator | 用于在 Kubernetes 集群上部署和管理 Ray 应用程序 |
HiveMetastore | Hive元数据存储服务 |
Kyuubi | 分布式、多租户的大数据网关，用于在Lakehouse上提供无服务器SQL服务 |
Volcano | 提供丰富的调度策略和优化机制，支持机器学习、大数据、科学计算等多种工作负载 |
Zookeeper | 用于维护配置信息、命名、提供分布式同步的集中式服务 |
最近更新时间：2025.01.02 14:40:22
这个页面对您有帮助吗？
有用
有用
无用
无用