You need to enable JavaScript to run this app.
导航
功能发布记录
最近更新时间:2024.09.14 14:11:46首次发布时间:2024.03.01 11:05:41

本文介绍火山引擎 EMR容器版 各版本功能发布和文档动态,新特性将在各个地域陆续发布,欢迎体验。

2024年9月

  • EMR平台功能更新

功能名称

功能概述

发布地域

创建EMR虚拟集群时支持新建VKE集群

EMR-VKE-1.7.0及之后版本支持创建EMR虚拟集群时直接新建VKE集群,对算法工程师或无离在线混合部署需求的用户而言,减少了创建EMR虚拟集群的步骤和复杂度。

华北2(北京)、华东2(上海)、亚太东南(柔佛)、华南1(广州)

提供更详细的操作日志

提供更丰富的操作信息详细信息,帮助用户分析操作(如创建集群/扩容等)失败原因。

  • EMR软件栈更新

软件栈版本

功能描述

相关文档

发布地域

软件栈EMR-VKE 1.7.0

遗留问题
创建EMR虚拟集群时如果选择新建VKE资源,暂不支持部署Kyuubi和Zookeeper服务,待后续版本支持。

EMR-VKE-1.7.0发布说明

华北2(北京)、华东2(上海)、亚太东南(柔佛)、华南1(广州)

2024年8月

  • EMR平台功能更新

功能名称

功能概述

发布地域

使用弹性容器实例VCI调度Spark作业

支持使用弹性容器实例(VCI)调度Spark作业,满足业务高峰弹性算力需求,减少常驻资源规模,实现降本。

华北2(北京)、华东2(上海)、亚太东南(柔佛)、华南1(广州)

虚拟集群操作日志接入日志中心

虚拟集群操作日志接入EMR控制台日志中心,用于日常操作审计和问题排查。

作业监控

通过作业管理可以监控虚拟集群上的Spark和Ray作业,支持作业详情和日志详情查看,便于作业问题分析排查。此功能当前为测试阶段。

丰富监控指标

EMR控制台丰富Spark、Celeborn监控指标,支持接入云上托管版Prometheus,用于日常运维监控。

  • EMR软件栈更新

软件栈版本

功能描述

相关文档

发布地域

软件栈EMR-VKE 1.6.0

遗留问题
【组件】单个RayCluster上持续运行超过1500+任务,可能会报low memory异常,为开源已知问题。

EMR-VKE-1.6.0发布说明

华北2(北京)、华东2(上海)、亚太东南(柔佛)、华南1(广州)

2024年6月

  • EMR平台功能更新

功能名称

功能概述

发布地域

Ray HistoryServer

部署EMR Ray服务时默认启动Ray HistoryServer,对Ray作业日志进行持久化存储,便于查看和分析历史作业。

华北2(北京)、华东2(上海)、亚太东南(柔佛)

百万级Partition Shuffle

EMR on VKE对Celeborn进行优化,提供百万级别的Spark Partition Shuffle能力,以满足文本数据预处理场景下百万级Partition需求。

支持Spark SQL作业类型

用户在创建EMR虚拟集群时,如果选择部署Spark和HiveMetastore服务,将允许执行Spark SQL作业。EMR on VKE 以前版本仅支持Spark Jar、PySpark等作业类型。

OpenAPI更新

可以通过AddComponentInstance接口在安装了Ray的EMR虚拟集群上启动RayCluster。

新Region开服

EMR on VKE开服Region新增华东2(上海)和亚太东南(柔佛), 已支持华北2(北京)、华东2(上海)和亚太东南(柔佛)。

  • EMR软件栈更新

软件栈版本

功能描述

相关文档

发布地域

软件栈EMR-VKE 1.4.0

新功能

【组件】新增HiveMetastore组件,以满足允许Spark SQL作业需求

【组件】Ray软件版本从2.9.3升级至2.22.0

遗留问题
【组件】Ray任务运行中会产生大量日志,日志会占用磁盘空间,需要关注您的磁盘空间剩余情况。
【组件】RayCluster运行作业建议并发在100以内,如果并发过大退出任务时可能会出现报错。
【组件】Spark异常中断的作业,SparkHistoryServer显示状态为运行中
【管控】暂不支持Celeborn参数值设置为数字。

EMR-VKE-1.5.0发布说明

华北2(北京)、华东2(上海)、亚太东南(柔佛)

2024年4月

  • EMR平台功能更新

功能名称

功能概述

发布地域

自定义镜像

EMR On VKE 支持将自定义 Docker 镜像作为集群中任务的默认工作负载运行时。用户可以从火山引擎镜像仓库获取EMR基础镜像做二次开发,并打包成新的镜像 。当前自定义镜像的范围仅包括Spark和Ray。使用自定义Docker镜像运行作业

华北2(北京)

灵活的调度规则

EMR支持灵活的Pod调度规则,支持容忍节点上NoExecute、NoSchedule等污点。配置容忍污点后,EMR的Pod Yaml上会有相应配置。EMR新增配置节点的亲和性规则,Pod将调度到满足亲和性条件的节点上。

OpenAPI发布

EMR on VKE支持以OpenAPI方式对虚拟集群和应用进行管理。查看EMR on VKE API列表

  • EMR软件栈更新

软件栈版本

功能描述

相关文档

发布地域

软件栈EMR-VKE 1.3.4

遗留问题

【组件】Spark HistoryServer,采用TOS做为event log存储时,若采用Spark Native提交任务时,不支持查看正在执行的Job。同时也不支持查看Local模式下正在执行的SparkJob

【组件】Ray支持以HDFS协议读取TOS, 但定义HDFSFileSystem时需要先执行ray.init(),如下:
from pyarrow import fs
import ray
ray.init()

hdfs_fs = fs.HadoopFileSystem(host='tos://{bucket_name}', ...)

【组件】KubeRay中采用Volcano做调度时会报错,需要升级下KubeRay的镜像,可联系火山工程师进行升级。

EMR-VKE-1.4.0发布说明

华北2(北京)