You need to enable JavaScript to run this app.
导航
EMR 1.3.1版本说明
最近更新时间:2023.01.19 11:40:44首次发布时间:2022.08.23 12:38:30
环境信息

系统环境

版本环境
OSveLinux(Debian 10兼容版)
Python22.7.16
Python33.7.3
JavaByteOpenJDK 1.8.0_302

应用程序版本

remote_base_log_folderHadoop集群Flink集群Kafka集群Presto集群Trino集群HBase集群OpenSearch集群TensorFlow集群Doris集群Pulsar集群
Flume1.9.01.9.01.9.0-------
OpenLDAP2.4.582.4.582.4.582.4.582.4.582.4.582.4.582.4.58--
Ranger2.1.02.1.02.1.02.1.02.1.02.1.0-2.1.0--
ZooKeeper3.7.03.7.03.7.0--3.7.0-3.7.0-3.7.0
Flink1.111.11--------
HDFS3.3.13.3.1-3.3.13.3.13.3.1-3.3.1--
MapReduce23.3.13.3.1-----3.3.1--
YARN3.3.13.3.1-----3.3.1--
Airflow2.2.0--2.2.02.2.0-----
Hive3.1.2--3.1.23.1.2-----
Hue4.9.0--4.9.04.9.0-----
Kafka--2.3-------
Knox1.5.01.5.01.5.01.5.01.5.01.5.01.5.01.5.01.5.0-
Presto0.267--0.267------
Presto on YARN0.267---------
Trino365---365-----
Trino on YARN365---------
Spark3.2.1------3.2.1--
Sqoop1.4.7---------
Kerby2.0.1---------
Tez0.10.1---------
Iceberg0.12.0--0.12.00.12.0-----
Hudi0.10.0---------
HBase-----2.3.7----
OpenSearch------1.2.3---
TensorFlow-------2.7.0--
TensorFlow on YARN-------1.0.0--
Doris--------1.0.0-
Pulsar---------2.9.1
BookKeeper---------4.14.2
发布说明

以下发布说明包括有关 EMR V1.3.1 的信息, 更改与 1.3.0 有关。EMR V1.3.0为火山引擎EMR V1.3.x的第二个版本。
发布日期: 2022 年 08 月 04 日

新增功能

  • 【通用】Hadoop集群 弹性伸缩 白名单发布:

    • 支持多种伸缩场景

      • 弹性扩展,用户根据自己的业务需求自动调整其弹性计算资源,在满足业务需求高峰增长时无缝地增加ECS实例;

      • 弹性收缩,用户根据自己的业务需求自动调整其弹性计算资源,在业务需求下降时自动减少ECS实例以节约成本;

      • 弹性自愈,用户根据自己的业务需求自动替换不健康的ECS实例使业务始终保持正常的负载,为业务保驾护航。

    • 支持多种伸缩策略

      • 固定数量模式,通过“最小实例数”属性,可以让您始终保持健康运行的ECS实例数量,自动替换不健康实例,以保证日常场景实时可用;

      • 定时伸缩模式,配置定时任务,一次性在固定时间增加或减少ECS实例,适合于突发性的且业务需求比较明确的场景;

      • 周期伸缩模式,配置周期性任务,定时地增加或减少ECS实例,适合于比较稳定的业务预期;

  • 【集群】集群服务上下线:支持将某一节点上的一个组件下线(当组件实例数达到最小数量限制时就不能再继续下线)。

  • 【组件】Trino Bloom索引增强,包括

    • 支持在CREATE INDEX时,为Bloom索引设置roperties参数;

    • 只支持对Iceberg表开启索引功能,且要求Iceberg表的format.version=2;

    • 支持对INT等数字类型的字段构建Bloom索引。

  • 【组件】Hue增加支持PySpark

  • 【组件】支持Airflow RemoteLog写入TOS,配置如下:

    • 设置 remote_logging=True;

    • 通过 remote_base_log_folder 指定对应TOS路径;

    • 无需指定 remote_log_conn_id。

更改、增强和解决的问题

  • 【通用】修复云监控无法采集EMR的ECS实例的部分数据指标的问题。

  • 【通用】集群服务日志外置,不再占用集群内部存储和计算资源,提高集群性能。

  • 【组件】HDFS默认副本策略优化:根据用户选择的机型磁盘动态设置HDFS默认副本数(磁盘为云盘时默认副本是2,为本地盘时默认副本数是3),根据硬件配置优化参数配置。

  • 【组件】Doris稳定性增加:合入社区1.0.1分支的20多个bug,提升Doris组件的稳定性。

  • 【组件】Spark版本升级3.2.1

  • 【通用】监控指标链路升级改造:

    • 自 1.3.1 版本起的EMR集群,默认对接云监控,用户可以在云监控产品页面的 数据****中台 -- E-MapReduce 空间中查看更多的监控图标,进行更细致的告警配置。

    • 目前完成了 HDFS,HBase,Hive,YARN,Kafka,Presto,Trino 服务组件的接入。

    • Promethus 改单点为多实例部署,每节点实例收集本节点上的服务指标并输出,减轻 Master 单点收集的压力,规避单点导致整体指标不可用的问题。

已知问题

  • 【集群】可能会出现偶现的集群重启失败的问题,可以通过手工启动集群服务解决,实现集群的正常运行。
组件版本

下面列出了 EMR 和此版本一起安装的组件。

组件版本描述
zookeeper_server3.7.0用于维护配置信息、命名、提供分布式同步的集中式服务。
zookeeper_client3.7.0ZooKeeper命令行客户端。
hive_metastore3.1.2Hive元数据存储服务。
hive_server3.1.2用于将 Hive 查询作为 Web 请求接受的服务。
hive_client3.1.2Hive命令行客户端。
hdfs_namenode3.3.1用于跟踪HDFS文件名和数据块的服务。
hdfs_datanode3.3.1存储HDFS数据块的节点服务。
hdfs_secondary_namenode3.3.1对NameNode数据进行周期性合并的服务。
hdfs_client3.3.1HDFS客户端命令行。
hdfs_journalnode3.3.1用于管理 HA 模式下HDFS日志的服务。
hdfs_zkfc3.3.1用户维护HA模式下HDFS NameNode从动态的服务。
hue_server4.9.0用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序。
knox_gateway1.5.0用于与Hadoop生态的RESTAPI和UI交互的应用程序网关。
openldap2.4.58后台认证以及用户数据权限管控服务。
ranger_admin2.1.0Ranger安全管理的中心接口服务。
ranger_usersync2.1.0拉取用户和组的Ranger服务。
spark_jobhistoryserver3.2.1用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。
ksana1.0为字节EMR团队自研组件,定位于SparkSQL数据仓库构建引擎,取代了Spark Thrift Server,兼容Hive的使用方式。
spark_client3.2.1Spark命令行客户端。
livy_server3.2.1提供REST接口来与Spark交互的服务。
sqoop1.4.7提供数据库与HDFS导入导出功能。
iceberg0.12.0Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。
hudi0.10.0增量处理框架,以支持低延迟和高效率的数据管道。
yarn_resourcemanager3.3.1分配和管理集群资源与分布式应用程序的 YARN 服务。
yarn_nodemanager3.3.1管理单个节点上的容器的 YARN 服务。
yarn_client3.3.1YARN命令行客户端。
mapreduce2_historyserver3.3.1保存作业执行信息的MapReduce服务。
mapreduce2_client3.3.1MapReduce命令行客户端。
tez_client0.10.1Tez命令行客户端。
flink_client1.11.3Flink命令行客户端。
airflow_webserver2.2.0Airflow提供的web服务。
airflow_scheduler2.2.0Airflow的调度器。
presto_cli0.267Presto命令行客户端。

presto_coordinator

0.267

Presto中负责query解析,任务调度,结果汇总的,集群监控的节点。

presto_worker0.267Presto中负责所有Query相关数据的计算工作。
trino_cli365Trino命令行客户端。
trino_coordinator365Trino中负责query解析,任务调度,结果汇总的,集群监控的节点。
trino_worker365Trino中负责所有Query相关数据的计算工作。
kerby_server2.0.1Kerberos认证服务。
flume_agent1.9.0Flume中的数据采集工具。
flume_client1.9.0Flume命令行客户端。
kafka_broker2.3Kafka中的消息处理节点。
hbase_master2.3.7适用于负责协调区域和执行管理命令的 HBase 集群的服务。
hbase_regionserver2.3.7用于服务于一个或多个 HBase 区域的服务。
hbase_client2.3.7HBase 命令行客户端。
opensearch1.2.3OpenSearch服务。
opensearch_dashboard1.2.3OpenSearch的可视化仪表盘。
tensorflow2.7.0适用于高性能数值计算的 TensorFlow 开源软件库。
tensorflow_on_yarn1.0.0TensorFlow YARN应用程序和库。
doris_fe1.0.0Doris的FE服务。
doris_be1.0.0Doris的BE服务。
bookie4.14.2负责Pulsar消息数据的存储。
pulsar_broker2.9.1提供读写服务以及 Pulsar 的计算逻辑。
pulsar_client2.9.1Pulsar 命令行客户端。