You need to enable JavaScript to run this app.
导航
EMR 1.1.1版本说明
最近更新时间:2023.01.19 11:40:44首次发布时间:2022.04.02 16:36:05
环境信息

系统环境

版本环境
OSDebian 9.13
Python22.7.13
Python33.5.3
Java1.8.0_312

应用程序版本

组件Hadoop集群Flink集群Kafka集群
Flume1.9.01.9.01.9.0
OpenLDAP2.4.582.4.582.4.58
Ranger2.1.02.1.02.1.0
ZooKeeper3.5.73.5.73.5.7
Flink1.111.11-
HDFS3.3.13.3.1-
MapReduce23.3.13.3.1-
YARN3.3.13.3.1-
Airflow2.2.0--
Hive3.1.2--
Hue4.9.0--
Kafka--2.3
Knox1.5.0--
Presto0.260.1--
Presto on YARN0.260.1--
Spark3.2.1--
Sqoop1.4.7--
Kerby2.0.1--
Tez0.10.1--
发布说明

以下发布说明包括有关EMRv1.1.1的信息,更改与1.1.0 有关。EMRv1.1.1为火山引擎EMR 1.1.x的第二个版本,为公测版本,不建议应用于生产环境。
发布日期: 2022年02月17日

新增功能

  • 集群增加 Kerberos 认证(仅对受邀用户开放,如有需求,可以通过联系产品团队开通)。

  • 新增Tez 组件, Hive 默认执行引擎由MapReduce改为 Tez。

更改、增强和解决的问题

  • Hadoop 和 Stream 类型集群增加 Kerberos 认证模式,您可以在创建集群时选择启用 Kerberos 认证以提升您集群的安全性。对于创建时未启用 Kerberos 认证的集群,我们同样支持您在集群运行期间通过启用 Kerberos 认证来为集群添加 Kerberos 认证支持。

  • Hadoop集群新增Tez组件,Hive默认执行引擎由MapReduce更改为Tez。通过JDBC方式连接HiveServer2,幅度提高Hive任务执行性能。

  • log4j2漏洞 CVE-2021-44228 修复。

已知问题

  • HA集群的某个master节点ecs机器意外宕机后恢复,组件状态将无法自动恢复正常。此问题的解决方案是重启集群即可恢复集群状态。

  • Hue上对Hive执行操作,若使用Ranger对用户授权,Hue和Ranger对用户英文名称大小写区分逻辑不一致,会导致权限状态不一致。此问题的解决方案是使用用户时,严格按照用户实际名称进行登录、授权。

组件版本

下面列出了 EMR 和此版本一起安装的组件。

组件版本描述
zookeeper_server3.5.7用于维护配置信息、命名、提供分布式同步的集中式服务。
zookeeper_client3.5.7ZooKeeper命令行客户端。
hive_metastore3.1.2Hive元数据存储服务。
hive_server3.1.2用于将 Hive 查询作为 Web 请求接受的服务。
hive_client3.1.2Hive命令行客户端。
hdfs_namenode3.3.1用于跟踪HDFS文件名和数据块的服务。
hdfs_datanode3.3.1存储HDFS数据块的节点服务。
hdfs_secondary_namenode3.3.1对NameNode数据进行周期性合并的服务。
hdfs_client3.3.1HDFS命令行客户端。
hdfs_journalnode3.3.1用于管理 HA 模式下HDFS日志的服务。
hdfs_zkfc3.3.1用户维护HA模式下HDFS NameNode从动态的服务。
hue_server4.9.0用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序。
knox_gateway1.5.0用于与Hadoop生态的RESTAPI和UI交互的应用程序网关。
openldap2.4.58后台认证以及用户数据权限管控服务。
ranger_admin2.1.0Ranger安全管理的中心接口服务。
solr2.1.0用于保存Ranger审计数据的服务。
ranger_usersync2.1.0拉取用户和组的Ranger服务。
spark_jobhistoryserver3.2.1用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。
spark_thriftserver3.2.1Spark提供的一种JDBC/ODBC访问Spark SQL的服务。
spark_client3.2.1Spark命令行客户端。
livy_server3.2.1提供REST接口来与Spark交互的服务。
sqoop1.4.7提供数据库与HDFS导入导出功能。
yarn_resourcemanager3.3.1分配和管理集群资源与分布式应用程序的 YARN 服务。
yarn_nodemanager3.3.1管理单个节点上的容器的 YARN 服务。
yarn_client3.3.1YARN命令行客户端。
mapreduce2_historyserver3.3.1保存作业执行信息的MapReduce服务。
mapreduce2_client3.3.1MapReduce命令行客户端。
tez_client0.10.1Tez命令行客户端。
flink_client1.11Flink命令行客户端。
airflow_webserver2.2.0Airflow提供的web服务。
airflow_scheduler2.2.0Airflow的调度器。
presto_cli0.260.1Presto命令行客户端。
presto_coordinator0.260.1Presto中负责query解析,任务调度,结果汇总的,集群监控的节点。
presto_worker0.260.1Presto中负责所有Query相关数据的计算工作。
kerby_server2.0.1Kerberos认证服务。
flume_agent1.9.0Flume中的数据采集工具。
flume_client1.9.0Flume命令行客户端。
kafka_broker2.3Kafka中的消息处理节点。