最近更新时间：2023.01.19 11:40:44
首次发布时间：2022.04.02 16:36:05
| 版本 | 环境 |
|---|---|
| OS | Debian 9.13 |
| Python2 | 2.7.13 |
| Python3 | 3.5.3 |
| Java | 1.8.0_312 |
| 组件 | Hadoop集群 | Flink集群 | Kafka集群 |
|---|---|---|---|
| Flume | 1.9.0 | 1.9.0 | 1.9.0 |
| OpenLDAP | 2.4.58 | 2.4.58 | 2.4.58 |
| Ranger | 2.1.0 | 2.1.0 | 2.1.0 |
| ZooKeeper | 3.5.7 | 3.5.7 | 3.5.7 |
| Flink | 1.11 | 1.11 | - |
| HDFS | 3.3.1 | 3.3.1 | - |
| MapReduce2 | 3.3.1 | 3.3.1 | - |
| YARN | 3.3.1 | 3.3.1 | - |
| Airflow | 2.2.0 | - | - |
| Hive | 3.1.2 | - | - |
| Hue | 4.9.0 | - | - |
| Kafka | - | - | 2.3 |
| Knox | 1.5.0 | - | - |
| Presto | 0.260.1 | - | - |
| Presto on YARN | 0.260.1 | - | - |
| Spark | 3.2.1 | - | - |
| Sqoop | 1.4.7 | - | - |
| Kerby | 2.0.1 | - | - |
| Tez | 0.10.1 | - | - |
以下发布说明包括有关EMRv1.1.1的信息,更改与1.1.0 有关。EMRv1.1.1为火山引擎EMR 1.1.x的第二个版本，为公测版本,不建议应用于生产环境。
发布日期: 2022年02月17日
集群增加 Kerberos 认证（仅对受邀用户开放，如有需求，可以通过联系产品团队开通）。
新增Tez 组件， Hive 默认执行引擎由MapReduce改为 Tez。
Hadoop 和 Stream 类型集群增加 Kerberos 认证模式，您可以在创建集群时选择启用 Kerberos 认证以提升您集群的安全性。对于创建时未启用 Kerberos 认证的集群，我们同样支持您在集群运行期间通过启用 Kerberos 认证来为集群添加 Kerberos 认证支持。
Hadoop集群新增Tez组件，Hive默认执行引擎由MapReduce更改为Tez。通过JDBC方式连接HiveServer2，幅度提高Hive任务执行性能。
log4j2漏洞 CVE-2021-44228 修复。
HA集群的某个master节点ecs机器意外宕机后恢复，组件状态将无法自动恢复正常。此问题的解决方案是重启集群即可恢复集群状态。
Hue上对Hive执行操作，若使用Ranger对用户授权，Hue和Ranger对用户英文名称大小写区分逻辑不一致，会导致权限状态不一致。此问题的解决方案是使用用户时，严格按照用户实际名称进行登录、授权。
下面列出了 EMR 和此版本一起安装的组件。
| 组件 | 版本 | 描述 |
|---|---|---|
| zookeeper_server | 3.5.7 | 用于维护配置信息、命名、提供分布式同步的集中式服务。 |
| zookeeper_client | 3.5.7 | ZooKeeper命令行客户端。 |
| hive_metastore | 3.1.2 | Hive元数据存储服务。 |
| hive_server | 3.1.2 | 用于将 Hive 查询作为 Web 请求接受的服务。 |
| hive_client | 3.1.2 | Hive命令行客户端。 |
| hdfs_namenode | 3.3.1 | 用于跟踪HDFS文件名和数据块的服务。 |
| hdfs_datanode | 3.3.1 | 存储HDFS数据块的节点服务。 |
| hdfs_secondary_namenode | 3.3.1 | 对NameNode数据进行周期性合并的服务。 |
| hdfs_client | 3.3.1 | HDFS命令行客户端。 |
| hdfs_journalnode | 3.3.1 | 用于管理 HA 模式下HDFS日志的服务。 |
| hdfs_zkfc | 3.3.1 | 用户维护HA模式下HDFS NameNode从动态的服务。 |
| hue_server | 4.9.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序。 |
| knox_gateway | 1.5.0 | 用于与Hadoop生态的RESTAPI和UI交互的应用程序网关。 |
| openldap | 2.4.58 | 后台认证以及用户数据权限管控服务。 |
| ranger_admin | 2.1.0 | Ranger安全管理的中心接口服务。 |
| solr | 2.1.0 | 用于保存Ranger审计数据的服务。 |
| ranger_usersync | 2.1.0 | 拉取用户和组的Ranger服务。 |
| spark_jobhistoryserver | 3.2.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 |
| spark_thriftserver | 3.2.1 | Spark提供的一种JDBC/ODBC访问Spark SQL的服务。 |
| spark_client | 3.2.1 | Spark命令行客户端。 |
| livy_server | 3.2.1 | 提供REST接口来与Spark交互的服务。 |
| sqoop | 1.4.7 | 提供数据库与HDFS导入导出功能。 |
| yarn_resourcemanager | 3.3.1 | 分配和管理集群资源与分布式应用程序的 YARN 服务。 |
| yarn_nodemanager | 3.3.1 | 管理单个节点上的容器的 YARN 服务。 |
| yarn_client | 3.3.1 | YARN命令行客户端。 |
| mapreduce2_historyserver | 3.3.1 | 保存作业执行信息的MapReduce服务。 |
| mapreduce2_client | 3.3.1 | MapReduce命令行客户端。 |
| tez_client | 0.10.1 | Tez命令行客户端。 |
| flink_client | 1.11 | Flink命令行客户端。 |
| airflow_webserver | 2.2.0 | Airflow提供的web服务。 |
| airflow_scheduler | 2.2.0 | Airflow的调度器。 |
| presto_cli | 0.260.1 | Presto命令行客户端。 |
| presto_coordinator | 0.260.1 | Presto中负责query解析，任务调度，结果汇总的，集群监控的节点。 |
| presto_worker | 0.260.1 | Presto中负责所有Query相关数据的计算工作。 |
| kerby_server | 2.0.1 | Kerberos认证服务。 |
| flume_agent | 1.9.0 | Flume中的数据采集工具。 |
| flume_client | 1.9.0 | Flume命令行客户端。 |
| kafka_broker | 2.3 | Kafka中的消息处理节点。 |