最近更新时间：2023.01.19 11:36:04
首次发布时间：2023.01.04 10:47:03
| 版本 | 环境 |
|---|---|
| OS | veLinux （Debian 10兼容版） |
| Python2 | 2.7.16 |
| Python3 | 3.7.3 |
| Java | ByteOpenJDK 1.8.0_302 |
| Hadoop集群 | Flink集群 | Kafka集群 | Presto集群 | Trino集群 | HBase集群 | OpenSearch集群 | TensorFlow集群 | Doris集群 | Pulsar集群 | ClickHouse集群 | StarRocks集群 | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Flume | 1.9.0 | 1.9.0 | 1.9.0 | - | - | - | - | - | - | - | - | - |
| OpenLDAP | 2.4.58 | 2.4.58 | 2.4.58 | 2.4.58 | 2.4.58 | 2.4.58 | 2.4.58 | 2.4.58 | - | - | - | - |
| Ranger | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | 2.1.0 | - | 2.1.0 | - | - | - | - |
| ZooKeeper | 3.7.0 | 3.7.0 | 3.7.0 | - | - | 3.7.0 | - | 3.7.0 | - | 3.7.0 | 3.7.0 | - |
| Flink | 1.15.1 | 1.15.0 | - | - | - | - | - | - | - | - | - | - |
| HDFS | 3.3.1 | 3.3.1 | - | 3.3.1 | 3.3.1 | 3.3.1 | - | 3.3.1 | - | - | - | - |
| MapReduce2 | 3.3.1 | 3.3.1 | - | - | - | - | - | 3.3.1 | - | - | - | - |
| YARN | 3.3.1 | 3.3.1 | - | - | - | - | - | 3.3.1 | - | - | - | - |
| Airflow | 2.4.2 | - | - | 2.4.2 | 2.4.2 | - | - | - | - | - | - | - |
| Hive | 3.1.2 | - | - | 3.1.2 | 3.1.2 | - | - | - | - | - | - | - |
| Hue | 4.9.0 | - | - | 4.9.0 | 4.9.0 | - | - | - | - | - | - | - |
| Kafka | - | - | 2.3 | - | - | - | - | - | - | - | - | - |
| Knox | 1.5.0 | 1.5.0 | 1.5.0 | 1.5.0 | 1.5.0 | 1.5.0 | 1.5.0 | 1.5.0 | - | - | - | - |
| Presto | 0.267 | - | - | 0.267 | - | - | - | - | - | - | - | - |
| Presto on YARN | 0.267 | - | - | - | - | - | - | - | - | - | - | - |
| Trino | 392 | - | - | - | 392 | - | - | - | - | - | - | - |
| Trino on YARN | 392 | - | - | - | - | - | - | - | - | - | - | - |
| Spark | 3.2.1 | - | - | - | - | - | - | 3.2.1 | - | - | - | - |
| Sqoop | 1.4.7 | - | - | - | - | - | - | - | - | - | - | - |
| Tez | 0.10.1 | - | - | - | - | - | - | - | - | - | - | - |
| Iceberg | 0.14.0 | - | - | 0.14.0 | 0.14.0 | - | - | - | - | - | - | - |
| Hudi | 0.11.1 | - | - | - | - | - | - | - | - | - | - | - |
| HBase | - | - | - | - | - | 2.3.7 | - | - | - | - | - | - |
| OpenSearch | - | - | - | - | - | - | 1.2.3 | - | - | - | - | - |
| TensorFlow | - | - | - | - | - | - | - | 2.7.0 | - | - | - | - |
| TensorFlow on YARN | - | - | - | - | - | - | - | 1.0.0 | - | - | - | - |
| Doris | - | - | - | - | - | - | - | - | 1.1.1 | - | - | - |
| Pulsar | - | - | - | - | - | - | - | - | - | 2.9.1 | - | - |
| BookKeeper | - | - | - | - | - | - | - | - | - | 4.14.2 | - | - |
| Pulsar Manager | - | - | - | - | - | - | - | - | - | 0.2.0 | - | - |
| Delta Lake | 2.0.0 | - | - | - | - | - | - | - | - | - | - | - |
| Impala | 3.4.1 | - | - | - | - | - | - | - | - | - | - | - |
| Kudu | 1.14.0 | - | - | - | - | - | - | - | - | - | - | - |
| ClickHouse | - | - | - | - | - | - | - | - | - | - | 22.3.10.22 | - |
| StarRocks | - | - | - | - | - | - | - | - | - | - | - | 2.4.1 |
| Dolphin Scheduler | 3.1.1 | - | - | - | - | - | - | - | - | - | - | - |
以下发布说明包括有关 EMR V3.1.0 的信息， 更改与 3.0.0 有关。EMR V3.1.0为火山引擎EMR V3.1.x的第一个版本。
发布日期: 2022 年 12 月 15 日
【集群】ClickHouse集群正式发布。
【集群】新增StarRocks集群，目前处于白名单发布，其中StarRocks版本为2.4.1:
StarRocks 是新一代极速全场景 MPP (Massively Parallel Processing) 数据库。StarRocks 的愿景是能够让用户的数据分析变得更加简单和敏捷。用户无需经过复杂的预处理，就可以用 StarRocks 来支持多种数据分析场景的极速分析。
StarRocks 能很好地支持实时数据分析，并能实现对实时更新数据的高效查询。StarRocks 还支持现代化物化视图，进一步加速查询。
在OLAP 多维分析、实时数据仓库、高并发查询、统一分析等场景中均表现优异。
【组件】Pulsar服务增加Web UI功能，增加Pulsar Manager组件，可以在集群详情的访问链接中获取对应链接。
【组件】服务化HMS支持IAM认证，增加HMS访问的安全性。
【组件】Hadoop 类型集群中新增 DolphinScheduler服务，版本为3.1.1，目前以白名单的方式对外发布。
【通用】权限管理在 UI 交互层面进行了重新设计，新 UI 交互具备更好的引导性和易用性，同时也在接口和 Ranger 层面进行了优化，以提升事务和容错能力。
【组件】Hadoop版本升级到3.3.4。
下面列出了 EMR 和此版本一起安装的组件。
| 组件 | 版本 | 描述 |
|---|---|---|
| zookeeper_server | 3.7.0 | 用于维护配置信息、命名、提供分布式同步的集中式服务。 |
| zookeeper_client | 3.7.0 | ZooKeeper命令行客户端。 |
| hive_metastore | 3.1.2 | Hive元数据存储服务。 |
| hive_server | 3.1.2 | 用于将 Hive 查询作为 Web 请求接受的服务。 |
| hive_client | 3.1.2 | Hive命令行客户端。 |
| hdfs_namenode | 3.3.1 | 用于跟踪HDFS文件名和数据块的服务。 |
| hdfs_datanode | 3.3.1 | 存储HDFS数据块的节点服务。 |
| hdfs_secondary_namenode | 3.3.1 | 对NameNode数据进行周期性合并的服务。 |
| hdfs_client | 3.3.1 | HDFS客户端命令行。 |
| hdfs_journalnode | 3.3.1 | 用于管理 HA 模式下HDFS日志的服务。 |
| hdfs_zkfc | 3.3.1 | 用户维护HA模式下HDFS NameNode从动态的服务。 |
| hue_server | 4.9.0 | 用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序。 |
| knox_gateway | 1.5.0 | 用于与Hadoop生态的RESTAPI和UI交互的应用程序网关。 |
| openldap | 2.4.58 | 后台认证以及用户数据权限管控服务。 |
| ranger_admin | 2.1.0 | Ranger安全管理的中心接口服务。 |
| ranger_usersync | 2.1.0 | 拉取用户和组的Ranger服务。 |
| spark_jobhistoryserver | 3.2.1 | 用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。 |
| ksana | 1.0 | 为字节EMR团队自研组件，定位于SparkSQL数据仓库构建引擎，取代了Spark Thrift Server，兼容Hive的使用方式。 |
| spark_client | 3.2.1 | Spark命令行客户端。 |
| livy_server | 3.2.1 | 提供REST接口来与Spark交互的服务。 |
| sqoop | 1.4.7 | 提供数据库与HDFS导入导出功能。 |
| iceberg | 0.14.0 | Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。 |
| hudi | 0.11.1 | 增量处理框架，以支持低延迟和高效率的数据管道。 |
| yarn_resourcemanager | 3.3.1 | 分配和管理集群资源与分布式应用程序的 YARN 服务。 |
| yarn_nodemanager | 3.3.1 | 管理单个节点上的容器的 YARN 服务。 |
| yarn_client | 3.3.1 | YARN命令行客户端。 |
| mapreduce2_historyserver | 3.3.1 | 保存作业执行信息的MapReduce服务。 |
| mapreduce2_client | 3.3.1 | MapReduce命令行客户端。 |
| tez_client | 0.10.1 | Tez命令行客户端。 |
| flink_client | 1.15.1 | Flink命令行客户端。 |
| airflow_webserver | 2.2.0 | Airflow提供的web服务。 |
| airflow_scheduler | 2.2.0 | Airflow的调度器。 |
| presto_cli | 0.267 | Presto命令行客户端。 |
presto_coordinator | 0.267 | Presto中负责query解析，任务调度，结果汇总的，集群监控的节点。 |
| presto_worker | 0.267 | Presto中负责所有Query相关数据的计算工作。 |
| trino_cli | 392 | Trino命令行客户端。 |
| trino_coordinator | 392 | Trino中负责query解析，任务调度，结果汇总的，集群监控的节点。 |
| trino_worker | 392 | Trino中负责所有Query相关数据的计算工作。 |
| kerby_server | 2.0.1 | Kerberos认证服务。 |
| flume_agent | 1.9.0 | Flume中的数据采集工具。 |
| flume_client | 1.9.0 | Flume命令行客户端。 |
| kafka_broker | 2.3 | Kafka中的消息处理节点。 |
| hbase_master | 2.3.7 | 适用于负责协调区域和执行管理命令的 HBase 集群的服务。 |
| hbase_regionserver | 2.3.7 | 用于服务于一个或多个 HBase 区域的服务。 |
| hbase_client | 2.3.7 | HBase 命令行客户端。 |
| opensearch | 1.2.3 | OpenSearch服务。 |
| opensearch_dashboard | 1.2.3 | OpenSearch的可视化仪表盘。 |
| tensorflow | 2.7.0 | 适用于高性能数值计算的 TensorFlow 开源软件库。 |
| tensorflow_on_yarn | 1.0.0 | TensorFlow YARN应用程序和库。 |
| doris_fe | 1.1.1 | Doris的FE服务。 |
| doris_be | 1.1.1 | Doris的BE服务。 |
| bookie | 4.14.2 | 负责Pulsar消息数据的存储。 |
| pulsar_broker | 2.9.1 | 提供读写服务以及 Pulsar 的计算逻辑。 |
| pulsar_client | 2.9.1 | Pulsar 命令行客户端。 |
| clickhouse | 22.3.10.22 | ClickHouse应用程序。 |
| catalogd | 3.4.1 | Impala元数据服务的应用程序。 |
| statestored | 3.4.1 | Impala集群节点管理应用程序。 |
| impalad | 3.4.1 | Impala计算节点应用程序。 |
| kudu_tserver | 1.14.0 | Kudu存储节点应用程序。 |
| kudu_master | 1.14.0 | Kudu元数据和集群节点管理应用程序。 |
| starrocks_fe | 2.4.1 | StarRocks的FE服务。 |
| starrocks_fe | 2.4.1 | StarRocks的BE服务。 |