OS

veLinux（Debian 10兼容版）

Python2

2.7.16

Python3

3.7.3

Java

ByteOpenJDK 1.8.0_302

Flume

1.9.0

OpenLDAP

2.4.58

Ranger

1.2.0

ZooKeeper

3.7.0

Flink

1.15.1

HDFS

2.10.2

MapReduce2

2.10.2

YARN

2.10.2

Airflow

2.4.2

Hive

2.3.9

Hue

4.9.0

Knox

1.5.0

Presto

0.267

Trino

365

Spark

2.4.8

Sqoop

1.4.7

Tez

0.10.1

Iceberg

0.12.0

Impala

3.4.1

Kudu

1.14.0

HBase

1.7.2

Hudi

0.11.1

zookeeper_server

3.7.0

用于维护配置信息、命名、提供分布式同步的集中式服务。

zookeeper_client

3.7.0

ZooKeeper 命令行客户端。

hive_metastore

2.3.9

Hive 元数据存储服务。

hive_server

2.3.9

用于将 Hive 查询作为 Web 请求接受的服务。

hive_client

2.3.9

Hive 命令行客户端。

hdfs_namenode

2.10.2

用于跟踪 HDFS 文件名和数据块的服务。

hdfs_datanode

2.10.2

存储 HDFS 数据块的节点服务。

hdfs_secondary_namenode

2.10.2

对 NameNode 数据进行周期性合并的服务。

hdfs_client

2.10.2

HDFS 客户端命令行。

hdfs_journalnode

2.10.2

用于管理 HA 模式下 HDFS 日志的服务。

hdfs_zkfc

2.10.2

用户维护 HA 模式下 HDFS NameNode 从动态的服务。

hue_server

4.9.0

用于使用 Hadoop 生态系统应用程序分析数据的 Web 应用程序。

knox_gateway

1.5.0

用于与 Hadoop 生态的 RESTAPI 和 UI 交互的应用程序网关。

openldap

2.4.58

后台认证以及用户数据权限管控服务。

ranger_admin

1.2.0

Ranger 安全管理的中心接口服务。

ranger_usersync

1.2.0

拉取用户和组的 Ranger 服务。

spark_jobhistoryserver

2.4.8

用于查看完整的 Spark 应用程序的生命周期的已记录事件的 Web UI。

ksana

1.0

为字节 EMR 团队自研组件，定位于 SparkSQL 数据仓库构建引擎，取代了 Spark Thrift Server，兼容 Hive 的使用方式。

spark_client

2.4.8

Spark 命令行客户端。

livy_server

0.6.0

提供 REST 接口来与 Spark 交互的服务。

sqoop

1.4.7

提供数据库与 HDFS 导入导出功能。

iceberg

0.12.0

Apache Iceberg 是一种适用于超大型分析数据集的开放表格式。

yarn_resourcemanager

2.10.2

分配和管理集群资源与分布式应用程序的 YARN 服务。

yarn_nodemanager

2.10.2

管理单个节点上的容器的 YARN 服务。

yarn_client

2.10.2

YARN 命令行客户端。

mapreduce2_historyserver

2.10.2

保存作业执行信息的 MapReduce 服务。

mapreduce2_client

2.10.2

MapReduce 命令行客户端。

tez_client

0.10.1

Tez 命令行客户端。

flink_client

1.11.3

Flink 命令行客户端。

airflow_webserver

2.4.2

Airflow 提供的 web 服务。

airflow_scheduler

2.4.2

Airflow 的调度器。

presto_cli

0.267

Presto 命令行客户端。

presto_coordinator

0.267

Presto 中负责 query 解析，任务调度，结果汇总的，集群监控的节点。

presto_worker

0.267

Presto 中负责所有 Query 相关数据的计算工作。

trino_cli

365

Trino 命令行客户端。

trino_coordinator

365

Trino 中负责 query 解析，任务调度，结果汇总的，集群监控的节点。

trino_worker

365

Trino 中负责所有 Query 相关数据的计算工作。

kerby_server

2.0.1

Kerberos 认证服务。

flume_agent

1.9.0

Flume 中的数据采集工具。

flume_client

1.9.0

Flume 命令行客户端。

catalogd

3.4.1

Impala 元数据服务的应用程序。

statestored

3.4.1

Impala 集群节点管理应用程序。

impalad

3.4.1

Impala 计算节点应用程序。

kudu_tserver

1.14.0

Kudu 存储节点应用程序。

kudu_master

1.14.0

Kudu 元数据和集群节点管理应用程序。

hbase_master

1.7.2

适用于负责协调区域和执行管理命令的 HBase 集群的服务。

hbase_regionserver

1.7.2

用于服务于一个或多个 HBase 区域的服务。

hbase_client

1.7.2

HBase 命令行客户端。