咨询Apache Hadoop 2.10/3.4.x集群配套组件兼容版本矩阵
Hadoop 2.10.x 兼容组件版本
- Hive: 2.3.x系列(2.3.9及以上版本适配性最佳)
- HBase: 1.4.x系列(1.4.15+ 稳定兼容)
- Spark: 2.4.x系列(2.4.8及以上版本,需编译时指定Hadoop 2.10依赖)
- ZooKeeper: 3.4.x或3.5.x系列(3.4.14、3.5.9均稳定适配)
- NiFi: 1.12.x系列(1.12.10+ 支持Hadoop 2.10的HDFS/YARN集成)
Hadoop 3.4.x 兼容组件版本
- Hive: 3.1.x或4.0.x系列(3.1.3、4.0.0-alpha-2均已适配Hadoop 3.4)
- HBase: 2.4.x系列(2.4.17+ 完全兼容Hadoop 3.4新特性)
- Spark: 3.3.x或3.4.x系列(3.3.3、3.4.1编译时指定Hadoop 3.4依赖即可)
- ZooKeeper: 3.6.x或3.7.x系列(3.6.3、3.7.1适配HBase 2.4及Hadoop 3.4)
- NiFi: 1.19.x或2.0.x系列(1.19.0+ 原生支持Hadoop 3.4的分布式文件系统操作)
关键注意点
- 部分组件需针对对应Hadoop版本重新编译,比如Spark可执行命令:
./build/mvn -Pyarn -Phadoop-3.4 -DskipTests clean package指定Hadoop版本 - Hive on Spark场景需保证两者版本双向兼容,例如Hive 3.1.x对应Spark 3.3.x
- ZooKeeper版本需与HBase匹配,HBase 1.4对应ZK 3.4/3.5,HBase 2.4对应ZK 3.6/3.7
内容的提问来源于stack exchange,提问作者kant
相关产品推荐
相关产品推荐

