HBase2.X是否适合在Hadoop3.X上运行？

HBase 2.X 是可以在 Hadoop 3.X 上进行部署和运行的，但需要注意以下两点：

1. Hadoop 版本兼容性问题

Hadoop 2.x 与 Hadoop 3.x 在中间层API上的差异比较大，因此需要使用 Hadoop 的 shading 功能来构建 HBase，以避免版本冲突。具体做法如下：

1）在 pom 文件中添加 shading 插件

<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>2.4.2</version> <executions> <execution> <phase>package</phase> <goals> <goal>shade</goal> </goals> <configuration> <artifactSet> <excludes> <exclude>org.apache.hadoop:hadoop-yarn-client</exclude> <exclude>org.apache.hadoop:hadoop-yarn-api</exclude> <exclude>org.apache.hadoop:hadoop-hdfs-client</exclude> <exclude>org.apache.hadoop:hadoop-common</exclude> </excludes> </artifactSet> </configuration> </execution> </executions> </plugin> </plugins> </build>

2）在 main 函数中添加 shading 代码

Configuration conf = HBaseConfiguration.create(); conf.set("hadoop.security.authentication", "kerberos"); conf.set("hbase.zookeeper.quorum", "node1,node2,node3"); conf.set("hbase.zookeeper.property.clientPort", "2181");

// Shade the Hadoop dependencies to avoid version conflicts ClassLoader savedClassLoader = Thread.currentThread().getContextClassLoader(); try { Thread.currentThread().setContextClassLoader( org.apache.hadoop.hbase.shaded.org.apache.hadoop.hbase.shaded.io.netty.util.internal.PlatformDependent.class.getClassLoader()); Connection connection = ConnectionFactory.createConnection(conf); Table table = connection.getTable(TableName.valueOf("testTable")); // Do some HBase operations } finally { Thread.currentThread().setContextClassLoader(savedClassLoader); }

2. Hadoop 3.X 中的变化

Hadoop 3.X 的一些功能和配置与 Hadoop 2.X 不同，如果直接使用 Hadoop 2.X 的配置文件或代码，则可能会出现兼容性问题。在使用 Hadoop 3.X 时，应该修改相应的配置文件，或者使用与 Hadoop 3.X 兼容的代码。具体参见 Hadoop 官方