在Hadoop 3.3.6中用JMeter测HDFS/HBase性能遇插件兼容问题求助

一、定位pom文件位置 #

• 若你是源码编译安装的Hadoop：pom.xml就在Hadoop源码根目录（比如hadoop-3.3.6-src）下，直接就能找到。
• 若你是通过apt包管理器安装的Hadoop：系统默认不会附带源码pom文件，需要先下载对应版本的Hadoop源码包，解压后才能获取。

需要明确：你要修改的其实是JMeter HDFS插件的pom依赖，而非Hadoop本身的pom文件——因为问题出在插件不兼容Hadoop 3.3.6版本，下面是具体操作步骤：

二、修改插件依赖并重新编译 #

1. 获取插件源码 #

如果你的JMeter HDFS插件是预编译的jar包，先找到对应插件的源码仓库，下载源码到本地Ubuntu机器上。

2. 调整pom.xml中的Hadoop版本 #

打开插件源码根目录下的pom.xml，搜索Hadoop相关的依赖节点，类似如下内容：

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>x.x.x</version> <!-- 这里是旧版本号 -->
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>x.x.x</version> <!-- 这里是旧版本号 -->
</dependency>

把所有Hadoop相关依赖的版本号替换为3.3.6，保存文件。

3. 编译生成适配版插件 #

在插件源码根目录下执行Maven编译命令（确保你已经安装了Maven）：

mvn clean package -DskipTests

编译完成后，target目录下会生成适配Hadoop 3.3.6的插件jar包。

4. 替换JMeter中的旧插件 #

将新生成的jar包复制到JMeter安装目录的lib/ext文件夹中，然后重启JMeter即可使用。

三、替代方案：直接替换Hadoop依赖jar #

如果不想编译插件，也可以尝试直接替换JMeter自带的Hadoop依赖：

• 下载Hadoop 3.3.6的核心jar包：hadoop-common-3.3.6.jar、hadoop-hdfs-3.3.6.jar、hadoop-auth-3.3.6.jar、hadoop-client-3.3.6.jar等。
• 删除JMeter安装目录lib文件夹下所有旧版本的Hadoop相关jar包，将新下载的jar包放入该目录。
• 重启JMeter后测试HDFS连接。

注意：这种方式可能引发依赖冲突，如果JMeter启动报错，需要排查并删除重复或冲突的低版本jar包。

内容的提问来源于stack exchange，提问作者Asrul Paelori Ahmad