Apache NiFi 1.28 PutHDFS写入HDFS失败：NoClassDefFoundError求助

核心原因 #

该错误是NiFi 1.28自带的Hadoop客户端版本与HDP 2.5.0的Hadoop服务端版本不兼容导致的类缺失。NiFi 1.28默认依赖较新版本的Hadoop客户端，而HDP 2.5.0基于Hadoop 2.7.x，两者类结构、依赖逻辑存在差异，最终引发org.apache.hadoop.conf.Configurable类加载失败。

具体排查步骤 #

• 替换Hadoop客户端jar包

  1. 从HDP 2.5.0集群的Hadoop安装目录（通常为/usr/hdp/2.5.0.0-xxx/hadoop/lib）中，拷贝以下核心jar包到NiFi的lib目录：
     • hadoop-common-2.7.3.2.5.0.0-xxx.jar
     • hadoop-hdfs-2.7.3.2.5.0.0-xxx.jar
     • hadoop-client-2.7.3.2.5.0.0-xxx.jar
     • hadoop-auth-2.7.3.2.5.0.0-xxx.jar
  2. 删除NiFi默认自带的高版本Hadoop相关jar包（例如hadoop-common-3.x.x.jar、hadoop-hdfs-3.x.x.jar等），避免类路径冲突。

• 验证配置文件加载

  1. 确认PutHDFS处理器的Hadoop Configuration Resources属性配置为绝对路径，格式示例：

     /opt/nifi/conf/core-site.xml,/opt/nifi/conf/hdfs-site.xml
     

  2. 检查配置文件权限：确保NiFi进程运行用户对这两个文件拥有可读权限，执行命令：

     chown nifi:nifi /opt/nifi/conf/core-site.xml /opt/nifi/conf/hdfs-site.xml
     chmod 644 /opt/nifi/conf/core-site.xml /opt/nifi/conf/hdfs-site.xml
     

• 重启NiFi服务
  完成jar包替换和配置检查后，重启NiFi服务使变更生效：

  systemctl restart nifi
  

• 额外验证
  可通过NiFi的ListHDFS处理器测试HDFS连接，确认配置文件、权限或连通性是否存在问题。

内容的提问来源于stack exchange，提问作者Filbadeha