NiFi 1.6.0写入HDFS/Hive报错求助：PutHDFS与PutHiveStreaming故障

针对你在NiFi 1.6.0中对接Cloudera HDFS和Hive遇到的两个问题，我整理了实用的排查和解决思路：

这个InvocationTargetException其实是个“包装异常”，真正的错误原因被藏在它的底层异常里，所以第一步一定要去看NiFi的详细日志文件（比如nifi-app.log），找到被包装的具体异常信息，这是定位问题的核心。

常见的原因及解决方法：

• 配置文件权限/路径问题：确保NiFi进程的运行用户有读取hdfs-site.xml、core-site.xml的权限，建议直接使用绝对路径指定配置文件位置，避免相对路径带来的识别问题。
• Hadoop依赖版本不兼容：NiFi 1.6.0自带的Hadoop依赖可能和Cloudera集群的HDFS版本不匹配。你可以把Cloudera集群对应的hadoop-common.jar、hadoop-hdfs.jar等核心jar包，替换掉NiFi安装目录下lib文件夹中的对应旧版本，然后重启NiFi服务。
• HDFS配置参数错误：检查core-site.xml里的fs.defaultFS是否正确指向你的HDFS NameNode地址，hdfs-site.xml中的dfs.namenode.rpc-address配置是否准确，有没有拼写错误或者端口不对的情况。
• Kerberos认证问题（如果集群启用Kerberos）：如果你的HDFS开启了Kerberos认证，需要在PutHDFS处理器中配置Kerberos Principal和Keytab文件路径，同时确保NiFi运行用户拥有访问目标HDFS目录的Kerberos权限。

这个错误核心是NiFi无法连接到Hive Metastore服务，按以下步骤排查：

• 先确认网络连通性：在NiFi服务器上执行telnet myserver 9083或者nc -zv myserver 9083，测试是否能正常访问Hive Metastore的Thrift端口，排除防火墙、网络策略或者端口配置错误的问题。
• 检查Hive Metastore服务状态：登录myserver，用ps aux | grep hivemetastore查看Metastore进程是否在运行，或者通过Cloudera Manager确认Hive服务的状态是否正常。
• 配置文件与权限问题：
  • 确保你提供的hive-site.xml中，hive.metastore.uris参数和处理器里指定的thrift://myserver:9083完全一致，且NiFi进程用户有读取该配置文件的权限。
  • 验证NiFi用户的Hive权限：登录Hive客户端，执行GRANT SELECT, INSERT ON TABLE mydbname.mytablename TO USER nifi_user;（替换成你的NiFi运行用户名），确保用户能读写目标表。
• Hive版本兼容性：和HDFS的问题类似，NiFi 1.6.0的PutHiveStreaming依赖可能和Cloudera的Hive版本不兼容。把Cloudera集群对应的hive-common.jar、hive-metastore.jar、hive-service.jar等jar包替换到NiFi的lib目录，重启NiFi后再尝试。
• 分区表验证：如果目标表是分区表，要确认你在处理器中指定的分区值是否正确；如果是非分区表，确保没有误配置分区参数。

内容的提问来源于stack exchange，提问作者Ya Ko