如何让NiFi的PutHDFS写入远程HDFS而非本地文件系统？

看起来你遇到的是PutHDFS组件配置指向错误的常见问题，我来一步步帮你排查解决：

1. 确认PutHDFS的核心URL配置 #

这是最容易忽略的关键项：一定要在PutHDFS组件的HDFS URL属性中明确指定目标HDFS集群的NameNode地址，格式为：

hdfs://<namenode-hostname-or-ip>:<port>

比如你的NameNode主机是hdfs-nn-01，端口用默认的8020，就填hdfs://hdfs-nn-01:8020。如果这个属性留空或填了file:///，NiFi会默认写入本地文件系统。

2. 验证Hadoop配置文件的有效性 #

你已经关联了hive-site.xml和core-site.xml，但需要确保这两个文件的内容完全指向目标HDFS集群：

• 打开core-site.xml，检查fs.defaultFS参数，必须和你上面填的HDFS URL一致，不能是本地路径（比如file:///）
• 确保这些配置文件在所有NiFi节点上都存在，并且NiFi进程有读取权限（可以用ls -l命令检查文件权限）
• 注意：如果NiFi之前加载过旧配置，可能需要重启NiFi节点让新配置生效

3. 处理Kerberos认证的差异 #

因为你的NiFi集群用Kerberos，但目标HDFS不用，必须明确关闭PutHDFS的Kerberos认证：

• 找到PutHDFS组件的Authentication Type属性，设置为SIMPLE（而非默认的KERBEROS）
• 如果之前配置过Kerberos相关属性（比如Kerberos Principal、Kerberos Keytab），可以清空或禁用这些属性，避免NiFi尝试用Kerberos连接不需要认证的HDFS

4. 检查目标路径的格式 #

PutHDFS的Directory属性只需要填HDFS上的路径（比如/user/nifi/data），不需要加hdfs://前缀——因为HDFS URL已经指定了根地址，两者组合起来就是完整的HDFS路径。如果路径填了本地路径（比如/tmp/local），即使HDFS URL正确，也可能出现混淆，所以务必确保路径是目标HDFS上的合法路径。

5. 用命令行测试连通性 #

在任意NiFi节点上，用Hadoop命令行工具测试能否访问目标HDFS：

hadoop fs -ls hdfs://<namenode-hostname>:<port>/

如果命令能返回HDFS上的目录列表，说明网络和基础配置没问题；如果失败，先解决命令行的连通性问题（比如检查防火墙、NameNode端口是否开放），再回到NiFi的配置排查。

6. 查看更详细的组件日志 #

虽然你说NiFi应用日志没错误，但可以查看PutHDFS组件的单独日志（在NiFi UI中，选中组件后点击"View Log"），里面会记录组件实际使用的文件系统、加载的配置文件路径等信息，能帮你定位是否加载了正确的HDFS配置。

按照这些步骤排查，应该就能让PutHDFS正确写入目标HDFS集群了。

内容的提问来源于stack exchange，提问作者Dennis Jaheruddin