NiFi 1.4队列显示百万级文件但大小为0MB问题求助

碰到这种NiFi队列里Flow File数量超百万但总大小为0MB的情况，我给你梳理几个实用的排查和解决方向：

• 检查HDFS List处理器的核心配置
  先确认Recurse Subdirectories是否开启，如果你的HDFS目录下有大量空子目录，递归遍历会生成大量指向空目录的Flow File；另外看看File Filter是不是匹配到了零字节文件，或者Minimum File Size设置为0（无下限），这会让List处理器把所有空文件都列出来，源源不断生成空大小的Flow File。

• 验证HDFS Fetch处理器的运行状态
  看看Fetch是不是真的在消费队列里的Flow File：检查处理器是否处于Running状态，HDFS连接配置（比如NameNode地址、权限、core-site.xml配置）有没有错误，处理器的日志里有没有报错（比如权限拒绝、连接超时）。如果Fetch卡住或者没正常工作，List一直在生产而没有消费，队列自然会爆，而且因为都是空文件，总大小显示为0MB。

• 纠正背压配置的误区
  你提到背压设置为100K，但要注意NiFi的Back Pressure Data Size Threshold是按队列总字节数触发的，你的队列总大小是0MB，这个阈值根本不会生效！如果要限制Flow File的数量，需要同时设置Back Pressure Object Threshold（对象数量阈值），比如设为10000，这样当队列里的Flow File数量超过这个值时，就会触发背压，暂停上游的List处理器。

• 排查Flow File的元数据准确性
  你说点击Flow File信息按钮显示文件大小为空，可以临时加一个UpdateAttribute处理器，把hdfs.file.size属性打印出来，确认是HDFS里的文件本身就是0字节，还是NiFi读取HDFS元数据时出现了异常。如果是元数据读取问题，建议同步最新的HDFS配置文件到NiFi的配置目录，或者重启NiFi的HDFS客户端相关组件。

• 清理队列的正确操作
  不要只删除队列里的Flow File就完事：先暂停HDFS List处理器，然后让Fetch处理完现有队列（或者直接清空队列），接着排查List的配置问题，确认没问题后再重启List。如果直接重启NiFi而没暂停List，它会从上次的checkpoint位置继续遍历，很可能又会生成大量重复的空Flow File。

内容的提问来源于stack exchange，提问作者Playing With BI