如何在NiFi ListFile处理器中忽略.snapshot文件夹？

问题背景 #

使用NiFi 1.27.0搭配Java 11，通过ListFile+FetchFile组合解析日志文件，测试环境运行正常，但生产环境无法获取目标文件列表，公告栏反复出现以下错误：

15:01:35 GMT
ERROR
570f3c7f-2e25-1a30-0000-00000deb2bcb
All Nodes
ListFile[id=570f3c7f-2e25-1a30-0000-00000deb2bcb] Error during visiting file /path/to/source_logs/.snapshot/snapmirror.d969a104-f1c2-11e9-9d4a-00a098b1ce08_2152237315.2025-03-03_140500/.copy_offload: java.nio.file.NoSuchFileException: /path/to/source_logs/.snapshot/snapmirror.d969a104-f1c2-11e9-9d4a-00a098b1ce08_2152237315.2025-03-03_140500/.copy_offload

终端查看.copy_offload文件时，显示该文件无效：

[me@somehost snapmirror.d969a104-f1c2-11e9-9d4a-00a098b1ce08_2152237315.2025-03-03_140500]$ ll -la
ls: cannot access .copy_offload: No such file or directory
total 324064
drwxr-xr-x 2064 root root   163840 Jul 25  2024 .
drwxrwxrwx    3 root root     4096 Mar  3 14:06 ..
----------    1 root root        0 Oct 15  2014 .bplusvtoc_internal
??????????    ? ?    ?           ?            ? .copy_offload

已尝试的配置 #

• 忽略隐藏文件：设为True
• 文件过滤器：尝试多种正则表达式匹配目标文件
• 路径过滤器：
  • 先使用正则排除.snapshot，无效
  • 改用正则仅包含目标子文件夹，仍无效
• 测试ExecuteStreamCommand可获取文件列表，但状态管理开销及性能问题无法替代ListFile+FetchFile组合

备注：

• 无法控制源文件夹的文件写入规则
• 正则^(?!.*[./]_snapshot[/]?).*$（含下划线的_snapshot）在测试环境有效，但生产环境无法阻止访问.snapshot目录

可行解决方法 #

1. 缩小ListFile的扫描根路径 #

如果目标日志集中在固定子文件夹，直接将ListFile的Input Directory设置为具体的日志子文件夹（如/path/to/source_logs/target_logs），从根源避免扫描到.snapshot目录。

2. 修正路径过滤器正则 #

生产环境的目标排除目录是无下划线的.snapshot，修正正则为：

^(?!.*[./]\.snapshot[/]?).*$

注意转义点号，确保精准匹配.snapshot目录，排除所有包含该路径的文件/文件夹。

3. 使用ListFile的Exclude Paths参数（NiFi 1.10+支持） #

直接在ListFile的Exclude Paths配置项中填入.snapshot，该参数支持逗号分隔多个路径，会直接跳过匹配的目录/文件，无需复杂正则。

4. 文件系统权限限制 #

若有权限调整，给NiFi运行用户设置对.snapshot目录的不可读权限，ListFile扫描时会自动跳过该目录，同时确保不影响目标日志文件的读取权限。

5. 扩展ListFile处理器自定义扫描逻辑 #

基于NiFi原生ListFile处理器做扩展，添加自定义路径过滤逻辑：扫描时直接跳过名称为.snapshot的目录，并捕获类似.copy_offload的无效文件异常，避免中断扫描流程。

6. 双重启用隐藏文件/目录过滤 #

确认Skip Hidden Files and Directories参数已设为True，同时结合Exclude Paths参数添加.snapshot，形成双重过滤，避免因文件系统对隐藏目录的识别差异导致的漏过滤。

内容的提问来源于stack exchange，提问作者moinkhan