Apache NiFi文件列表路径过滤器优化：识别YYYYMMDD子目录并提速

一、优化路径过滤器的正则表达式 #

原来的宽泛正则（如.*\d{8}.*）会匹配大量无关路径，导致扫描耗时。改用精准匹配合法日期格式的Java正则，既能过滤无效目录，又减少正则引擎的回溯开销：

^.*\/(19|20)\d{2}(0[1-9]|1[0-2])(0[1-9]|[12]\d|3[01])\/.*$

• 说明：
  • (19|20)\d{2}：限定年份为19xx或20xx（可根据业务调整范围）
  • (0[1-9]|1[0-2])：匹配合法月份（01-12）
  • (0[1-9]|[12]\d|3[01])：匹配合法日期（01-31）
  • \/：Java正则中需转义路径分隔符

二、调整ListFile核心配置缩小扫描范围 #

1. 精准设置输入目录：将"Input Directory"设为所有YYYYMMDD子目录的直接父目录，避免扫描上层无关目录结构。
2. 合理控制递归开关：
   • 若只需读取YYYYMMDD目录下的直接文件，关闭"Recurse Subdirectories"；
   • 若需读取YYYYMMDD目录的深层子文件，开启后用上述正则精准匹配路径，避免扫描其他层级。
3. 启用最后修改日期过滤：在"Properties"中设置"Minimum Last Modified Date"（如仅扫描最近7天的目录），NiFi会直接跳过更早的目录，大幅减少扫描量。

三、其他性能优化配置 #

• 设置最小文件年龄：配置"Minimum File Age"（如5分钟），确保文件完全写入后再扫描，避免处理临时文件，减少重复扫描。
• 调整批次大小：根据系统性能设置合适的"Batch Size"（如1000），避免一次性加载过多文件占用内存。
• 优化调度策略：若目录每日生成，将ListFile的调度频率设为每日一次，避免不必要的重复扫描。

内容的提问来源于stack exchange，提问作者Sachin kumar Singh