Autoloader的FileNotification与modifiedBefore兼容性及最新文件夹排除咨询

• modifiedBefore参数和File Notification模式完全兼容，可直接解决你遇到的问题。
• 该参数的作用是让Autoloader仅处理修改时间早于指定时间阈值的文件/文件夹，刚好能跳过还在持续写入的最新文件夹。
• 结合你每小时生成新文件夹的周期，可将参数值设置为当前时间往前推1小时（以Databricks为例，语法类似modifiedBefore = current_timestamp() - INTERVAL 1 HOUR），这样就能自动过滤掉刚生成、还在更新的目标文件夹。
• 注意事项：
  • 可根据文件夹生成的实际波动情况微调时间间隔（比如设为1小时10分钟），避免因生成延迟导致误过滤正常完成的文件夹。
  • 在File Notification模式下，该参数在文件发现阶段生效，不会干扰已追踪的历史文件，无需切换到目录列表模式。

内容的提问来源于stack exchange，提问作者play_something_good