如何缩短ADF管道读取FileShare文件并筛选最新文件的耗时

• 按日期分层存文件
  别把所有文件堆在同一个文件夹，按「年/月/日」建子文件夹归档每日文件，比如/FileShare/2024/09/15/放当天的文件。这样ADF只需要遍历当天的子文件夹，不用扫全部历史文件，直接缩小筛选范围。

• 用文件元数据提前过滤
  用Get Metadata活动时，别直接拉全部文件列表，要么用Filter活动结合文件的lastModified属性先筛一遍，要么如果文件名带日期，直接在Get Metadata的文件路径里用通配符匹配最新日期的文件（比如*20240915*.csv），减少返回的文件数量。

• 开FileShare的文件索引
  给Azure File Share开启文件索引功能，让存储服务提前维护文件元数据索引，ADF查文件列表时直接调用索引结果，不用全量遍历文件夹。

• 记已处理文件清单
  在数据库或者存储账户里建一张已处理文件表，每次跑管道时只对比没在清单里的文件，再结合文件修改时间做校验，不用每次都扫所有文件。

• 改用批量获取元数据模式
  如果现在是逐个拿文件元数据，改成批量获取。ADF的Get Metadata活动设为「文件列表」模式，能一次性返回文件夹下所有文件的元数据，减少多次API调用的开销。

内容的提问来源于stack exchange，提问作者Nipz