如何避免ADF存储事件触发管道重复读取已处理文件？

方案一：利用ADLS Gen2的文件移动/重命名机制 #

• 处理完成后，将已读取的文件移动到容器内的已处理子文件夹（比如processed/），或者给文件名添加后缀（比如ABC_1001.csv.processed）
• 管道触发后，仅读取根目录下未被重命名/移动的ABC_*.csv文件，从源头上避免重复匹配
• 优势：无需依赖外部数据库，逻辑简单，性能开销低，还能直观区分已处理和未处理文件

方案二：使用ADF的**水印（Watermark）**功能 #

• 基于文件的最后修改时间或文件名中的唯一标识（比如你例子里的1001、2002这类递增编号）设置水印
• 在管道中配置水印列，每次运行时只读取水印值之后的文件：
  1. 首次运行时，水印设为初始值（比如最早的时间戳或最小编号）
  2. 每次运行结束后，将水印更新为本次处理的最新文件的时间戳/编号
• 优势：ADF原生支持，无需额外维护SQL表，配置更简洁，适合有明确递增标识或时间戳的文件

方案三：借助ADLS Gen2的文件属性元数据 #

• 在处理文件前，给已处理文件添加自定义元数据标签（比如processed: true）
• 管道中使用Get Metadata活动获取文件列表，再通过筛选器只保留元数据中没有processed标签的文件
• 处理完成后，用Set Metadata活动给文件打上已处理标签
• 优势：元数据直接存储在文件本身，无需外部存储，适合对文件完整性要求高的场景

对你提出的SQL表方案的补充优化 #

如果坚持使用SQL表记录文件名，可以做以下优化：

• 不要只存储上一次的文件名，而是维护一个已处理文件清单表，包含文件名、处理时间、运行ID等信息
• 读取文件前，用Lookup活动查询表中已处理的文件名，再通过Filter活动筛选出未处理的文件
• 处理完成后，用Copy Data或Stored Procedure活动批量插入本次处理的文件名到表中，避免单条插入的性能损耗

内容的提问来源于stack exchange，提问作者user30864535