如何获取Azure Data Factory复制活动后ADLS中的已复制文件列表并实现条件跳过？

针对你需要获取Azure Data Factory（ADF）复制活动完成后Azure Data Lake Storage（ADLS）中已复制文件列表，并且结合文件路径、文件名与SQL数据库数据校验来跳过特定文件的需求，这里有几个实用的解决方案，按场景适配性推荐：

1. 直接利用复制活动的输出属性（最简便方案） #

ADF的复制活动完成后，其输出对象里自带copiedFiles字段，包含了本次所有成功复制的文件的完整路径和名称。你可以直接在后续管道活动中引用这个数据：

• 比如在存储过程活动里，把@activity('你的复制活动名称').output.copiedFiles作为参数传入SQL数据库。然后在存储过程中，将这些文件信息和你的业务数据做关联校验，标记出哪些文件后续需要跳过。
• 优势：无需额外配置，直接获取本次复制的精准文件列表，完全适配增量/筛选后的复制场景。

2. 通过ADLS诊断日志+Log Analytics追踪文件 #

如果需要更全面的历史文件复制记录，可以开启ADLS Gen2的诊断日志并发送到Log Analytics工作区：

1. 在ADLS账户的"诊断设置"里，开启StorageBlobLogs并选择发送到Log Analytics。
2. 用Kusto查询筛选出ADF触发的文件写入操作，得到已复制文件列表：

   StorageBlobLogs
   | where OperationName == "PutBlob"
   | where AccountName == "你的ADLS账户名"
   | where UserAgent startswith "Azure Data Factory"
   | project BlobUrl, TimeGenerated
   

3. 你可以把查询结果导出到SQL数据库，或者直接在Log Analytics中关联SQL数据，生成需要跳过的文件清单，再配置到ADF复制活动的excludeFiles参数中。

3. 自定义SQL跟踪表+Lookup活动实现条件跳过 #

这个方案适合需要长期跟踪和灵活校验的场景：

1. 在SQL数据库中创建一个跟踪表，比如：

   CREATE TABLE CopiedFilesTracking (
       FilePath NVARCHAR(500) NOT NULL,
       FileName NVARCHAR(255) NOT NULL,
       CopyTimestamp DATETIME NOT NULL,
       IsValid BIT NOT NULL DEFAULT 1, -- 标记是否符合业务校验条件
       PRIMARY KEY (FilePath, FileName)
   )
   

2. 复制活动完成后，用ForEach活动遍历@activity('你的复制活动名称').output.copiedFiles，把每个文件的路径、名称和复制时间插入到跟踪表中。
3. 下次复制前，用Lookup活动查询跟踪表，结合你的业务条件（比如关联其他业务表校验），生成需要跳过的文件列表。然后在复制活动的源数据集里，设置excludeFiles为@activity('Lookup跳过文件').output.value，即可自动跳过这些文件。

4. Azure函数处理复杂校验逻辑 #

如果你的校验逻辑比较复杂（比如多表关联、自定义规则计算），可以用Azure函数来处理：

1. 在ADF复制活动完成后，添加一个Azure函数活动，把@activity('你的复制活动名称').output.copiedFiles作为输入参数传给函数。
2. 在Azure函数中，连接SQL数据库，对每个文件的路径和名称执行校验逻辑，判断是否需要标记为跳过。
3. 函数可以把校验结果写入SQL跟踪表，或者直接返回需要跳过的文件列表给ADF，用于后续复制的筛选。

注意事项 #

• 处理大量文件时，建议用异步模式（比如把文件列表写入队列，再由函数批量处理），避免ADF管道超时。
• 增量复制场景下，可以结合ADF自带的增量策略（如基于文件最后修改时间）和自定义跟踪表，双重保障跳过不需要的文件。
• 确保跟踪表中的FilePath存储完整的ADLS路径（比如/container/folder/file.csv），避免同名文件的冲突。

内容的提问来源于stack exchange，提问作者101