如何用Azure Data Factory实现XML文件基于内容去重并归档？

可行性结论 #

完全可以仅通过ADF内置功能实现需求，无需依赖Azure Function或Logic Apps，全程复用现有资源即可。

具体实现步骤 #

1. 提取XML中的唯一标识 #

• 用Lookup活动读取F1下的所有XML文件，通过XPath提取唯一标识。比如唯一标识在//Trade/UniqueID路径下，Lookup的查询表达式写：

  string(xpath(xml(content), '//Trade/UniqueID/text()'))
  

• 若文件数量较多，推荐用数据流：添加XML源指向F1，解析结构后提取唯一标识列，后续在数据流内完成去重逻辑，效率更高。

2. 当日已处理标识的临时存储 #

在现有文件系统里创建临时文件夹F_temp，用CSV文件processed_ids.csv存储当日已处理的唯一标识：

• 每次处理前，先用Lookup读取这个CSV的内容，获取已处理ID列表。
• 将新提取的ID与已处理列表对比，筛选出未处理的文件。

3. 筛选并复制非重复文件 #

• 用Filter活动根据对比结果，筛选F1中未处理的XML文件。
• 用Copy活动把这些文件复制到FS内的临时工作目录（或直接用于后续压缩步骤）。

4. 压缩文件到F2 #

• 用Copy活动的内置压缩功能：在Sink配置里开启压缩，选择ZIP格式，目标路径设为F2即可。
• 若Linked Service支持执行本地命令，也可以用Execute Command活动调用系统压缩命令打包后写入F2。

5. 更新已处理记录 #

将本次处理的唯一标识追加写入F_temp/processed_ids.csv，防止后续重复处理。

6. 每日清零 #

• 给管道添加每日凌晨的Schedule Trigger，触发时用Delete活动删除F_temp/processed_ids.csv，实现每日记录清零。

存储方案选择 #

优先使用你倾向的现有文件系统：

• 无需额外创建Azure存储服务，直接复用现有Linked Service，节省成本与审批流程。
• 数据量小，CSV读写完全满足性能需求，无瓶颈问题。

关键注意点 #

• 确保XPath表达式能准确匹配XML内的唯一标识标签，避免因提取错误导致去重失效。
• 批量处理大量文件时，数据流的处理效率优于Lookup活动。
• 每日清零的Delete活动需放在当日处理流程的最前端，避免前一日的记录干扰校验逻辑。

内容的提问来源于stack exchange，提问作者SlingOfDavid