Azure Data Factory中数据湖文件夹间增量数据复制与合并的优化方案咨询

针对你在Azure Data Factory里处理数据湖文件增量合并的需求，我结合实际项目经验给你两个可行方案，以及各自的优劣对比，帮你做决策：

方案1：基于哈希值的Dataflow增量合并（推荐用于需完整增删改的场景） #

这个方案能覆盖新增、更新、删除三种操作，也是我在大多数数据湖增量同步场景中优先选择的方式：

具体实现步骤： #

• 步骤1：给增量和目标数据生成哈希标识
  在Dataflow中，分别读取你的7天增量文件（input/employee_7days.csv）和目标文件（output/employee.csv），给两个数据集都添加一个哈希计算列，比如用表达式：

  hash(employee_id, name, department, salary, last_modified)
  

  这里要把**业务主键（比如employee_id）**和所有需要检测变化的字段都包含进去，确保只要记录内容或主键变化，哈希值就会不同。

• 步骤2：通过Join和Filter区分三种数据变化

  1. 用Inner Join关联增量和目标数据，关联键用业务主键（employee_id），筛选出「两边都存在但哈希值不同」的记录——这就是需要更新的记录。
  2. 用Left Anti Join关联目标数据和增量数据，关联键同样是employee_id，筛选出「目标存在但增量不存在」的记录——这就是需要删除的记录（注意：如果你的增量文件是「7天内有变化的记录」而非「7天内全量有效记录」，这种方式会误删7天内没变化但仍有效的数据，此时建议源系统提供删除标记字段，比如is_deleted，直接筛选标记为删除的记录）。
  3. 用Right Anti Join关联增量和目标数据，筛选出「增量存在但目标不存在」的记录——这就是需要新增的记录。

• 步骤3：生成最终合并数据集并写入目标
  把「新增记录」+「更新后的增量记录」+「目标中未被删除的记录」合并成一个数据集，然后用Dataflow的Sink写入到临时文件夹（比如output_temp/employee.csv），最后通过ADF的Delete+Copy活动把临时文件替换掉原output/employee.csv，避免读写冲突。

方案优势： #

• 精准覆盖所有三种数据操作，逻辑严谨，不容易出现数据遗漏或错误。
• 哈希对比比全字段逐一对比更高效，数据量越大优势越明显。
• 后续调整字段时，只需要修改哈希计算的表达式即可，维护成本低。

方案2：Copy Activity的合并文件行为（适合仅需新增/更新的场景） #

如果你的业务不需要处理删除操作，Copy Activity的内置合并功能会更简单，不需要写复杂的Dataflow转换：

具体实现步骤： #

1. 先用Copy Activity把7天增量文件复制到一个临时文件夹（比如temp/employee_increment.csv）。
2. 再创建第二个Copy Activity：
   • 源设置为多个文件，包含原目标文件（output/employee.csv）和临时增量文件。
   • Sink设置为原目标文件夹，在「Sink设置」里选择Merge files行为，指定业务主键（比如employee_id）作为合并键，冲突解决规则选择「用增量文件覆盖目标文件的重复记录」。

方案优势： #

• 配置极其简单，不需要编写Dataflow的转换逻辑，上手快。
• 基于ADF底层优化，小数据量下执行速度非常快。

局限性： #

• 不支持删除操作：如果需要处理数据删除，这个方案无法直接实现，额外加逻辑会非常复杂，容易出错。
• 冲突解决只能做整行覆盖，无法实现字段级的部分更新。

最终建议 #

• 如果你的业务需要完整处理增、改、删三种操作，优先选择基于哈希值的Dataflow方案，它的灵活性和严谨性更能满足复杂场景需求。
• 如果只需要处理新增和更新，不需要删除，那么Copy Activity的合并文件行为是更高效快捷的选择。

另外，不管用哪种方案，都建议先写入临时文件夹再替换原目标文件，避免出现文件锁定或读写不一致的问题。

内容的提问来源于stack exchange，提问作者amikm