Azure Data Factory增量加载问题求助：Data Flow与Copy Activity异常

以下是排查和解决方向：

• 检查源节点过滤逻辑：确认Data Flow的源节点没有残留增量过滤条件（比如误加了modified_time > 某个固定时间），全量模式下要保证读取所有源数据。可以在调试时查看源节点的Row Count指标，确认是否读取到数据。
• 验证写入模式与源数据有效性：如果写入Staging用的是Overwrite模式，当源数据读取行数为0时，就会生成只有表头的空文件。先手动确认Data Lake的源数据是否存在且非空，再排查Data Flow的转换逻辑是否过滤掉了所有数据（比如过滤条件太严格）。
• 清空调试缓存：ADF的Data Flow调试会话可能保留之前的状态，建议每次全量执行前，点击Data Flow编辑器右上角的Clear Cache，或者重新发布管道后再触发执行。
• 增加写入前置判断：在管道里加一个If Condition活动，先通过Data Flow的Row Count输出变量判断源数据行数是否大于0，只有满足条件才执行写入Staging的活动，避免生成空文件。

根据不同场景，推荐三种方案：

方案1：基于时间戳的增量加载 #

• 前提：源数据（Data Lake）和目标SQL Server表都有时间戳字段（如created_time/modified_time），且能标识数据的新增/更新时间。
• 步骤：
  1. 在SQL Server中建一个控制表（如ETL_Control），存储管道的last_run_time（上次成功执行的时间）。
  2. 管道开头用Lookup Activity读取ETL_Control里的last_run_time，赋值给管道参数@activity('LookupLastRunTime').output.firstRow.last_run_time。
  3. 在Data Flow的源节点添加过滤条件：modified_time > @pipeline().parameters.last_run_time，只读取增量数据。
  4. Copy Activity完成后，用Stored Procedure Activity调用存储过程，更新ETL_Control里的last_run_time为本次执行的时间（比如GETDATE()）。

方案2：基于主键的Upsert（更新+插入） #

• 前提：源数据有唯一主键（如id），目标表主键与源一致。
• 步骤：
  • 直接用Data Flow的Sink节点连接SQL Server，选择Upsert模式，指定主键列。这样转换后的数据会自动对比主键，存在则更新，不存在则插入，跳过中间CSV staging环节更高效。
  • 如果必须保留CSV staging，可在Copy Activity的Sink设置中选择Upsert，指定目标表主键，Copy Activity会自动处理重复数据。

方案3：基于文件水印的增量控制 #

• 前提：源数据无时间戳/主键，以文件为单位增量（比如Data Lake按天生成文件）。
• 步骤：
  1. 在Staging Data Lake创建watermark.txt，记录上次处理的最后一个文件名（如data_20240520.csv）。
  2. 管道开头用Lookup Activity读取watermark.txt的内容，赋值给参数last_processed_file。
  3. 在Data Flow的源节点，设置文件路径过滤，只读取文件名大于last_processed_file的文件（比如按日期命名的文件，用字符串比较）。
  4. 执行完成后，用Copy Activity将本次处理的最后一个文件名写入watermark.txt，覆盖旧内容。

内容的提问来源于stack exchange，提问作者Developer Rajinikanth