Azure Data Factory如何基于目标表子查询筛选源表增量数据？

问题根源 #

复制数据活动的源查询上下文仅局限于当前关联的源数据源，无法直接引用目标数据源中的表，这就是直接在源查询中写跨数据源子查询报错的核心原因。

解决方案：用Lookup活动传递跨数据源时间戳参数 #

以下是具体实现步骤：

1. 添加Lookup活动获取目标表最大时间戳

   • 新建Lookup活动，将其数据源配置为你的Azure SQL目标数据源
   • 在Lookup活动的"查询"框中输入：

     SELECT MAX(timestamp) AS last_sync_time FROM destination_table
     

   • 保留默认的"仅第一行"设置，确保输出只返回一条包含最大时间戳的记录

2. 参数化复制数据活动的源查询

   • 打开复制数据活动的"源"选项卡，选择本地SQL Server数据源
   • 在"查询"框中使用动态表达式引用Lookup活动的输出结果：

     SELECT * FROM source_table WHERE timestamp > '@{activity('Lookup获取最后同步时间').output.firstRow.last_sync_time}'
     

   • 注意：如果你的timestamp字段是datetime/datetime2类型，SQL Server允许直接比较，无需额外引号；如果是字符串格式的时间，需确保引号包裹正确

3. 优化时间边界（适配最近两分钟同步需求）

   • 为避免Lookup执行与复制执行之间的时间差导致漏数据，可以在查询中额外减去两分钟：

     SELECT * FROM source_table 
     WHERE timestamp > DATEADD(minute, -2, '@{activity('Lookup获取最后同步时间').output.firstRow.last_sync_time}')
     

   • 首次同步时目标表无数据的情况，可添加NULL处理逻辑：

     SELECT * FROM source_table 
     WHERE timestamp > ISNULL('@{activity('Lookup获取最后同步时间').output.firstRow.last_sync_time}', DATEADD(minute, -2, GETDATE()))
     

4. 配置活动执行顺序

   • 将Lookup活动与复制数据活动连接成依赖链，确保Lookup活动先执行完成，再触发复制数据活动

内容的提问来源于stack exchange，提问作者John L. Edwards