Azure Data Factory能否仅更新目标表中已存在ID的源数据？

以下是贴合你缓存表更新需求的具体实现方案：

• 1. 配置基础链接与数据集
  先分别为源、目标Azure SQL Server创建链接服务，确保ADF能正常访问两个数据库；再对应创建源表、目标表的数据集，后续活动将基于这些数据集操作。

• 2. 过滤需要更新的源数据
  核心是只拉取源表中与目标表已存在ID匹配的记录，有两种高效实现方式：

  • 用Lookup活动先获取目标表的所有ID：执行SELECT DISTINCT ID FROM 目标表，把结果作为参数传入后续的Copy活动，在源查询中用IN条件过滤（比如WHERE ID IN (@lookupOutput)）。
  • 直接在源数据集的自定义查询中关联目标表：

    SELECT s.* FROM 源表 s
    INNER JOIN 目标表 t ON s.ID = t.ID
    -- 若源表有更新时间字段，建议加上两周范围过滤，减少数据量
    WHERE s.LastUpdateTime >= DATEADD(WEEK, -2, GETDATE())
    

  如果源表有更新时间戳，务必加上时间过滤，避免全表扫描，大幅提升效率

• 3. 配置更新写入规则
  在Copy活动的Sink设置中，选择写入行为为Upsert，并指定键列为ID字段。这样ADF会自动匹配源数据与目标表的ID：匹配到的记录直接更新，未匹配的则跳过（完全符合你只更新已存在记录的需求）。

• 4. 设置周期调度
  创建一个周期触发器，设置频率为“周”，间隔为2周，指定具体的触发时间点，就能实现每两周自动执行一次更新任务。

• 性能优化提示
  针对100万条记录的规模，建议：

  • 给源表和目标表的ID字段创建非聚集索引
  • 开启Copy活动的并行复制功能，根据数据库性能调整并行度
  • 若源表数据量持续增长，可考虑将Lookup活动的结果分页，避免内存压力

内容的提问来源于stack exchange，提问作者knowdotnet