Azure Data Factory复制数据任务Upsert未更新数据问题排查

核心原因：源数据未去重导致Upsert失效 #

你的源查询未做去重处理，如果源表stg0_ga4.dateScreenPageViews_Page中存在同一个taxonomie_id+dim_date对应多条screenPageViews记录，ADF的Upsert逻辑会按源记录逐条处理：

• 首次运行时，目标表为空，所有源记录（包括重复键组合）都会被插入，直接产生重复数据。
• 第二次运行时，ADF会对每条源记录执行匹配：键存在则更新，不存在则插入。但源中的重复键记录会依次更新目标表的同一条记录，最终目标表记录数仍和源的重复数一致，甚至因多次运行叠加出现翻倍现象。

对ADF Upsert功能的认知偏差 #

ADF的Upsert仅负责单条源记录与目标表的键匹配，执行更新/插入动作，它不会自动对源数据做去重或合并处理。你期望每个键组合仅保留一条记录，但这个逻辑需要在源查询中实现，而非依赖Upsert功能。

具体修复步骤 #

1. 修改源查询，实现键组合去重
   根据你原查询的排序逻辑（按dim_date、taxonomie_id降序），用窗口函数取每个键组合的最新记录，确保源数据无重复：

   SELECT taxonomie_id, dim_date, screenPageViews
   FROM (
       SELECT 
           taxonomie_id,
           dim_date,
           screenPageViews,
           ROW_NUMBER() OVER (PARTITION BY taxonomie_id, dim_date ORDER BY dim_date DESC, taxonomie_id DESC) AS rn
       FROM stg0_ga4.dateScreenPageViews_Page
   ) t
   WHERE rn = 1;
   

2. 验证Upsert键配置
   确认目标数据集的Upsert键已同时选中taxonomie_id和dim_date，且两个字段在源、目标表中的数据类型完全一致（如日期格式、字符串长度等），避免因类型不匹配导致键匹配失败，进而重复插入。

3. 清理现有目标表数据
   先清空目标表的重复数据，再用修改后的去重查询重新运行复制活动。后续每次运行时，源数据已保证键组合唯一，Upsert会正常执行：匹配到键则更新screenPageViews，未匹配到则插入新记录。

内容的提问来源于stack exchange，提问作者Dirk Sachse