Azure Data Factory Dataflow去重求助：staging与target表比对失败

一、先彻底清理Staging表重复数据 #

这是后续校验的基础，两种高效实现方式：

• Aggregate转换去重：将Staging表的77列全部设为Group by字段，聚合后自动剔除重复行，适合中小数据量场景。
• Window转换去重：添加Window转换，按所有列分区，生成行号rowNumber()，再筛选行号=1的记录，大数据量下性能更优。

二、修复全列比对失效问题 #

非varchar列比对失效的核心是NULL值处理不一致或数值/日期精度不统一，按以下步骤修正：

• 统一NULL值处理：对所有可能为NULL的列，根据类型指定替代值：
  • 数值型：coalesce(num_col, 0)（用业务允许的默认值替代）
  • 日期型：coalesce(date_col, toDate('1900-01-01'))
  • 布尔型：coalesce(bool_col, false)
• 统一数值/日期格式：
  • 浮点/decimal列转为固定精度字符串：toString(decimal_col, 10, 2)（根据业务精度调整）
  • 日期列转为固定格式字符串：toString(date_col, 'yyyy-MM-dd HH:mm:ss')
• 用Join替代Exists/Does Not Exist：将去重后的Staging作为左表，Target作为右表，连接条件设为处理后的全列相等，筛选右表关联字段为NULL的记录，即为需插入Target的新数据。

三、修复行签名比对失效问题 #

行签名失效源于列处理逻辑不统一，修正方案：

• 生成签名时统一处理所有列：先转字符串、替换NULL为空值，确保两边签名计算逻辑完全一致，示例代码：

  sha2(256, 
    coalesce(toString(col1), ''), 
    coalesce(toString(col2), ''),
    ...
    coalesce(toString(col77), '')
  )
  

• 优化比对逻辑：用Lookup转换提前获取Target表的所有行签名集合，在Dataflow中对Staging数据生成签名后，过滤掉签名存在于Target集合中的记录，剩余即为需插入数据，大数据量下比Join更高效。

四、额外优化建议 #

• 优先使用主键/唯一键作为核心比对条件，配合其他列校验变更，减少全列比对的性能开销；无主键则确认业务唯一标识列或组合列。
• 写入Target时用Upsert模式（需指定主键），同时支持插入新数据和更新变更数据，比单纯插入更灵活。
• 开启Dataflow调试模式，逐转换查看数据结果，定位去重、比对步骤的问题点。

内容的提问来源于stack exchange，提问作者Vitor