Azure Data Factory数据流左外连接重复记录问题处理咨询

使用ADF Data Flow处理Parquet源数据，通过Join组件做左外连接后出现重复记录，且Sink采用缓存模式（未写入ADLS或数据库），可以从以下几个方向排查解决：

核心排查与解决步骤 #

• 先确认连接键的唯一性
  左外连接出重复，大概率是右表（或左表）里存在多个匹配连接键的记录，导致左表单条记录被多次匹配。

  • 给左/右表添加Aggregate聚合组件，按连接键分组统计记录数，查看是否有分组计数大于1的情况。
  • 若存在重复连接键，先通过Distinct去重组件清理重复数据，再进入Join组件。

• 检查Join组件的配置
  从你提供的Join配置图来看（界面显示连接类型、键映射），务必确认实际选择的是左外连接（Left outer join），不要误选为内连接或其他类型。同时：

  • 核对连接键映射是否准确，避免绑定非关联字段。
  • 若右表数据量较小，开启Join优化里的“广播右表”，可避免数据分区导致的重复匹配问题。

• 预处理源数据
  在进入Join前先做数据清洗：

  • 用Filter组件过滤掉源表里连接键为空、无效的记录，避免无效匹配产生重复。
  • 用Derived Column组件对连接键做标准化处理（比如去除空格、统一大小写），保证匹配逻辑一致。

• 验证缓存Sink配置
  缓存Sink本身不会制造重复，但要检查分区设置：

  • 若开启了自定义分区，先切换为默认设置测试，避免分区逻辑导致的重复聚合。

你的数据流序列说明 #

1. 第一幅图：数据流从Parquet源出发，经Join组件后指向缓存Sink。
2. 第二幅图：展示数据流完整节点，包含源字段列表、Join的输入输出、Sink缓存配置。
3. 第三幅图：聚焦Sink设置界面，显示缓存模式的相关配置项。
4. 第四幅图：Join组件配置界面，显示原内连接的设置（需确认是否切换为左外连接）及连接键映射。

内容的提问来源于stack exchange，提问作者Developer Rajinikanth