Scala中对比含重复项的DataFrame：避免重复行多次匹配

问题核心是当匹配键存在重复行时，直接join会产生笛卡尔积，导致错误的不匹配项。要实现一对一匹配，需要给每个匹配键分组内的行添加唯一序号，将序号作为额外匹配条件，确保两边行一一对应。

具体步骤： #

1. 对两个DataFrame分别按匹配键（col1、col2、col3）分组，使用窗口函数row_number()为每组内的行生成递增序号。
2. 以原匹配键 + 分组行号作为join条件，完成一对一匹配。

代码实现： #

import org.apache.spark.sql.expressions.Window

// 定义窗口：按实际使用的3个匹配键分组，示例中为col1、col2、col3
val windowSpec = Window.partitionBy("col1", "col2", "col3").orderBy("col4")

// 给df1添加分组内的行号
val df1WithRowNum = df1.as("df1")
  .withColumn("row_num", row_number().over(windowSpec))

// 给df2添加分组内的行号，排序字段需和df1保持一致，确保行顺序对应
val df2WithRowNum = df2.as("df2")
  .withColumn("row_num", row_number().over(windowSpec))

// 使用原匹配键 + 行号作为join条件
val result = df1WithRowNum.join(
  df2WithRowNum,
  expr("df1.col1 = df2.col1 AND df1.col2 = df2.col2 AND df1.col3 = df2.col3 AND df1.row_num = df2.row_num")
)

关键说明： #

• orderBy字段优先选择业务上有意义的列（比如示例中的col4），确保两边同一分组内的行序号对应关系稳定。如果没有合适的排序字段，也可以用monotonically_increasing_id()，但这种方式不保证固定顺序，仅作为备选。
• 添加行号后，join条件包含了分组内的唯一序号，彻底避免相同匹配键下的笛卡尔积，实现严格的一对一匹配。

内容的提问来源于stack exchange，提问作者Dan