如何实现Scala/Spark DataFrame自连接生成元素对及求和？

首先明确你的需求：将包含T（类别列）和S（数值列）的输入DataFrame，生成所有无序不同T值配对（即仅保留T1 < T2的单向配对，避免重复反向行），并计算对应S值的总和，最终输出包含T1、T2、S=T1+T2的目标DataFrame。

你的当前实现已经能完成核心功能，但可以从性能和代码简洁性上做针对性优化，以下是具体建议和优化后的代码：

原始实现回顾 #

val sumOf = udf((left_score: Float, right_score: Float) => left_score + right_score)
val left = df.select("T", "S").withColumnRenamed("T", "T1").withColumnRenamed("S", "S1")
val right= df.select("T", "S").withColumnRenamed("T", "T2").withColumnRenamed("S", "S2")
val joinDF = left.join(right, left.col("T1") !== right.col("T2"))
val outDF = joinDF.withColumn("S", sumOf($"S1", $"S2")).select("T1", "T2", "S")

优化点及优化后代码 #

1. 移除自定义UDF，使用Spark原生列运算 #

Spark的Column API原生支持数值加法运算，完全不需要额外定义UDF来实现简单的求和逻辑。这不仅减少了代码冗余，还能避免UDF带来的序列化/反序列化开销（在大数据量场景下，这个性能提升会更明显）。

2. 调整自连接条件为T1 < T2，过滤重复配对 #

原始代码中T1 !== T2会生成双向配对（比如A-B和B-A），但你的输出示例只需要单向的无序配对。改用T1 < T2可以直接过滤掉反向重复的行，减少一半的中间计算数据量，大幅提升运算效率。

3. 简化代码结构，减少临时变量 #

通过DataFrame别名和链式调用，可以合并列重命名、连接、计算等逻辑，让代码更紧凑易读。

优化后的最终代码：

import org.apache.spark.sql.functions.col

val df2 = df.as("left")
  .join(df.as("right"), col("left.T") < col("right.T"), "inner")
  .select(
    col("left.T").alias("T1"),
    col("right.T").alias("T2"),
    (col("left.S") + col("right.S")).alias("S=T1+T2")
  )

效果验证 #

用你给出的输入示例测试，优化后的代码会生成与示例完全一致的输出，同时具备以下优势：

• 代码行数更少，逻辑链路更清晰
• 消除了不必要的UDF性能开销
• 减少了中间阶段的数据处理量，提升整体运算速度

内容的提问来源于stack exchange，提问作者SujitS