Spark Scala中如何高效实现行值转列并填充缺失值？

这其实是典型的**行转列（透视表）**场景，Spark原生就提供了专门优化的pivot算子来处理这类需求，完全不需要用cross join这种低效的方式，性能会好很多！

核心思路：使用groupBy + pivot + agg组合 #

我们可以直接按Y列分组，然后对X列进行透视，用Z列的值填充对应的新列。如果某些Y对应的X值缺失，Spark会自动用null填充，完美匹配你的期望输出。

Scala代码示例 #

先创建你的示例输入DataFrame：

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._

val spark = SparkSession.builder().appName("PivotExample").master("local[*]").getOrCreate()
import spark.implicits._

val inputDF = Seq(
  (1, "A", "a"),
  (2, "A", "b"),
  (3, "A", "c"),
  (1, "B", "d"),
  (3, "B", "e"),
  (2, "C", "f")
).toDF("X", "Y", "Z")

然后执行透视操作：

// 如果你提前知道X的所有可能值（比如1、2、3），直接传入列表能避免Spark全表扫描去重，进一步提升性能
val pivotDF = inputDF
  .groupBy("Y")
  .pivot("X", Seq(1, 2, 3)) // 第二个参数可选，但指定后性能更优
  .agg(first("Z")) // 因为每个(Y,X)组合唯一，用first/last都可以

查看输出结果：

pivotDF.show()

输出和你期望的完全一致：

+---+----+----+----+
|  Y|   1|   2|   3|
+---+----+----+----+
|  A|   a|   b|   c|
|  B|   d|null|   e|
|  C|null|   f|null|
+---+----+----+----+

为什么这个方法比你的原方法高效？ #

• Spark的pivot算子是经过优化的，内部会避免不必要的笛卡尔积（也就是你之前用的cross join），它直接按分组和透视列进行聚合，减少数据 shuffle 和计算量。
• 当你指定透视列的可选值列表（比如Seq(1,2,3)）时，Spark不需要先扫描全表去重获取X的所有值，节省了一次全表扫描的开销，大表场景下提升非常明显。
• 原方法中collect_list+拉链+cross join的组合，不仅会产生大量中间数据，cross join本身是O(n*m)的复杂度，数据量一大就会严重拖慢性能，而pivot是O(n)级别的聚合操作，效率高很多。

内容的提问来源于stack exchange，提问作者Ishan