Spark中使用Scala实现DataFrame转置的方法咨询

确实，Scala版Spark不像Pandas那样有直接的transpose函数，但我们可以通过**宽表转长表（melt）+ 透视（pivot）**的组合操作来实现你要的转置效果，我给你一步步拆解实现过程：

1. 先构建原始DataFrame（方便你复现） #

首先我们先把你给出的示例数据转换成Spark DataFrame：

import org.apache.spark.sql.{SparkSession, DataFrame}
import org.apache.spark.sql.functions._

// 初始化SparkSession
val spark = SparkSession.builder()
  .appName("DataFrameTranspose")
  .master("local[*]") // 本地测试用，生产环境去掉
  .getOrCreate()
import spark.implicits._

// 构建你的原始DataFrame
val originalDF = Seq(
  ("love", 0.3, 0.2, 0.5),
  ("like", 0.1, 0.5, 0.4),
  ("Sleep", 0.1, 0.1, 0.8),
  ("Dance", 0.3, 0.4, 0.3)
).toDF("category", "T1", "T2", "T3")

2. 第一步：将宽表转为长表（Melt操作） #

我们需要把T1/T2/T3这些列转换成键值对的形式，Spark 2.4+提供了stack函数可以轻松实现这一点：

// 使用stack函数将宽表转成窄表
val meltedDF = originalDF.select(
  $"category",
  // stack参数：第一个是要堆叠的列数，然后是列名和对应列的成对组合
  stack(3, "T1", $"T1", "T2", $"T2", "T3", $"T3").alias("metric", "value")
)

这一步执行后，meltedDF的结构是：

+--------+------+-----+
|category|metric|value|
+--------+------+-----+
|    love|    T1|  0.3|
|    love|    T2|  0.2|
|    love|    T3|  0.5|
|    like|    T1|  0.1|
|    like|    T2|  0.5|
|    like|    T3|  0.4|
|   Sleep|    T1|  0.1|
|   Sleep|    T2|  0.1|
|   Sleep|    T3|  0.8|
|   Dance|    T1|  0.3|
|   Dance|    T2|  0.4|
|   Dance|    T3|  0.3|
+--------+------+-----+

3. 第二步：用Pivot实现转置 #

接下来我们对metric列分组，然后透视category列，就能得到你想要的转置结果：

// 分组+透视完成转置
val transposedDF = meltedDF.groupBy($"metric")
  .pivot("category") // 把category的每个值转成列
  .agg(first($"value")) // 取对应的值（这里因为每个组合唯一，用first/last都可以）
  .orderBy($"metric") // 按T1/T2/T3排序，保持顺序

执行transposedDF.show()后，输出就是你期望的形式：

+------+-----+----+-----+-----+
|metric|Dance|love| like|Sleep|
+------+-----+----+-----+-----+
|    T1|  0.3| 0.3|  0.1|  0.1|
|    T2|  0.4| 0.2|  0.5|  0.1|
|    T3|  0.3| 0.5|  0.4|  0.8|
+------+-----+----+-----+-----+

进阶：动态处理不确定数量的列 #

如果你的DataFrame中T*列的数量不固定（比如不止T1-T3），可以动态生成stack的参数，避免硬编码：

// 动态获取需要转换的列（排除category列）
val valueColumns = originalDF.columns.filter(_ != "category")
// 动态拼接stack表达式
val stackExpr = s"stack(${valueColumns.size}, ${valueColumns.flatMap(col => s"'$col', $$col").mkString(", ")}) as (metric, value)"
// 生成动态melt后的DataFrame
val dynamicMeltedDF = originalDF.selectExpr("category", stackExpr)

// 后续的pivot操作和之前一样
val dynamicTransposedDF = dynamicMeltedDF.groupBy($"metric")
  .pivot("category")
  .agg(first($"value"))
  .orderBy($"metric")

这个方法可以适配任意数量的数值列，不用修改核心逻辑。

内容的提问来源于stack exchange，提问作者Yoo