如何在Spark 2.3中拆分类型计数列生成独立记录？

云上老周

2026-8-5

解决方案：Spark DataFrame多列转多行（类型+计数）

针对你的场景，我们可以使用Spark SQL的stack函数实现多计数列到（类型+计数）行的转换，该方法兼容Spark 2.3版本，且能轻松扩展到更多类型列的场景。

静态列转换（已知类型列）

如果明确知道需要转换的列（如示例中的x1cnt、x2cnt），可以直接写出stack的参数：

import org.apache.spark.sql.functions._

// 假设输入DataFrame名为df
val resultDF = df.select(
  col("col1"),
  col("col2"),
  stack(2, "x1", col("x1cnt"), "x2", col("x2cnt")).alias("type", "count")
)

resultDF.show()

stack函数的第一个参数是要展开的类型数量，后续参数按类型名称, 对应计数列的成对方式传入。

动态列转换（类型数量不确定）

如果实际场景中有大量类型列（比如x1cnt、x2cnt、x3cnt...），可以通过动态获取列名生成stack参数，避免硬编码：

import org.apache.spark.sql.functions._

// 获取所有以"cnt"结尾的计数列
val countCols = df.columns.filter(_.endsWith("cnt"))

// 生成stack的参数：先计算类型数量，再拼接类型名（去掉末尾的"cnt"）和对应列
val stackExpr = s"stack(${countCols.size}, ${countCols.map(colName => s"'${colName.replace("cnt", "")}', `$colName`").mkString(", ")}) as (type, count)"

val resultDF = df.select(
  col("col1"),
  col("col2"),
  expr(stackExpr)
)

resultDF.show()

这段代码会自动识别所有后缀为"cnt"的列，将它们转换为对应的类型（比如x1cnt→x1）和计数值，无需手动修改代码适配新增的类型列。