如何将Spark SQL DataFrame统计结果合并为单行汇总报告？

要高效生成你需要的单行汇总DataFrame，推荐使用Spark的聚合函数一次性完成所有统计，这样只需扫描数据一次，性能远优于多次单独count操作。

步骤说明： #

1. 导入Spark SQL的必要函数
2. 使用agg方法结合count(when(...))实现条件统计，所有统计逻辑在一个操作中完成

完整代码示例： #

import org.apache.spark.sql.functions.{count, when, col}

// 假设你的原始DataFrame名为dataDF
val summaryDF = dataDF.agg(
  count(when(col("gender") === "M", 1)).alias("numMales"),
  count(when(col("gender") === "F", 1)).alias("numFemales"),
  count(when(col("grade") === 2, 1)).alias("numGrade2"),
  count(when(col("grade") === 3, 1)).alias("numGrade3")
)

// 查看结果
summaryDF.show()

为什么这是最优方案？ #

• 性能高效：仅需对源DataFrame进行一次扫描，而多次单独count会触发多次数据扫描，在大数据量场景下差异明显
• 代码简洁：所有统计逻辑集中在一处，可读性和维护性更好
• 结果准确：直接生成符合要求的单行汇总结构，无需额外的合并操作

补充说明： #

如果你更习惯用sum函数，也可以写成等价形式：

val summaryDF = dataDF.agg(
  sum(when(col("gender") === "M", 1).otherwise(0)).alias("numMales"),
  sum(when(col("gender") === "F", 1).otherwise(0)).alias("numFemales"),
  sum(when(col("grade") === 2, 1).otherwise(0)).alias("numGrade2"),
  sum(when(col("grade") === 3, 1).otherwise(0)).alias("numGrade3")
)

两种方式效果完全一致，选择你觉得更直观的即可。

内容的提问来源于stack exchange，提问作者user3685285