Spark DataFrame如何对指定列列表应用sum聚合？

我明白你的需求：你已经定义了一个包含待聚合列名的列表aggList，想对DataFrame按col1分组后，对列表里的所有列执行sum聚合。直接写df.groupby(col1).agg(sum(aggList))会报错，因为agg()方法不接受字符串列表作为参数——它需要的是Column类型的聚合表达式。下面给你两种实用的解决方法：

方法一：自定义聚合表达式（推荐，支持别名） #

这种方式可以让你给聚合后的列设置清晰的别名（比如加上sum_前缀），步骤很简单：

1. 先确保导入Spark的函数库：

import org.apache.spark.sql.functions._

2. 将aggList中的每个列名转换成sum()聚合的Column对象：

// 假设你的aggList包含需要求和的列，比如col4、col5、col6
var aggList: List[String] = List("col4", "col5", "col6")
// 生成每个列的sum表达式，并设置别名
val aggExpressions = aggList.map(colName => sum(col(colName)).alias(s"sum_$colName"))

3. 将生成的表达式列表传入agg()方法：

val aggregatedDf = df.groupBy("col1").agg(aggExpressions.head, aggExpressions.tail: _*)

这里用aggExpressions.head取第一个表达式，aggExpressions.tail: _*把剩余的表达式作为可变参数传入，完美匹配agg()的参数要求。

方法二：用Map快速聚合（简洁，无需自定义别名） #

如果不需要自定义聚合后的列名，这种方式更省事：

// 把列名列表转成"列名 -> 聚合函数名"的Map
val aggMap = aggList.map(colName => colName -> "sum").toMap
// 执行分组聚合
val aggregatedDf = df.groupBy("col1").agg(aggMap)

这种方式会自动用sum(colName)处理每个列，聚合后的列名和原列名一致。

完整测试示例 #

用你提供的DataFrame来验证一下效果：

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._

object BatchAggExample {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder().master("local[*]").appName("BatchAgg").getOrCreate()
    import spark.implicits._

    // 初始化你的DataFrame
    var df = spark.sparkContext.parallelize(Seq[(Int, Int, String, Int, Int, Int)](
      (1234, 1234, "PRM", 2, 1, 1),
      (1235, 1234, "PRM", 1239, 2, 10),
      (1246, 1234, "PRM", 1234, 5, 15),
      (1247, 1234, "PRM", 1254, 20, 12),
      (1246, 1234, "PRM", 1234, 5, 13),
      (1246, 1234, "SEC", 1234, 7, 15),
      (1249, 1234, "SEC", 1234, 20, 1),
      (1248, 1234, "SEC", 1234, 2, 2))
    ).toDF("col1", "col2", "col3", "col4", "col5", "col6")

    // 定义待聚合的列列表
    var aggList: List[String] = List("col4", "col5", "col6")
    
    // 使用方法一执行聚合
    val aggExpressions = aggList.map(colName => sum(col(colName)).alias(s"sum_$colName"))
    val resultDf = df.groupBy("col1").agg(aggExpressions.head, aggExpressions.tail: _*)
    
    // 查看结果
    resultDf.show()
  }
}

运行后会输出每个col1分组对应的各列求和结果，比如col1=1246的行，sum_col4会是1234+1234+1234=3702，sum_col5是5+5+7=17，sum_col6是15+13+15=43，完全符合预期。

内容的提问来源于stack exchange，提问作者priya kpn