Spark Scala中操作DataFrame多维数组列实现按ID求和/求最大值
问题根因
- 执行
test.map(_._2)触发报错的核心原因:Spark Dataset的map算子输入的每条记录是org.apache.spark.sql.Row类型,而非Scala元组,不存在元组特有的_2属性访问方式。 - 自定义UDF运行失败的核心原因:字段类型映射判断错误,Spark读取的
array<array<double>>结构,对应Scala端的实际类型是Seq[Seq[Double]],而非Seq[Row]——因为内层是纯数值数组,不是带字段名的结构化对象,用Row的getAs方法无法匹配类型,自然取不到值。
实现方案
优先使用Spark内置高阶函数实现(性能优于自定义UDF,可被Spark Catalyst优化器优化),适配每条记录下的多维数组聚合需求:
import org.apache.spark.sql.functions._ val result = tf.select( col("id"), // 对prices列的所有内层子数组的第二个元素(即实际价格值)做求和 expr("aggregate(prices, cast(0 as double), (acc, subArr) -> acc + subArr[1])").as("total_price"), // 对prices列的所有内层子数组的第二个元素做最大值提取 expr("aggregate(prices, cast('-Infinity' as double), (acc, subArr) -> greatest(acc, subArr[1]))").as("max_price"), // 对vol列的所有内层子数组的第二个元素(即实际成交量值)做求和 expr("aggregate(vol, cast(0 as double), (acc, subArr) -> acc + subArr[1])").as("total_vol"), // 对vol列的所有内层子数组的第二个元素做最大值提取 expr("aggregate(vol, cast('-Infinity' as double), (acc, subArr) -> greatest(acc, subArr[1]))").as("max_vol") )
如果使用的Spark版本不支持高阶函数,可编写正确类型映射的自定义UDF实现:
// 适配nested array<double>类型的求和UDF val sumNestedValue = udf((nestedArr: Seq[Seq[Double]]) => { // 取每个内层子数组的第二个元素做聚合 nestedArr.map(_(1)).sum }) // 适配nested array<double>类型的最大值提取UDF val maxNestedValue = udf((nestedArr: Seq[Seq[Double]]) => { nestedArr.map(_(1)).max }) val result = tf.select( col("id"), sumNestedValue(col("prices")).as("total_price"), maxNestedValue(col("prices")).as("max_price"), sumNestedValue(col("vol")).as("total_vol"), maxNestedValue(col("vol")).as("max_vol") )
如果需要通过map算子实现逻辑,需使用Row的标准取值方法替代元组属性访问:
import spark.implicits._ val resultDs = tf.map(row => { val id = row.getAs[String]("id") val pricesArr = row.getAs[Seq[Seq[Double]]]("prices") val volArr = row.getAs[Seq[Seq[Double]]]("vol") ( id, pricesArr.map(_(1)).sum, pricesArr.map(_(1)).max, volArr.map(_(1)).sum, volArr.map(_(1)).max ) }).toDF("id", "total_price", "max_price", "total_vol", "max_vol")
内容的提问来源于stack exchange,提问作者chamz
相关产品推荐
相关产品推荐

