You need to enable JavaScript to run this app. Spark Scala中操作DataFrame多维数组列实现按ID求和/求最大值
优惠活动
大模型
产品
解决方案
定价
更多

Spark Scala中操作DataFrame多维数组列实现按ID求和/求最大值

问题根因
  • 执行test.map(_._2)触发报错的核心原因:Spark Dataset的map算子输入的每条记录是org.apache.spark.sql.Row类型,而非Scala元组,不存在元组特有的_2属性访问方式。
  • 自定义UDF运行失败的核心原因:字段类型映射判断错误,Spark读取的array<array<double>>结构,对应Scala端的实际类型是Seq[Seq[Double]],而非Seq[Row]——因为内层是纯数值数组,不是带字段名的结构化对象,用Row的getAs方法无法匹配类型,自然取不到值。
实现方案

优先使用Spark内置高阶函数实现(性能优于自定义UDF,可被Spark Catalyst优化器优化),适配每条记录下的多维数组聚合需求:

import org.apache.spark.sql.functions._

val result = tf.select(
  col("id"),
  // 对prices列的所有内层子数组的第二个元素(即实际价格值)做求和
  expr("aggregate(prices, cast(0 as double), (acc, subArr) -> acc + subArr[1])").as("total_price"),
  // 对prices列的所有内层子数组的第二个元素做最大值提取
  expr("aggregate(prices, cast('-Infinity' as double), (acc, subArr) -> greatest(acc, subArr[1]))").as("max_price"),
  // 对vol列的所有内层子数组的第二个元素(即实际成交量值)做求和
  expr("aggregate(vol, cast(0 as double), (acc, subArr) -> acc + subArr[1])").as("total_vol"),
  // 对vol列的所有内层子数组的第二个元素做最大值提取
  expr("aggregate(vol, cast('-Infinity' as double), (acc, subArr) -> greatest(acc, subArr[1]))").as("max_vol")
)

如果使用的Spark版本不支持高阶函数,可编写正确类型映射的自定义UDF实现:

// 适配nested array<double>类型的求和UDF
val sumNestedValue = udf((nestedArr: Seq[Seq[Double]]) => {
  // 取每个内层子数组的第二个元素做聚合
  nestedArr.map(_(1)).sum
})

// 适配nested array<double>类型的最大值提取UDF
val maxNestedValue = udf((nestedArr: Seq[Seq[Double]]) => {
  nestedArr.map(_(1)).max
})

val result = tf.select(
  col("id"),
  sumNestedValue(col("prices")).as("total_price"),
  maxNestedValue(col("prices")).as("max_price"),
  sumNestedValue(col("vol")).as("total_vol"),
  maxNestedValue(col("vol")).as("max_vol")
)

如果需要通过map算子实现逻辑,需使用Row的标准取值方法替代元组属性访问:

import spark.implicits._
val resultDs = tf.map(row => {
  val id = row.getAs[String]("id")
  val pricesArr = row.getAs[Seq[Seq[Double]]]("prices")
  val volArr = row.getAs[Seq[Seq[Double]]]("vol")
  (
    id,
    pricesArr.map(_(1)).sum,
    pricesArr.map(_(1)).max,
    volArr.map(_(1)).sum,
    volArr.map(_(1)).max
  )
}).toDF("id", "total_price", "max_price", "total_vol", "max_vol")

内容的提问来源于stack exchange,提问作者chamz

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.13 04:45:04