Spark Scala中如何将结构体列表转为无括号的自定义分隔符字符串

数据老陈

2026-9-30

Scala Spark 结构体数组转指定格式字符串解决方案

你可以通过两种常用方式实现需求，优先推荐使用内置函数实现，性能更高：

方法1：使用Spark内置函数（无UDF，推荐）

通过transform函数先将数组中的每个结构体转换为id, score格式的字符串，得到字符串数组后再通过concat_ws按指定分隔符拼接即可，示例代码如下：

import org.apache.spark.sql.functions._

// 假设你的数据集为df，结构体数组列名为 struct_list
val resultDF = df.withColumn("formatted_str",
  concat_ws(": ",
    // 遍历数组中的每个结构体，拼接为目标单元素字符串
    transform(col("struct_list"), item => 
      concat(item.getField("id"), lit(", "), item.getField("score"))
    )
  )
)

// 验证输出
resultDF.select("formatted_str").show(false)

注：transform函数为Spark 3.0及以上版本内置函数，如果你使用的是Spark 2.x版本，建议使用UDF方案

方法2：自定义UDF实现（灵活适配复杂格式调整）

如果后续需要调整更复杂的输出规则，可以用UDF实现：

import org.apache.spark.sql.functions._
import org.apache.spark.sql.Row

// 定义格式化UDF
val formatStructArr = udf((arr: Seq[Row]) => {
  arr.map(row => s"${row.getAs[String]("id")}, ${row.getAs[Double]("score")}")
    .mkString(": ")
})

// 调用UDF生成目标列
val resultDF = df.withColumn("formatted_str", formatStructArr(col("struct_list")))