Scala中合并Spark DataFrame两个数组列生成新列的方法

这里提供两种可行的实现方式，优先推荐使用Spark内置函数，性能更优：

方法一：使用Spark内置函数（Spark 2.4+） #

Spark 2.4及以上版本提供的zip_with函数可以直接按索引配对两个数组的元素，再结合concat_ws完成拼接：

import org.apache.spark.sql.functions.{zip_with, concat_ws}

// 生成新列newcol
val resultDF = df1.withColumn(
  "newcol",
  zip_with($"subject", $"mark", (subj, score) => concat_ws(":", subj, score))
)

// 查看结果
resultDF.select("id", "newcol").show(false)

执行后输出：

+---+----------------+
|id |newcol          |
+---+----------------+
|1  |[eng:10, math:20]|
+---+----------------+

逻辑说明 #

• zip_with：将subject和mark数组的对应位置元素一一配对
• 对每一对元素用concat_ws(":", subj, score)拼接成"科目:分数"格式的字符串
• 最终返回由这些拼接字符串组成的新数组列

方法二：自定义UDF（兼容低版本Spark） #

如果使用的Spark版本低于2.4，可以通过自定义UDF实现相同逻辑：

import org.apache.spark.sql.functions.udf

// 定义UDF：接收两个字符串数组，返回拼接后的数组
val combineArrays = udf((subjects: Array[String], marks: Array[String]) => {
  subjects.zip(marks).map { case (s, m) => s"$s:$m" }
})

// 应用UDF生成新列
val resultDF = df1.withColumn("newcol", combineArrays($"subject", $"mark"))

// 查看结果
resultDF.select("id", "newcol").show(false)

逻辑说明 #

• 利用Scala的zip方法将两个数组按索引配对
• 通过map遍历每一对元素，拼接成"科目:分数"的格式
• UDF将这种逻辑封装后应用到DataFrame的列上

注意点 #

• 确保两个数组列的长度一致，否则配对时会以较短数组的长度为准，忽略超出的元素
• 如果需要处理数组长度不一致的场景，可以在UDF中添加额外判断（比如给缺失元素填充默认值）

内容的提问来源于stack exchange，提问作者Shankar Panda