Spark Scala（1.6）中将字符串数组列拆分为多列的实现方法

在Spark 1.6中，由于缺少Spark 2.x及以上版本的高阶数组函数支持，我们需要通过**自定义UDF（用户定义函数）**来处理emp_details数组中的key=value格式字符串，将其拆分为独立列。下面提供两种可行的实现方式：

方式一：针对每个字段单独定义UDF #

这种方式直接为每个目标字段（empname、city、zip）编写UDF，从数组中匹配并提取对应值：

步骤1：定义提取字段的UDF #

import org.apache.spark.sql.functions._
import org.apache.spark.sql.types.IntegerType

// 提取empname的UDF
val getEmpName = udf((details: Array[String]) => {
  details.find(_.startsWith("empname=")) match {
    case Some(s) => s.split("=", 2)(1) // split限制为2份，避免value中包含=的情况
    case None => null // 无匹配时返回null，可根据需求改为空字符串
  }
})

// 提取city的UDF
val getCity = udf((details: Array[String]) => {
  details.find(_.startsWith("city=")) match {
    case Some(s) => s.split("=", 2)(1)
    case None => null
  }
})

// 提取zip的UDF（转为Int类型）
val getZip = udf((details: Array[String]) => {
  details.find(_.startsWith("zip=")) match {
    case Some(s) => s.split("=", 2)(1).toInt
    case None => null
  }
})

步骤2：将UDF应用到DataFrame #

// 假设你的原始DataFrame名为originalDF
val resultDF = originalDF
  .withColumn("empname", getEmpName(col("emp_details")))
  .withColumn("city", getCity(col("emp_details")))
  .withColumn("zip", getZip(col("emp_details")))

resultDF.show()

方式二：先将数组转为Map，再提取字段 #

这种方式更简洁，先把整个emp_details数组转为Key-Value Map，再通过Map的Key直接提取对应值：

步骤1：定义数组转Map的UDF #

import org.apache.spark.sql.functions._
import org.apache.spark.sql.types.IntegerType

val arrayToMap = udf((details: Array[String]) => {
  details.map { s =>
    val parts = s.split("=", 2)
    (parts(0), parts(1))
  }.toMap
})

步骤2：转换为Map后提取字段 #

val resultDF = originalDF
  .withColumn("details_map", arrayToMap(col("emp_details")))
  .withColumn("empname", col("details_map")("empname"))
  .withColumn("city", col("details_map")("city"))
  .withColumn("zip", col("details_map")("zip").cast(IntegerType)) // 转为Int类型
  .drop("details_map") // 可选：删除中间生成的map列

resultDF.show()

注意事项 #

• 若数组中可能存在某个字段缺失的情况，UDF会返回null，你可以根据业务需求替换为默认值（比如空字符串、0等）。
• 使用split("=", 2)而不是split("=")是为了避免字段值中包含=符号时被错误拆分。

内容的提问来源于stack exchange，提问作者Bab