Scala中如何将Spark返回的Any类型WrappedArray转为可迭代对象并生成Map

问题场景 #

现有Spark DataFrame的Schema定义如下：

root
|-- array_name: array (nullable = true)
 |    |-- element: struct (containsNull = true)
 |    |    |-- string_element string (nullable = true)
 |    |    |-- double_element: double (nullable = true)

从DataFrame的Row中获取该数组字段时，返回的对象类型为Any，但实际是WrappedArray，结构示例如下：

val wrappedArray = row.get(0)
// 实际值：[WrappedArray([2020-08-01,3.1109513062027883E7], [2020-09-01,2.975389347485656E7], ...)]

需要将其转换为以string_element为键、double_element转成Int为值的Map，目标格式：

val finalMap: Map[String, Int] = Map("2020-08-01" -> 31109513, "2020-09-01" -> 29753893, ...)

核心问题是Any类型导致编译时无法直接迭代该WrappedArray。

解决方案 #

1. 类型强转（核心步骤）

因为明确知晓Schema结构，可安全地将Any类型的对象强制转换为WrappedArray[Row]（数组中的每个struct元素对应Spark的Row类型）：

import org.apache.spark.sql.Row
import org.apache.spark.sql.catalyst.expressions.WrappedArray

// 将Any类型转为WrappedArray[Row]
val arrayOfRows = wrappedArray.asInstanceOf[WrappedArray[Row]]

2. 遍历转换为目标Map

遍历转换后的数组，提取每个Row中的字段并处理类型转换：

val finalMap: Map[String, Int] = arrayOfRows.map { row =>
  // 获取string_element作为Map的键
  val key = row.getAs[String]("string_element")
  // 获取double_element并转为Int（示例中直接取整数部分，若需四舍五入可改用round.toInt）
  val value = row.getAs[Double]("double_element").toInt
  key -> value
}.toMap

3. 安全处理（可选，避免空值异常）

如果存在字段为空的情况，可通过Option包装跳过无效元素，避免抛出空指针异常：

val safeFinalMap: Map[String, Int] = arrayOfRows.flatMap { row =>
  for {
    key <- Option(row.getAs[String]("string_element"))
    doubleVal <- Option(row.getAs[Double]("double_element"))
  } yield key -> doubleVal.toInt
}.toMap

内容的提问来源于stack exchange，提问作者Shivangi Gupta