将含Map的List转换为DataFrame时遇get方法报错问题求助

原始数据：

d = Some(List(Map(id -> 1, n -> Hi), Map(id -> 2, n -> Hello)))

期望转换为如下Spark DataFrame：

+--------+
|id|n    |
+--------+
|1 |Hi   |
+--------+
|2 |Hello|
+--------+

尝试的代码：

import spark.implicits._

val df = d
  .map( m => (m.get("id"),m.get("n")))
  .toDF("id", "n")

报错信息：

error: value get is not a member of Any
  .map( m => (m.get("id"),m.get("n")))

报错原因分析 #

1. 层级错误：d是Option[List[Map[Symbol, Any]]]，直接调用d.map时，参数m对应的是整个List而非List中的单个Map，而List并没有get方法。
2. 键类型不匹配：代码中用字符串"id"作为键，但原始数据中Map的键是Scala的Symbol类型（即'id，而非字符串）。
3. 类型推断问题：原始数据的Map值被推断为Any，需要显式转换为具体类型以保证DataFrame字段类型正确。

修正后的代码 #

import spark.implicits._

// 先从Option中取出List，并用getOrElse处理None的情况
val df = d.getOrElse(List.empty[Map[Symbol, Any]])
  .map { m => 
    // 用Symbol类型的键取值，并转换为具体类型
    (m.get('id).asInstanceOf[Int], m.get('n).asInstanceOf[String])
  }
  .toDF("id", "n")

df.show()

更安全的类型转换方式（避免asInstanceOf） #

如果想更安全地处理类型转换，可以使用模式匹配过滤合法元素：

import spark.implicits._

val df = d.getOrElse(List.empty)
  .collect { 
    case Map('id -> id: Int, 'n -> n: String) => (id, n)
  }
  .toDF("id", "n")

df.show()

说明 #

• getOrElse(List.empty)：避免d为None时出现空指针异常，提供默认空列表作为兜底。
• collect结合模式匹配：只保留符合预期结构和类型的Map元素，自动过滤不符合规则的数据，比asInstanceOf更安全。
• 明确使用Symbol类型的键（'id、'n）匹配原始数据中的键结构。

内容的提问来源于stack exchange，提问作者Haha