Scala中提取Map[String,Any]的results列表转为DataFrame报错解决

错误原因分析 #

你直接对顶层Map[String,Any]执行map操作，此时遍历的是外层Map的键值对（比如count->1、results->List(...)这类），每个元素是(String, Any)类型的元组，而非你需要的results列表里的子Map，自然会报get方法不存在的错误。

正确实现步骤 #

需要先从顶层Map中提取results对应的列表，再处理列表中的每个子Map，提取目标字段：

import org.apache.spark.sql.SparkSession

// 初始化SparkSession（未初始化时执行）
val spark = SparkSession.builder().appName("ExtractResults").master("local[*]").getOrCreate()
import spark.implicits._

// 从顶层Map中取出results对应的列表并做类型转换
val resultsList = d("results").asInstanceOf[List[Map[String, Any]]]

// 遍历列表提取A、C字段，转换为DataFrame
val df = resultsList
  .map(subMap => (subMap("A"), subMap("C")))
  .toDF("A", "C")

// 查看结果
df.show()

更安全的类型处理（可选） #

如果担心强制类型转换的风险，可用模式匹配做安全校验：

val df = d.get("results") match {
  case Some(results: List[Map[String, Any]]) =>
    results.map(subMap => (subMap("A"), subMap("C"))).toDF("A", "C")
  case _ =>
    // 处理results不存在或类型不匹配的场景
    spark.emptyDataFrame
}

最终输出结果 #

执行后会生成目标结构的DataFrame：

+---+-----+
|  A|    C|
+---+-----+
|  1|Hello|
|  2|   Hi|
+---+-----+

内容的提问来源于stack exchange，提问作者Haha