Scala中Spark数据集转List(Map)失败，求正确实现方法

你的代码存在两个核心问题：

1. 变量作用域与不可变性问题：外部定义的finalData是val（不可变变量），且你在foreach内部重新定义了同名的var，这个内部变量和外部的finalData完全无关，外部变量不会被修改。另外，你初始化finalData的方式错误，应该用List.empty[Map[String,String]]或Nil。
2. 错误使用foreach：foreach是用于执行副作用操作的（比如打印），它不会返回任何结果，不适合用来构建新的集合。

最优实现方式 #

直接对collect()返回的数组使用map转换，将每个元组映射为目标Map，再转为List即可：

val sampleData = Seq(
  ("1", "12"),
  ("2", "22")
).toDF("id", "value").as[(String, String)]

// 正确写法
val finalData: List[Map[String, String]] = sampleData.collect()
  .map { case (id, value) => Map("id" -> id, "value" -> value) }
  .toList

为什么你的写法无效？ #

• Scala中val是不可变的，无法直接修改其值；即使你把外部的finalData改成var，foreach内部的操作也不是线程安全的（Spark分布式场景下更危险）。
• foreach的设计目的是遍历元素执行操作，而非生成新集合，所以用它来构建集合是错误的用法，map才是转换集合元素的正确方法。

内容的提问来源于stack exchange，提问作者Sekar Ramu