如何使用Spark和Scala创建RDD[Map(Int,Int)]？

首先，你的代码出错的核心原因是匿名函数的写法有误。让我们拆解一下问题：

你写的(0 to 20).map(_ => (_,0))里，_ => (_,0)这个匿名函数存在逻辑问题：第一个_是函数的输入参数，但你并没有在函数体内使用它；而元组里的第二个_没有对应的上下文，Scala会把它解析成一个新的函数参数，最终导致data变成了一个函数序列（Seq[(Any) => (Any, Int)]），当你把它并行化后，自然得到的是RDD[(Any) => (Any, Int)]，完全不是你想要的结果。

接下来分两种情况给出解决方案：

方案1：创建键值对类型的RDD（推荐，符合Spark分布式设计） #

如果你想模拟Java代码中Map的键值对结构，但遵循Spark的分布式思路，应该创建一个RDD[(Int, Int)]，每个元素是一个(键, 值)对。正确代码如下：

// 先生成(0,0), (1,0), ..., (20,0)这样的元组序列
val data = (0 to 20).map(i => (i, 0))
// 并行化得到RDD[(Int, Int)]
val myPairRDD = sparkContext.parallelize(data)

或者可以用更简洁的下划线写法（确保每个下划线对应正确的参数）：

val data = (0 to 20).map((_, 0))
val myPairRDD = sparkContext.parallelize(data)

这种结构的RDD是Spark中常用的Pair RDD，你可以基于它进行各种分布式操作（比如聚合、join等），这才是Spark的正确使用方式。

方案2：创建包含完整Map的RDD（不推荐，仅满足你的字面需求） #

如果你确实想要一个RDD[Map[Int, Int]]（即RDD里的单个元素是那个包含21个键值对的Map），可以这样写：

// 先创建单个Map对象
val singleMap = (0 to 20).map(i => (i, 0)).toMap
// 并行化这个单元素序列，得到RDD[Map[Int, Int]]
val myMapRDD = sparkContext.parallelize(Seq(singleMap))

但要注意：这种方式下RDD只有一个元素，完全没有利用Spark的分布式计算能力，通常只有在特殊场景下才会这么做。

总结一下，你之前的错误是匿名函数的下划线使用不当，导致生成了函数序列而非键值对序列。优先推荐方案1的写法，更符合Spark的设计理念。

内容的提问来源于stack exchange，提问作者Markus