Scala可变HashSet在Spark中添加元素出现重复问题求助

你遇到的问题核心是错误地在Spark的分布式操作中使用了本地可变集合，同时flatMap的逻辑也完全不符合去重需求，具体原因拆解如下：

• Spark是分布式计算框架，你定义的mutable.HashSet[String]是本地集合，执行时每个Task都会创建这个集合的独立副本，副本之间不会共享数据。这意味着不同分区的任务处理数据时，各自的Set是完全隔离的，根本达不到全局去重的效果。
• 你的flatMap逻辑是每处理一行就返回整个machines集合：处理前两行时，每次返回的都是包含m2的集合；处理第三行后返回包含m2和m3的集合；第四行同样返回这个集合。最终所有结果合并后，自然会出现大量重复元素。

正确的去重实现方式 #

要在Spark中实现全局去重，应该利用RDD的原生分布式操作，而非本地集合。最直接简洁的方式是先提取目标字段，再调用distinct()方法，代码示例如下：

// 提取每行的第三列数据
val splitRdd = textFile.map(line => line.split("\\t")(2))
// 对提取后的字段执行全局去重
val uniqueMachines = splitRdd.distinct()

uniqueMachines.foreach(println)
uniqueMachines.saveAsTextFile(outputFile)

这样处理后，输出结果就会是去重后的m2和m3，完全符合你的需求。如果后续需要对字段做其他扩展操作，也可以先通过map拿到目标字段，再用reduceByKey或groupByKey实现去重，但distinct()是最适合当前场景的方案。

内容的提问来源于stack exchange，提问作者user3121051