Java Spark新手求助：如何获取两个RDD的交集？

嗨，作为Spark新手，想要搞定两个JavaRDD<Document>的交集其实不难，核心是看你怎么定义“两个元素相同”——Spark的交集操作依赖元素的equals()和hashCode()方法来判断，下面分两种常见场景给你说明：

场景1：判断整个文档完全相同 #

如果你的Document是MongoDB的org.bson.Document，它默认已经实现了equals()方法（会比较文档里的所有键值对是否完全一致），那直接调用Spark RDD的intersection()方法就可以：

// 直接获取两个RDD的交集，结果会自动去重
JavaRDD<Document> intersectionRDD = rdd1.intersection(rdd2);

// 如果需要指定结果RDD的分区数，也可以这样写
JavaRDD<Document> intersectionRDDWithPartitions = rdd1.intersection(rdd2, 80);

这个方法会返回同时存在于rdd1和rdd2中的元素，而且默认会自动去重（如果同一个元素在两个RDD里多次出现，结果里只会保留一次）。

场景2：根据某个字段判断元素相同 #

如果你不需要整个文档完全一致，只需要根据某个特定字段（比如id）判断两个文档属于同一类，那就要先把RDD转换成PairRDD（键值对RDD），再通过join操作来筛选：

// 把rdd1转换成以"id"为key的PairRDD
JavaPairRDD<Object, Document> pairRdd1 = rdd1.mapToPair(doc -> 
    new Tuple2<>(doc.get("id"), doc)
);

// 同理处理rdd2
JavaPairRDD<Object, Document> pairRdd2 = rdd2.mapToPair(doc -> 
    new Tuple2<>(doc.get("id"), doc)
);

// 对两个PairRDD执行join，提取出key相同的元素作为交集
JavaRDD<Document> intersectionByKey = pairRdd1.join(pairRdd2)
    .map(tuple -> tuple._2._1); // 取rdd1中的对应文档，也可以取tuple._2._2用rdd2的文档

这样得到的intersectionByKey就是所有在rdd1和rdd2中id相同的文档集合。

额外小提示 #

• 你已经给两个RDD做了persist(StorageLevel.MEMORY_ONLY())，这很棒，做交集操作时不会重复从MongoDB读取数据，能提升效率。
• 如果交集结果的分区数不符合需求，可以在最后调用repartition(n)或者coalesce(n)调整。

内容的提问来源于stack exchange，提问作者Crazywolf