如何筛选仅存在于JavaRDD A而非JavaRDD B中的Long类型元素？

方法一：直接使用subtract()方法（自动去重） #

Spark RDD原生提供了subtract()方法，专门用于计算两个RDD的差集，完全匹配你的需求。由于两个RDD的元素都是Long类型，类型兼容无问题，直接调用即可：

JavaRDD<Long> resultRDD = A.subtract(B);

注意：这个方法会自动对结果去重——如果A中有重复的元素，只要该元素不在B中，结果里只会保留一份。

方法二：保留A中元素的原始重复次数 #

如果需要保留A中重复元素的出现次数（比如A里有两个5且B中没有5，结果要保留两个5），可以通过左外连接+过滤实现：

// 将B转换为键值对RDD，value用占位符填充
JavaPairRDD<Long, Void> bPairRDD = B.mapToPair(num -> new Tuple2<>(num, null));
// 将A转换为键值对RDD，value标记元素出现次数（这里用1代表单次）
JavaPairRDD<Long, Integer> aPairRDD = A.mapToPair(num -> new Tuple2<>(num, 1));

// 左外连接后过滤掉B中存在的元素，再还原重复次数
JavaRDD<Long> resultRDD = aPairRDD.leftOuterJoin(bPairRDD)
    .filter(tuple -> tuple._2._2() == null) // 仅保留B中没有匹配到的元素
    .flatMap(tuple -> Collections.nCopies(tuple._2._1(), tuple._1).iterator()); // 按原始次数生成元素

内容的提问来源于stack exchange，提问作者zero_yu