如何用Scala正确比较两个不同来源的RDD数据？

你遇到的问题核心在于两个RDD的元素结构完全不一致：

• sc.textFile("/tmp/textFile.txt") 读取文件时，会自动按换行符\n分割内容，每个行对应RDD的一个元素。比如你的文件内容如果是：

  This
  file is
  allowed
  

  那么txt这个RDD的元素是["This", "file is", "allowed"]。
• 而你创建strRDD的方式是sc.parallelize(List(str))，这里的str是一个包含换行符的完整字符串，所以strRDD的元素是["This\nfile is\nallowed"]——整个字符串作为单个元素，和txt的元素结构完全不匹配，自然比较结果不会是空RDD。

1. 修正strRDD的创建方式 #

把字符串按换行符分割成列表，再并行化为RDD，让它的元素结构和txt保持一致：

val str = "This\nfile is\nallowed"
val strRDD = sc.parallelize(str.split("\n"))

这样strRDD的元素就和txt完全一致了，都是每行文本作为独立元素。

2. 比较两个RDD的方法 #

根据你的需求（判断两个RDD数据是否完全一致，预期结果为空RDD），可以用以下几种方式：

• 方法一：使用subtract算子
  subtract会返回第一个RDD中存在、但第二个RDD中不存在的元素。如果两个RDD数据完全一致，结果就是空RDD：

  val diff = txt.subtract(strRDD)
  diff.collect() // 如果结果为空数组，说明两个RDD数据一致
  

• 方法二：使用zip+filter（需确保元素数量和顺序完全一致）
  如果需要严格校验元素的顺序和内容都一致，可以先将两个RDD按顺序打包，再过滤出不相等的元素：

  val diff = txt.zip(strRDD).filter { case (a, b) => a != b }
  diff.collect() // 空数组则说明完全一致
  

  注意：这种方法要求两个RDD的元素数量完全相同，否则zip会截断较长的那个RDD。

额外注意事项 #

• 如果你的HDFS文件存在末尾空行或者编码不一致的情况，可能会导致比较结果不符合预期。可以先对两个RDD做预处理，比如过滤空行：

  val cleanedTxt = txt.filter(_.trim.nonEmpty)
  val cleanedStrRDD = strRDD.filter(_.trim.nonEmpty)
  

• 对于大型RDD，避免使用collect()直接拉取到Driver节点，而是用count()判断差异元素的数量是否为0：

  if (cleanedTxt.subtract(cleanedStrRDD).count() == 0) {
    println("两个RDD数据完全一致")
  } else {
    println("两个RDD存在差异")
  }
  

内容的提问来源于stack exchange，提问作者udit