Scala中比较两个Dataset遇断言失败，求原因及内置比较方法

为什么equals返回False？ #

Spark的Dataset类默认的equals方法并非用来比较数据集的内容和Schema，它本质上对比的是Dataset实例的身份信息，比如底层的查询计划、对象引用等。哪怕两个Dataset的Schema完全一致、数据完全相同，只要它们是不同的实例（比如一个是计算生成，一个是提前构造），equals就会返回False。

可用的Dataset比较方法 #

1. 用Spark内置的except双向校验 #

通过except方法找出两个数据集的差异，双向校验确保两边没有互为缺失的数据：

// 校验两边无差异数据
assert(actual_ds.except(expected_ds).isEmpty && expected_ds.except(actual_ds).isEmpty)

如果Schema不一致，except会直接抛出异常，也能间接完成Schema的校验。

2. 使用ScalaTest的Spark测试扩展 #

如果项目依赖了ScalaTest的Spark适配库（如scalatestplus-spark），可以用它提供的匹配器简化比较，自动校验Schema和数据：

import org.scalatestplus.spark.DatasetShouldMatchers

class YourTestSpec extends AnyFunSpec with DatasetShouldMatchers {
  it("should match target dataset") {
    actual_ds should equal(expected_ds)
  }
}

3. 手动拆分Schema和数据校验 #

适合需要细粒度控制的场景，先校验Schema，再将数据集转为集合对比内容（仅适用于小数据集，大数据集collect会占用过多内存）：

// 校验Schema一致性
assert(actual_ds.schema == expected_ds.schema)
// 校验数据内容一致性
assert(actual_ds.collect().sameElements(expected_ds.collect()))

内容的提问来源于stack exchange，提问作者kiruba