Spark Scala中sameElements方法比较add_months结果返回false
问题根因
导致校验返回false的核心原因是类型不匹配,和日期计算结果本身没有关系:
- 原始DataFrame的
dt字段是Spark SQL的DateType类型,经过add_months计算后,返回值依然是DateType,执行collect()拉到驱动端后,Row内部存储的对应值是java.sql.Date类型实例。 - 但构造
expected数组时,你传入的是普通字符串"2020-03-01"这类文本值,Row的相等判断逻辑会同时校验元素的类型和值,java.sql.Date实例和字符串哪怕打印出来的展示格式完全一致,调用equals方法也会返回false,最终导致sameElements校验整体不通过。 - 代码里存在两处书写疏漏:一是expected数组定义行尾缺少右括号
),二是把变量名actual错拼为actue,这类书写错误不影响逻辑执行,但需要在实际编写时修正。
修正方法
根据实际使用场景选对应方案即可:
- 统一expected的元素类型,和实际collect到的类型保持一致:
val expected = Array( Row(Date.valueOf("2020-03-01")), Row(Date.valueOf("2021-01-11")), Row(Date.valueOf("1992-06-10")) ) - 提前在Spark端把日期值转成字符串类型,再collect校验,匹配你原本构造的字符串型expected:
// 把add_months的结果格式化为yyyy-MM-dd字符串 val actual = df.select(date_format(add_months(df("dt"), 2), "yyyy-MM-dd")).collect() - 注意:Row的相等判断对类型的校验非常严格,哪怕是同语义的不同日期类(比如
java.time.LocalDate和java.sql.Date),也会被判定为不相等,构造对比用的expected时要严格对齐实际返回的对象类型。
内容的提问来源于stack exchange,提问作者aName
相关产品推荐
相关产品推荐

