You need to enable JavaScript to run this app. Spark Scala中sameElements方法比较add_months结果返回false
优惠活动
大模型
产品
解决方案
定价
更多

Spark Scala中sameElements方法比较add_months结果返回false

问题根因

导致校验返回false的核心原因是类型不匹配,和日期计算结果本身没有关系:

  • 原始DataFrame的dt字段是Spark SQL的DateType类型,经过add_months计算后,返回值依然是DateType,执行collect()拉到驱动端后,Row内部存储的对应值是java.sql.Date类型实例。
  • 但构造expected数组时,你传入的是普通字符串"2020-03-01"这类文本值,Row的相等判断逻辑会同时校验元素的类型和值,java.sql.Date实例和字符串哪怕打印出来的展示格式完全一致,调用equals方法也会返回false,最终导致sameElements校验整体不通过。
  • 代码里存在两处书写疏漏:一是expected数组定义行尾缺少右括号),二是把变量名actual错拼为actue,这类书写错误不影响逻辑执行,但需要在实际编写时修正。
修正方法

根据实际使用场景选对应方案即可:

  • 统一expected的元素类型,和实际collect到的类型保持一致:
    val expected = Array(
      Row(Date.valueOf("2020-03-01")),
      Row(Date.valueOf("2021-01-11")),
      Row(Date.valueOf("1992-06-10"))
    )
    
  • 提前在Spark端把日期值转成字符串类型,再collect校验,匹配你原本构造的字符串型expected:
    // 把add_months的结果格式化为yyyy-MM-dd字符串
    val actual = df.select(date_format(add_months(df("dt"), 2), "yyyy-MM-dd")).collect()
    
  • 注意:Row的相等判断对类型的校验非常严格,哪怕是同语义的不同日期类(比如java.time.LocalDate和java.sql.Date),也会被判定为不相等,构造对比用的expected时要严格对齐实际返回的对象类型。

内容的提问来源于stack exchange,提问作者aName

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.17 05:18:05