Scala Spark中max聚合Date列后转换为Date类型用于数据过滤

你遇到的类型不匹配报错，本质是两个叠加的实现问题，和“把聚合的Date值转字符串后怎么转回Date”没有直接关系：

• 拼接字符串形式的过滤条件时，没有给日期值加单引号，Spark SQL解析器会把无引号的2019-11-10识别为整数减法表达式（即2019 - 11 -10，结果为int类型），和Date类型的列做等值比较时，自然会抛出类型不匹配错误——报错日志里的(2021 - 12) -14就是这么来的
• 从聚合结果取单值时，不需要刻意转字符串再绕弯做类型转换，Scala Spark从Date类型列取出来的原始值，本身就是可直接用于比较的java.sql.Date类型

方案一：用列表达式做过滤（最稳妥，无字符串解析坑） #

这种写法完全不需要手动处理日期格式、引号包裹的问题，从根源避免SQL解析错误：

1. 从聚合结果直接取原始Date类型的最大值，不要提前做toString：

   val maxDate = spark.read.parquet("data/users")
     .agg(max(col("Date")))
     .first()
     .getAs[java.sql.Date]("max(Date)")
   

2. 用列对象构造过滤条件：

   val df2 = table_read.filter(col("Date") === maxDate)
   

方案二：保留字符串过滤写法（适配原有代码习惯） #

如果习惯用字符串形式的过滤条件，只需要给拼接的日期值加上单引号，明确告诉Spark这是字符串字面量，Spark会自动将其转为匹配的Date类型做比较：

// 取聚合值的逻辑不变，拿到字符串格式的日期
val lastDate = spark.read.parquet("data/users")
  .agg(max(col("Date")))
  .first()
  .getAs[String](0)

// 注意日期值前后要加单引号，避免被解析成算术表达式
val df2 = table_read.filter(s"Date = '$lastDate'")

• 不要对Date类型的列提前转成字符串再做后续比较操作，保留原始类型可以省去手动处理日期格式、时区偏差的问题
• 只要写字符串形式的过滤条件，所有字符串、日期类型的字面量，必须用单引号包裹，否则极易被Spark误解析为数值表达式、函数调用
• 注意代码里的变量名一致性问题，你原有逻辑中聚合结果赋值给了变量date，但过滤时引用的是变量lastDate，如果没有提前定义lastDate会直接抛出空引用错误

内容的提问来源于stack exchange，提问作者MLstudent