Spark DataFrame字符串时间戳列按指定时间过滤问题

你遇到的问题核心是直接按字符串比较时间戳会因为字典序和时间顺序不一致导致结果错误——毕竟字符串是逐个字符比对的，比如月份缩写"Feb"的字母顺序在"Jan"之后，字符串比较时会认为"01-Feb-2000"比"01-Jan-2005"大，但实际时间更早，这就是你结果不稳定的原因。

正确的做法是先把字符串格式的DOJ转换为Spark的Timestamp类型，再进行时间比较。以下是具体实现步骤：

1. 明确时间格式 #

你的DOJ格式是：dd-MMM-yyyy HH.mm.ss.SSS a，注意几个关键点：

• 日期分隔符是-，时间部分的分隔符是.（不是常见的:）
• 包含毫秒（SSS）和上午/下午标识（a）

2. 代码实现（Scala示例） #

方式一：先转换为Timestamp列再过滤 #

这种方式适合后续还要用到时间列的场景：

import org.apache.spark.sql.functions._

// 定义匹配的时间格式
val datePattern = "dd-MMM-yyyy HH.mm.ss.SSS a"
// 目标时间字符串
val targetTime = "01-Jan-2005 00.00.00.001 AM"

// 新增转换后的Timestamp列
val dfWithTime = df.withColumn("DOJ_timestamp", to_timestamp(col("DOJ"), datePattern))

// 过滤出时间大于目标值的记录，同时可排除转换失败的null值
val filteredDF = dfWithTime.filter(
  col("DOJ_timestamp").isNotNull && 
  col("DOJ_timestamp") > to_timestamp(lit(targetTime), datePattern)
)

// 可选：移除临时列后展示结果
filteredDF.drop("DOJ_timestamp").show()

方式二：直接在过滤条件中转换（无需额外列） #

如果只需要过滤结果，不需要保留转换后的列，可以直接在filter里完成转换：

import org.apache.spark.sql.functions._

val datePattern = "dd-MMM-yyyy HH.mm.ss.SSS a"
val targetTime = "01-Jan-2005 00.00.00.001 AM"

val filteredDF = df.filter(
  to_timestamp(col("DOJ"), datePattern) > to_timestamp(lit(targetTime), datePattern)
)

filteredDF.show()

3. 关键注意事项 #

• 时区处理：如果你的数据和Spark会话时区不一致，可以在to_timestamp中指定时区参数，比如to_timestamp(col("DOJ"), datePattern, "UTC")
• 转换失败处理：如果DOJ列存在不符合格式的字符串，to_timestamp会返回null，你可以根据需求选择保留或过滤这些记录（上面的示例中加入了isNotNull过滤）

运行以上代码后，你会得到正确的过滤结果：Tom和Ali的记录，因为他们的DOJ都晚于2005年1月1日。

内容的提问来源于stack exchange，提问作者Harshit