Spark Scala：如何计算DataFrame日期列差值并转换为秒数？

你之前的写法问题在于直接对截取后的字符串做减法——Spark会把字符串当成数值来尝试转换，这显然和你要计算时间差的逻辑完全不符，自然得不到正确的秒数结果。我们需要先把日期字符串转换成时间戳类型，再计算差值，和你原来的Hive查询逻辑对齐。

下面给你几种可行的实现方式：

方法1：直接用unix_timestamp（和Hive逻辑完全一致） #

这个方法和你原来的Hive查询思路一模一样，先截取日期字符串的前19位，再转成Unix时间戳（秒数），最后相减：

import org.apache.spark.sql.functions.{unix_timestamp, col, substring}

// 替换成你的实际列名和日期格式
val resultDf = df.select(
  (unix_timestamp(substring(col("date1"), 1, 19), "yyyy-MM-dd HH:mm:ss") 
   - unix_timestamp(substring(col("poll_date"), 1, 19), "yyyy-MM-dd HH:mm:ss")) 
  .alias("delta")
)

⚠️ 注意：一定要指定正确的日期格式参数（比如上面的yyyy-MM-dd HH:mm:ss），如果你的日期字符串是其他格式（比如yyyyMMddHHmmss），要对应修改这个格式串，否则会解析失败得到null。

方法2：先转Timestamp再计算秒差（Spark 3.0+推荐） #

如果你的Spark版本是3.0及以上，可以用更直观的timestamp_diff函数，直接指定差值单位为秒：

import org.apache.spark.sql.functions.{timestamp_diff, to_timestamp, col, substring}

val resultDf = df.select(
  timestamp_diff(
    to_timestamp(substring(col("date1"), 1, 19), "yyyy-MM-dd HH:mm:ss"),
    to_timestamp(substring(col("poll_date"), 1, 19), "yyyy-MM-dd HH:mm:ss"),
    "second"
  ).alias("delta")
)

这种写法可读性更强，不需要手动处理Unix时间戳的转换，Spark会帮你完成时间差的计算。

为什么原来的代码不行？ #

你之前的col("date").substr(1,19)-col("poll_date").substr(1,19)本质是对两个字符串执行减法操作，Spark会尝试把字符串解析成数值类型（比如整数、浮点数），但日期字符串显然不是合法的数值，要么会抛出类型转换错误，要么得到完全无意义的结果，根本不是你想要的时间差秒数。

内容的提问来源于stack exchange，提问作者Babu