如何在PySpark中计算秒级时间差？使用datediff未成功求解

我明白你的问题了——你用datediff()只能得到天数级的差值，哪怕时间差只有几分钟甚至几秒，结果都是0，这是因为datediff()本身就是专门计算日期天数差的函数，它会忽略小时、分钟、秒这些更精细的时间单位。下面给你两种可行的解决思路，帮你拿到秒级的时间差：

第一步：确保时间列是Timestamp类型 #

首先要确认Attributes_Timestamp_fix和生成的lagged_date都是Spark的Timestamp类型，如果你的原始数据是字符串或者数值型（比如你输出里的3.531611e+14看起来像是时间戳数值），得先转成Timestamp：

from pyspark.sql import functions as F
from pyspark.sql.window import Window

# 如果是字符串格式的时间，直接转
eg = eg.withColumn("Attributes_Timestamp_fix", F.to_timestamp("Attributes_Timestamp_fix"))

# 如果是毫秒级时间戳数值，先转成秒再转Timestamp
# eg = eg.withColumn("Attributes_Timestamp_fix", F.to_timestamp(F.col("Attributes_Timestamp_fix")/1000))

第二步：计算秒级时间差 #

方法1：用unix_timestamp()转换为秒数后相减 #

这个方法适用于所有Spark版本，原理是把Timestamp转换成从1970-01-01 00:00:00到该时间的秒数，然后直接做减法：

# 定义窗口（和你原来的逻辑一致）
window_spec = Window.partitionBy("id").orderBy("Attributes_Timestamp_fix")
eg = eg.withColumn("lagged_date", F.lag("Attributes_Timestamp_fix", 1).over(window_spec))

# 计算秒级差值
eg = eg.withColumn("time_diff_seconds", 
                   F.unix_timestamp("Attributes_Timestamp_fix") - F.unix_timestamp("lagged_date"))

方法2：用timestamp_diff()直接指定秒单位（Spark 3.0+支持） #

如果你的Spark版本是3.0及以上，推荐用这个更直观的函数，直接指定计算单位为秒：

eg = eg.withColumn("time_diff_seconds", 
                   F.timestamp_diff("Attributes_Timestamp_fix", "lagged_date", "second"))

处理第一行的NaN值 #

你输出里第一行的time_diff是NaN，这是因为第一行没有前一个时间（lagged_date为null），可以用coalesce()把null替换成你需要的默认值（比如0）：

eg = eg.withColumn("time_diff_seconds", 
                   F.coalesce(F.unix_timestamp("Attributes_Timestamp_fix") - F.unix_timestamp("lagged_date"), F.lit(0)))

这样修改后，你就能得到精确到秒的时间差了，比如你例子里第1行到第2行的时间差是2分11秒，结果会显示131而不是0。

内容的提问来源于stack exchange，提问作者a_geo