如何在PySpark中实现字符串datetime字段到epoch时间戳的转换

你原Pandas代码的核心逻辑是计算目标日期与1970-01-01的时间差总秒数，PySpark有内置函数可以直接实现该逻辑，无需手动计算时间差。

实现代码 #

首先导入PySpark SQL函数：

from pyspark.sql import functions as F

情况1：Date列已经是TimestampType/DateType类型 #

直接调用unix_timestamp函数即可：

df = df.withColumn("Date_epoch", F.unix_timestamp(F.col("Date")))

情况2：Date列是字符串类型 #

需要先指定日期格式转换为时间戳，再计算秒数，示例用常用的yyyy-MM-dd HH:mm:ss格式，你可以根据实际日期格式调整参数：

df = df.withColumn("Date_epoch", F.unix_timestamp(F.col("Date"), "yyyy-MM-dd HH:mm:ss"))

扩展：获取毫秒级Epoch时间戳 #

如果需要毫秒级精度，可以用如下写法：

df = df.withColumn("Date_epoch_ms", F.to_timestamp(F.col("Date")).cast("long") * 1000)

注意事项 #

• unix_timestamp返回的是UTC时区下1970-01-01 00:00:00到目标时间的总秒数，和你原Pandas代码的计算逻辑完全一致
• 如果Date列为DateType（仅含日期无时间），转换后默认取当日0点对应的秒数

内容的提问来源于stack exchange，提问作者question.it