在PySpark数据框中使用UDF将秒级时间戳（epoch）转换为日期时间

嘿，我来帮你搞定这个PySpark时间戳转日期时间的问题！

首先看你的场景：你的DataFrame有一个epoch字段（秒级时间戳，double类型），想要把它转换成可读性强的日期时间格式。你尝试用UDF来实现，但代码还没写完，而且其实有更高效的方案，我一步步给你说明：

先完善你的UDF写法（如果一定要用UDF的话） #

你写的time.localtime(x)返回的是Python的struct_time对象，PySpark没法直接识别这种类型，得转成字符串，同时要指定UDF的返回类型，还要处理epoch可能为null的情况：

from pyspark.sql.functions import udf
from pyspark.sql.types import StringType
import time

def epoch_to_datetime(x):
    # 处理null值，避免报错
    if x is None:
        return None
    # 转成指定格式的字符串
    return time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(x))

# 定义UDF并指定返回类型为字符串
epoch_to_datetime_udf = udf(epoch_to_datetime, StringType())

# 应用到DataFrame上
df = df.withColumn("datetime", epoch_to_datetime_udf(df["epoch"]))

更推荐：用PySpark内置函数（效率高很多！） #

其实完全没必要写UDF，PySpark已经提供了专门处理时间戳的内置函数，性能比Python UDF好太多（毕竟是原生Scala实现，不需要跨进程序列化数据）：

1. 转成字符串格式的日期时间

用from_unixtime函数，直接把秒级时间戳转成你想要的格式：

from pyspark.sql.functions import from_unixtime

# 第二个参数是日期格式，不写的话默认是"yyyy-MM-dd HH:mm:ss"
df = df.withColumn("datetime", from_unixtime(df["epoch"], "yyyy-MM-dd HH:mm:ss"))

2. 转成Timestamp类型（推荐做时间操作）

如果后续需要对这个时间字段做过滤、按时间分组等操作，建议转成Spark的TimestampType，用to_timestamp函数：

from pyspark.sql.functions import to_timestamp

# 直接把秒级时间戳转成Timestamp类型
df = df.withColumn("datetime", to_timestamp(df["epoch"]))

这个方法会自动处理null值，不用额外判断，而且后续的时间操作会更高效。

为什么不推荐用UDF？ #

Python UDF需要在每个Executor上启动Python进程，还要把数据在JVM和Python进程之间序列化/反序列化，数据量一大的话，性能会比内置函数差很多，所以能用内置函数就尽量用内置的！

内容的提问来源于stack exchange，提问作者ahoosh