PySpark自定义UDF存储异常：函数输出正确但结果不符

问题根源 #

核心原因是UDF返回类型使用了FloatType。Unix时间戳是10位左右的整数（如1514760006），但Float类型仅支持6-7位有效数字，无法精确存储这类大整数，会被近似处理，最终导致不同时间戳被转成相同的Float值。

解决方案 #

方案1：使用Spark内置函数（推荐，性能远优于UDF） #

Spark原生提供时间处理函数，无需自定义UDF，效率更高且避免类型问题：

from pyspark.sql.functions import unix_timestamp, to_timestamp

# 方法1：直接用unix_timestamp指定格式转换
result_conv = result.withColumn(
    "unixTime",
    unix_timestamp("timestamp", "yyyy/MM/dd HH:mm:ss").cast("double")
)

# 方法2：先转成Timestamp类型，再生成Unix时间戳（兼容更复杂格式）
result_conv = result.withColumn(
    "timestamp_type",
    to_timestamp("timestamp", "yyyy/MM/dd HH:mm:ss")
).withColumn(
    "unixTime",
    unix_timestamp("timestamp_type").cast("double")
)

方案2：修改自定义UDF的返回类型 #

若必须使用自定义UDF，将返回类型从FloatType改为DoubleType或TimestampType：

from pyspark.sql.types import DoubleType
import datetime

def timeswap(x:str):
    return datetime.timestamp(datetime.strptime(x, "%Y/%m/%d %H:%M:%S"))

# 注册UDF时指定DoubleType
timeUDF = spark.udf.register('timeUDF', timeswap, DoubleType())  
result_conv = result.withColumn('unixTime', timeUDF('timestamp'))

验证 #

执行代码后，调用result_conv.select('timestamp', 'unixTime').head(5)，即可看到每个时间字符串对应唯一的Unix时间戳。

内容的提问来源于stack exchange，提问作者kyse_zenith