PySpark转Pandas DataFrame时timestamp列转换失败如何解决？

方案1：全局配置指定Timestamp纳秒单位 #

在初始化SparkSession时添加配置，让PySpark导出Timestamp类型时默认使用datetime64[ns]，从根源避免转换报错：

from pyspark.sql import SparkSession
import datetime

spark = SparkSession.builder \
    .config("spark.sql.timestampType", "TIMESTAMP_NS")  # 核心配置，指定纳秒精度
    .config("spark.sql.execution.arrow.pyspark.enabled", "true")  # 可选，加速转换
    .getOrCreate()

# 后续创建DataFrame并调用df.toPandas()即可正常转换，保留完整时间信息

方案2：转换前格式化Timestamp列 #

如果不想修改全局配置，可先将Timestamp列转为带完整时间的字符串，转Pandas后再转回datetime类型：

from pyspark.sql.functions import date_format

# 格式化为包含时分秒的字符串
df_processed = df.withColumn("timestamp", date_format("timestamp", "yyyy-MM-dd HH:mm:ss"))

# 转Pandas后恢复datetime类型
pd_df = df_processed.toPandas()
pd_df["timestamp"] = pd.to_datetime(pd_df["timestamp"], format="yyyy-MM-dd HH:mm:ss")

方案3：转换后在Pandas中修正类型 #

若已触发转换报错，可直接在Pandas层面强制指定datetime类型，保留完整时间：

pd_df = df.toPandas()
pd_df["timestamp"] = pd_df["timestamp"].astype("datetime64[ns]")

以上三种方法都能确保转换后的Pandas DataFrame中timestamp列保留2023-01-01 00:00:00这类完整格式，不会丢失时分秒细节，可正常用于pd.testing.assert_frame_equal()断言。

内容的提问来源于stack exchange，提问作者crystyxn