Spark Job导出GCS时报错：不支持无单位datetime64类型

问题背景 #

Spark任务从GCS存储桶读取多个TXT文件，完成转换并新增列后导出至新GCS桶。读取数据正常，可打印DataFrame的列名和值，但执行导出操作时触发错误：

TypeError: Casting to unit-less dtype 'datetime64' is not supported. Pass e.g. 'datetime64[ns]' instead

错误根源 #

问题出在Spark DataFrame转Pandas DataFrame再导出的环节：

• Spark的DateType/TimestampType转为Pandas时，会生成不带时间单位的datetime64类型，而Pandas的to_csv方法要求datetime类型必须明确单位（如datetime64[ns]），导致类型转换失败。
• 代码中虽定义了rou_billing_schema，但读取TXT文件时未指定该Schema，Spark自动推断的类型与后续新增的partition_date（current_date()）、ingestion_time（current_timestamp()）等原生日期时间类型，转Pandas后均出现无单位的datetime格式。

解决方案 #

方案1：用Spark原生API导出（推荐） #

完全避免Spark与Pandas的类型转换，直接用Spark的write接口导出CSV，性能更优且无兼容问题：

# 替换原代码中的 df_total.toPandas().to_csv(des_loc)
df_total.write.mode("overwrite") \
    .option("header", "true") \
    .option("delimiter", "\t") \
    .csv(des_loc)

方案2：修复Pandas的日期时间类型 #

若必须通过Pandas处理，需手动将无单位的datetime列转为带单位的格式：

pd_df = df_total.toPandas()
# 处理所有日期类型列
for date_col in ['date', 'partition_date']:
    pd_df[date_col] = pd.to_datetime(pd_df[date_col], unit='ns')
# 处理时间戳列
pd_df['ingestion_time'] = pd.to_datetime(pd_df['ingestion_time'], unit='ns')
# 导出CSV
pd_df.to_csv(des_loc, index=False)

额外优化：读取文件时指定Schema #

读取TXT文件时显式传入预定义的input_schema，确保数据类型从源头就保持一致：

df_file = (
    spark.read.format("com.databricks.spark.csv") 
    .option("delimiter", "\t") 
    .option("header", "true") 
    .schema(input_schema)  # 新增指定Schema
    .load(txt_file) 
)

关键修正总结 #

• 优先使用Spark原生IO操作，避免跨框架类型转换的开销与兼容问题
• 读取外部文件时显式指定Schema，杜绝自动推断带来的类型不确定性
• 若需使用Pandas处理，必须确保日期时间类型带明确的时间单位

内容的提问来源于stack exchange，提问作者unnest_me