PySpark转Pandas报错：ValueError: ordinal must >=1 求助

这个报错几乎都是因为Spark DataFrame中存在无效的日期/时间值（比如0000-00-00这类早于公元1年的日期），Pandas的datetime类型不支持ordinal值小于1的日期，转换时就会触发该错误。

解决步骤： #

1. 定位问题字段

   • 先查看所有列的数据类型，找出日期/时间类型的列：

     print(df.dtypes)
     

   • 对可疑的日期列排查异常值：

     # 替换date_col为你的日期列名
     df.select("date_col").distinct().show(100, truncate=False)
     

2. 处理无效日期值
   根据需求选一种方式处理：

   • 过滤掉包含无效日期的行：

     from pyspark.sql.functions import lit
     df = df.filter(df.date_col.isNotNull() & (df.date_col >= lit('0001-01-01')))
     

   • 将无效日期替换为有效值：

     from pyspark.sql.functions import when, lit
     df = df.withColumn("date_col", when(df.date_col < lit('0001-01-01'), lit('0001-01-01')).otherwise(df.date_col))
     

   • 若该列非必需，直接删除：

     df = df.drop("date_col")
     

3. 其他注意事项

   • 确保PySpark与Pandas版本兼容，建议使用PySpark 3.0+版本，对日期转换的兼容性更好。
   • 如果数据集过大，先采样测试转换，避免内存溢出：

     df.sample(fraction=0.1).toPandas()
     

内容的提问来源于stack exchange，提问作者LAFI KAMEL