PySpark无时间戳数据却触发DateTimeException: CANNOT_PARSE_TIMESTAMP错误

问题描述 #

我有一个仅包含两列正负整数的PySpark DataFrame，执行随机抽样并转换为Pandas DataFrame时触发日期解析错误。执行代码如下：

df_renamed_combined_df_clean_prueba = df_renamed_combined_df_clean.drop('inputdays_diff_2024', 'inputdays_diff_2023')

n = 50000
sample_df_prueba = df_renamed_combined_df_clean.orderBy(F.rand(seed=42)).limit(n)
sample_df_prueba = sample_df_prueba.toPandas()
display(prueba.healimit(50))

报错信息：

DateTimeException: [CANNOT_PARSE_TIMESTAMP] Text '0' could not be parsed at index 0. Use `try_to_date` to tolerate invalid input string and return NULL instead. SQLSTATE: 22007

已确认：DataFrame中无日期时间类型列，未执行任何日期转换操作；尝试将整数列转为double/decimal类型后问题依旧。

解决方法 #

1. 检查并修改冲突列名 #

若列名是date、timestamp这类Spark保留关键字或与日期相关的名称，会导致Spark在操作时误判类型。给列重命名为非保留词：

# 替换为你的实际列名
df_renamed = df_renamed_combined_df_clean.withColumnsRenamed(
    {"原列名1": "numeric_col1", "原列名2": "numeric_col2"}
)
# 重新执行抽样
sample_df_prueba = df_renamed.orderBy(F.rand(seed=42)).limit(n).toPandas()

2. 重新生成DataFrame并明确指定Schema #

可能存在元数据残留问题，重新创建DataFrame并强制指定数值类型：

from pyspark.sql.types import IntegerType, StructType, StructField

# 定义明确的数值型Schema
schema = StructType([
    StructField("numeric_col1", IntegerType(), nullable=True),
    StructField("numeric_col2", IntegerType(), nullable=True)
])
# 基于原RDD重新生成DataFrame
df_fresh = spark.createDataFrame(df_renamed_combined_df_clean.rdd, schema=schema)
# 抽样转换
sample_df_prueba = df_fresh.orderBy(F.rand(seed=42)).limit(n).toPandas()

3. 使用Spark原生sample方法替代orderBy+limit #

orderBy(F.rand()).limit()的抽样方式可能触发不必要的类型检查，改用sample方法更稳定：

total_rows = df_renamed_combined_df_clean.count()
# 计算抽样比例，确保能抽到足够条数
fraction = n / total_rows if total_rows > 0 else 0.0
# 无放回抽样，再限制条数
sample_df_prueba = df_renamed_combined_df_clean.sample(
    withReplacement=False, fraction=fraction, seed=42
).limit(n).toPandas()

4. 排查Spark版本与环境配置 #

部分旧版本Spark存在类型推断bug，尝试升级到3.x以上稳定版本；同时检查环境中是否有自定义日期格式配置，导致Spark误将数值解析为日期。

内容的提问来源于stack exchange，提问作者Carlos Andrés Rodríguez