PySpark写入timestamp字段出现数据截断错误求助

核心原因：时区夏令时切换导致的无效时间点 #

你遇到的问题大概率是时区夏令时切换引发的。比如2024年3月10日是美国东部时区的夏令时切换日，当地时间会跳过2:00到3:00这个区间，也就是说2024-03-10 02:06:35这个时间在该时区下是不存在的。Spark的TimestampType会严格校验时间的有效性，遇到这类无效时间就会触发截断错误；而前后的时间点不在切换窗口内，所以能正常存储。

具体解决步骤 #

• 检查并修改Spark会话时区
  先查看当前Spark的时区设置：

  print(spark.conf.get("spark.sql.session.timeZone"))
  

  如果是夏令时相关时区（比如America/New_York），切换到UTC或者无夏令时的时区（比如Asia/Shanghai）：

  spark.conf.set("spark.sql.session.timeZone", "UTC")
  

  重新运行任务即可验证问题是否解决。

• 显式指定时区解析时间戳
  转换字符串到timestamp时，用to_timestamp函数明确指定时区，避免依赖默认时区引发的问题：

  from pyspark.sql.functions import to_timestamp, col
  
  df = df.withColumn("timestamp_col", to_timestamp(col("你的字符串列名"), "yyyy-MM-dd HH:mm:ss", "UTC"))
  

  第三个参数填原始数据对应的时区，确保解析逻辑和数据实际时区一致。

• 对齐存储端的时区配置
  如果是写入数据库（比如MySQL、PostgreSQL），检查数据库的时区设置是否和Spark一致。比如两边都设为UTC，避免跨时区转换时出现无效时间判断冲突。

• 批量排查无效时间点
  可以筛选出所有转换失败的记录，确认是否都集中在夏令时切换窗口：

  df = df.withColumn("parsed_ts", to_timestamp(col("你的字符串列名")))
  # 筛选解析失败的行
  invalid_rows = df.filter(col("parsed_ts").isNull())
  invalid_rows.show()
  

补充说明 #

手动设置类型为datetime能运行，是因为Python的datetime默认不处理时区，只是单纯存储时间字符串对应的数值；而Spark的TimestampType会严格根据时区校验时间有效性，所以才会出现差异。

内容的提问来源于stack exchange，提问作者Harsh mahour