PySpark创建含时间戳字符串DataFrame及转换报错的解决请求

第一个错误：StructType类型不匹配问题 #

原代码中data = [("1/1/2021 1:00:00 AM")]里的元素并非元组——当括号内只有单个元素时，Python会将其解析为字符串而非元组，导致Spark无法匹配定义好的StructSchema字段结构。

修复方法：给单元素元组添加末尾逗号，确保元素是元组类型：

data = [("1/1/2021 1:00:00 AM",)]

第二个错误：Spark 3.0+日期解析兼容性问题 #

修改后出现的SparkUpgradeException是因为Spark 3.0+默认启用了新的日期时间解析器，而你使用的格式字符串与输入的时间戳字符串格式不匹配：输入的月份和日期是单数字（1/1/2021），但格式里用了要求两位的MM和dd，新解析器严格匹配格式规则，因此解析失败。

两种修复方案： #

1. 调整格式字符串匹配输入格式
   将格式字符串改为"M/d/yyyy hh:mm:ss a"，允许月份和日期是1位或2位数字：

df = df.withColumn("timestamp", to_timestamp("timestamp_str", "M/d/yyyy hh:mm:ss a"))

2. 回退到旧版解析器（兼容Spark 2.x行为）
   通过设置Spark配置，使用旧的日期解析逻辑：

spark.conf.set("spark.sql.legacy.timeParserPolicy", "LEGACY")

设置后可继续使用原来的"MM/dd/yyyy hh:mm:ss a"格式字符串，解析器会自动处理单数字的月份和日期。

完整可运行代码示例 #

from pyspark.sql.functions import to_timestamp
from pyspark.sql.types import StringType, StructType, StructField

# 可选：若需兼容旧版解析逻辑，添加此配置
# spark.conf.set("spark.sql.legacy.timeParserPolicy", "LEGACY")

schema = StructType([
    StructField("timestamp_str", StringType(), True)
])

data = [("1/1/2021 1:00:00 AM",)]
df = spark.createDataFrame(data, schema=schema)

# 使用匹配输入格式的格式字符串
df = df.withColumn("timestamp", to_timestamp("timestamp_str", "M/d/yyyy hh:mm:ss a"))

df.show(truncate=False)

运行后输出：

+---------------------+-------------------+
|timestamp_str        |timestamp          |
+---------------------+-------------------+
|1/1/2021 1:00:00 AM  |2021-01-01 01:00:00|
+---------------------+-------------------+

内容的提问来源于stack exchange，提问作者Fluxy