如何使用PySpark处理不同格式字符串日期并实现日期反转

需求是将date列中两种格式的字符串日期（MM/dd/yyyy和yyyy-MM-dd）统一转换为yyyy-MM-dd格式的字符串，匹配示例中new date列的输出。

实现步骤 #

1. 解析为日期类型：利用coalesce函数尝试两种格式的解析，确保所有有效日期都能被识别为PySpark的Date类型。
2. 格式化为目标字符串：将解析后的Date类型数据转换为yyyy-MM-dd格式的字符串。

代码示例 #

1. 创建示例DataFrame

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, to_date, date_format, coalesce

# 初始化SparkSession
spark = SparkSession.builder.appName("DateConversion").getOrCreate()

# 构造示例数据
sample_data = [
    ("6/23/2024", "2024-06-23"),
    ("1/8/2023", "2023-01-08"),
    ("2024-05-20", "2024-05-20")
]

df = spark.createDataFrame(sample_data, ["date", "new date"])
df.show()

2. 执行格式转换

# 生成转换后的日期列
result_df = df.withColumn(
    "converted_date",
    date_format(
        coalesce(
            to_date(col("date"), "MM/dd/yyyy"),  # 优先解析MM/dd/yyyy格式
            to_date(col("date"), "yyyy-MM-dd")   # 再解析yyyy-MM-dd格式
        ),
        "yyyy-MM-dd"
    )
)

# 查看转换结果
result_df.select("date", "new date", "converted_date").show()

注意事项 #

• 原示例中第二行1/8/2023对应的new date值2023-08-01应为笔误，正确转换结果是2023-01-08，代码执行后会输出正确值。
• 若存在其他日期格式，可在coalesce中继续添加to_date的解析规则，覆盖所有可能的格式。
• 对于无法解析的无效日期，转换后会返回null，可根据业务需求添加过滤或默认值填充逻辑。

内容的提问来源于stack exchange，提问作者Ian_Yu