PySpark：如何将含两种日期格式的字符串列转为统一日期类型

当字符串列包含多种日期格式时，直接用单一格式调用to_date会导致不符合格式的记录返回null。解决核心思路是依次尝试多种格式转换，取第一个成功转换的结果，以下是具体实现方案：

1. 明确你的日期格式 #

先确认数据中存在的两种日期格式，比如常见的yyyy-MM-dd（如2023-10-05）和dd/MM/yyyy（如06/10/2023），格式参数要严格匹配PySpark支持的日期格式符（比如yyyy代表4位年份，MM代表两位月份等）。

2. 代码实现 #

示例数据准备 #

先创建包含两种日期格式的示例DataFrame：

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, to_date, coalesce, date_format

spark = SparkSession.builder.appName("MultiFormatDateConvert").getOrCreate()

data = [("2023-10-05",), ("06/10/2023",), ("2023-10-07",), ("08/10/2023",)]
df = spark.createDataFrame(data, ["raw_date"])

方法一：使用coalesce合并转换结果 #

coalesce会返回第一个非null的结果，适合多格式转换场景：

df_converted = df.withColumn(
    "converted_date",
    coalesce(
        to_date(col("raw_date"), "yyyy-MM-dd"),  # 先尝试第一种格式
        to_date(col("raw_date"), "dd/MM/yyyy")   # 第一种失败则尝试第二种
    )
)

df_converted.show()

输出结果：

+----------+--------------+
|  raw_date|converted_date|
+----------+--------------+
|2023-10-05|    2023-10-05|
|06/10/2023|    2023-10-06|
|2023-10-07|    2023-10-07|
|08/10/2023|    2023-10-08|
+----------+--------------+

方法二：统一输出为特定格式的字符串 #

如果最终需要的是统一格式的字符串（而非Date类型），可以用date_format包装转换结果：

df_formatted = df.withColumn(
    "formatted_date",
    date_format(
        coalesce(
            to_date(col("raw_date"), "yyyy-MM-dd"),
            to_date(col("raw_date"), "dd/MM/yyyy")
        ),
        "yyyy-MM-dd"  # 指定统一输出格式
    )
)

df_formatted.show()

注意事项 #

• 格式顺序很重要：如果两种格式存在歧义（比如MM/dd/yyyy和dd/MM/yyyy），要根据数据实际情况调整尝试顺序，避免转换错误。
• 多格式扩展：如果有超过两种格式，只需在coalesce中继续添加to_date调用即可。
• 验证转换结果：可以通过filter(col("converted_date").isNull())检查是否还有未转换成功的记录，确认是否遗漏了其他日期格式。

内容的提问来源于stack exchange，提问作者aashrith2021