PySpark中无法解析带可选日部分的纯数字格式日期问题

你的问题并非使用方式有误，而是Spark日期解析器对连续数字格式的可选模式存在处理限制。当模式为纯数字的yyyyMM[dd]时，解析器会优先尝试匹配最大长度（8位），导致6位的yyyyMM能正常解析，但8位的yyyyMMdd反而因匹配逻辑问题无法被正确识别；而带分隔符的yyyy-MM[-dd]因为有非数字分隔符作为标识，解析器能准确区分是否存在可选的日期部分。

无需UDF的解决方案 #

这里提供两种高效的非UDF实现方式：

方法1：按字符串长度分支处理

利用length()函数判断日期字符串长度，分别指定对应解析模式：

from pyspark.sql import functions as F

df = df.withColumn(
    "parsed_date",
    F.when(F.length(F.col("date_str")) == 6, F.to_date(F.col("date_str"), "yyyyMM"))
      .when(F.length(F.col("date_str")) == 8, F.to_date(F.col("date_str"), "yyyyMMdd"))
      .otherwise(None)  # 处理不符合格式的异常值
)

方法2：统一补全为8位格式后解析

对6位的yyyyMM格式补充01作为当月第一天，再统一用yyyyMMdd模式解析：

from pyspark.sql import functions as F

df = df.withColumn(
    "parsed_date",
    F.to_date(
        F.when(F.length(F.col("date_str")) == 6, F.concat(F.col("date_str"), F.lit("01")))
          .otherwise(F.col("date_str")),
        "yyyyMMdd"
    )
)

补充说明 #

Spark 3.x版本中，纯数字的可选日期模式（如yyyyMM[dd]）确实存在解析逻辑局限性，原因是解析器处理连续数字时，会默认按模式的最大可能长度匹配，无法灵活识别可选部分。带分隔符的模式因有非数字字符作为标识，所以能正常工作。上述两种方法都能在不使用UDF的前提下，高效完成两种格式的日期解析。

内容的提问来源于stack exchange，提问作者Tim Keighley