PySpark中使用UDF转换月份名称为数字时出现日期时间错误

常见错误原因及修复 #

1. 月份名称格式不匹配 #

datetime的%B格式符要求月份名称为标准英文全称（首字母大写、其余小写），如果输入是全大写（如JANUARY）、全小写（如january）或拼写错误，会触发解析失败。

修复方法：统一转换格式后解析，同时添加异常捕获

def month_name_to_num(month_str):
    if not month_str:
        return None
    try:
        # 转换为标题大小写后解析
        return datetime.datetime.strptime(month_str.title(), "%B").month
    except ValueError:
        # 无效月份返回null
        return None

2. 系统语言环境不兼容 #

如果Spark节点的系统语言非英文，datetime无法识别英文月份名称，会抛出解析错误。

修复方法：用映射字典替代datetime解析，彻底避免环境依赖

# 大小写不敏感的月份映射表
month_mapping = {
    "january": 1, "february": 2, "march": 3,
    "april": 4, "may": 5, "june": 6,
    "july": 7, "august": 8, "september": 9,
    "october": 10, "november": 11, "december": 12
}

def month_name_to_num(month_str):
    if not month_str:
        return None
    # 统一转小写后匹配
    return month_mapping.get(month_str.lower())

3. 未处理空值/无效数据 #

输入数据中存在null、空字符串或不存在的月份时，未做判断会直接抛出异常导致任务失败。

修复方法：在UDF开头添加空值判断，配合异常捕获兜底，确保函数稳定运行。

更优方案：使用PySpark内置函数（无需UDF） #

Python UDF性能远低于PySpark内置函数，推荐用to_date+date_format组合实现，避免Python序列化开销：

from pyspark.sql.functions import to_date, date_format, col, when
from pyspark.sql.types import IntegerType

# 转换月份名称为数字，无效值返回null
df = df.withColumn(
    "month_num",
    date_format(to_date(col("month_name"), "MMMM"), "M").cast(IntegerType())
)
# 显式处理空值和转换失败的情况
df = df.withColumn(
    "month_num",
    when(col("month_num").isNotNull(), col("month_num")).otherwise(None)
)

完整可运行代码示例 #

from pyspark.sql import SparkSession
from pyspark.sql.functions import to_date, date_format, col, when
from pyspark.sql.types import IntegerType

spark = SparkSession.builder.appName("MonthConvert").getOrCreate()

# 测试数据包含各种异常情况
data = [("January",), ("FEBRUARY",), ("march",), ("invalid_month",), (None,)]
df = spark.createDataFrame(data, ["month_name"])

# 用内置函数完成转换
df = df.withColumn(
    "month_num",
    date_format(to_date(col("month_name"), "MMMM"), "M").cast(IntegerType())
)
df = df.withColumn(
    "month_num",
    when(col("month_num").isNotNull(), col("month_num")).otherwise(None)
)

df.show()

输出结果：

+----------+---------+
|month_name|month_num|
+----------+---------+
|   January|        1|
|  FEBRUARY|        2|
|     march|        3|
|invalid_month|     null|
|      null|     null|
+----------+---------+

内容的提问来源于stack exchange，提问作者Pulsara Gunawardhana