PySpark/Databricks批量将多列字符串格式日期转换为日期类型的方法

优先使用PySpark原生内置函数实现，执行效率远高于自定义UDF，无需额外开发UDF即可完成批量处理

你原本单字段转换的写法可以简化为调用to_date函数，功能完全一致：

from pyspark.sql.functions import to_date
df2 = df.withColumn('UCMOVEIN_D', to_date('UCMOVEIN_D', 'yyyyMMdd'))
display(df2)

批量转换实现步骤 #

1. 先定义需要转换的所有日期字段列表

# 按实际字段名补充完整20个日期字段即可
date_col_list = ["UCMOVEIN_D", "COL1", "COL2", "COL3", ...]

2. 遍历列表批量处理字段

# 方案1：直接覆盖原有字符串字段，不需要保留原始格式时选用
for col_name in date_col_list:
    df = df.withColumn(col_name, to_date(col_name, "yyyyMMdd"))

# 方案2：新增转换后的日期字段，保留原始字符串字段，新字段以_dt后缀为例
for col_name in date_col_list:
    df = df.withColumn(f"{col_name}_dt", to_date(col_name, "yyyyMMdd"))

display(df)

可选：UDF实现方案（仅当有自定义转换逻辑时选用，性能低于原生函数） #

如果后续需要在日期转换逻辑中添加自定义校验、异常处理等扩展需求，可以用UDF实现：

from pyspark.sql.functions import udf
from pyspark.sql.types import DateType
import datetime

@udf(returnType=DateType())
def convert_str_to_date(date_str: str):
    # 空值直接返回
    if not date_str or len(date_str.strip()) != 8:
        return None
    try:
        return datetime.datetime.strptime(date_str, "%Y%m%d").date()
    except ValueError:
        # 格式不匹配的异常处理逻辑，可自行调整
        return None

# 批量调用UDF转换
date_col_list = ["UCMOVEIN_D", "COL1", "COL2", "COL3", ...]
for col_name in date_col_list:
    df = df.withColumn(col_name, convert_str_to_date(col_name))

display(df)

内容的提问来源于stack exchange，提问作者teelove