PySpark中使用UDF转换日期列格式时如何保留其他列数据类型

你的问题核心在于把同一个UDF盲目应用到了所有列上——这个UDF默认会返回字符串类型（既没指定returnType，函数逻辑对非日期值的处理也会让PySpark统一按字符串解析），所以原本是Integer类型的paid列被强制转换成了String。

这里有几个实用的解决方案，按推荐程度排序：

方案1：只对需要转换的列应用UDF #

既然只有date列需要格式转换，直接单独处理它就好，其他列完全保留原样：

from pyspark.sql.functions import udf, col
import datetime  # 别忘了导入datetime模块，你的原代码里漏了这个

def conv(column):
    date_format='%m/%d/%Y'
    a = None
    if column:
        try:
            a= datetime.strptime(str(column),'%Y-%m-%d').strftime(date_format)
            print("Inside Try")
        except ValueError:  # 捕获具体异常，避免隐藏未知错误
            a = column
            print("Inside except: Invalid date format")
    return a

# 显式指定UDF返回类型，让代码更严谨
from pyspark.sql.types import StringType
conv_func = udf(conv, StringType())

# 只处理date列，其他列直接保留原列和类型
df_new = date_df.select(
    col("email_address"),
    col("paid"),
    conv_func(col("date")).alias("date")
)

这样paid列会维持原本的Integer类型，email_address也不受任何影响，完全符合你的预期。

方案2：循环列时判断列名/类型 #

如果你的DataFrame列很多，不想手动逐个列名，可以在循环时做判断，只对date列应用UDF：

df_new = date_df.select(
    *[conv_func(col(c)).alias(c) if c == "date" else col(c) for c in date_df.columns]
)

这个写法会遍历所有列，当列名为date时用UDF转换，其他列直接返回原列，类型自然不会被篡改。

内容的提问来源于stack exchange，提问作者chetan