PySpark中日期数据类型最优转换方法及特定格式转换问题

针对你提到的自定义格式日期转换需求，最优方案是直接使用PySpark内置的日期处理函数，无需自定义UDF，性能比UDF高10~100倍不等，适合大规模数据集处理。

核心逻辑 #

首先将输入的字符串通过to_timestamp()解析为标准Timestamp类型，再通过date_format()按照目标格式输出即可，全程使用原生Spark SQL函数，无额外性能损耗。

格式符对应说明 #

输入格式Aug 11, 2020 04:34:54.0 PM对应的解析pattern为MMM dd, yyyy hh:mm:ss.S a，各符号含义：

• MMM：英文缩写月份
• dd：两位日期
• yyyy：四位年份
• hh：12小时制小时
• mm：分钟
• ss：秒
• .S：一位毫秒位
• a：AM/PM标记
  目标输出格式2020-08-11 04:34:54:00 PM对应的格式化pattern为yyyy-MM-dd hh:mm:ss:00 a

完整可运行代码 #

from pyspark.sql import SparkSession
from pyspark.sql.functions import to_timestamp, date_format

# 初始化Spark会话
spark = SparkSession.builder.appName("date_convert_demo").getOrCreate()

# 非英文Locale环境需先加以下配置，保证英文月份、AM/PM标记识别正常
# spark.conf.set("spark.sql.session.locale", "en_US")
# spark.conf.set("spark.sql.session.timeZone", "UTC")

# 构造测试数据
test_df = spark.createDataFrame([("Aug 11, 2020 04:34:54.0 PM",)], ["input_str"])

# 执行转换
result_df = test_df.withColumn(
    "standard_timestamp",  # 可保留该字段用于后续日期计算、过滤等操作
    to_timestamp("input_str", "MMM dd, yyyy hh:mm:ss.S a")
).withColumn(
    "target_output_str",
    date_format("standard_timestamp", "yyyy-MM-dd hh:mm:ss:00 a")
)

# 查看输出结果
result_df.select("target_output_str").show(truncate=False)

输出验证 #

运行后target_output_str字段输出为2020-08-11 04:34:54:00 PM，完全匹配需求。

额外建议 #

如果后续还需要对日期字段做聚合、时间差计算、范围过滤等操作，建议保留standard_timestamp这个Timestamp类型字段，不要仅存储字符串格式的日期，后续操作性能会有数量级的提升。

内容的提问来源于stack exchange，提问作者Suganya