PySpark中为yyyyMMdd格式日期添加一天的更优实现方案咨询

问题场景 #

你已创建如下DataFrame：

df = spark.createDataFrame([['20220725']], ['report_date'])

df.show()
# +-----------+
# |report_date|
# +-----------+
# |   20220725|
# +-----------+

需求是给report_date列（yyyyMMdd格式）的值加一天，得到同格式的new_date_1列。

你的现有实现 #

你通过多次格式转换完成了需求：

import pyspark.sql.functions as f

# 转换为yyyy-MM-dd格式
convert_df = df.withColumn("new_date", f.from_unixtime(f.unix_timestamp(f.col("report_date"), 'yyyyMMdd'),'yyyy-MM-dd'))

# 加一天后转回yyyyMMdd格式
posting_df = convert_df.withColumn("new_posting_date", f.date_add(f.col("new_date"), 1)).withColumn("new_date_1", f.from_unixtime(f.unix_timestamp(f.col("new_posting_date"), 'yyyy-MM-dd'), 'yyyyMMdd'))

posting_df.show()
# +-----------+----------+----------------+----------+
# |report_date|  new_date|new_posting_date|new_date_1|
# +-----------+----------+----------------+----------+
# |   20220725|2022-07-25|      2022-07-26|  20220726|
# +-----------+----------+----------------+----------+

更简洁高效的实现 #

可以直接用to_date解析原字符串为日期类型，加一天后通过date_format直接格式化回目标格式，无需多次转换和中间列：

import pyspark.sql.functions as f

df = spark.createDataFrame([['20220725']], ['report_date'])

result_df = df.withColumn(
    "new_date_1",
    f.date_format(f.date_add(f.to_date(f.col("report_date"), "yyyyMMdd"), 1), "yyyyMMdd")
)

result_df.show()
# +-----------+----------+
# |report_date|new_date_1|
# +-----------+----------+
# |   20220725|  20220726|
# +-----------+----------+

优势说明 #

• 减少不必要的转换：用to_date直接转日期类型，避免unix_timestamp和from_unixtime的额外时间戳转换开销
• 代码更紧凑：链式调用函数，一步生成目标列，无需创建多个中间DataFrame和列
• 性能更优：减少中间数据的处理和存储，适合大规模数据场景

内容的提问来源于stack exchange，提问作者nmr