PySpark中date_format转日期格式后字段变回字符串的解决办法

首先明确核心逻辑：Spark的DateType是存储日期数值的类型，本身不保存显示格式——格式仅在数据输出、展示时生效。你用date_format后列变回StringType，是因为这个函数的设计就是把日期类型转成指定格式的字符串，属于预期行为。

要同时满足「列类型为DateType」和「业务要求的dd-MM-yyyy格式」，有两种可行处理方式：

方案1：保留DateType，输出/展示时指定格式 #

如果仅需最终输出（写文件、业务展示）时是dd-MM-yyyy格式，无需修改列类型，只需在输出环节配置格式参数：

写入文件时指定格式 #

以写入CSV为例：

# 假设df已完成String到DateType的转换
df.write \
  .option("dateFormat", "dd-MM-yyyy") \
  .mode("overwrite") \
  .csv("/your/output/path")

写入Parquet时会保留类型元数据，读取时可再配置展示格式。

全局设置展示格式 #

若在Notebook或Spark UI查看数据时需要dd-MM-yyyy格式，直接设置Spark会话全局配置：

spark.conf.set("spark.sql.dateFormat", "dd-MM-yyyy")

设置后所有DateType列的展示都会用该格式，底层存储仍为DateType，不影响后续日期计算（如加减天数、按月聚合）。

方案2：新增格式列（保留原DateType列） #

如果业务要求DataFrame中同时存在日期类型和指定格式的字符串，可新增一列存储格式化后的字符串，原DateType列保留用于计算：

# 完成String到DateType的转换（你已实现的步骤）
df = func.cast_attribute(df2, p_property.d)

# 新增格式化后的字符串列，原DateType列不变
col_df = df.withColumn("col1_formatted", date_format("col1", "dd-MM-yyyy"))
col_df = col_df.withColumn("col2_formatted", date_format("col2", "dd-MM-yyyy"))

原操作丢失DateType的原因 #

再次明确：date_format函数的返回值类型就是StringType，它的作用是将日期数值转换为人类可读的字符串格式，因此用它替换原DateType列时，列类型必然变为StringType——这不是bug，是函数的设计逻辑。

内容的提问来源于stack exchange，提问作者user3521180