如何在PySpark DataFrame中添加含当前日期的额外列？

嘿，这个问题我太熟悉啦！你之前的代码报错，核心原因是PySpark的withColumn方法要求第二个参数必须是PySpark的Column类型，而你直接用Python的datetime.now()生成的字符串是普通Python对象，PySpark没法把它当作列表达式来处理。下面给你两种实用的解决方案，按需选择：

方法一：用lit()包裹Python生成的日期字符串 #

如果你更习惯用Python的datetime模块生成日期，可以通过lit()函数把Python常量转换成PySpark能识别的列对象：

from pyspark.sql.functions import lit
from datetime import datetime

# 生成当前日期的字符串格式
current_date_str = datetime.now().strftime('%Y-%m-%d')
# 给DataFrame添加新列
df2 = df.withColumn("Curr_date", lit(current_date_str))

lit()的作用就是把Python的基础类型（字符串、数字等）转换成PySpark的Column实例，让withColumn可以正确解析它。

方法二：用PySpark原生日期函数（推荐） #

更推荐使用Spark内置的日期函数，因为它是分布式环境友好的——不会因为集群中不同节点的Python环境或时间设置不一致出问题，而且性能更好：

直接添加当前日期 #

如果只需要yyyy-MM-dd格式的日期，用current_date()就足够了：

from pyspark.sql.functions import current_date

# 添加当前日期列，默认格式就是yyyy-MM-dd
df2 = df.withColumn("Curr_date", current_date())

自定义日期/时间格式 #

如果需要更精确的时间戳或者自定义格式，可以搭配current_timestamp()和date_format()：

from pyspark.sql.functions import current_timestamp, date_format

# 生成带时间的戳并格式化为指定日期格式
df2 = df.withColumn("Curr_date", date_format(current_timestamp(), 'yyyy-MM-dd'))

小提示 #

优先选择方法二，因为Spark原生函数是在JVM层面执行的，比调用Python的datetime模块更高效，尤其在处理大规模数据集时优势更明显。

内容的提问来源于stack exchange，提问作者Rahul Patidar