PySpark中DataFrame日期列转列表及提取周首尾日期报错求助

一、正确将date列转为字符串列表的方法 #

针对你遇到的报错，以下两种无报错的转换方式：

方法1：通过Pandas中转（适合小数据量）

先确保date列是字符串类型（如果原数据是DateType，先转换），再提取单列转成Pandas Series后生成列表：

# 若date列是DateType，先转为字符串类型
df = df.withColumn("date", df["date"].cast("string"))

# 提取date列并转为列表
date_list = df.select("date").toPandas()["date"].tolist()

你之前的错误是直接对整个DataFrame操作，而非提取单独的date列，导致DataFrame无法被序列化。

方法2：通过RDD操作（适合大数据量，避免Driver端内存压力）

直接使用RDD的map提取行中的日期值，再通过collect()获取列表：

# 若date列是DateType，在map中转为字符串
date_list = df.select("date").rdd.map(lambda row: str(row.date)).collect()

你之前的错误是误用了SparkSession的serializer属性，这不是必要操作，直接对RDD的行进行值提取即可。

二、更高效的提取每周首尾日期方案 #

其实无需将日期转为列表，直接用PySpark的聚合函数按yearweek分组，就能直接得到每周的首尾日期，这更符合Spark的分布式计算逻辑，避免将全量数据拉到Driver端：

from pyspark.sql.functions import min, max

# 按yearweek分组，聚合每周的最小（首）和最大（尾）日期
weekly_boundaries = df.groupBy("yearweek").agg(
    min("date").alias("week_start"),
    max("date").alias("week_end")
).orderBy("yearweek")

# 查看结果
weekly_boundaries.show()

内容的提问来源于stack exchange，提问作者DataEngineer_LBP