如何在PySpark DataFrame中计算DateType列的最小/最大日期及首尾日

我来帮你搞定这个问题～你之前的代码失效是因为混淆了DataFrame的调用方式和Spark SQL内置函数的使用方法，下面分两种场景给你具体的解决方案：

一、计算整个日期列的最早（首日）和最晚（末日）日期 #

如果你要找的是整个数据集里日期的全局最小值和全局最大值，需要把min()、max()这些聚合函数放在agg()方法或者select()语句内部，而不是直接在select后的DataFrame上调用。

步骤1：导入必要的函数 #

首先确保你导入了Spark的函数库：

from pyspark.sql import functions as F

步骤2：计算全局极值 #

方式1：使用agg()方法（推荐，更清晰）

# 聚合计算最早和最晚日期
date_stats = df.agg(
    F.min('date').alias('earliest_date'),  # 全局首日
    F.max('date').alias('latest_date')     # 全局末日
).collect()[0]

# 提取结果值
earliest_date = date_stats['earliest_date']
latest_date = date_stats['latest_date']

print(f"全局最早日期：{earliest_date}")
print(f"全局最晚日期：{latest_date}")

方式2：直接在select()中调用函数

# 直接查询展示结果
df.select(
    F.min('date').alias('earliest_date'),
    F.max('date').alias('latest_date')
).show()

二、计算每个日期所在月份的首日和末日 #

如果你要的是每个日期对应的当月第一天和最后一天，Spark没有直接的first_day()函数，但可以用trunc()或date_trunc()实现月首计算，last_day()函数是存在的，但需要正确调用：

# 新增月首和月尾列
df_with_month_boundaries = df.withColumn(
    'month_first_day',
    F.trunc('date', 'month')  # trunc函数会把日期截断到当月第一天
).withColumn(
    'month_last_day',
    F.last_day('date')        # last_day直接返回当月最后一天
)

# 查看结果
df_with_month_boundaries.select('date', 'month_first_day', 'month_last_day').show()

补充说明 #

你之前的写法错误原因：

• df.select('date').min()：select('date')返回的是DataFrame对象，DataFrame没有min()方法，必须把聚合函数作为参数传入agg()或select()
• first_day()：Spark SQL中没有这个内置函数，需要用trunc('month', 日期列)来替代

内容的提问来源于stack exchange，提问作者Elsa Li