如何基于DataFrame中某列唯一值聚合其他列的最值？

问题描述 #

我有如下输入表格，想要按唯一的Name值分组，对Value1取最小值、Value2取最大值进行聚合，得到每个Name对应的最值结果。

输入表格：

期望输出表格：

我已经知道可以用df.select('Name').distinct().collect()获取DataFrame的唯一Name值，但不清楚拿到唯一值后怎么对其他列做最值聚合。

解决方案 #

不需要单独获取唯一Name值再处理，PySpark提供了更高效的分组聚合API，一步即可完成需求：

直接使用分组聚合（推荐）

通过groupBy按Name分组，结合min和max聚合函数直接计算结果：

from pyspark.sql import functions as F

# 假设你的DataFrame变量名为df
aggregated_df = df.groupBy("Name") \
                  .agg(
                      F.min("Value1").alias("Value1"),
                      F.max("Value2").alias("Value2")
                  )

# 查看结果
aggregated_df.show()

代码说明

• groupBy("Name")：将DataFrame按Name列分组，相同Name的行会被归为一组
• F.min("Value1").alias("Value1")：计算每组中Value1的最小值，并用alias保持原列名
• F.max("Value2").alias("Value2")：计算每组中Value2的最大值，同样保持原列名
• 执行后aggregated_df就是你需要的聚合结果

不推荐的方式（先取唯一值再处理）

如果一定要先获取唯一Name再操作，可通过join结合过滤实现，但这种方法多此一举，效率远低于直接分组聚合，示例如下（仅作参考）：

# 获取唯一Name的DataFrame
unique_names = df.select("Name").distinct()

# 定义窗口函数，按Name分组
from pyspark.sql.window import Window
window_spec = Window.partitionBy("Name")

# 给原DataFrame添加最值列
df_with_agg = df.withColumn("min_value1", F.min("Value1").over(window_spec)) \
                .withColumn("max_value2", F.max("Value2").over(window_spec)) \
                .select("Name", "min_value1", "max_value2") \
                .distinct()

# 与唯一Name表join（实际这里distinct已经能得到结果，join是多余操作）
result_df = unique_names.join(df_with_agg, on="Name")

内容的提问来源于stack exchange，提问作者n179911a