Pyspark中相同行指定列值求和并保留唯一行的实现方案

实现方案 #

你只需要对指定的四列执行分组聚合即可，核心逻辑是将col_a/col_b/col_c/col_d作为分组键，对每组的col_f值求和，代码示例如下：

from pyspark.sql import functions as F

# 假设你的原始DataFrame变量名为df
result_df = df.groupBy("col_a", "col_b", "col_c", "col_d") \
              .agg(F.sum("col_f").alias("col_f"))

逻辑说明 #

• groupBy操作会自动把四列取值完全相同的行划分到同一个分组
• sum聚合函数会对每个分组内所有行的col_f整数值做累加
• alias("col_f")保证聚合后的字段名和原字段名一致，不需要额外修改列名

如果需要保持原数据中分组的出现顺序，可以额外在末尾加上排序逻辑，例如按col_f升序/降序排列，或者基于原数据的行号排序。

内容的提问来源于stack exchange，提问作者ms12