PySpark中按主键聚合布尔列值的替代实现方法咨询

你可以直接通过分组聚合的方式实现需求，不需要拆分再关联，代码更简洁且执行效率更高：

核心思路 #

布尔类型在PySpark中会被视为数值（true=1，false=0），对分组后的B、C列取max()，就能得到该主键分组内是否存在任意true值——只要分组里有一个true，聚合结果就是true，否则为false。

代码示例 #

from pyspark.sql import SparkSession
from pyspark.sql.functions import max

# 初始化SparkSession
spark = SparkSession.builder.appName("bool_agg").getOrCreate()

# 创建示例DataFrame
data = [(1, True, False), (1, False, True), (2, False, False), (2, False, True)]
df = spark.createDataFrame(data, ["A", "B", "C"])

# 分组聚合得到结果
result_df = df.groupBy("A").agg(
    max("B").alias("B"),
    max("C").alias("C")
)

# 展示结果
result_df.show()

执行结果 #

+---+-----+-----+
|  A|    B|    C|
+---+-----+-----+
|  1| true| true|
|  2|false| true|
+---+-----+-----+

优势对比 #

相比拆分后关联的方法，这种方式只需要一次分组聚合操作，避免了多次Shuffle和表关联的开销，代码逻辑更直观，执行效率也更高。

内容的提问来源于stack exchange，提问作者Amaravathi Satya