PySpark中左表聚合时如何高效实现anti left join并展平表

核心逻辑：利用小表广播避免大表Shuffle #

右表数十亿行，任何触发Shuffle的操作都会导致性能雪崩。左表仅1000-10000行，完全可以广播到所有执行节点，让每个节点直接在本地处理右表分区数据，无需移动海量数据。

方法1：broadcast + left_anti Join（推荐，最简洁） #

left_anti是Spark专门为获取左表无匹配记录设计的Join类型，配合广播小表，性能最优：

from pyspark.sql import functions as F
from pyspark.sql.functions import broadcast

# 定义表：左表（小）= employee_categories，右表（大）= employee_records，关联键employee_id
small_left = spark.table("employee_categories")
large_right = spark.table("employee_records")

# 广播左表后执行left_anti join，直接得到右表中无左表匹配的记录
result = large_right.join(
    broadcast(small_left),
    on="employee_id",
    how="left_anti"
)

方法2：not exists子查询（适配复杂匹配条件） #

如果需要多字段匹配或更复杂的过滤逻辑，广播小表后用exists子查询同样高效：

from pyspark.sql import functions as F
from pyspark.sql.functions import broadcast

small_left = spark.table("employee_categories")
large_right = spark.table("employee_records")

# 广播小表，在右表上过滤出无匹配的记录
broadcast_left = broadcast(small_left)
result = large_right.where(
    ~F.exists(
        broadcast_left,
        lambda left: (left.employee_id == large_right.employee_id) 
        # 可添加额外条件，比如 left.department == large_right.department
    )
)

为什么这两种方法解决冗余问题？ #

之前你用先关联再过滤的方式，会生成大量中间冗余数据（左表每条记录匹配右表多条记录），而left_anti和exists都是直接在右表分区上做存在性判断，不会产生冗余的中间表，全程只处理右表的原始数据量。

额外优化点 #

• 确保右表的关联键（如employee_id）有分区或布隆索引，加快本地匹配速度。
• 避免对右表做预转换（如不必要的select/filter），减少计算开销。

内容的提问来源于stack exchange，提问作者Shay Shavit