Databricks上Spark多轮连续Join后执行Action性能异常问题求助

• 执行计划指数级膨胀：连续27次Join操作会导致Spark执行计划的血缘链路极长，Catalyst优化器解析、生成执行计划的耗时会随Join次数指数上升，即使数据量很小也会出现耗时爆炸的情况。
• 未触发广播Join：所有右表均为仅带1-3个字段的小表，默认配置下Spark未自动触发广播Join，每次Join都产生不必要的shuffle操作，27次shuffle的累积开销极高。
• 持久化未生效：persist为懒执行算子，仅调用persist未触发Action操作的情况下，数据不会实际落盘缓存，无法起到截断血缘、降低计算开销的作用。

1. 全量使用广播Join替换普通Join #

所有右表均为小表，广播右表后Join完全不需要shuffle，性能提升极明显，同时简化Join写法避免多余字段删除操作：

from pyspark.sql import functions as F

# Join1 优化写法
df_pop = df_pop.join(F.broadcast(other_df1), on='bc', how='left_outer')

# Join2-21循环逻辑优化，简化逻辑减少执行计划复杂度
for pop in self.des_config.get('populations'):
    pop_df = F.broadcast(self.cleaned_data.get(pop).select('bc')) \
              .withColumn(f'pop_{pop}', F.lit(True))
    df_pop = df_pop.join(pop_df, on='bc', how='left_outer') \
                   .fillna(False, subset=[f'pop_{pop}'])

# 其余Join统一对右表加broadcast即可
df_pop = df_pop.withColumn(f'pop_Real Estate', df_pop.bo_sector == 'REAL ESTATE')\
               .withColumn(f'pop_O&O', df_pop.bo_sector == 'GOVERNMENT & EDUCATION')\
               .join(F.broadcast(other_df2), on = 'bc', how = 'left_outer')\
               .join(F.broadcast(other_df3), on = 'bc', how = 'left_outer')\
               .join(F.broadcast(other_df4), on = 'bc', how = 'left_outer')\
               .join(F.broadcast(other_df5), on = 'bc', how = 'left_outer')

2. 主动触发持久化截断血缘 #

在Join流程的中间节点主动触发Action，将中间结果缓存落盘，避免执行计划无限膨胀：

# 完成前半段Join后执行缓存+触发Action
df_pop = df_pop.persist()
df_pop.count() # 主动触发缓存落地

# 执行后续Join操作
# ...

3. 调整Spark参数优化执行效率 #

在Notebook开头配置以下参数，适配多小表Join场景：

-- 调大自动广播阈值到100MB，触发自动广播小表
SET spark.sql.autoBroadcastJoinThreshold = 104857600;
-- 开启自适应执行，自动优化多Join执行计划
SET spark.sql.adaptive.enabled = true;

4. 小数据量场景直接用Pandas处理 #

主表仅81万行，完全可以放入单节点内存，直接转Pandas执行原有逻辑，处理完成后转回Spark DataFrame即可，比分布式Join效率更高：

import pandas as pd

# 主表转Pandas
df_pop_pd = df_pop.toPandas()
# 所有右表转Pandas后执行原有Pandas Merge逻辑
# ... 原有Pandas ETL代码 ...
# 处理完成转回Spark DataFrame
df_pop = spark.createDataFrame(df_pop_pd)

内容的提问来源于stack exchange，提问作者Matthijs van Kesteren