Spark中先过滤再关联与直接关联的性能差异原因解析

会议中给出的优化代码 #

val medium_data_keys = spark.sparkContext.broadcast(medium.select("m_id").rdd.map(r => r(0)).collect.toSeq)
val large_data_filtered = large.filter(col("large_id").isin(medium_data_keys.value: _*))
large_data_filtered.join(medium, large.col("large_id") === medium.col("m_id"))

问题 #

在一场Spark会议视频的11分54秒处提到，当关联大表与中等规模表时，先用中等规模表的键过滤大表再进行关联，比直接关联两张表更高效。请问该优化的原理是什么？是否因为直接关联会涉及整行数据而非仅关联键？

优化原理解析 #

这种优化的核心是减少关联阶段的数据量和计算开销，具体可以拆成两点来看：

• 通过广播中等表的关联键实现本地过滤：中等表的键被广播到所有Executor节点后，每个节点能直接在本地筛选大表，只保留和中等表键匹配的行。这一步直接砍掉大表中无需参与关联的绝大多数数据，后续关联操作处理的数据量大幅降低。
• 规避全量Shuffle的高额开销：直接对两张表做Join时，Spark通常会先对两张表的关联键执行Shuffle操作（将相同键的数据分发到同一节点），这个过程需要大量网络传输和磁盘IO。而提前过滤大表后，再和中等表关联时，要么中等表可被广播（中等规模内存可容纳），要么Shuffle的数据量已被大幅压缩，整体开销自然显著减少。

你提到的“直接关联涉及整行数据”是其中一个细节，但并非核心原因。直接关联的主要开销来自Shuffle过程中大量数据的移动，提前过滤大表本质是从源头减少了需要参与Shuffle和关联计算的数据量，同时结合广播机制避免了中等表的Shuffle，从而提升整体效率。

内容的提问来源于stack exchange，提问作者olaf