SparkSQL多连接查询执行顺序及分区Parquet关联性能问题咨询

1. SparkSQL 多表连接查询的执行顺序 #

SparkSQL处理多表连接查询时，执行流程大致分为以下几个阶段：

• 解析与校验：先对SQL语句做语法解析、语义校验，确认表、列的合法性，生成初始的逻辑执行计划。
• 逻辑优化：基于内置规则对逻辑计划优化，比如把过滤条件下推到数据源、裁剪不需要的列、调整连接顺序（Spark会依据表的统计信息选择代价最低的连接顺序）。
• 物理计划生成：将优化后的逻辑计划转换为可执行的物理计划，确定具体的连接策略（如Broadcast Join、Shuffle Hash Join、Sort Merge Join等）。
• 实际执行：按照物理计划的步骤执行，优先处理能下推到数据源的过滤条件，再进行表扫描，必要时对数据进行shuffle，最后完成连接操作，处理后续的投影或过滤逻辑并返回结果。

2. 指定分区查询的执行顺序与分区的作用 #

针对你给出的查询场景，具体执行顺序如下：

1. 分区过滤下推：因为t1是基于列c分区的Parquet表，查询中的where c = 'somevalue'会直接下推到数据源，Spark只会扫描t1中c='somevalue'对应的分区目录，跳过其他分区的所有数据。
2. 数据扫描：分别读取t1的目标分区数据，以及t2的全量数据（t2是非分区表，无分区过滤条件可下推）。
3. 连接准备：Spark会根据两张表的数据量大小、统计信息自动选择最优连接策略。比如如果t1的分区数据量很小，会采用Broadcast Join，把t1的数据广播到所有节点；如果数据量较大，则会对两张表按keycolumn进行shuffle，再执行连接。
4. 连接操作：按照t1.keycolumn = t2.keycolumn的条件匹配数据，完成表连接。
5. 结果输出：返回连接后的所有列数据。

关于分区是否能缩短查询耗时：
分区确实能大幅缩短查询耗时，核心原因有两点：

• 减少IO开销：无需扫描t1的全量数据，只读取目标分区的文件，直接降低了磁盘读取的数据量。
• 降低后续计算压力：更少的输入数据意味着shuffle、连接等后续操作需要处理的数据量更少，CPU和内存的消耗也随之减少，整体执行效率提升明显。

内容的提问来源于stack exchange，提问作者amit.k.maurya.16