Spark同列分桶表Executor文件分配逻辑及Hive Metastore作用咨询

Spark的分桶调度逻辑是从物理计划生成到任务下发全链路配合实现的，没有独立的特殊调度组件，核心流程如下：

• 首先在物理计划生成阶段，Catalyst优化器如果识别到参与计算的两张分桶表满足分桶列一致、分桶数量一致、分桶hash规则一致的匹配条件，就会跳过普通Join/聚合需要的全量Shuffle重分区逻辑，直接以分桶ID为粒度切分Task：每个Task固定处理两张表中同一个ID的所有分桶文件，从任务划分层面就保证同ID分桶的数据不会被拆分到不同Task处理。
• 任务调度阶段，DAGScheduler会先获取每个分桶文件在底层存储（HDFS、云存储等）的块位置信息，按照PROCESS_LOCAL > NODE_LOCAL > RACK_LOCAL > ANY的本地化优先级，把对应分桶ID的Task优先分配到持有该分桶文件本地副本的Executor节点上，尽可能减少跨节点的数据传输。
• 如果两张表同ID的分桶文件副本没有落在同一个物理节点，调度器不会强制移动文件，会优先选择持有其中一个分桶本地副本的节点运行Task，另一个分桶的数据仅需做一次远程拉取即可，相比普通Shuffle的全量数据重分发，开销会低一个量级。

Hive Metastore作为统一的元数据存储组件，是Spark能启用分桶优化的核心前提，作用主要有三点：

• 存储分桶核心规则元数据：分桶表的分桶列定义、分桶总数、分桶排序规则、hash计算规则这些核心属性，都会持久化存在Hive Metastore中。Spark在解析表时可以直接拉取这些属性，快速判断多表之间是否满足分桶匹配条件，不需要遍历所有数据文件自行推断分桶规则，能大幅缩短任务解析时间，也能避免文件缺失、损坏导致的规则推断失败。
• 提供分桶文件的映射索引：Hive Metastore会记录表（以及分区表的每个分区）对应的存储路径、分桶文件和桶ID的映射关系，Spark不需要递归扫描全量文件目录，就能快速拿到每个桶ID对应的文件路径列表，减少文件系统的list请求开销。
• 做分桶规则的一致性校验：Spark生成分桶感知的执行计划前，会从Metastore读取参与计算的所有表的分桶参数做一致性校验，只有分桶数、分桶列、hash规则完全匹配时才会启用分桶优化，避免因为分桶规则不一致导致的数据计算错误。

注意：如果写入分桶表时绕过Spark的标准写入逻辑，没有同步更新Hive Metastore中的分桶元数据，Spark会无法识别分桶优化，退化为普通的全量Shuffle计算逻辑。

内容的提问来源于stack exchange，提问作者code_bug