BigQuery大小表高效Join优化及分区使用经验规则咨询

针对你提到的TB级大表左连MB级小表的场景，结合你测试的三类方案效果，通用优化规则可归纳为以下几点：

• 优先避免按分布倾斜的Join键做分区
  大小表Join场景下小表会被广播到所有处理大表分片的slot，分区的核心作用是控制大表的分片粒度而非优化Join匹配效率。如果Join键key分布极不均匀，按该字段分区会导致部分分区数据量远高于平均水平，对应处理的slot负载远超其他节点，直接出现执行倾斜，就是你测试的方案(ii)性能不佳的核心原因。
• 大表分区优先选择数据分布均匀的字段
  只要分区字段能保证每个分区的大小处于合理区间（BigQuery建议单分区大小控制在1GB~10GB区间），哪怕该字段和查询的过滤条件、Join逻辑无关，也能保证大表扫描后分配给各slot的初始工作量基本均衡，从执行的起始阶段就避免倾斜。你测试的方案(iii)能拿到更稳定的执行效果，正是因为该分区方式解决了初始分片的负载不均问题，哪怕没有触发分区剪枝，收益也远高于分片倾斜带来的损耗。
• 存在高频过滤条件时，优先用过滤字段做分区键
  如果查询有固定的高频过滤维度（比如日期、地域），优先将该字段设为分区键：一方面可以触发分区剪枝，大幅降低需要扫描的大表数据量；另一方面只要同分区内的数据分布均匀，也能保证后续分片处理的负载均衡，是投入产出比最高的分区方案。
• 控制分区粒度避免过粗或过细
  单分区数据量小于100MB会导致元数据管理开销大幅上升，单分区数据量超过50GB会导致单个slot处理压力过大，两种情况都会引发执行效率下降、负载不均的问题。
• 可搭配集群键兼顾Join效率和负载均衡
  如果需要高频使用key做Join，可以在均匀分区的基础上，将key设为表的集群键：BigQuery会在每个分区内部按key排序存储，Join时不需要扫描全分区数据做匹配，同时不会因为key分布不均导致整体分片倾斜，兼顾两方面的收益。

内容的提问来源于stack exchange，提问作者denim