Snowflake SQL多表左关联查询执行耗时过长如何优化

• 去除冗余去重逻辑
  你当前SQL同时使用了DISTINCT和全字段GROUP BY，二者执行逻辑高度重合，会额外产生一次全局排序去重的计算开销，直接删除SELECT后的DISTINCT关键字即可，仅保留GROUP BY就能满足去重需求。
• 关联前裁剪子表字段
  所有左连接的子表无需加载全表字段，仅需在关联前先筛选出你需要的字段+关联键_ID即可，示例如下：

  LEFT OUTER JOIN (SELECT _ID, UTXCT, GL_CD FROM "PRD"."POST"."YY_TEXTENTR") TEXT
  ON TEXT._ID = SUMMARY._ID
  

  该操作可以大幅减少关联阶段加载的数据量，降低IO和内存占用。
• 利用集群键优化存储布局
  给所有参与关联的表设置_ID为集群键，Snowflake会按照_ID的顺序物理组织数据，全量关联时可大幅减少分区扫描范围，性能提升非常明显。如果表已经设置过_ID作为集群键，可执行ALTER TABLE 表名 RECLUSTER手动合并碎片化的小分区，进一步提升扫描效率。
• 避免多表关联产生笛卡尔积
  如果多个子表中同一个_ID存在多条记录，9次左连接会导致中间数据量出现指数级放大，大幅提升后续GROUP BY的计算压力。可以先对每个子表按_ID去重后再关联，示例如下：

  LEFT OUTER JOIN (
    SELECT _ID, UTXCT, GL_CD 
    FROM "PRD"."POST"."YY_TEXTENTR"
    QUALIFY ROW_NUMBER() OVER (PARTITION BY _ID ORDER BY 1) = 1
  ) TEXT ON TEXT._ID = SUMMARY._ID
  

  也可以拆分SQL，先分别将主表和每个子表关联的结果写入临时表，最后再将所有临时表关联得到最终结果。
• 调整执行资源配置
  可以临时升高当前使用的虚拟仓库规格（例如从X-SMALL升级到MEDIUM或LARGE），提升并行计算能力，全量计算场景下大规格仓库的执行效率更高，不会额外消耗过多credits，执行完成后再调回原规格即可。
• 优化目标表写入开销
  如果目标表"PRD"."POST"."_ALL_EVENTS"是永久表，可临时修改为transient表减少写入时的日志开销，写入完成后再调整回原表类型即可。

内容的提问来源于stack exchange，提问作者saurabh