PySpark迁移Snowflake两种CTE写法的性能与引擎优化逻辑疑问

结论 #

Snowflake查询优化器完全支持对B方案的自动优化，二者内部执行逻辑、性能没有任何差异，你可以直接选用代码更简洁的B方案。

核心逻辑说明 #

Snowflake的基于成本的优化器（CBO）内置了谓词下推能力：只要你的final_merged_table是直接关联A1~A5的原生date字段，没有对date字段做函数加工、别名覆盖这类操作，最外层的WHERE date = '2021-10-20'条件会被自动下推到a1~a5每个底层表的扫描阶段，不会出现先扫描全表数据合并后再过滤的情况，和A方案手动在每个CTE加过滤条件的执行计划完全一致。

自行验证方式 #

如果需要确认优化是否生效，可以在B方案的SQL语句前加上EXPLAIN关键字执行，查看输出的执行计划，就能看到date过滤条件已经作用在每张底层表的扫描节点上，和A方案的执行计划没有区别。

注意：如果你的CTE中对date字段做了函数转换、别名重新赋值等操作，可能会导致谓词下推失效，这种场景下才需要手动在每个CTE内添加过滤条件。

内容的提问来源于stack exchange，提问作者Jaeyoung Jang