Snowflake仓库大小对查询性能的影响原理是什么？

实测数据整理 #

观测到的测试结果完全契合Snowflake虚拟仓库的MPP（大规模并行处理）架构设计，核心技术原理如下：

• 资源基线匹配：Snowflake不同规格的虚拟仓库对应固定的计算节点配额，Small规格为2节点，Large规格为8节点，后者的并行计算资源恰好是前者的4倍，这是性能差距最高可达4倍的硬件基础。
• 小数据量性能差距有限：所有查询都存在不可并行的固定开销，包括SQL编译解析、元数据拉取、查询计划生成、计算节点调度、最终结果汇总返回等步骤，这部分耗时和扫描数据量没有关联。当扫描数据量较小时，固定开销占总执行时间的比例很高，并行计算带来的速度提升被大幅抵消，因此两类规格仓库的执行时间差距远小于4倍。
• 大数据量性能差接近4倍：当扫描数据量足够大时，查询的主要耗时集中在数据扫描、过滤、聚合、表关联这类可完美并行化的执行步骤上。Snowflake会自动将待处理的数据集切分为均等的微分区，均匀分配给所有计算节点并行处理，此时不可并行的固定开销占比可以忽略不计，整体性能加速比完全贴合并行节点数的比例，也就是8节点/2节点=4倍，完全符合阿姆达尔定律的计算结果。

这个测试也验证了Snowflake虚拟仓库的线性扩展特性：对于大数据量的分析类查询，提升仓库规格可以获得接近线性的性能收益；但对于低延迟的小查询，升级规格的收益极低，反而会造成计算成本浪费。

内容的提问来源于stack exchange，提问作者SNWsnow