Snowflake查询性能优化：Query Profile视图需重点考量的性能指标

原问题 #

在Snowflake的查询概况视图（Query Profile View）中，若要全面提升查询性能，需要特别考量以下哪些指标？

• A. 扫描字节数（Byte scanned）
• B. 总分区中被扫描的分区数量（Partition scanned out of total partition）
• C. 缓存扫描占比（% scanned from cache）
• D. 网络传输字节数（Byte passed over network）

答案 #

上述四个指标全部都属于性能优化需要重点观测的核心指标，各指标的优化参考逻辑如下：

• 扫描字节数：这是最直观的IO负载指标，数值越高代表查询读取的冗余数据越多，通常是过滤条件不够精准、或者表的聚类优化没做到位，优化优先级很高。
• 总分区中被扫描的分区数量：Snowflake靠微分区剪枝减少IO开销，如果扫描分区占总分区比例过高，说明分区剪枝完全没生效，一般是过滤条件没用到分区键、或者分区键设置不合理，调整后能直接大幅降低查询耗时。
• 缓存扫描占比：数据命中缓存的话完全不需要从对象存储拉取数据，延迟会低很多，这个指标过低的话可以调整查询调度规则，避免热点数据被提前清出缓存。
• 网络传输字节数：这个指标过高说明查询执行过程中跨节点的数据shuffle量太大，通常是Join顺序不对、或者大表广播策略没生效，优化后能减少节点间通信等待耗时。

内容的提问来源于stack exchange，提问作者Numan