Snowflake中同数据集下JavaScript存储过程查询性能不一致排查

问题背景 #

我在Snowflake中部署了一个JavaScript存储过程，包含三个核心步骤：

• 执行返回约500行结果的SELECT查询，所用表为不常变更的主数据；
• 通过while循环将上述查询结果转换为JSON；
• 执行另一SELECT查询。

示例代码：

CREATE OR REPLACE PROCEDURE prc_test_json_data()
RETURNS variant
LANGUAGE javascript
strict
EXECUTE AS caller
AS
$$
sample_result = snowflake.createStatement (
    {sqlText: "select col1, col2, array_agg(t2.json_data) JSON_DATA from tab1 t1 inner join tab2 t2 on t1.child_id = t2.id group by  col1, col2;"}).execute();

    agg_output = {};
    while(sample_result.next()){
        agg_output[sample_result.col1] = sample_result.JSON_DATA;   
    }
    
    sample_data = snowflake.createStatement ({sqlText: "Select .....;"}).execute();
    
    return agg_output;
$$;

查询历史显示，通常第一步与第三步查询的启动时间差约1秒，但有3-4次该时间差接近1分钟，现针对以下问题逐一解答：

1. 既然第一步查询的数据无变更，为何出现性能不一致？ #

• 底层数据不变不代表查询执行效率稳定：Snowflake依赖虚拟仓库（Virtual Warehouse）提供计算资源，若仓库处于暂停状态，首次查询需启动仓库，这个过程耗时可达数十秒；即使仓库运行中，并发查询挤占资源也会导致排队或算力不足，拉长执行时间。
• 结果缓存可能未命中：缓存会因仓库缩放、会话过期或缓存周期到期被清理，此时需要重新计算查询结果，进而导致执行时间波动。
• 执行计划可能变更：即使数据未改，表的统计信息更新（比如元数据变化）可能触发查询执行计划调整，也会带来性能差异，尤其是用到array_agg这类聚合函数的场景。

2. 是否可在查询历史中查看while循环的起止时间？ #

Snowflake查询历史仅追踪SQL语句级别的执行事件，无法直接查看存储过程内部JavaScript代码（比如while循环）的运行时间。要排查这段代码的耗时，可手动在存储过程中添加日志逻辑：

// 记录循环开始时间
let loopStart = Date.now();
while(sample_result.next()){
    agg_output[sample_result.col1] = sample_result.JSON_DATA;   
}
// 计算循环耗时并写入自定义日志表
let loopDuration = Date.now() - loopStart;
snowflake.createStatement({
    sqlText: "INSERT INTO procedure_logs (proc_name, step, duration_ms) VALUES (?, 'WHILE_LOOP', ?)",
    binds: ['prc_test_json_data', loopDuration]
}).execute();

之后查询该日志表，即可获取每次循环的具体耗时，判断是否是循环导致的时间差波动。

3. 该性能问题是否由排队、服务器负载等外部因素导致？ #

大概率是外部因素导致的，可从以下几个维度验证：

• 查询排队：查看查询历史中的QUEUED_OVER_TIME指标，若该指标大于0，说明查询进入了等待队列，等待资源释放才开始执行，这会直接拉大第一步与第三步的时间差。
• 仓库资源负载：通过Warehouse Usage页面查看仓库的CPU、内存使用率，若慢查询发生时段刚好是资源使用峰值，说明算力被挤占导致执行变慢。
• 仓库自动暂停/重启：若仓库设置了自动暂停（比如闲置5分钟后暂停），当存储过程在仓库暂停后触发，第一步查询需要重启仓库，这个过程通常耗时30-60秒，与你遇到的时间差情况匹配。

内容的提问来源于stack exchange，提问作者YogeshR