Snowflake VARIANT类型16MB限制 存储过程返回结果集解决方案

问题核心是单个VARIANT值存在16MB硬上限，将全量查询结果封装为单个JSON数组存入VARIANT返回，结果集稍大就会触发阈值，以下是可落地的规避方案，均不突破16MB限制：

• 首选方案：直接返回原生结果集，不做JSON封装
  Snowflake存储过程支持直接返回RESULT_SET/表类型结果，走原生结果集流式传输链路，完全不经过VARIANT类型存储，不受16MB限制，性能也远高于手动转JSON。
  JavaScript存储过程示例：

  CREATE OR REPLACE PROCEDURE exec_query(query_str STRING)
  RETURNS TABLE()
  LANGUAGE JAVASCRIPT
  EXECUTE AS CALLER
  AS
  $$
    const stmt = snowflake.createStatement({sqlText: QUERY_STR});
    const result = stmt.execute();
    return result;
  $$;
  

  调用时直接用CALL exec_query('你的SELECT查询语句')即可获取全量查询结果，和直接执行SELECT的返回效果一致。
• 强制要求返回JSON格式时：分页分片返回
  不要把所有结果塞入单个VARIANT，给存储过程增加分页参数（页码、单页行数），内部通过LIMIT ... OFFSET ...拆分查询结果，每个分片单独序列化为JSON数组返回，提前测试单页行数保证单分片JSON大小不超过15MB（留1MB冗余避免触发阈值），调用方循环调用存储过程拉取所有分片后自行拼接完整结果即可。
• 超大规模结果集场景：中转存储
  如果查询结果超过GB级别，存储过程执行完查询后，将结果写入会话级临时表，或者导出为JSON Lines格式文件存入用户内部阶段，存储过程仅返回临时表名/阶段文件路径，调用方直接从临时表查询、或从阶段拉取文件即可。会话级临时表自动按会话隔离，会话结束后自动清理，不会产生冗余数据。

注意：不要尝试通过压缩JSON内容的方式规避限制，压缩后的二进制内容存入VARIANT依然受16MB上限约束，还会额外增加序列化、压缩、解压的性能开销，无实际收益。

内容的提问来源于stack exchange，提问作者ays1