Snowflake通过Python生成器拉取大数据集运行约6小时报403错误

问题根本原因确认 #

这就是你遇到报错的根本原因。
Snowflake查询执行完成后，返回的结果集会被拆分为多个ResultBatch存储在云端临时存储节点，每个ResultBatch的访问URL有效期固定为6小时，计时起点为查询执行完成的时刻。
你的场景中，因为下游消费API存在速率限制，前97批数据处理总耗时刚好接近6小时，等到需要拉取第98批数据时，对应ResultBatch的访问URL已经过期，因此触发403 Forbidden报错，和你观察到的复现规律完全吻合。

可行解决方法 #

• 提前全量拉取结果到本地
  可以在查询执行完成后，立刻一次性将所有ResultBatch拉取到本地磁盘存储，再按批次慢慢处理下游逻辑，不要等到处理完前一批数据才触发下一批数据的拉取操作。这样可以赶在URL过期前将所有数据拿到本地，后续处理不受6小时有效期限制。
• SQL层面实现分段分页查询
  放弃一次性执行全量查询的方案，在SQL层面加入分页逻辑：可以选择基于排序键的范围查询（比如按自增ID、创建时间等字段分段筛选），或者使用LIMIT + OFFSET逻辑，每次处理完一批数据后再执行下一段的查询，每次新查询都会生成新的有效期6小时的ResultBatch访问URL，不会受旧查询的过期限制，该方案更适合超大数据量的场景。
• 调大单次拉取行数，缩短拉取总耗时
  可以将num_rows参数从10000适当调大，比如调整到50000~100000，减少总的拉取批次，让所有ResultBatch的拉取操作都能在6小时内完成，避开URL过期问题。
• 优化下游消费速率
  对下游API的消费逻辑进行优化，比如改为批量提交数据、申请更高的API速率配额，缩短单批次数据的处理时间，让整个数据处理流程的总耗时控制在6小时以内。
• 结果集持久化到Snowflake表
  执行查询后，先将全量结果集写入Snowflake的临时表或者永久表中，后续需要拉取数据时直接从该表分段查询，每次查询都会生成新的有效访问URL，不会出现过期问题。

内容的提问来源于stack exchange，提问作者Per48edjes