通过Apps Script调用BigQuery API查询大表报错，疑存在大小限制

首先，你遇到的GoogleJsonResponseException: Not found: Job...错误，核心是免费版BigQuery的资源配额限制+Apps Script同步查询的超时机制共同导致的，具体拆解如下：

1. 免费版的固定限制 #

是的，免费版BigQuery确实有固定的配额规则，这是大表查询失败的关键原因：

• 查询优先级偏低：免费用户的查询作业会被分配到低优先级队列，像你处理74.3MB数据的大表请求，可能因为排队等待计算资源的时间过长，超出了Apps Script同步等待的时限，最终作业被系统清理，导致后续调用getQueryResults时找不到对应的作业ID。
• 并发与超时限制严格：免费版的交互式查询并发数仅为1，且作业执行的超时阈值更苛刻。当查询处理数据量较大（哪怕是60万行），很可能因为资源不足导致执行超时，作业被直接终止。
• 另外，Apps Script单脚本的执行上限是6分钟，如果BigQuery作业在这个窗口内未完成，同步等待的逻辑会直接中断，进而触发“找不到作业”的错误。

你测试发现5万行以内能成功，是因为小表查询执行速度快，能在配额允许的时间内完成，不会触发超时或资源排队。

2. 付费能否解决问题？ #

完全可以。升级到BigQuery付费层级后，你会获得这些关键改进：

• 更高的查询优先级：付费用户的查询会被分配到交互式优先级队列，大表查询能更快获取计算资源，不会因为长时间排队被清理。
• 更高的配额上限：包括更多的并发作业数、更长的作业超时时间，足够支撑百万级甚至更大规模的表查询。
• 弹性的查询容量：免费版每月有1TB的免费查询额度，付费后超出部分按$5/TB收费，不会因为额度不足导致作业失败。

3. 免费版下的临时 workaround #

如果暂时不想付费，可以尝试以下方法规避限制：

• 改用异步查询模式：不要直接用同步等待的BigQuery.Jobs.query()，而是先提交作业，再定期轮询作业状态，直到完成。示例代码：

  var projectId = "bigquerytest-282720";
  var query = 'SELECT * FROM bigquerytest-282720.testDataSet.bigTable WHERE Member = "North"';
  var jobConfig = {
    configuration: {
      query: {
        query: query,
        useLegacySql: false
      }
    }
  };
  // 提交异步作业
  var job = BigQuery.Jobs.insert(jobConfig, projectId);
  var jobId = job.jobReference.jobId;
  
  // 轮询作业状态
  var jobStatus;
  do {
    Utilities.sleep(5000); // 每5秒查询一次
    jobStatus = BigQuery.Jobs.getQueryResults(projectId, jobId);
  } while (!jobStatus.jobComplete);
  
  // 处理查询结果
  var rows = jobStatus.rows;
  

• 优化查询语句：避免使用SELECT *，只选择需要的字段；如果表支持，使用分区或聚类键优化查询，减少需要扫描的数据量，提升查询速度。

内容的提问来源于stack exchange，提问作者MrPea