如何用Google Apps Script的UrlFetchApp.fetchAll处理超千次请求避限流错误

当使用Google Apps Script的UrlFetchApp.fetchAll()处理超过1000次请求时，会触发频率限制错误：

Exception: Service invoked too many times in a short time: urlfetch. Try Utilities.sleep(1000) between calls.

当前已通过50次请求批量处理临时解决，但可以通过以下优化方案更高效地利用fetchAll()处理大量请求：

优化方案 #

1. 合理调整批量大小+批次间休眠 #

fetchAll()的批量请求仍受短时间频率限制，因此在每批请求后加入休眠，同时适当调大每批请求数量（需测试适配），平衡效率与限制规则。

2. 提前过滤无效请求 #

过滤空关键词或无效URL，减少不必要的请求量，降低触发限制的概率。

修改后的代码示例 #

const ss = clustersSheet;
// 优化空行过滤：判断行内是否有非空内容
const [header, ...data] = ss.getDataRange().getValues()
  .filter(row => row.some(cell => cell !== ''));

const batchSize = 100; // 可根据测试调整批量大小，建议100-200
var start = cachedSettings2Data[14][6];

while (start <= ss.getLastRow()) {
  // 生成当前批次请求URL，同时过滤空关键词
  const requests = data.slice(start, start + batchSize)
    .map(row => row[header.indexOf("Primary Keyword")])
    .filter(keyword => keyword)
    .map(primary_keyword => `${baseUrl}${primary_keyword}${rest_of_query}`);
  
  console.log(`处理批次：第${start}至${start + requests.length}行`);
  
  // 执行批量请求
  const responses = UrlFetchApp.fetchAll(requests);
  const parsed_responses = responses.map(response => JSON.parse(response.getContentText()));
  console.log(parsed_responses);
  
  start += batchSize;
  // 最后一批请求后无需休眠
  if (start <= ss.getLastRow()) {
    Utilities.sleep(2000); // 休眠时间可根据错误频率调整，建议1-3秒
  }
}

补充说明 #

• 批量大小测试：Google Apps Script的UrlFetch服务每日配额为10000次，但短时间频率限制更严格，建议通过测试找到稳定的最大批量值。
• 休眠时间调整：若仍触发错误，可适当增加休眠时长；若请求稳定，可逐步缩短。

内容的提问来源于stack exchange，提问作者Dev_been_here_before