Firestore触发器触发BigQuery DML插入遇RateLimitExceeded错误求解

批量聚合插入 #

你现在是每条Firestore事件触发一次DML插入，频率太高才触发了限制。可以把短时间内的多个事件攒起来，一次性批量插入：

• 用Pub/Sub或云任务做中间缓冲：云函数收到Firestore事件后，先把数据发往Pub/Sub主题，再用另一个云函数订阅该主题，攒够一定数量（比如50条）或等待1分钟后，执行INSERT INTO ... VALUES (val1), (val2), ...这类批量插入语句，把多条数据一次性写入BigQuery。
• 也可以用Redis或Firestore临时集合暂存数据：每收到一条事件就存入临时集合，通过定时任务每分钟扫描一次，把攒到的数据批量插入后清空临时集合。这种方式能大幅减少DML操作次数，直接避开速率限制。

限制云函数并发数 #

短时间内大量云函数实例同时发起DML请求，很容易触发表的速率限制。直接在firebase.json里设置云函数的最大并发数，比如限制为10，减少同时请求BigQuery的数量：

{
  "functions": {
    "maxInstances": 10
  }
}

用BigQuery批量加载API替代DML #

相比单条DML插入，批量加载的速率限制宽松得多，还没有流式插入的90分钟数据锁定问题：

• 把收集到的事件数据写成JSON或CSV文件，上传到GCS（谷歌云存储）
• 调用BigQuery的加载API，将GCS里的文件导入目标表
• 加载完成后删除GCS里的临时文件即可

增加指数退避的重试机制 #

遇到速率限制错误时，别直接放弃，按指数退避的方式重试（比如第一次等1秒，第二次2秒，第三次4秒，最多重试5次），能有效提高插入成功率：

async function insertToBigQuery(data) {
  let retries = 0;
  const maxRetries = 5;
  while (retries < maxRetries) {
    try {
      await bigquery.query(`INSERT INTO my_table VALUES(${data})`);
      return;
    } catch (err) {
      if (err.message.includes('Exceeded rate limits') && retries < maxRetries - 1) {
        await new Promise(resolve => setTimeout(resolve, Math.pow(2, retries) * 1000));
        retries++;
      } else {
        throw err;
      }
    }
  }
}

内容的提问来源于stack exchange，提问作者melihozcann