向Firestore并发批量写入数据触发DEADLINE_EXCEEDED错误如何解决？

• 单实例写入并发过高：当前代码通过Promise.all一次性提交26个独立的set写入请求，无任何限流逻辑，导致客户端gRPC链路请求拥堵，部分请求无法在Firestore默认的超时窗口内完成，触发DEADLINE_EXCEEDED错误。
• 全局写入压力超限：244个云函数实例同时启动时，总并发写入请求数达到6344，远超Firestore默认的写入限流阈值，部分请求排队等待时间过长最终超时。
• 配置预留缓冲不足：如果云函数的运行超时时间采用默认的60s配置，加上写入排队耗时后，很容易超出运行时长限制被强制终止，也会触发该类超时错误。

1. 写入逻辑优化 #

直接替换单次set+Promise.all的写法为Firestore官方提供的批量写入接口Batch Write，单个Batch支持最多500次操作，26条写入可以合并为1次网络请求，大幅降低链路超时概率：

export const generateData = async () => {
  const batch = db.batch()
  for (const sample of samples) {
    // 原有业务逻辑保留
    batch.set(sampleRef, sampleData)
  }
  await batch.commit()
  return
}

2. 并发与配置优化 #

• 调整task触发速率：不要一次性创建244个tasks文档，改为每30秒创建30-50个，分批触发云函数，将全局写入并发控制在Firestore的限流阈值内。
• 调优云函数配置：将云函数的运行超时时间调整为2-5分钟，预留足够的缓冲时间避免执行被强制中断；可开启云函数的实例并发配置，让单个实例可以处理多轮task事件，降低冷启动开销和全局实例数量。
• 增加重试逻辑：给批量提交操作增加指数退避重试逻辑，遇到超时、限流类错误时自动重试，提升任务成功率。

3. 备选简化方案 #

可以放弃当前task集合触发多实例的方案，改为通过云调度器每小时触发1个云函数，在单个云函数内生成所有6344份数据，按每批500次操作拆分Batch批量提交，总耗时不会超过2分钟，架构更简单，运行成本也更低。

内容的提问来源于stack exchange，提问作者Dale Nguyen