如何高效向Firestore插入超百万条记录？

一、核心最佳实践 #

针对百万级数据插入，核心思路是合理拆分批量请求+控制并发数+规避不必要的开销，既要利用Firestore的批量写入能力，又要避免触发限流或配额限制。

二、具体优化步骤 #

1. 拆分数据为合规批次：Firestore单批次最多支持500个写入操作（创建/更新/删除），必须将数据拆分为每500条一组，避免单批次超限。
2. 并行处理批次（控制并发）：不要串行等待每个批次完成，改用Promise.all同时处理多个批次，但要根据你的Firestore写入配额调整并发数，避免触发429限流错误。
3. 关闭本地缓存：Node.js SDK默认启用持久化缓存，批量插入时无需缓存，初始化时关闭可减少内存占用和额外处理开销。
4. 预生成文档ID：提前用db.collection('xxx').doc()生成文档ID，再通过batch.set写入，比add更可控，也能减少SDK内部的ID生成开销。

三、Firestore关键限制及应对 #

• 单批次操作数限制：最多500个写入操作，必须按500条拆分数据，超出会直接报错。
• 每秒写入配额：默认项目级配额为每秒500次写入操作，超过会触发限流。应对方式：
  • 控制并发批次数量（比如配额500/秒时，同时处理1个批次即可）；
  • 若需更高速率，可在GCP控制台申请配额提升。
• 单文档大小限制：单文档最大1MB，确保每条数据不超过该限制，否则写入失败。

四、优化后的Node.js代码示例 #

const { Firestore } = require('@google-cloud/firestore');

// 初始化Firestore，关闭持久化缓存提升批量插入效率
const db = new Firestore({
  persistence: false,
  ignoreUndefinedProperties: true // 忽略未定义属性，减少不必要处理
});

// 生成百万条测试数据
const data = Array.from({ length: 1000000 }, (_, i) => ({
  field1: `value${i}`,
  field2: `value${i}`,
}));

// 拆分数据为每500条一组（符合Firestore单批次限制）
const batchSize = 500;
const batches = [];
for (let i = 0; i < data.length; i += batchSize) {
  batches.push(data.slice(i, i + batchSize));
}

// 控制并发数，根据配额调整（默认配额500/秒时设1，配额提升后可增加）
const concurrencyLimit = 5;

async function processBatches() {
  let index = 0;
  while (index < batches.length) {
    // 取出当前要并发处理的批次组
    const currentBatchGroup = batches.slice(index, index + concurrencyLimit);
    // 并行处理每个批次
    await Promise.all(currentBatchGroup.map(async (batchData) => {
      const batch = db.batch();
      batchData.forEach(item => {
        const docRef = db.collection('my_collection').doc(); // 自动生成ID
        batch.set(docRef, item);
      });
      await batch.commit();
      console.log(`完成批次，处理${batchData.length}条记录`);
    }));
    index += concurrencyLimit;
    // 可选：添加短暂延迟，避免突发流量触发限流
    // await new Promise(resolve => setTimeout(resolve, 1000));
  }
}

processBatches()
  .then(() => console.log('所有数据插入完成'))
  .catch(err => console.error('插入失败:', err));

五、Google Cloud其他服务的整合方案 #

如果数据量超大规模（千万级以上），或需要更高可靠性的异步处理，可结合以下服务：

1. Pub/Sub + Cloud Functions #

• 流程：将拆分后的批次数据作为消息发送到Pub/Sub主题，创建Cloud Functions订阅该主题，每个函数实例处理一批数据插入Firestore。
• 优势：自动扩缩容，Pub/Sub负责消息持久化，避免本地进程崩溃导致数据丢失；Cloud Functions自动处理并发和限流。
• 实现要点：
  • 本地将数据拆分为500条一组，封装为消息发送到Pub/Sub；
  • 编写Cloud Functions，触发方式设为Pub/Sub，函数内部解析消息数据，执行Firestore批量写入。

2. Dataflow（Apache Beam） #

• 流程：将数据导出为GCS上的JSON/CSV文件，用Dataflow构建ETL管道，读取文件后批量写入Firestore。
• 优势：适合超大规模数据处理，自动处理分区、并发、错误重试，支持多种数据源导入，官方提供现成的Firestore连接器。
• 实现要点：
  • 将百万条数据导出为GCS上的换行分隔JSON文件；
  • 用Apache Beam SDK（Node.js/Java）编写管道，通过FirestoreIO.write()写入数据。

六、额外注意事项 #

• 错误重试：批量写入可能因网络波动或限流失败，可使用p-retry等工具添加自动重试逻辑，避免手动重新处理失败批次。
• 监控：在GCP控制台监控Firestore的写入速率、错误率，根据监控数据调整并发数或申请配额。
• 成本：每个文档插入算1次写入操作，百万条数据会消耗100万次写入配额，需提前确认成本预算。

内容的提问来源于stack exchange，提问作者frfernandezdev