如何从Cloud Firestore集合中读取超百万（1M+）条文档？

直接一次性读取全量文档会触发报错：9 FAILED_PRECONDITION: The requested snapshot version is too old.，原错误代码如下：

const ref = db.collection('Collection');
const snapshot = await ref.get();
snapshot.forEach((doc,index) => {
   ...use data
})

问题原因 #

当尝试一次性拉取百万级文档时，Firestore的快照会因请求耗时过长而过期，因此必须采用分页批量读取的方式，分批次获取数据。

可行的分页读取方案 #

以下是可运行的分页读取实现（基于现有代码优化，修正集合名称不一致问题并完善异步递归逻辑）：

let totalIndex = 0;

// 启动读取
await getData();

async function getData(lastDoc = null) {
  const collectionRef = global.db.collection('collection');
  let snapshot;

  if (!lastDoc) {
    // 首次读取：从集合起始位置拉取5000条
    snapshot = await collectionRef
      .orderBy(admin.firestore.FieldPath.documentId())
      .limit(5000)
      .get();
  } else {
    // 后续读取：以上一次最后一条文档为起点继续拉取
    snapshot = await collectionRef
      .orderBy(admin.firestore.FieldPath.documentId())
      .startAfter(lastDoc)
      .limit(5000)
      .get();
  }

  // 处理当前批次文档
  snapshot.forEach((doc) => {
    console.log(totalIndex++);
    // ... 在这里处理文档数据
  });

  // 当前批次拉满5000条，说明还有数据，递归继续读取
  if (snapshot.size === 5000) {
    const lastDoc = snapshot.docs[snapshot.docs.length - 1];
    await getData(lastDoc);
  }
}

优化建议（提升读取速度） #

• 并行分页读取：可同时发起多个分页请求（比如同时拉取第1-5000、5001-10000条等批次），注意控制并发量避免触发Firestore限流。
• 选择业务排序字段：如果有业务常用的排序字段（如时间戳），可替代文档ID排序，更贴合业务场景。
• 使用官方导出工具：若为一次性数据导出，优先使用Firebase控制台的导出功能或gcloud firestore export命令，效率远高于代码读取。

内容的提问来源于stack exchange，提问作者TheProgrammer