Node.js中GCP Firestore分页时startAfter偏移参数不生效问题

问题核心原因 #

Firestore 的 startAfter() 方法不支持传入数字作为偏移量，它的合法入参只有两类：

• 你查询时排序字段的对应类型的值
• 上一页查询结果最后一条的文档快照

你当前代码给排序字段 sku（字符串类型）的startAfter传了数字，Firestore 类型比较规则中数字优先级低于字符串，所有字符串类型的 sku 都会被判定为大于你传入的数字，所以每次查询都从第一条数据开始返回，看起来就是始终返回首页。

正确实现方案 #

Firestore 官方推荐使用游标方式实现分页，性能最优，不会额外扫描跳过的文档。

实现逻辑调整 #

1. 接口新增可选参数 cursor，前端翻页时传入上一次接口返回的游标值
2. 每次查询结束后，把当前页最后一条文档的游标序列化后返回给前端
3. 只有首次查询、或者跳转到首页时不需要传游标

修正后代码示例 #

app.get('/products', async (req, res) => {
  const db = new Firestore({ projectId: process.env.PROJECT_ID })

  const perPage = Number(req?.query?.perPage) || 4
  const cursor = req?.query?.cursor ? Buffer.from(req.query.cursor, 'base64').toString() : null

  const results = []
  // 基础查询
  let query = db.collection('orphans')
    .select('sku')
    .orderBy('sku')
    .limit(perPage)

  // 有游标就从游标位置开始查
  if (cursor) {
    query = query.startAfter(cursor)
  }

  const collection = await query.get()
  collection.forEach(doc => results.push({ id: doc.id, ...doc.data() }))

  // 生成下一页游标，序列化后返回给前端
  let nextCursor = null
  if (collection.size === perPage) {
    const lastDoc = collection.docs[collection.docs.length - 1]
    // 这里因为你排序字段是sku，直接存sku的值当游标即可，也可以用doc的快照序列化
    nextCursor = Buffer.from(lastDoc.data().sku).toString('base64')
  }

  return res.json({
    status: 'OK',
    data: results,
    nextCursor: nextCursor
  })
})

如果你一定要保留按页码分页的逻辑 #

仅适合数据量小于1000条的小集合使用，数据量大时会产生额外的读请求、性能较差：
你需要先查询出前 (page-1)*perPage 条数据，取最后一条的sku值作为startAfter的入参，再查询当前页数据。示例逻辑：

// 仅小数据量可用
const skipCount = (page - 1) * perPage
if (skipCount > 0) {
  // 先查前面需要跳过的所有数据，取最后一条的sku
  const skipQuery = db.collection('orphans')
    .select('sku')
    .orderBy('sku')
    .limit(skipCount)
  const skipSnapshot = await skipQuery.get()
  if (!skipSnapshot.empty) {
    const lastSkipSku = skipSnapshot.docs[skipSnapshot.docs.length - 1].data().sku
    query = query.startAfter(lastSkipSku)
  }
}

内容的提问来源于stack exchange，提问作者aspirinemaga