如何利用Firestore Distributed Counter实现高频用户ID列表追加并规避写入限制？

Firestore分布式计数器的核心逻辑是通过分片分摊单文档写入压力，这个思路完全可以复用在你需要的「高频追加用户ID到列表」场景，不用局限于整数累加场景。下面是具体实现方案：

1. 设计分片存储结构 #

不要把所有用户ID集中存到单个文档的列表里，而是创建一组分片文档，比如在download_shards集合下创建多个以shard_0、shard_1…命名的文档，每个分片文档里维护一个user_ids数组字段，专门存储该分片下的下载用户ID。

分片数量可以根据预估的高频写入量设定，比如初始设10个，后续可根据实际流量动态扩容。

2. 写入时的分片选择与原子追加 #

每次用户触发下载操作时：

• 用随机算法（比如生成0到分片数-1的随机整数）选择一个目标分片
• 调用Firestore的arrayUnion原子操作，将当前用户ID追加到该分片的user_ids数组中（这个操作会自动去重，避免同一用户多次下载的重复记录）

示例代码（Node.js）：

const shardCount = 10; // 可根据实际情况调整
const shardId = Math.floor(Math.random() * shardCount);
const shardRef = db.collection('download_shards').doc(`shard_${shardId}`);

// 原子追加用户ID，自动去重
await shardRef.update({
  user_ids: admin.firestore.FieldValue.arrayUnion(currentUserId)
});

3. 读取时合并分片数据 #

当需要获取所有下载过该文档的用户ID时：

• 一次性读取download_shards集合下的所有分片文档
• 合并所有分片的user_ids数组，再做一次全局去重（确保数据唯一性）

示例代码：

const shardsSnapshot = await db.collection('download_shards').get();
let allUserIds = [];

shardsSnapshot.forEach(doc => {
  const shardData = doc.data();
  if (shardData.user_ids) {
    allUserIds = [...allUserIds, ...shardData.user_ids];
  }
});

// 全局去重
allUserIds = [...new Set(allUserIds)];

4. 规避Firestore写入限制的关键细节 #

• 足够的分片数：Firestore单文档的写入频率限制约为每秒1次，分片后写入压力被分摊到多个文档，比如10个分片可承载约每秒10次写入，以此类推
• 坚持原子操作：arrayUnion是Firestore原生支持的原子操作，并发写入时不会出现数据覆盖或丢失，比「读取-修改-写入」的非原子方式更安全高效
• 动态扩容分片：如果后续写入量持续增长，直接增加分片数量即可，新写入会随机分配到所有分片，旧分片的数据无需迁移

内容的提问来源于stack exchange，提问作者Paul