Firebase Firestore邮件调度系统查询资源优化方案咨询

我用Google Firebase Firestore给大量客户做邮件调度系统，随着Firestore文档数量增长，担心当前方案会耗尽Firebase Function资源导致超时，想听听社区对现有方案的反馈，或者替代方案建议。

当前方案 #

我有一个user-schedule集合，结构如下：

user-schedule 
   UID
      send_item
           slug
           send_time
           title

每个用户（以UID标识）可以有多个send-item子集合，示例：

user-schedule 
   hjhsdhjdhjk1
      2023-11-14
           slug: 2023-11-14
           send_time: 2023-11-14 00:23
           title: "Hello World"
      2023-11-15
           slug: 2023-11-15
           send_time: 2023-11-15 00:23
           title: "Hello World3"

注：不是每个用户每天都有待发送项，用户的调度安排会变化。

目前用以下代码提取待处理用户：

async function getDueUsers(date) {
  let due_users = [];
  const user_uid = await admin.firestore().collection("user_schedule").get(); // 获取用户数据

  await user_uid.forEach(async (s) => {
    const user_sch = s.data();
    if (user_sch[date]) {
        due_users.push({ uid: s.id, title: user_sch[date]["title"] });
    }
  });

  return due_users;
}

这段代码能正常提取到期用户，但我担心.get()操作很快会耗尽资源。

未来方案设想 #

我考虑创建一个更扁平的新集合，结构如下：

email-schedule 
  2023-11-14
      UID1
      UID2
      UID3
  2023-11-15
      UID1
      UID3

这个集合里只存当天待发送的用户UID，需要时再拉取用户的详细信息。

对当前方案的问题分析 #

你的担心是对的，当前代码的核心问题在于全量拉取user-schedule集合：

• 当用户数量增长到数万甚至更多时，collection("user_schedule").get()会一次性读取所有用户文档，不仅消耗大量读取配额，还会因为数据量过大导致Firebase Function执行超时（Function默认超时90秒，数据量够大时很容易触发）。
• 另外，forEach里嵌套async/await是无效的，因为forEach不支持异步迭代，最终due_users返回时可能还没完成所有遍历，导致数据不全。

优化建议 #

1. 修复当前代码的异步逻辑错误

先解决forEach的异步迭代问题，改用for...of遍历：

async function getDueUsers(date) {
  let due_users = [];
  const userSnapshot = await admin.firestore().collection("user_schedule").get();

  for (const doc of userSnapshot.docs) {
    const user_sch = doc.data();
    if (user_sch[date]) {
      due_users.push({ uid: doc.id, title: user_sch[date]["title"] });
    }
  }

  return due_users;
}

但这只是修复了逻辑错误，并没有解决全量读取的性能问题。

2. 重构数据结构（推荐优化你的未来设想）

你的扁平集合思路方向正确，但可以调整结构让查询更高效：

• 不要用日期作为文档ID，而是创建email-schedule集合，每个文档代表一条待发送任务，结构如下：

email-schedule
  doc-id（自动生成）
      uid: "UID1"
      send_date: "2023-11-14"
      send_time: "2023-11-14 00:23"
      title: "Hello World"

• 给send_date字段创建复合索引（如需按时间范围查询），这样可以直接精准查询指定日期的所有待发送任务：

async function getDueUsers(date) {
  const snapshot = await admin.firestore()
    .collection("email-schedule")
    .where("send_date", "==", date)
    .get();

  return snapshot.docs.map(doc => ({
    uid: doc.data().uid,
    title: doc.data().title
  }));
}

这种结构的优势：

• 只读取指定日期的文档，避免全量扫描，大幅减少读取配额和执行时间。
• 支持灵活查询（比如查询未来24小时内的任务），也方便处理用户调度变更（直接删除/更新对应的email-schedule文档即可）。

3. 增量更新与定时触发优化

• 当用户创建或修改调度时，实时同步到email-schedule集合，而非定时全量扫描。比如用户添加11月16日的发送任务，直接在email-schedule新增对应文档；如果用户取消任务，就删除对应文档。
• 用Firebase的Cloud Scheduler配合Cloud Functions，按小时/天触发任务，每次只处理当前时间段内的待发送邮件，避免一次性处理大量数据。

4. 批量处理与分页

如果必须处理大量数据，使用分页查询（startAfter）拆分任务，每次只处理一小批数据，避免Function超时：

async function getDueUsers(date, lastDoc = null) {
  let query = admin.firestore()
    .collection("email-schedule")
    .where("send_date", "==", date)
    .limit(100); // 每次处理100条

  if (lastDoc) {
    query = query.startAfter(lastDoc);
  }

  const snapshot = await query.get();
  const users = snapshot.docs.map(doc => ({
    uid: doc.data().uid,
    title: doc.data().title
  }));

  // 如果还有更多数据，递归处理
  if (snapshot.size === 100) {
    const nextUsers = await getDueUsers(date, snapshot.docs[snapshot.size - 1]);
    users.push(...nextUsers);
  }

  return users;
}

总结 #

你的未来设想方向正确，但建议将单日期文档拆分为单任务文档，配合索引和实时同步，能彻底解决全量读取的性能问题。同时修复异步遍历的逻辑错误，结合分页和定时触发优化，可确保系统在用户量增长时依然稳定运行。

内容的提问来源于stack exchange，提问作者Dan