MongoDB不使用$lookup如何优化查询获取用户关联的Event记录？

以下是针对你当前两次查询性能瓶颈的可落地优化方案：

1. 冗余字段设计（性能最高，优先选择） #

• 直接在Event集合的文档中冗余存储关联Thread的user_uuid字段，写入Event数据时同步维护该字段的一致性。优化后仅需一次查询即可拿到结果，完全避免大数组$in查询的性能问题：

const events = await EventModel.find({ user_uuid: "abc" }).limit(10);

该方案适合读多写少的业务场景，额外的写入成本极低，查询效率提升最为显著。

2. 索引优化+分批分页查询 #

如果无法调整文档结构，可以通过加索引+分批查询避免一次性拉取百万级_id到内存：

• 先创建两个必要索引，保证所有查询都走索引覆盖：
  • Thread集合创建联合索引：{user_uuid: 1, _id: 1}
  • Event集合创建单字段索引：{thread_id: 1}
• 分页拉取Thread的_id，每次查固定批次的_id去匹配Event，凑够10条结果就终止查询：

let events = [];
let lastThreadId = null;
const batchSize = 1000;

while (events.length < 10) {
  const threadQuery = { user_uuid: "abc" };
  if (lastThreadId) threadQuery._id = { $gt: lastThreadId };

  // 分页查当前批次的Thread _id
  const threadIds = await ThreadModel.find(threadQuery)
    .select("_id")
    .sort({ _id: 1 })
    .limit(batchSize)
    .then(res => res.map(item => item._id));

  if (threadIds.length === 0) break; // 没有更多Thread，终止循环

  // 查当前批次关联的Event
  const batchEvents = await EventModel.find({
    thread_id: { $in: threadIds }
  }).limit(10 - events.length);

  events.push(...batchEvents);
  lastThreadId = threadIds.at(-1);
}

3. 反向查询逻辑 #

如果Event的数据量级远小于目标用户的Thread量级，可调整查询顺序：先扫Event集合，再校验关联Thread的归属：

• 先给Thread集合创建覆盖索引：{_id: 1, user_uuid: 1}
• 分批拉取Event，批量校验对应Thread是否属于目标用户，凑够10条结果就终止：

let events = [];
let lastEventId = null;
const batchSize = 100;

while (events.length < 10) {
  const eventQuery = {};
  if (lastEventId) eventQuery._id = { $gt: lastEventId };

  // 分批拉取Event
  const batchEvents = await EventModel.find(eventQuery)
    .sort({ _id: 1 })
    .limit(batchSize);

  if (batchEvents.length === 0) break;

  // 批量校验这批Event关联的Thread是否属于目标用户
  const validThreadIds = new Set(await ThreadModel.distinct("_id", {
    _id: { $in: batchEvents.map(e => e.thread_id) },
    user_uuid: "abc"
  }));

  // 筛选符合要求的Event
  const validEvents = batchEvents.filter(e => validThreadIds.has(e.thread_id));
  events.push(...validEvents.slice(0, 10 - events.length));
  lastEventId = batchEvents.at(-1)._id;
}

你提到的$lookup官方定义翻译如下：

$lookup 可对同一数据库内的未分片集合执行左外连接，从「被连接」集合中筛选文档用于后续处理。

内容的提问来源于stack exchange，提问作者Hossein Zare