大规模场景下MongoDB中$in与$nin查询如何保持高效性能？

集合结构说明 #

我有三个MongoDB集合，结构分别如下：

users集合 #

存储用户关联的其他用户ID：

{
  _id: "uid",
  ids: [
     "uid0",
     "uid5",
     ...
     "uid100"
  ]
}

seens集合 #

存储用户已浏览过的mapper ID，结构与users一致：

{
  _id: "uid",
  ids: [
     "map_id1",
     "map_id3",
     ...
     "map_id100"
  ]
}

mappers集合 #

存储mapper核心数据：

{
  _id: "uid",
  at: 1453592, // 时间戳
  map: {
    id: "map_id", // 可能出现在seens的ids数组中
    ...
  }
}

当前查询需求与性能问题 #

需要查询满足以下条件的mappers文档：

1. _id必须在目标用户的ids数组中
2. at介于指定起始时间和当前时间之间（start_date < at < now）
3. map.id不在目标用户的seens集合ids数组中

当前使用的查询语句：

{
  "_id": {"$in": ids},
  "$and": [
    {"at": {"$lt": now}},
    {"at": {"$gt": start_date}},
    {"map.id": {"$nin": seens}}
  ]
}

• 数据量数千条时查询正常；当三个集合数据量均达1万条时，查询耗时15秒
• 添加at: -1（降序）和map.id: 1（升序）的复合索引后，耗时降至8秒，但数据规模持续扩大时，耗时仍会增长，需要优化到1秒内返回。核心问题是大规模数据下如何保持$in和$nin的查询效率。

具体优化方案 #

1. 重构复合索引，优先匹配$in字段 #

MongoDB的索引前缀匹配效率最高，当前查询的第一个过滤条件是_id: {$in: ids}，所以应该把_id放到复合索引的最前面，后续再按过滤优先级添加at和map.id。

创建针对性索引：

db.mappers.createIndex({_id: 1, at: -1, "map.id": 1})

这个索引会先快速定位所有_id在目标数组中的文档，再在这个子集里过滤时间范围，最后处理map.id的匹配，比之前的索引减少大量无效扫描。

2. 替换$nin，避免全量排除操作 #

$nin是低效操作，因为需要遍历所有符合前置条件的文档并排除指定项，数据量越大开销越高。可以通过以下两种方式替代：

• 应用端过滤：先查询出符合_id和at条件的文档，再在应用代码中过滤掉map.id在seens数组中的项。如果前置条件筛选后的结果集不大（比如分页返回20-50条），应用端的内存过滤开销远低于MongoDB的$nin。
• 反向存储浏览标记：在mappers集合中添加viewed_uids数组，记录所有浏览过该mapper的用户ID，然后查询时用{"viewed_uids": {$ne: target_uid}}替代$nin。如果用户量较大，可以给viewed_uids单独创建哈希索引，进一步提升匹配效率。

3. 分页查询，控制单次返回数据量 #

如果业务不需要一次性返回所有结果，强制使用分页限制单次查询的数据量：

db.mappers.find({
  "_id": {"$in": ids},
  "at": {"$lt": now, "$gt": start_date}
})
.sort({at: -1})
.limit(20) // 按需设置每页数量
.toArray()

结合应用端过滤，单次查询的数据量极小，能稳定控制在1秒内返回。

4. 预计算缓存，减少实时查询压力 #

• MongoDB缓存集合：创建user_recommendations集合，定期（比如每5分钟）通过定时任务预计算每个用户的符合条件的mappers列表，查询时直接从该集合读取，避免实时复杂查询。
• 内存缓存：用Redis等内存缓存存储用户的推荐结果，设置合理的过期时间（比如10分钟），绝大多数查询直接走缓存，完全绕过MongoDB的复杂查询。

5. 拆分大$in数组，并行查询 #

如果目标用户的ids数组长度超过1000，单个$in查询的性能会明显下降。可以将大数组拆分成多个长度为500左右的小数组，并行执行多个查询，最后在应用端合并去重结果。这种方式能分散MongoDB的查询压力，总耗时会比单个大$in查询更短。

内容的提问来源于stack exchange，提问作者Tom3652