如何在MongoDB中高效查询200万条以上的文档数据

1 查询层面优化 #

• 优先加匹配索引：所有查询用到的筛选、排序字段都要建立对应索引，复合索引需要遵守最左前缀原则。可以通过Model.find(query).explain('executionStats')查看执行计划，确认是否命中索引、是否存在全表扫描。注意索引不是越多越好，每个索引会增加写入开销，仅针对实际查询场景创建必要索引即可。
• 禁止无限制全量查询：任何场景下都不要直接执行无参数无限制的Model.find()，所有查询都需要搭配分页或者分批拉取逻辑。
• 分页逻辑优化：普通skip() + limit()的分页方式在offset较大时性能极差，因为数据库需要跳过所有offset对应的文档才能返回数据，推荐使用游标分页（键分页）：以上一次查询返回的最后一条数据的排序字段作为筛选条件，示例写法：Model.find({_id: {$gt: lastQueryLastId}, ...otherQuery}).sort({_id: 1}).limit(20)，该方式命中索引时查询效率基本不受数据总量影响。
• 字段投影过滤：查询时仅返回业务需要的字段，避免拉取完整冗余文档，示例写法：Model.find(query, {requiredField1: 1, requiredField2: 1, _id: 1})，大幅降低数据传输量和内存占用。

2 数据架构层面优化 #

• 预聚合固定分析场景：如果是固定维度的查询分析需求，不要每次都查询原始大集合，可通过MongoDB聚合管道定期执行、或者搭配变更流实时触发，将统计结果写入专门的小容量汇总集合，前端请求时直接查询汇总集合即可，延迟可降低到毫秒级。
• 冷热数据分离：如果存在大量访问频率极低的历史冷数据，可以将冷数据归档到独立的冷存储集合，或者按时间维度拆分集合（如每个月的文档存在单独集合），查询时仅访问对应时间范围的集合即可。
• 按需使用Atlas内置能力：MongoDB Atlas自带的Atlas Search、聚合管道能力可直接在数据库层完成大部分分析计算逻辑，无需将全量数据拉到业务服务端处理，大幅提升效率。

3 前后端交互优化 #

• 前端配合做分片加载：React端使用分页、无限滚动、虚拟滚动等渲染方案，每次仅请求当前视口需要的10-100条数据，既降低后端查询压力，也避免前端一次性渲染大量数据导致卡顿。
• 热点数据加缓存：如果查询的是更新频率低的热点数据，可在服务端增加Redis缓存层，相同请求直接返回缓存数据，无需查询MongoDB。

4 全量数据处理场景优化 #

如果确实需要拉取全量数据做离线计算，不要用普通find一次性拉取所有数据：

• 使用Mongoose游标分批处理：Model.find(query).cursor()可以逐条或者按批次迭代数据，不会一次性将全量数据加载到业务服务端内存，避免服务端OOM。
• 优先用聚合管道在数据库层完成计算：过滤、分组、统计等逻辑都放在数据库层通过聚合管道实现，仅返回最终计算结果到业务服务端，减少数据传输量。

内容的提问来源于stack exchange，提问作者anoniket