NodeJS查询MongoDB 20万条1.3GB集合报JavaScript堆内存溢出如何解决

你遇到的是Node.js内置V8引擎默认堆内存上限不足导致的崩溃，触发原因是执行MongoDB查询时，大量匹配结果被一次性加载到Node.js进程内存中，超过了默认约2GB的堆内存限制。

• 优先优化MongoDB查询逻辑（治本方案）
  • 给你做关键词检索的2个字段创建索引，若为模糊关键词检索推荐创建MongoDB文本索引，避免全表扫描拉取全量集合数据
  • 查询时新增分页逻辑，通过limit()+skip()或者基于_id的游标分页，单次只返回前端需要的10-100条数据，不要一次性请求全量20万条记录
  • 新增字段投影配置，查询时只返回业务需要的字段，不要拉取整个文档的所有内容，减少单条记录的内存占用
• Node.js侧数据处理优化
  若确实需要在服务端批量处理全量数据，不要使用find().toArray()一次性加载所有结果，改用MongoDB游标cursor.eachAsync()或者流式API分批处理数据，处理完的批次及时释放引用方便GC回收
• 调整Node.js堆内存上限（治标临时方案）
  如果业务场景确实需要加载大量数据到内存，可以在启动Node.js服务时增加堆内存限制参数，比如设置为4GB：

  node --max-old-space-size=4096 你的启动文件名称.js
  

  如果你用的是框架封装的启动命令（比如next、nest-cli或者npm script），可以把参数加到对应启动脚本中即可。
• 额外排查点
  检查业务代码是否存在内存泄漏问题，比如查询结果被全局变量、闭包长期持有无法被GC回收，即使单次查询数据量不大也会随着请求量上涨逐步占满内存。

内容的提问来源于stack exchange，提问作者Ankit