Node.js Bull定时任务内存占用过高问题排查求助

看起来你遇到了Bull定时任务内存居高不下的麻烦，先梳理下你提到的关键信息：你的小时级Cron任务基于Bull实现，多次堆快照都显示存在一个~120MB的固定大小对象，进程RSS高达459MB，但堆内存相关指标（heapTotal46MB、heapUsed41MB）却相对很小，同时external内存达到了106MB。结合这些信息，咱们可以从几个方向入手排查：

• 先深挖堆快照里的大对象细节
  把那个~120MB的对象展开，查看它的原型链和引用关系：比如是不是Buffer类型？或者是Bull的Job实例堆积？又或者是队列内部的任务元数据缓存？如果是已完成任务的缓存，你可以检查下Bull队列的配置，有没有设置maxCompletedJobs限制保留的已完成任务数量，或者开启cleanupInterval定期清理过期任务数据。

• 重点关注external内存和堆外内存
  RSS远大于堆内存的情况，通常意味着堆外内存（比如C++层的Buffer、Redis连接资源等）占用过高。你这里external内存有106MB，建议排查：

  • 任务处理过程中有没有创建大Buffer、Stream但未正确销毁？比如使用fs.createReadStream后没监听close事件，或者大Buffer没有被主动释放；
  • Redis客户端的连接池配置：Bull依赖的redis/ioredis客户端，有没有设置合理的连接池大小？如果连接池过大，每个连接的内存占用累加起来也会很可观，还可以用客户端的monitor命令查看有没有异常的连接或命令请求。

• 排查队列实例和任务执行流程

  • 确认你的Queue实例是不是全局唯一的？如果每次任务执行都创建新的队列实例，旧实例可能因为被隐式引用无法被GC回收，导致内存堆积；
  • 试试临时禁用定时任务，观察内存是否回落：如果停掉任务后RSS逐渐下降，那问题大概率出在任务执行的逻辑里；如果内存依然居高不下，那可能是队列初始化环节就存在内存泄漏。

• 检查Bull版本和官方已知问题
  有些旧版本的Bull存在内存泄漏的已知bug，比如事件监听器未正确移除、任务状态更新时的内存泄漏等，建议升级到最新稳定版，看看是否能缓解问题。

另外，你可以定时打印process.memoryUsage()的输出，观察内存变化趋势：是任务执行时内存飙升后不回落，还是从启动后就一直稳定在高水位？这能帮你更快定位是任务执行逻辑的问题，还是初始化环节的问题。

备注：内容来源于stack exchange，提问作者Milanor