Node.js中Winston日志服务内存占用过高问题排查

问题描述 #

我在Node.js环境中基于Winston的DailyRotateFile创建了一个日志服务，在多个控制器中复用这个服务后，程序的内存占用急剧升高。以下是我的日志服务代码：

var transport = new (winston.transports.DailyRotateFile)({ 
  filename: 'application-%DATE%.log', 
  dirname: './logs', 
  datePattern: 'YYYY-MM-DD-HH', 
  zippedArchive: true, 
  maxSize: '10m', 
  maxFiles: '14d' 
});
switch ((process.env.NODE_ENV || '').toLowerCase()) { 
  case 'production': 
    production = true; 
    logger = winston.createLogger({ 
      transports: [ transport ], 
      format: combine( label({ label: 'UTILITY_SERVICE' }), timestamp(), myFormat ), 
      exitOnError: false, // do not exit on handled exceptions 
    }) 
    break; 
  case 'test': 
    // Don't set up the logger overrides 
    return; 
  default: 
    logger = winston.createLogger({ 
      transports: [ new winston.transports.Console(), transport ], 
      format: combine( label({ label: 'UTILITY_SERVICE' }), timestamp(), myFormat ), 
      exitOnError: false, // do not exit on handled exceptions 
    }) 
    break; 
}
module.exports = logger;

我想知道Winston本身是否存在内存泄漏问题？

回答 #

首先明确一点：Winston（尤其是官方维护的最新稳定版本）本身并不存在普遍的内存泄漏问题，你遇到的内存占用飙升更可能是使用方式、配置细节或自定义逻辑导致的。下面是具体的排查方向和解决办法：

1. 检查是否重复初始化Logger/Transport #

如果你的日志模块被多个文件重复require，且模块加载逻辑存在问题（比如没有保证单例模式），可能会导致多次创建DailyRotateFile实例，进而堆积大量文件句柄和内存占用。

解决办法：确保你的日志模块是单例——整个应用生命周期内只初始化一次logger。可以检查代码中是否有多处调用日志模块初始化的逻辑，Node.js默认require的模块是单例，但要注意不要在模块内做动态重复初始化操作。

2. 排查自定义日志格式myFormat的问题 #

你代码中用到了自定义格式myFormat，如果这个函数存在内存泄漏（比如闭包引用了大对象、未清理的定时器/事件监听，或者内部逻辑生成了大量未释放的内存），会随着日志量的增加持续占用内存。

解决办法：临时替换成Winston内置格式（比如winston.format.simple()）测试内存变化，如果内存不再飙升，说明问题出在myFormat里，需要针对性优化这个函数的内存使用。

3. 检查DailyRotateFile的配置细节 #

几个配置项可能间接导致内存问题：

• maxFiles和maxSize是否生效：如果旧日志文件没有被正确归档或删除，累积的文件句柄会占用内存。可以手动查看./logs目录下的文件数量，确认超过maxFiles的日志是否被清理。
• zippedArchive的开销：压缩日志需要消耗CPU和内存，如果日志生成速度极快，压缩进程来不及处理，会导致内存堆积。可以临时设置zippedArchive: false测试内存变化，若内存下降，说明压缩逻辑是瓶颈，可以考虑调整压缩时机或降低日志生成频率。

4. 处理未捕获的异常/Promise拒绝 #

虽然你设置了exitOnError: false，但如果应用中存在未被捕获的异常或未处理的Promise拒绝，Winston在尝试记录这些错误时可能会积累内存（比如错误对象被反复引用无法被GC回收）。

解决办法：添加全局错误监听，确保所有异常都被正确处理：

process.on('uncaughtException', (err) => {
  logger.error('Uncaught exception:', err);
  // 必要时可考虑退出进程，避免内存持续泄漏
  // process.exit(1);
});

process.on('unhandledRejection', (reason, promise) => {
  logger.error('Unhandled Rejection at:', promise, 'reason:', reason);
});

5. 升级Winston及相关依赖 #

如果你使用的是较老版本的Winston或winston-daily-rotate-file，可能存在已知的内存泄漏bug。比如旧版本中存在文件句柄未正确释放的问题，后续版本已经修复。

解决办法：升级到最新稳定版：

npm update winston winston-daily-rotate-file

总的来说，Winston本身的内存泄漏是极少出现的情况，先从上述几个方向排查，大概率能定位到问题所在。

内容的提问来源于stack exchange，提问作者Puneet Sharma