简单Node.js应用占用数GB内存的原因及非流解决方案问询

• console.log输出缓冲区积压：Node.js的标准输出默认是异步缓冲的，只有当缓冲区满或者事件循环空闲时才会刷入终端/日志文件。你30万次高频循环持续调用console.log(i)，输出内容全部堆积在内存缓冲区中无法及时释放，是内存暴涨的核心诱因。
• 高频循环下垃圾回收不及时：每次调用fs.writeFileSync都会生成文件名字符串、创建临时文件描述符、分配IO操作上下文对象，这些临时对象在同步调用结束后就可以被回收，但循环执行速度远快于V8的自动垃圾回收速度，导致大量死对象堆积在堆内存中无法释放。
• 重复写入冲突产生额外开销：你使用Date.now()作为文件名，循环速度远快于毫秒级时间戳更新速度，会导致同一毫秒内多次写入同一个文件，产生写入冲突、异常对象等额外内存开销。

• 1. 移除或降低日志输出频率：直接删掉不必要的console.log(i)，如果需要保留进度提示，改为每间隔固定次数输出一次：

// 每完成1000次写入才输出一次进度
if (i % 1000 === 0) {
  console.log(`已完成写入：${i}次`)
}

• 2. 优化文件名生成规则：在文件名中拼接循环变量i，避免同一毫秒的写入冲突：

fs.writeFileSync(`./data/${Date.now()}_${i}`, data)

• 3. 分批写入加主动GC：将30万次写入拆分为多批次，每写完一批次就主动触发垃圾回收（需要启动Node时添加--expose-gc参数），给内存释放留足时间：

const BATCH_SIZE = 1000
for (let i = 0; i < 300_000; i++) {
  fs.writeFileSync(`./data/${Date.now()}_${i}`, data)
  // 写完一批次后执行清理
  if (i !== 0 && i % BATCH_SIZE === 0) {
    console.log(`已完成：${i}次`)
    // 主动触发垃圾回收
    global.gc?.()
    // 等待10ms让系统处理pending的IO操作
    await new Promise(r => setTimeout(r, 10))
  }
}

• 4. 强制刷入磁盘释放内核缓存：每写完一批次就调用fs.fsyncSync强制将内存中暂存的写入内容刷入磁盘，减少缓存占用：

if (i % BATCH_SIZE === 0) {
  const fd = fs.openSync('./data', 'r')
  fs.fsyncSync(fd)
  fs.closeSync(fd)
}

• 5. 启动时调整Node.js GC参数：启动脚本时添加GC优化参数，让垃圾回收运行更频繁，避免内存堆积：

node --expose-gc --gc-interval=500 your-script.js

内容的提问来源于stack exchange，提问作者nrgyzer