Node.js中createGunzip异步处理背压失效致内存溢出问题排查

错误原因 #

• 手动调用pause()/resume()破坏自动背压机制
  Node.js的流pipe()方法内置了完整的背压处理逻辑：当下游流无法及时处理数据时，会自动向上游发送暂停信号，停止读取；当下游准备好接收数据后，再恢复读取。你手动调用this.pause()和this.resume()会绕过这套自动逻辑，导致上游（文件读取流、解压流）持续读取/解压数据，最终把大量未处理的内容堆积在内存中。

• 异步transform的回调时机错误
  你使用async函数作为transform方法，但在await异步操作完成后立刻调用callback()，同时手动恢复流。这会让上游误以为当前chunk已处理完毕，立即发送下一个chunk，完全忽略下游的处理速度，进一步加剧内存占用。实际上，async版本的transform方法不需要手动调用callback——Node.js会自动等待async函数执行完成（即await结束），再处理下一个chunk。

修正后的代码 #

方式1：使用async函数（推荐） #

移除手动的暂停/恢复操作，依赖流的原生背压机制：

const slowStuff = new Transform({
  async transform(chunk, encoding) {
    await new Promise(resolve => setTimeout(resolve, 100000));
    this.push(chunk);
  },
});

const readableStream = fs.createReadStream('file.gz');
const guzipStream = zlib.createGunzip();

readableStream.pipe(guzipStream).pipe(slowStuff).pipe(moreStuff);

方式2：传统回调式transform #

如果更习惯回调写法，只需在异步操作完成后调用callback()即可，无需手动控制流的状态：

const slowStuff = new Transform({
  transform(chunk, encoding, callback) {
    setTimeout(() => {
      this.push(chunk);
      callback();
    }, 100000);
  },
});

const readableStream = fs.createReadStream('file.gz');
const guzipStream = zlib.createGunzip();

readableStream.pipe(guzipStream).pipe(slowStuff).pipe(moreStuff);

原理说明 #

修正后的代码利用Node.js流的原生背压逻辑：

1. 当slowStuff的push(chunk)返回false时，说明下游缓冲区已满，Node.js会自动暂停上游流的读取。
2. 当下游处理完缓冲区数据并触发drain事件时，Node.js会自动恢复上游的读取，继续发送下一个chunk。
3. 这套机制确保数据不会无限制堆积在内存中，始终维持在可处理的规模。

内容的提问来源于stack exchange，提问作者FaNaT