Node.js用fs.createWriteStream写大文件遇监听器泄漏问题求解

好问题！你遇到的这个警告本质是因为循环里的错误逻辑导致重复绑定了大量drain事件监听器——当fileWriteStream.write()返回false时，你的代码会给流新增一个once('drain')监听器，但同步循环不会停下来等待事件触发，下一次迭代又会继续绑定新的监听器，次数多了就超过了Node.js默认的监听器上限（10个）。

正确的流写入方式：处理背压且不重复绑定监听器 #

Node.js的流背压处理核心是：当write()返回false时，暂停写入，等待drain事件触发后再继续。下面提供两种常用的正确实现方式：

方式1：递归式写入（传统回调风格）

这种写法是Node.js文档推荐的标准流写入模式，通过递归调用确保每次只绑定一个drain监听器：

const fs = require('fs');
const path = require('path');

function writeLargeFile(filePath, totalLines, itr) { // 把itr作为参数传入，确保变量可用
  const fileWriteStream = fs.createWriteStream(path.resolve(filePath));
  let currentLine = 0;

  function writeBatch() {
    let canContinueWriting = true;
    do {
      const lineContent = `.testClass${itr}-${currentLine%2} { background: red }\n`;
      if (currentLine === totalLines - 1) {
        // 写入最后一行后结束流
        fileWriteStream.write(lineContent);
        fileWriteStream.end();
      } else {
        // 尝试写入，返回值表示是否可以继续写入
        canContinueWriting = fileWriteStream.write(lineContent);
      }
      currentLine++;
    } while (currentLine < totalLines && canContinueWriting);

    // 如果还没写完且不能继续写入，等待drain事件后再继续
    if (currentLine < totalLines && !canContinueWriting) {
      fileWriteStream.once('drain', writeBatch);
    }
  }

  // 启动写入流程
  writeBatch();
}

// 调用示例：写入100万行
writeLargeFile('./large-file.css', 1e6, 'some-itr-value');

方式2：Async/Await风格（更简洁）

通过把drain事件封装为Promise，用await暂停循环，让代码逻辑更接近同步写法：

const fs = require('fs');
const path = require('path');

async function writeLargeFile(filePath, totalLines, itr) {
  const fileWriteStream = fs.createWriteStream(path.resolve(filePath));
  
  // 封装drain事件为Promise
  const waitForDrain = () => new Promise(resolve => {
    fileWriteStream.once('drain', resolve);
  });

  for (let i = 0; i < totalLines; i++) {
    const lineContent = `.testClass${itr}-${i%2} { background: red }\n`;
    const canContinue = fileWriteStream.write(lineContent);
    
    // 如果不能继续写入，等待drain事件后再执行下一次循环
    if (!canContinue) {
      await waitForDrain();
    }
  }
  
  // 所有内容写入完成后结束流
  fileWriteStream.end();
}

// 调用示例，记得处理可能的错误
writeLargeFile('./large-file.css', 1e6, 'some-itr-value')
  .catch(err => console.error('写入失败:', err));

关键注意点 #

1. 避免重复绑定监听器：两种方式都确保在需要等待drain时只绑定一次监听器，不会像你的原代码那样在循环中反复新增监听器。
2. 处理流的结束：写完所有内容后一定要调用stream.end()，否则流会一直处于打开状态，导致程序无法退出。
3. 变量作用域：原代码中的itr变量需要确保在写入逻辑中可访问，上面的示例把它作为函数参数传入，避免未定义的问题。

内容的提问来源于stack exchange，提问作者Yafim Dziuko