Node.js使用.pipe()合并多文件时覆盖问题求助

核心问题是不要在循环内创建写入流——每次循环创建WriteStream时，默认的flags参数为'w'，会清空目标文件重新写入，这就是覆盖的根源。正确做法是只创建一次写入流，让所有读流依次或并行pipe到这个唯一的写入流。

串行实现（保持原代码的顺序执行逻辑） #

如果需要严格按文件列表顺序合并，用await等待每个pipe完成后再处理下一个文件：

async joinSlices(path) {
  // 仅初始化一次写入流，默认'w'模式首次创建文件后，后续写入自动追加
  const wrs = fs.createWriteStream('./bigJSON.json', { encoding: 'utf-8' });
  const files = fs.readdirSync(path);

  for (const file of files) {
    console.log(`${file} start`);
    await new Promise((resolve, reject) => {
      const rs = fs.createReadStream(`${path}${file}`, { encoding: 'utf-8' });
      // 关键：设置end:false，不让单个读流结束时关闭共享的写入流
      rs.pipe(wrs, { end: false });
      
      rs.on('end', () => {
        console.log(`${file} end`);
        resolve();
      });
      rs.on('error', reject);
    });
  }

  // 所有文件处理完毕后，手动关闭写入流
  wrs.end(() => {
    console.log('write stream end');
  });
}

并行实现（提升大量文件的处理速度） #

如果不需要严格的合并顺序，可以让所有读流同时pipe到写入流，最后统一等待所有任务完成：

async joinSlices(path) {
  const wrs = fs.createWriteStream('./bigJSON.json', { encoding: 'utf-8' });
  const files = fs.readdirSync(path);

  // 生成所有文件的处理Promise
  const tasks = files.map(file => {
    return new Promise((resolve, reject) => {
      console.log(`${file} start`);
      const rs = fs.createReadStream(`${path}${file}`, { encoding: 'utf-8' });
      rs.pipe(wrs, { end: false });
      
      rs.on('end', () => {
        console.log(`${file} end`);
        resolve();
      });
      rs.on('error', reject);
    });
  });

  // 等待所有文件处理完成
  await Promise.all(tasks);
  // 关闭写入流
  wrs.end(() => {
    console.log('write stream end');
  });
}

关键注意点 #

• 复用写入流：全程只初始化一次WriteStream，从根本避免循环创建导致的文件覆盖。
• pipe的end参数：设置{ end: false }，确保单个读流结束时不会关闭共享的写入流，必须手动调用wrs.end()完成最终写入。
• 错误处理：务必监听error事件，防止流出错导致Promise无法正常resolve/reject。

内容的提问来源于stack exchange，提问作者user25010368