优化Node.js处理大文件行数据的运行速度问题求助

原代码的核心问题 #

• 异步逻辑错误：all.forEach和fs.writeFile在文件读取开始后立刻执行，此时all数组还没被填充（readline是异步读取），最终写入的内容大概率是空的。小文件看似正常只是因为读取速度快，刚好在写入前完成了数据填充，属于偶发情况。
• 内存浪费严重：把所有行存进all数组，再拼接成超大字符串out，15MB的文件会在内存中占用远超15MB的空间，触发频繁的垃圾回收，拖慢运行速度。
• 字符串拼接效率低：每次out += ...都会创建新的字符串对象，大量小字符串拼接会产生无数临时对象，严重影响性能。

优化方案 #

1. 用流式读写替代一次性加载 #

直接创建输出流，边读边写，不用把整个文件内容存进内存，这是处理大文件最有效的方式。

2. 修正异步逻辑 #

必须监听readline的close事件，确保所有内容读取完成后再关闭输出流，避免资源泄漏。

修正后的代码 #

const fs = require("fs");

const input = "D:\\Downloads\\example.txt";
const output = input + ".final.txt";

// 创建输入流和输出流
const lineReader = require("readline").createInterface({
  input: fs.createReadStream(input),
});
const writeStream = fs.createWriteStream(output);

// 读取一行就写入一行
lineReader.on("line", (radek) => {
  // 若需处理行数据，直接在这里修改后写入
  writeStream.write(`${radek}\n`);
});

// 读取完成后关闭输出流
lineReader.on("close", () => {
  writeStream.end(() => {
    console.log("处理完成");
  });
});

// 监听错误事件
writeStream.on("error", (err) => {
  console.error("写入错误:", err);
});
lineReader.on("error", (err) => {
  console.error("读取错误:", err);
});

额外优化（如果需要处理每行数据） #

如果要对每行做处理，直接在line事件里操作后写入即可，比如：

lineReader.on("line", (radek) => {
  // 示例：将每行转为大写
  const processedLine = radek.toUpperCase();
  writeStream.write(`${processedLine}\n`);
});

优化效果说明 #

• 内存占用极低：仅保留当前处理的行，内存占用稳定在几KB，不会因为文件变大而激增。
• 性能大幅提升：避免了超大字符串拼接的开销，流式操作利用Node.js的背压机制自动平衡读写速度，充分利用CPU资源。
• 逻辑可靠：确保所有数据读取完成后再结束写入，不会出现内容丢失的情况。

内容的提问来源于stack exchange，提问作者Jaros