如何在Node.js中异步逐行读取并处理大文本文件？

你的脚本完全实现了逐行处理、低内存占用的需求，并非批量读取整个文件到内存，具体说明如下：

核心逻辑说明 #

• input.readLines()返回的是异步迭代器，它不会一次性把400万行的大文件全部加载到内存，而是在循环迭代过程中，每次仅读取一小段文件缓冲、解析出一行内容后就立即交付给循环处理，内存中只会留存当前正在处理的单行数据，内存占用极低。
• 循环内的await out.write(...)会在当前行处理完成后立即写入输出文件，实现了「读一行→处理一行→写一行」的准并行逻辑，完全符合你想要的“每行可用就立即处理写入”的要求。

脚本优化建议 #

1. 补充模块引入：当前脚本未引入path模块，会导致path.join调用报错，需在开头添加：

   const path = require('node:path')
   

2. 增加错误处理：为避免文件读写过程中出现异常导致脚本崩溃，建议给convertFile函数添加异常捕获：

   async function convertFile(filename) {
     let input, out;
     try {
       input = await open(path.join(srcDir, filename))
       out = await open(path.join(outDir, filename), 'w')
       for await (let line of input.readLines()) {
         await out.write( line.replace(/;/g, ',')+'\n' )
       }
     } catch (err) {
       console.error(`处理文件${filename}出错:`, err)
     } finally {
       if (input) await input.close();
       if (out) await out.close();
     }
   }
   

3. 可选：批量写入提升效率：如果想在保持低内存的前提下提升写入速度，可以攒若干行后批量写入（比如每1000行写一次），减少IO调用次数：

   async function convertFile(filename) {
     let input, out;
     const batchSize = 1000;
     let batch = [];
     try {
       input = await open(path.join(srcDir, filename))
       out = await open(path.join(outDir, filename), 'w')
       for await (let line of input.readLines()) {
         batch.push(line.replace(/;/g, ',')+'\n');
         if (batch.length >= batchSize) {
           await out.write(batch.join(''));
           batch = [];
         }
       }
       // 写入剩余的行
       if (batch.length > 0) {
         await out.write(batch.join(''));
       }
     } catch (err) {
       console.error(`处理文件${filename}出错:`, err)
     } finally {
       if (input) await input.close();
       if (out) await out.close();
     }
   }
   

内容的提问来源于stack exchange，提问作者Jindrich Vavruska