如何在Node.js中高效加载大型CSV文件？

你的问题核心在于一次性将整个大文件加载到内存中处理：fs.readFile会把整个CSV文件读进Buffer，随后csv.parse又把整个Buffer转换成完整的数组，这对于250MB+的文件来说，直接超过了Node.js默认的JavaScript堆内存限制（默认约1.4GB左右），同时一次性解析也会导致处理时间极长。

而Python的pandas之所以快，是因为它内部用了流式/分块读取的机制，不会一次性加载全量数据到内存。在Node.js里我们也可以用同样的思路——流式处理来解决这个问题。

正确的实现方式：使用流式读取+流式解析 #

我们可以用Node.js的fs.createReadStream（流式读取文件）配合csv-parser（专门做流式CSV解析的库）来处理，这样文件会被分成小块逐行读取和解析，内存占用极低，速度也会大幅提升。

步骤1：安装依赖 #

首先安装csv-parser库：

npm install csv-parser

步骤2：流式处理代码示例 #

const fs = require('fs');
const csv = require('csv-parser');

const results = [];

fs.createReadStream('path/to/my/file.csv')
  .pipe(csv()) // 流式解析CSV
  .on('data', (data) => results.push(data)) // 逐行收集数据（如果需要全量数据）
  .on('end', () => {
    console.log('CSV加载完成！');
    // 这里可以处理results数组
    console.log(`共加载${results.length}行数据`);
  })
  .on('error', (err) => {
    console.error('处理过程中出错：', err);
  });

为什么这个方案更好？ #

• 内存友好：不会一次性把整个大文件加载到内存，而是每次只处理一小部分数据，内存占用可以控制在几十MB以内。
• 速度更快：边读取边解析，不需要等待整个文件读完才开始处理，处理时间会和pandas接近。
• 容错性高：如果文件读取过程中出现错误，可以及时捕获，不会因为内存溢出直接崩溃。

进一步优化：不需要全量数据时直接处理 #

如果你不需要把所有数据都存在数组里（比如只需要统计某些字段、或者写入数据库），可以直接在data事件里处理每一行数据，完全不用收集到数组，进一步降低内存占用：

fs.createReadStream('path/to/my/file.csv')
  .pipe(csv())
  .on('data', (row) => {
    // 直接处理当前行，比如写入数据库、统计数据等
    console.log('处理行数据：', row);
  })
  .on('end', () => {
    console.log('所有数据处理完成！');
  });

补充说明 #

如果你坚持使用原来的csv模块（而不是csv-parser），该模块也支持流式API，用法类似：

const fs = require('fs');
const { parse } = require('csv');

const parser = parse({ columns: true });
const stream = fs.createReadStream('path/to/my/file.csv').pipe(parser);

stream.on('data', (data) => {
  // 处理每一行数据
});
stream.on('end', () => {
  console.log('解析完成');
});

内容的提问来源于stack exchange，提问作者François MENTEC