Node.js中使用XLSX(sheetjs)包读取大文件的内存优化方案咨询

兄弟，我太懂你这种大Excel文件把内存干爆的痛苦了！420MB的文件直接飙到5GB内存，确实有点夸张，咱们一步步来把内存压下去：

1. 别再一次性把整个文件塞进内存了！改用流式读取 #

你现在用fs.readFileSync直接把420MB的文件全读进内存，这一步就已经占了不少空间，还没开始解析呢。换成Node.js的流式读取API，配合SheetJS的流式解析能力，让数据“流”着走，读一点解析一点，不用全存在内存里。

2. 只解析你真正需要的内容，砍掉冗余解析 #

你已经开了dense: true（这个选项能把单元格数据存成更紧凑的数组格式，非常好），除此之外还能加几个配置项，把不需要的解析全关掉：

• sheets: [0]：明确指定只解析第一个工作表，直接跳过其他所有sheet的解析，这能省一大笔内存
• cellStyles: false：如果你不需要单元格的样式（比如字体、颜色这些），直接关掉，样式数据占的空间远超你想象
• cellHTML: false：不需要HTML格式的单元格内容就关掉
• raw: true：如果业务不需要格式化后的数据（比如日期转成字符串），直接用原始值，能减少数据转换的内存开销

3. 别把所有数据都存内存里，逐行处理即时释放 #

你现在的嵌套循环等于把整个工作表的数据又复制了一遍存起来，内存不涨才怪。改成逐行处理的模式，解析出一行就处理一行，处理完就把这行的数据丢掉，让Node.js的GC（垃圾回收）及时回收内存，别让数据在内存里堆着。

给你个优化后的代码参考 #

const fs = require('fs');
const XLSX = require('xlsx');

// 用流式读取文件，配合SheetJS的流式解析
const fileStream = fs.createReadStream(fileLocation);
const rowStream = XLSX.stream.to_json(fileStream, {
  dense: true,
  sheets: [0], // 只处理第一个sheet
  cellStyles: false,
  cellHTML: false,
  raw: true
});

// 逐行处理数据，处理完就释放
rowStream.on('data', (rowData) => {
  // 这里写你的业务逻辑，比如处理当前行的数据
  handleRowData(rowData);
});

rowStream.on('end', () => {
  console.log('所有数据处理完成！');
});

rowStream.on('error', (err) => {
  console.error('解析出错了:', err);
});

4. 循环逻辑再优化一下 #

如果实在需要遍历整个工作表的单元格，那尽量别在循环里创建新的大对象或者数组。比如不要把所有单元格数据都push到一个全局数组里，而是处理完一个单元格/一行就把临时变量重置，让GC能及时回收没用的内存。

按这些方法优化完，内存占用应该能降到1GB以内，甚至更低——毕竟咱们不再把整个文件、整个工作表都存内存里了，而是用多少取多少。

备注：内容来源于stack exchange，提问作者sevila