使用NodeJS XLSX库无法从大XLSX文件获取正确工作表及数据

我之前在Lambda里处理过百万级行的XLSX文件，碰到过类似的坑，给你几个针对性的排查方向和解决方案：

1. 检查XLSX解析库的配置（以xlsx库为例） #

默认情况下，xlsx库的部分配置可能导致大文件解析不完整或者漏读数据。确保你用了正确的解析参数：

const XLSX = require('xlsx');
// 解析时禁用不必要的功能，减少内存占用
const workbook = XLSX.read(buffer, {
  cellFormula: false, // 不解析公式，节省内存
  cellHTML: false,    // 不解析HTML内容
  sheetRows: 0,       // 0表示读取全部行（明确设置避免默认行为歧义）
  type: 'buffer'      // 明确指定输入类型为Buffer
});

另外，转JSON时可以先强制按数组格式读取，排除表头识别问题：

// 用header:1强制返回二维数组，跳过表头自动识别逻辑
const rawData = XLSX.utils.sheet_to_json(workbook.Sheets['main'], { header: 1 });
console.log(rawData.length); // 看看这里是否有数据

如果这样能读到数据，说明是表头识别的问题——比如工作表第一行是空行，或者表头格式不符合默认规则，这时候可以调整header参数或者手动指定表头。

2. 调高Lambda的内存和超时配置 #

80万行的XLSX文件解析非常吃内存，Lambda默认的128MB内存肯定不够，很可能导致解析过程中内存溢出，最终返回空数据。建议：

• 把Lambda内存调到1GB以上（我处理百万行时用了2GB才稳定）
• 超时时间设置为5分钟（Lambda允许的最大值），确保有足够时间完成解析和入库

3. 验证S3获取的Buffer是否完整 #

有时候从S3下载文件时可能出现截断，导致Buffer不完整，解析自然失败。可以在代码里加个校验：

// 以AWS SDK v3为例
const { GetObjectCommand, S3Client } = require('@aws-sdk/client-s3');
const client = new S3Client({ region: 'your-region' });

const command = new GetObjectCommand({ Bucket: 'your-bucket', Key: 'your-file.xlsx' });
const response = await client.send(command);
// 读取Buffer并校验长度
const buffer = await response.Body.transformToByteArray();
console.log(`下载的Buffer长度: ${buffer.length}`);
console.log(`文件实际大小: ${response.ContentLength}`);
if (buffer.length !== response.ContentLength) {
  throw new Error('S3文件下载不完整，请检查网络或S3配置');
}

如果长度不一致，说明文件下载有问题，可能需要重试或者检查S3的传输配置。

4. 改用流式解析处理大文件 #

一次性把整个XLSX加载到内存对Lambda来说压力太大，建议用流式解析来逐行处理，避免内存溢出。比如用xlsx的流式API：

const XLSX = require('xlsx');

// 直接用S3返回的流，不用转成Buffer
const stream = response.Body;
const workbook = XLSX.read(stream, { type: 'stream' });

// 流式读取工作表数据
const worksheet = workbook.Sheets['main'];
const streamReader = XLSX.stream.to_json(worksheet, { header: 1 });

// 逐行处理数据（比如存入数据库）
streamReader.on('data', (row) => {
  // 这里写你的入库逻辑
});

streamReader.on('end', () => {
  console.log('所有数据处理完成');
});

streamReader.on('error', (err) => {
  console.error('流式解析出错:', err);
});

这种方式不需要把整个文件加载到内存，更适合Lambda的资源限制环境。

5. 检查工作表名称的大小写和拼写 #

虽然你看到workbook.Sheets包含['main', 'sales', 'Sheet1']，但要注意XLSX文件的工作表名称可能有大小写差异（比如实际是'Main'而不是'main'），或者隐藏的空格、特殊字符。可以打印所有工作表的名称确认：

console.log('所有工作表名称:', Object.keys(workbook.Sheets));

确保你转JSON时用的是完全匹配的名称。

内容的提问来源于stack exchange，提问作者Leo Ribeiro