Node.js导出超百万行数据至Excel时堆内存溢出问题求助

你当前流写法的误区 #

1. 重复调用file.xlsx.write(writeableStream)：这个方法是用来启动整个工作簿的流式写入流程的，只需要调用一次，循环里每次加一行就调用会导致重复写入工作簿结构，既浪费内存又会生成损坏的文件。
2. 错误使用commit()：commit()需要配合工作表的流式配置使用，而且应该在批量添加行后调用，而非每加一行就调用，频繁调用反而会增加IO开销。
3. 过早结束流：writeableStream.end()在所有数据还没写入就执行，会导致写入中断，同时Excel的流式写入流程还没完成就被强制结束。

正确的实现方案 #

核心思路是开启工作表的流式模式，让数据分批写入流，避免一次性加载所有数据到内存。具体步骤如下：

1. 创建工作表时启用流式配置
2. 分批处理每个工作表的数据，每添加一批行就调用commit()释放内存
3. 正确触发并等待流式写入完成

示例代码 #

const writeableStream = fs.createWriteStream(os.tmpdir() + "/eBayUSItemAspects.xlsx");

return new Promise(async (resolve, reject) => {
    try {
        const file = new Excel.Workbook();
        // 创建工作表时开启流式模式
        const sheetNames = ["Business & Industrial", "Consumer Electronics", "Home & Garden", "Sporting Goods", "Toys & Hobbies"];
        sheetNames.forEach(name => file.addWorksheet(name, { stream: true }));

        // 分批处理数据，每批1000行可根据内存情况调整
        const batchSize = 1000;

        for (const aspectArray of sheetData) {
            const workSheet = file.getWorksheet(aspectArray.sheetIdentifier);
            // 先写入表头
            await workSheet.addRow(["CategoryID", "Parent Category", "Leaf of the Parent Category", "Category Name", "Aspect Constraint", "Aspect Value", "Aspect Cardinality", "Aspect Mode", "Required?"]).commit();
            
            // 分批处理数据
            const data = aspectArray.data;
            for (let i = 0; i < data.length; i += batchSize) {
                const batch = data.slice(i, i + batchSize);
                await workSheet.addRows(batch).commit();
                // 手动触发GC（可选，需用--expose-gc参数启动Node进程）
                if (global.gc) global.gc();
            }
        }

        // 启动流式写入，write方法会自动处理流的结束逻辑
        await file.xlsx.write(writeableStream);
        
        // 监听流完成事件
        writeableStream.on('finish', () => {
            delayFunctionCall(3000).then(() => {
                email.emailWorkBook();
            });
            resolve("The workbook is being emailed");
        });

        writeableStream.on('error', (err) => {
            reject(err);
        });
    } catch (err) {
        reject(err);
    }
});

额外优化建议 #

• 调整批次大小：根据你的服务器内存配置，batchSize可以在500-2000之间调整，找到内存占用和写入速度的平衡点。
• 启用手动GC：如果你的Node.js进程是用--expose-gc参数启动的，可以在每批commit后调用global.gc()主动释放内存，进一步降低内存占用。
• 简化异步逻辑：避免原代码中await ... .then()的嵌套写法，统一用await处理异步操作，提升代码可读性和稳定性。

内容的提问来源于stack exchange，提问作者RankinJ