如何优化十万级数据量的XLSX文件生成性能？

一、Node.js端生成逻辑核心优化 #

1. 替换高效的XLSX生成库 #

如果当前用逐行添加的方式生成文件，立刻换成支持流式写入的库，比如exceljs——它不需要把14万行数据全加载到内存，能大幅降低GC频率：

const ExcelJS = require('exceljs');
const workbook = new ExcelJS.Workbook();
const worksheet = workbook.addWorksheet('Data');

// 先定义表头
worksheet.columns = [
  { header: '字段1', key: 'field1' },
  { header: '字段2', key: 'field2' }
];

// 流式批量写入（支持异步迭代数据源）
async function generateExcel(dataSource) {
  for await (const rowBatch of dataSource) {
    worksheet.addRows(rowBatch); // 批量添加行，比逐行快数倍
  }
  await workbook.xlsx.writeFile('output.xlsx');
}

如果必须用SheetJS，放弃逐行sheet_add_row，改用XLSX.utils.sheet_add_json一次性批量注入数据，减少库内部的重复计算。

2. 避免内存过载 #

• 把14万行数据拆成1000-10000行的批次处理，每处理完一批就释放对应内存；
• 前端如果是一次性传全量数据，Node.js端不要把所有数据存在数组里，直接边接收边写入Excel；
• 清理无用变量：处理完的原始数据、中间变量及时赋值为null，触发垃圾回收。

二、数据传输环节优化 #

1. 启用Gzip压缩传输 #

前端发送数据前用Gzip压缩，Node.js端启用解压中间件，能把传输体积压缩到原来的1/5-1/10，大幅减少网络耗时：

// Node.js端（Express示例）
const compression = require('compression');
app.use(compression());

前端请求头设置Content-Encoding: gzip，并通过pako等工具压缩JSON数据后发送。

2. 改用流式分块传输 #

前端不要一次性发14万行数据，改成分批次（比如每1万行一次）发送，Node.js端边接收边写入Excel，不用等全量数据到齐再处理，能缩短整体耗时。

三、Django后端预处理优化 #

1. 批量读取与处理Excel #

用pandas的read_excel指定chunksize参数批量读取源Excel，避免一次性加载全量数据到内存：

import pandas as pd

# 按1万行一批读取
for chunk in pd.read_excel('source.xlsx', chunksize=10000):
    # 批量处理chunk数据，比如用pandas向量运算代替逐行循环
    processed_chunk = chunk.apply(your_process_func, axis=1)

尽量用pandas的内置方法处理数据，比原生Python循环快10-100倍。

2. 移除冗余处理步骤 #

检查Django端是否有重复的数据转换、格式校验逻辑，比如多次解析同一字段、不必要的字符串拼接，合并或删除这些冗余步骤。

四、服务器与运行环境优化 #

1. 调整Node.js内存限制 #

默认Node.js内存上限较低，启动时增加内存分配：

node --max-old-space-size=4096 your_excel_script.js

根据服务器配置调整数值（比如8G内存可以设为6144），避免因内存不足触发频繁GC。

2. 利用多进程/线程 #

Node.js单线程无法利用多核CPU，用cluster模块开启多进程，把14万行数据拆分成多份，每个进程处理一部分生成独立sheet，最后合并成一个Excel文件；或者用worker_threads把数据计算逻辑放到子线程，主线程专注写入文件。

五、代码细节优化 #

• 避免在循环内做IO操作（比如数据库查询、文件读写），改成批量查询/写入；
• 检查是否有嵌套循环（O(n²)复杂度），重构为线性遍历（O(n)）；
• 用原生JS数组方法（比如forEach、map）代替第三方库的遍历工具，减少额外开销。

内容的提问来源于stack exchange，提问作者oNysten