使用pyexcelerate生成大Excel触发ZIP64超限错误的解决咨询

• 需求：生成含大量数据且带样式的Excel文件，因速度优势选用pyexcelerate，无法转为CSV格式
• 异常：触发ZIP64文件大小限制错误（提示2GB上限），但最终导出的xlsx实际仅约125MB；进一步排查发现内存中生成的未压缩XML流总大小超3GB
• 尝试过的方案：用BytesIO存储无效；改用openpyxl后速度极慢且中途出现序列化错误

pyexcelerate生成xlsx的逻辑是先在内存中生成完整的未压缩XML数据，再整体压缩打包为xlsx文件。XML本身冗余度极高，压缩率可达10:1甚至更高，因此内存中3GB的未压缩XML，压缩后仅125MB属于正常情况。而ZIP64的2GB限制针对的是压缩前的单条数据流（即内存里的XML），所以哪怕最终文件体积小，只要内存中未压缩数据突破2GB就会触发错误。

1. 优化pyexcelerate内存占用 #

• 复用样式对象：如果大量单元格使用相同样式，不要逐个创建Style实例，统一定义一个Style对象后批量应用，减少重复的XML节点生成
• 分块加载写入数据：如果数据来自数据库或外部文件，分批次读取并写入工作表，而非一次性将所有数据加载到内存
• 关闭不必要功能：禁用不需要的格式校验、自动计算等附加逻辑，降低额外内存开销

2. 分工作表生成后合并 #

• 将大拆分为多个小数据集，用pyexcelerate分别生成独立的xlsx文件，再通过openpyxl只读模式读取这些小文件，合并到同一个工作簿中
• 注意：合并时全程使用只读模式读取小文件，避免额外内存占用

3. 替换为流式写入的高性能库 #

推荐使用XlsxWriter，它支持样式设置，且采用流式写入（逐行/逐块写入磁盘），内存占用极低，不会出现未压缩XML超标的问题，适合大数据场景。示例代码：

import xlsxwriter

# 开启constant_memory模式，实现流式写入
workbook = xlsxwriter.Workbook('large_data.xlsx', {'constant_memory': True})
worksheet = workbook.add_worksheet()

# 定义复用样式
header_style = workbook.add_format({'bold': True, 'bg_color': '#CCCCCC'})

# 模拟大数据写入
for row_idx in range(1000000):
    if row_idx == 0:
        # 写入表头
        for col_idx in range(20):
            worksheet.write(row_idx, col_idx, f'Column {col_idx+1}', header_style)
    else:
        # 写入数据行
        for col_idx in range(20):
            worksheet.write(row_idx, col_idx, f'Data {row_idx}-{col_idx}')

workbook.close()

4. 修改pyexcelerate压缩逻辑（进阶） #

如果必须使用pyexcelerate，可以修改其源码，将内存中的XML流分块压缩后写入ZIP包，而非一次性生成完整XML再压缩。此方法需要熟悉pyexcelerate的ZIP打包逻辑，适合有自定义开发能力的用户。

报错示例：
zipfile.LargeZipFile: Filesize would require ZIP64 extensions

相关代码片段：

from pyexcelerate import Workbook, Style, Font

wb = Workbook()
ws = wb.new_sheet("Sheet1")

# 定义样式
cell_style = Style(font=Font(bold=True))

# 模拟大量数据写入
for row in range(1000000):
    for col in range(20):
        ws[row][col] = (f"Cell {row}-{col}", cell_style)

wb.save("large_file.xlsx")  # 触发ZIP64错误

内容的提问来源于stack exchange，提问作者Johnson Francis