Python捕获Memory Error求助：大体积pickle文件生成内存溢出

Hey there! Dealing with 9GB pickle files is no joke—memory bloat and slow writes are common pain points here. Let's walk through some actionable fixes I've used in similar data processing workflows:

1. 逐批次写入，避免内存过载 #

Instead of generating the entire massive tuple list in memory before dumping, write elements incrementally. This cuts peak memory usage from gigabytes down to just the size of a single batch. Here's how to adjust your f() function:

import pickle

def f(elt):
    # 把生成完整列表的逻辑改成逐个生成元素的生成器
    with open(f"result_{elt}.pkl", "ab") as out_file:
        # 使用最高协议版本获得更小的文件体积和更快的IO速度
        for item in generate_tuple_items(elt):
            pickle.dump(item, out_file, protocol=pickle.HIGHEST_PROTOCOL)

后续读取时，只需循环读取文件中的单个元素，不用把整个大文件加载到内存里。

2. 考虑更高效的序列化格式 #

Pickle虽然方便，但并非处理大数据集的最优选择。如果可以切换格式：

• MessagePack: 比Pickle更快，生成的文件更小，能无缝适配Python数据结构。
• Parquet: 适合结构统一的元组数据——列式存储节省空间，支持压缩，还能实现按需读取特定列。
• Feather: 专为Python和R之间的快速数据交换设计，序列化时内存开销极低。

3. 给Pickle文件添加压缩 #

如果必须保留Pickle格式，可以用压缩处理器包装文件对象。gzip在速度和压缩比之间平衡得很好；lzma压缩比更高但会占用更多CPU资源：

import gzip
import pickle

def f(elt):
    with gzip.open(f"result_{elt}.pkl.gz", "wb") as out_file:
        pickle.dump(generate_full_list(elt), out_file, protocol=pickle.HIGHEST_PROTOCOL)

根据数据类型不同，这种方式能把文件体积压缩50%-70%。

4. 优化内存中的数据结构 #

如果你的元组列表存在冗余或同类型数据，可以换成更省内存的结构：

• 对于纯数值类型的列表，用array.array替代普通列表——内存占用能减少4-8倍。
• 对于结构化元组，使用带__slots__的dataclasses，减少实例字典带来的内存开销。
• 确保f()函数中及时清理不再使用的变量（必要时用del），尽早释放内存。

5. 并行处理输入元素（如果可行） #

如果生成元组列表的过程是CPU密集型的，可以并行处理输入中的每个元组。注意让每个进程写入独立的文件，避免竞争问题：

from multiprocessing import Pool

def process_single_elt(elt):
    f(elt)

if __name__ == "__main__":
    input_data = [(a, b, c), (d, e, f, g)]
    with Pool() as pool:
        pool.map(process_single_elt, input_data)

这解决不了单个大文件的问题，但能显著提升整体工作流的速度。

内容的提问来源于stack exchange，提问作者Mathieu