使用Pickle序列化4GB级Python大对象触发内存错误的解决方案求助

报错成因 #

• pickle默认协议版本限制：Python 3.4之前的默认pickle协议（最高版本3）存在单序列化对象最大4GB的硬限制，即使物理内存足够，只要单个对象序列化后体积超过4GB就会直接触发MemoryError。
• pickle的内存拷贝机制：默认pickle序列化时会先在内存中生成完整的序列化字节流，再一次性写入磁盘。序列化4GB对象时，内存中需要同时承载原始对象、序列化中间结果、最终字节流三份近似等大的数据，峰值内存占用很容易超过预期触发报错。
• Hickle本质是基于pickle实现的HDF5封装，自然也会继承pickle的协议限制和内存问题；JSON无法序列化自定义类实例，属于正常报错。

解决方案 #

以下方案按改造成本、序列化速度综合排序：

方案1：升级pickle协议版本（改代码最少） #

直接指定使用pickle 4及以上版本协议即可解除4GB限制，同时高版本协议本身的序列化效率、压缩率都优于旧版本，仅需修改dump参数即可：

import pickle

# 序列化保存
with open("backup.pkl", "wb") as f:
    # HIGHEST_PROTOCOL在Python3.8+对应版本5，完全支持大对象
    pickle.dump(your_one_instance, f, protocol=pickle.HIGHEST_PROTOCOL)

# 加载
with open("backup.pkl", "rb") as f:
    your_one_instance = pickle.load(f)

如果仍存在内存占用过高问题，可开启分块缓冲写入：

# 设置100MB缓冲区，降低峰值内存占用
with open("backup.pkl", "wb", buffering=1024*1024*100) as f:
    pickle.dump(your_one_instance, f, protocol=pickle.HIGHEST_PROTOCOL)

方案2：定制结构序列化（速度最快、内存占用最低） #

你的数据结构非常规整，可跳过通用序列化的额外开销，直接打平存储，序列化速度比通用pickle快3-10倍，存储体积也更小：

import numpy as np

# 序列化
def save_one(instance, path):
    keys = list(instance.somedict.keys())
    # 按你的实际数值类型调整dtype，比如float32、int32等
    values = np.array([item.values for item in instance.somedict.values()], dtype=np.int64)
    np.savez_compressed(path, keys=keys, values=values)

# 反序列化
def load_one(path):
    data = np.load(path)
    keys = data["keys"]
    values = data["values"]
    instance = one()
    for k, v in zip(keys, values):
        item = two()
        item.values = v.tolist()
        instance.addItem(k, item)
    return instance

方案3：使用joblib序列化（适配大对象场景） #

joblib针对Python大数值对象做了专门优化，支持内存映射写入，不会出现pickle的内存翻倍问题：

import joblib

# 序列化，compress=0代表不压缩，速度最快
joblib.dump(your_one_instance, "backup.joblib", protocol=pickle.HIGHEST_PROTOCOL, compress=0)

# 加载
your_one_instance = joblib.load("backup.joblib")

内容的提问来源于stack exchange，提问作者user6916458