Python中如何将pickle文件存为对象或变量按需复用节省磁盘空间

Pickle的核心作用是实现Python对象和二进制字节流的互相转换，之前生成大量磁盘文件的本质是把序列化后的字节流写入了硬盘，完全可以把整个流转过程放在内存中完成，全程不产生磁盘文件，实现对象的随用随取。

方案1：基于内存字节流存储序列化结果 #

用Python标准库自带的io.BytesIO作为pickle的读写载体，它是内存中的二进制缓冲区，和本地文件对象接口完全兼容，可直接被pickle.dump/pickle.load调用，不会产生任何磁盘写入。

import pickle
from io import BytesIO

# 你需要存储的任意支持pickle序列化的Python对象（数据集、模型、自定义类实例均可）
target_obj = {"demo_key": "demo_val", "num_list": list(range(1000))}

# 序列化：将对象转成字节串存在变量中，替代原有的写.pkl文件逻辑
buf = BytesIO()
pickle.dump(target_obj, buf)
# 拿到序列化后的二进制内容，存在普通变量里即可长期在进程内留存
pickle_bytes = buf.getvalue()

# 复用：需要使用对象时，直接从内存字节反序列化，替代原有的读.pkl文件逻辑
read_buf = BytesIO(pickle_bytes)
restored_obj = pickle.load(read_buf)

• 适用场景：需要保留pickle序列化格式、可能跨进程/跨组件传递对象的场景
• 注意事项：内存存储的内容会随进程退出被清空，单对象大小不要超过进程可用内存上限

方案2：直接缓存原生Python对象 #

如果所有对象只在当前Python程序的运行周期内复用，完全可以跳过序列化/反序列化步骤，直接把生成好的对象存在内存缓存容器中，调用时直接读取即可，性能比内存pickle更高。

# 在上层作用域定义缓存字典，避免对象被垃圾回收
obj_cache = {}

def get_target_obj(unique_key: str):
    # 缓存命中直接返回，不重复生成对象
    if unique_key in obj_cache:
        return obj_cache[unique_key]
    # 缓存未命中时才执行对象生成逻辑
    generated_obj = {"key": unique_key, "data": "xxx"}
    obj_cache[unique_key] = generated_obj
    return generated_obj

• 适用场景：单进程内反复复用相同对象的场景，零序列化开销、零磁盘IO
• 注意事项：如果缓存对象太多要记得做过期淘汰，避免内存持续上涨

补充优化建议 #

如果业务要求必须留存部分对象做持久化备份，不要零散生成大量小体积pickle文件：可以批量序列化多个对象后，配合压缩算法（gzip、lz4等）打包成单个压缩文件，相比零散小文件通常能节省60%~90%的磁盘空间，也能减少文件系统的元数据开销。

重要提示：内存存储仅适合程序运行期的临时复用，需要长期留存的关键数据请务必按需落盘备份，避免进程异常退出导致数据丢失。

内容的提问来源于stack exchange，提问作者Kumar Reddy