Python Pickle多进程场景下内存占用与数据完整性异常问询

嗨，我来帮你拆解这个问题的根源，以及给出能兼顾内存效率和数据完整性的解决方案：

问题根源分析 #

第一种实现内存飙高的原因 #

你在循环外创建Pickler并保持文件句柄打开时，Pickler内部会维护一个memo（对象引用缓存）——它的作用是记录所有已序列化过的对象，避免重复写入相同对象来提升效率。但副作用是，这些被缓存的对象会被Pickler持有引用，Python的垃圾回收（GC）无法回收它们，随着循环推进，内存会像滚雪球一样累积，最终导致内存不足崩溃。

第二种实现数据丢失/出错的原因 #

虽然每次循环打开/关闭文件能让Pickler和文件句柄及时销毁、释放内存，但在多进程环境下，这种方式容易触发文件写入不完整的问题：

1. 哪怕with块会自动关闭文件，操作系统的文件缓冲机制可能会延迟将数据从用户态缓冲区写入磁盘。如果进程在数据完全落盘前结束（或者主进程提前开始读取），就会出现部分数据丢失。
2. 随机出现的AttributeError本质是读取到了不完整的pickle数据——当文件中某个storage_obj的序列化数据被截断，反序列化时就会找不到对应的类属性或对象结构，抛出异常。

哪怕每个进程写独立的临时文件，频繁打开/关闭文件也可能触发操作系统的文件系统缓存竞争，导致部分写入操作被意外中断。

可行解决方案 #

最优方案：保留循环外的Pickler，清空memo释放内存 #

既然第一种实现的数据完整性有保障，我们只需要解决内存占用问题即可。核心操作是在每次序列化后清空Pickler的memo缓存，让GC可以回收不再需要的对象：

import os
import pickle

tmp_file_path = "toto.txt"
with open(tmp_file_path, 'ab') as f:
    p = pickle.Pickler(f, protocol=pickle.HIGHEST_PROTOCOL)
    for filepath in self.file_list:
        try:
            my_obj = process_file(filepath)
            storage_obj = StorageObj()
            storage_obj.add(os.path.basename(filepath), my_obj)
            p.dump(storage_obj)
            # 清空Pickler的memo缓存，释放已序列化对象的引用
            p.clear_memo()
            # 强制刷新缓冲区到磁盘，多进程环境下更安全
            f.flush()
            os.fsync(f.fileno())
            [...]

这个方案的优势：

• 保持单个文件句柄和Pickler的连续性，确保所有storage_obj的数据被完整追加写入，不会出现截断或丢失。
• clear_memo()让Pickler忘记之前序列化过的对象，GC可以回收my_obj和storage_obj，内存占用会和第二种实现一样低。
• flush()+fsync()强制将数据写入磁盘，避免多进程环境下的缓存延迟问题。
• 指定protocol=pickle.HIGHEST_PROTOCOL可以提升序列化效率和兼容性。

备选方案：改进第二种实现的文件写入可靠性 #

如果你坚持使用循环内打开文件的方式，需要确保每次写入的数据完全落盘：

import os
import pickle

tmp_file_path = "toto.txt"
for filepath in self.file_list:
    try:
        my_obj = process_file(filepath)
        storage_obj = StorageObj()
        storage_obj.add(os.path.basename(filepath), my_obj)
        with open(tmp_file_path, 'ab') as f:
            p = pickle.Pickler(f, protocol=pickle.HIGHEST_PROTOCOL)
            p.dump(storage_obj)
            # 强制刷新缓冲区到磁盘
            f.flush()
            os.fsync(f.fileno())
        [...]

不过这个方案不如第一种改进方案可靠——频繁的文件IO操作会影响性能，而且仍然存在极小概率的写入中断风险。

额外注意事项 #

1. 进程同步：在multiprocessing环境下，主进程要等待所有子进程执行完毕（用process.join()）后再开始读取临时文件，避免读取未完成的写入数据。
2. 对象可序列化性：确保StorageObj和my_obj的所有属性都是可安全pickle的——避免包含文件句柄、网络连接这类不可序列化的对象。

内容的提问来源于stack exchange，提问作者Dralnar