Python中如何将虚拟文件存入字典后pickle序列化到磁盘

你提供的参考代码使用tempfile.SpooledTemporaryFile存在两处问题：一是临时文件对象退出上下文管理器后会自动销毁，二是临时文件对象本身不支持pickle序列化，无法存入字典后持久化到磁盘。
推荐使用io.BytesIO纯内存字节流实现需求，它本身支持pickle序列化，完全符合你的使用场景，代码示例如下：

import pickle
import io

out = {
    'var1': var1,
    'var2': var2
}

# 创建内存虚拟文件
virtual_file = io.BytesIO()
# 将G的内容写入虚拟文件
G.save(virtual_file)
# 重置文件指针到开头，保证后续读取能拿到完整内容
virtual_file.seek(0)
# 将虚拟文件存入字典
out['G'] = virtual_file

# 序列化整个字典到磁盘
with open("full_data.pkl", "wb") as f:
    pickle.dump(out, f)

反序列化读取使用的示例如下：

with open("full_data.pkl", "rb") as f:
    loaded_data = pickle.load(f)

# 直接使用读取到的虚拟文件恢复G对象
# G = YourGClass.load(loaded_data['G'])

替代兼容方案 #

如果担心不同Python版本下文件对象序列化的兼容性问题，可以直接提取虚拟文件的字节内容存入字典，更轻量稳定：

import pickle
import io

out = {
    'var1': var1,
    'var2': var2
}

virtual_file = io.BytesIO()
G.save(virtual_file)
# 直接提取字节内容存入字典
out['G_content'] = virtual_file.getvalue()

# 序列化到磁盘
with open("full_data.pkl", "wb") as f:
    pickle.dump(out, f)

# 反序列化后使用
with open("full_data.pkl", "rb") as f:
    loaded_data = pickle.load(f)
# 使用时再转为字节流即可
loaded_g_file = io.BytesIO(loaded_data['G_content'])
# G = YourGClass.load(loaded_g_file)

内容的提问来源于stack exchange，提问作者Suuuehgi