如何使用pickle序列化包含字典、列表属性的自定义KB类对象？

你定义了如下KB类：

class KB(object):
    def __init__(self):
        self.patterns = defaultdict(list)
        self.features = []
        self.meta_info = {}
        self._initialize()

该类初始化时需要读取大量JSON文件，将内容分别填充到patterns、features、meta_info三个属性中。由于待读取的JSON文件数量极多，初始化过程耗时很长，你希望通过pickle序列化KB对象减少重复初始化的耗时。目前你想到的方案是单独序列化上述三个属性，后续初始化时再反序列化赋值给实例，想确认是否可以直接序列化整个KB对象，无需单独处理三个属性。

完全可以直接序列化整个KB实例，不需要单独拆分三个属性处理。pickle原生支持普通自定义类实例的序列化，你用到的defaultdict、list、dict都是可直接序列化的内置类型，没有兼容性问题。

基础用法 #

首次运行程序时，走正常的慢逻辑初始化KB实例，之后直接把整个实例序列化到本地缓存文件即可：

import pickle
from collections import defaultdict

class KB(object):
    def __init__(self):
        self.patterns = defaultdict(list)
        self.features = []
        self.meta_info = {}
        self._initialize()

    def _initialize(self):
        # 这里放你原来读取大量JSON文件、填充属性的逻辑
        pass

if __name__ == "__main__":
    # 首次执行：走完整读文件逻辑，仅需跑一次
    kb = KB()
    # 把整个实例序列化存到本地
    with open("kb_cache.pkl", "wb") as f:
        pickle.dump(kb, f)

后续需要使用KB实例时，直接从缓存文件反序列化即可，不需要再执行__init__里读JSON的慢逻辑——pickle反序列化自定义类实例时，不会重新调用类的__init__方法，会直接还原之前存好的所有实例属性，加载速度和读普通二进制文件一致：

# 后续使用直接加载缓存
with open("kb_cache.pkl", "rb") as f:
    kb = pickle.load(f)

# 加载完成的实例和之前初始化得到的完全一致，可直接使用所有属性
print(kb.patterns, kb.features, kb.meta_info)

封装自动缓存逻辑 #

如果想省掉手动判断缓存、序列化/反序列化的步骤，可以把缓存逻辑封装到类方法里，调用时自动判断是否存在缓存：

import os
import pickle
from collections import defaultdict

class KB(object):
    def __init__(self):
        self.patterns = defaultdict(list)
        self.features = []
        self.meta_info = {}
        self._initialize()

    def _initialize(self):
        # 原有读JSON填充属性的慢逻辑
        pass

    @classmethod
    def get_instance(cls, cache_path="kb_cache.pkl"):
        # 存在缓存直接加载
        if os.path.exists(cache_path):
            with open(cache_path, "rb") as f:
                return pickle.load(f)
        # 不存在缓存则正常初始化，同时生成缓存
        instance = cls()
        with open(cache_path, "wb") as f:
            pickle.dump(instance, f)
        return instance

后续使用时直接调用kb = KB.get_instance()即可，第一次运行自动生成缓存，之后所有调用都走缓存，不需要改其他业务代码。

注意事项 #

• 你之前想到的单独序列化三个属性的方案也能正常运行，但没必要：直接序列化整个实例代码更简洁，后续给KB类新增属性时也不需要修改序列化逻辑，不容易漏存内容。
• pickle缓存和Python版本、KB类的结构定义绑定，如果修改了KB类的属性定义、或者切换了大版本Python，要先删除旧的缓存文件重新生成，否则会出现加载报错、属性缺失的问题。
• 不要加载来源不明的pkl文件，pickle反序列化过程存在执行任意代码的安全风险，仅加载自己本地生成的缓存文件没有问题。
• 如果_initialize方法中除了填充三个静态属性，还有每次启动都要执行的动态逻辑（比如建立数据库连接、生成临时运行时变量），不要把这部分逻辑放在_initialize里，要么拆分到单独的初始化方法中，反序列化后手动调用，要么标记这类属性为不序列化的内容，避免缓存了无效的动态状态。

内容的提问来源于stack exchange，提问作者marlon