可pickle化类需实现哪些魔法方法？Sketch类反序列化报错排查

为什么继承dict的Sketch反序列化会报错？ #

当继承dict时，pickle的反序列化逻辑和普通object子类不同：dict的默认pickle流程只会恢复键值对，不会自动调用__init__方法初始化实例属性。如果你的Sketch类依赖__init__设置background这类属性，反序列化时跳过这一步，自然会触发AttributeError。

而继承object的Sketch_has_dict类，pickle会走常规实例创建流程：先调用__new__生成空实例，再通过还原保存的属性完成初始化，所以不会出现属性缺失问题。

反序列化时__new__的调用时机与参数 #

pickle反序列化时，__new__是第一个被调用的方法，用于创建空实例：

• 第一个固定参数是类本身，和正常实例化时一致
• 如果类定义了__getnewargs_ex__或__getnewargs__，__new__会接收这两个方法返回的额外参数；未定义则除类本身外无其他参数
• 注意：dict子类默认情况下，pickle不会传递参数给__new__，除非自定义了pickle相关方法

可pickle化类需实现的魔法方法 #

普通类大多不需要额外实现方法，但遇到dict子类这类特殊场景时，可通过以下方法自定义序列化/反序列化逻辑：

• __getstate__: 返回要序列化的状态字典，替代默认的实例__dict__
• __setstate__: 接收序列化后的状态字典，用于恢复实例属性
• __getnewargs_ex__/__getnewargs__: 定义传递给__new__的参数，控制实例创建过程
• __reduce__: 底层自定义方法，返回包含创建函数、参数、状态的元组，完全接管pickle逻辑

pickle.loads的反序列化步骤 #

1. 解析序列化字节流，获取目标类/对象的元信息
2. 调用类的__new__方法创建空实例（dict子类会直接生成空dict实例，不触发__init__）
3. 如果类定义了__setstate__，调用该方法并传入保存的状态字典；未定义则直接将状态属性赋值给实例__dict__（但dict子类的实例属性和键值对是分离的，默认逻辑不会处理实例属性）
4. 对容器类（如dict），将保存的键值对填充到实例中

正确重构Sketch类的方案 #

方案1：自定义__getstate__和__setstate__ #

import pickle

class Sketch(dict):
    def __init__(self, background="white", **kwargs):
        super().__init__(**kwargs)
        self.background = background

    def __getstate__(self):
        # 合并dict键值对和实例属性，作为序列化状态
        state = self.copy()
        state.update(self.__dict__)
        return state

    def __setstate__(self, state):
        # 先恢复dict的键值对
        self.update(state)
        # 再恢复实例属性（过滤掉dict已有的键）
        for key, value in state.items():
            if key not in self:
                setattr(self, key, value)

# 测试
s = Sketch(background="black", width=100, height=200)
pickled = pickle.dumps(s)
unpickled = pickle.loads(pickled)
print(unpickled.background)  # 输出 black
print(unpickled["width"])    # 输出 100

方案2：使用__reduce__自定义反序列化逻辑 #

import pickle

class Sketch(dict):
    def __init__(self, background="white", **kwargs):
        super().__init__(**kwargs)
        self.background = background

    def __reduce__(self):
        # 返回元组：(创建实例的函数, 传给__init__的参数, dict的键值对状态)
        return (Sketch, (self.background,), self.copy())

    def __setstate__(self, state):
        self.update(state)

# 测试
s = Sketch(background="blue", length=50)
pickled = pickle.dumps(s)
unpickled = pickle.loads(pickled)
print(unpickled.background)  # 输出 blue
print(unpickled["length"])   # 输出 50

方案3：组合而非继承（推荐） #

如果不需要严格的dict子类行为，用组合dict的方式可以避免容器类的特殊pickle逻辑，代码更简洁：

import pickle

class Sketch:
    def __init__(self, background="white", **kwargs):
        self.data = dict(**kwargs)
        self.background = background

    # 可选：实现dict的访问方法，模拟dict行为
    def __getitem__(self, key):
        return self.data[key]

    def __setitem__(self, key, value):
        self.data[key] = value

# 测试
s = Sketch(background="gray", size=300)
pickled = pickle.dumps(s)
unpickled = pickle.loads(pickled)
print(unpickled.background)  # 输出 gray
print(unpickled["size"])     # 输出 300

内容的提问来源于stack exchange，提问作者Vladimir Zolotykh