如何实现Pickle自定义类对象的无依赖反序列化？含替代方案问询

问题背景 #

你用Pickle序列化自定义类A的对象后，在没有类A定义的环境执行反序列化时遇到了AttributeError: Can't get attribute 'A' on <module '__main__' (built-in)>错误，想要知道能不能把类定义嵌入Pickle文件，或者有什么其他序列化方案可选。

关于把类定义嵌入Pickle的方案 #

Pickle本身不会自动将类定义存入序列化文件，但你可以手动实现这个逻辑：

• 序列化时，把类的源码（比如用inspect.getsource(A)获取）和对象的Pickle数据一起写入文件。
• 反序列化时，先读取类源码并执行，再加载Pickle对象。

示例代码：

import pickle
import inspect

class A(object):
    def __init__(self, foo):
        self.foo = foo

a = A('abc')

# 序列化：存储类源码+对象数据
with open('test_with_class.pickle', 'wb') as handle:
    # 先写入类源码长度（方便读取时判断边界）
    class_source = inspect.getsource(A).encode('utf-8')
    handle.write(len(class_source).to_bytes(4, byteorder='big'))
    # 写入类源码
    handle.write(class_source)
    # 写入pickle序列化的对象
    pickle.dump(a, handle, protocol=pickle.HIGHEST_PROTOCOL)

# 反序列化：先加载类，再加载对象
with open('test_with_class.pickle', 'rb') as handle:
    # 读取类源码长度
    len_bytes = handle.read(4)
    class_len = int.from_bytes(len_bytes, byteorder='big')
    # 读取并执行类源码
    class_source = handle.read(class_len).decode('utf-8')
    exec(class_source)
    # 加载pickle对象
    b = pickle.load(handle)

print(b.foo)  # 输出 'abc'

⚠️ 注意：这种方法存在安全风险，如果Pickle文件被篡改，执行未知的类源码可能触发恶意代码，仅在完全可信的环境中使用。

替代序列化方案 #

如果不想手动实现类嵌入逻辑，这些成熟方案更实用：

• cloudpickle：Pickle的扩展库，能自动序列化类、函数等定义，反序列化时无需预先存在类的定义。用法和Pickle几乎一致：

  import cloudpickle
  
  # 序列化
  with open('test_cloudpickle.pkl', 'wb') as f:
      cloudpickle.dump(a, f)
  
  # 反序列化（无需预先定义类A）
  with open('test_cloudpickle.pkl', 'rb') as f:
      b = cloudpickle.load(f)
  

  同样要注意安全，不要加载来源不可信的cloudpickle文件。

• JSON：最通用的文本格式，兼容性极强，但仅支持基本数据类型。需要给自定义类添加转换方法：

  import json
  
  class A(object):
      def __init__(self, foo):
          self.foo = foo
  
      def to_dict(self):
          return {'__class__': 'A', 'foo': self.foo}
  
      @classmethod
      def from_dict(cls, data):
          if data['__class__'] == 'A':
              return cls(data['foo'])
          raise ValueError('未知类类型')
  
  # 序列化
  a = A('abc')
  with open('test.json', 'w') as f:
      json.dump(a.to_dict(), f)
  
  # 反序列化
  with open('test.json', 'r') as f:
      data = json.load(f)
      b = A.from_dict(data)
  

• PyYAML：支持比JSON更多的数据类型，可通过自定义标签处理类对象，不过反序列化时仍需预先存在类定义（或手动嵌入类源码，逻辑类似Pickle的手动方案）。

• msgpack：比JSON更紧凑的二进制格式，支持更多数据类型，用法与JSON类似，需要自定义类和基础类型的转换逻辑。

内容的提问来源于stack exchange，提问作者orange