继承Pandas DataFrame的类用pickle序列化丢失属性如何解决？

这个问题的核心原因是Pandas的DataFrame类重写了pickle序列化相关的方法（比如__reduce__、__getstate__），默认只会序列化DataFrame本身的核心数据结构，不会自动处理子类新增的自定义属性（比如你的codebook）。下面给你几种优雅的解决方案：

方案一：重写__getstate__和__setstate__（推荐） #

这是Python pickle机制的标准扩展方式，直接控制序列化和反序列化时的对象状态：

import pandas as pd
import pickle

class Fruit(pd.DataFrame):
    def __init__(self):
        super().__init__()
        self.codebook = {3:4}
    
    def __getstate__(self):
        # 先获取DataFrame默认的序列化状态
        state = super().__getstate__()
        # 将自定义属性加入状态字典
        state['codebook'] = self.codebook
        return state
    
    def __setstate__(self, state):
        # 先恢复DataFrame的基础状态
        super().__setstate__(state)
        # 从状态字典中取出并恢复自定义属性
        self.codebook = state['codebook']

# 测试代码
sdf = Fruit()
sdf.codebook = {1:2}

with open('mypickle.pickle', 'wb') as f:
    pickle.dump(sdf, f)

with open('mypickle.pickle', 'rb') as f:
    loaded_obj = pickle.load(f)

assert loaded_obj.__class__ == Fruit
assert loaded_obj.codebook == {1:2}
print("测试通过！")

原理说明： #

• __getstate__：返回对象的状态字典，我们先调用父类方法拿到DataFrame的默认状态，再把自定义属性追加进去。
• __setstate__：接收序列化的状态字典，先恢复DataFrame的基础状态，再取出自定义属性赋值给实例。

这种方法完全遵循Python标准的pickle机制，兼容性强，也不会破坏Pandas原有的行为。

方案二：利用Pandas的_metadata元数据机制 #

Pandas内部提供了_metadata属性，用来标记需要随对象一起序列化的元数据属性，适合简单场景：

import pandas as pd
import pickle

class Fruit(pd.DataFrame):
    # 标记需要序列化的自定义属性
    _metadata = ['codebook']
    
    def __init__(self):
        super().__init__()
        self.codebook = {3:4}
    
    # 重写_constructor，确保操作后返回Fruit实例（比如df.copy()）
    @property
    def _constructor(self):
        return Fruit

# 测试
sdf = Fruit()
sdf.codebook = {1:2}

with open('mypickle.pickle', 'wb') as f:
    pickle.dump(sdf, f)

with open('mypickle.pickle', 'rb') as f:
    loaded_obj = pickle.load(f)

assert loaded_obj.codebook == {1:2}

注意事项： #

• _metadata是Pandas内部的约定，不同版本可能有细微行为变化，稳定性不如方案一。
• 必须重写_constructor，否则当你对Fruit实例执行类似copy()的操作时，返回的会是普通DataFrame而不是Fruit实例。

为什么你之前替换to_pickle没用？ #

你尝试自定义to_pickle直接pickle self，但问题依然存在，是因为当pickle处理DataFrame子类实例时，会优先调用DataFrame重写的__reduce__方法，而不是直接序列化整个对象。这个方法默认只处理DataFrame的核心数据，所以你的自定义属性还是会被忽略——必须通过重写__getstate__或利用_metadata来告诉pickle要包含这些属性。

对比你之前的繁琐实现 #

你之前把对象和属性分开序列化的方法虽然可行，但缺点很明显：

1. 生成的文件无法被pandas.read_pickle识别（因为存储的是字典而非DataFrame结构）。
2. 反序列化时需要手动重建对象，操作繁琐。
   上面的两种方案都能避免这些问题，让序列化过程更自然。

内容的提问来源于stack exchange，提问作者CPBL