如何在HDF5中存储含自定义类实例的pandas.DataFrame

看起来你卡在了把带自定义对象的DataFrame存进HDF5的环节，而且还不能修改DataFrame里的对象类型——确实，Pandas的HDFStore默认不支持序列化自定义类实例，直接存就会报那个mixed object dtype的错误。下面给你几个符合需求的方案，尽量减少额外逻辑：

方案一：用Pickle序列化后存HDF5（最小改动） #

既然你不关心用HDF5查询实例，只需要存和取，那最简单的办法就是把自定义对象列先序列化成字节，存到HDF5里，读的时候再转回来。完全不用改你的DataFrame对象类型，只加两个小函数：

import pandas as pd
import pickle

class C:
    def __init__(self, a=0):
        self.a = a
    def return_42(self):
        return self.a

# 把自定义对象列转成pickle字节
def serialize_obj_col(df, col_name):
    df[col_name] = df[col_name].apply(pickle.dumps)
    return df

# 把字节转回原对象
def deserialize_obj_col(df, col_name):
    df[col_name] = df[col_name].apply(pickle.loads)
    return df

# 存储流程
df = pd.DataFrame([C(1), C(2)], columns=["custom_obj"])
serialized_df = serialize_obj_col(df, "custom_obj")

with pd.HDFStore('custom_store.hdf5') as store:
    store.put('data', serialized_df)

# 读取流程
with pd.HDFStore('custom_store.hdf5') as store:
    loaded_df = store.get('data')

restored_df = deserialize_obj_col(loaded_df, "custom_obj")
# 验证：调用原类的方法
print(restored_df['custom_obj'][0].return_42())  # 输出1

这个方案的好处就是几乎没有额外逻辑，只是做了个字节转换，完全保留你原来的自定义类结构，完美符合你不能修改DataFrame对象类型的要求。

方案二：用更强大的序列化库兼容复杂对象 #

如果你的自定义类比较复杂（比如嵌套类、带方法的实例），pickle可能搞不定，换成dill或者cloudpickle就行——这俩是专门增强Python序列化能力的库，用法和pickle几乎一样，但支持更多对象类型：

import dill

# 只需要把pickle换成dill就行
def serialize_obj_col(df, col_name):
    df[col_name] = df[col_name].apply(dill.dumps)
    return df

def deserialize_obj_col(df, col_name):
    df[col_name] = df[col_name].apply(dill.loads)
    return df

dill能处理pickle搞不定的很多场景，比如闭包、动态生成的类，对你对接第三方接口的场景更稳妥。

方案三：放弃HDF5，用更适合的类字典存储工具 #

如果HDF5不是必须的，还有更适合你这种「类字典结构存DataFrame+自定义对象」需求的工具：

• joblib：专门为Python大数据对象优化的序列化工具，支持磁盘上的类字典存储，速度比pickle快，适合你每分钟保存的场景：

  from joblib import dump, load
  
  # 你的类字典结构
  data_dict = {"df1": pd.DataFrame([C(1)]), "df2": pd.DataFrame([C(2)])}
  
  # 保存到磁盘
  dump(data_dict, 'joblib_data_store.pkl')
  
  # 读取回来
  loaded_dict = load('joblib_data_store.pkl')
  print(loaded_dict['df1'][0][0].return_42())  # 输出1
  

• Zarr：类似HDF5的分层存储格式，但天生支持自定义对象序列化（配合dill），如果需要分层结构的话可以试试。

注意事项 #

• 不管用哪种序列化方式，读取时自定义类的定义必须和保存时完全一致（类名、属性、方法都不能改），否则会反序列化失败——这对你对接第三方接口很重要，要确保两边的类定义同步。
• 如果用序列化字节存HDF5，之后没法用HDF5的查询语法直接查这些列，只能全量读取后反序列化，这点要提前考虑。

内容的提问来源于stack exchange，提问作者Elrond