Pandas分类数据中format="table"含义及HDF5存储方法

嘿，我来帮你把这两个关于Pandas分类数据和HDF5存储的问题讲清楚：

在Pandas的HDF5存储体系里，主要有两种存储格式：format="fixed"和format="table"。针对分类数据来说，format="table"指的是采用列式的表格结构来存储数据，这种格式专门适配带有元信息的复杂数据类型：

• 它会完整保存分类数据的核心属性：包括类别列表（categories）和是否有序（ordered）的标记，确保你后续从HDF5读取数据时，能直接还原出原本的category dtype，而不是变成普通的字符串序列。
• 对比默认的fixed格式，fixed是紧凑的数组式存储，更适合简单的数值型数据，但它无法处理分类数据这类包含额外元数据的类型，这也是你遇到报错的核心原因。
• 另外，table格式还支持后续对HDF5文件进行数据追加、条件查询等操作，灵活性更强。

你只需要在调用to_hdf()方法时，显式指定format="table"参数即可解决报错问题，修改后的代码如下：

import pandas as pd

# 创建分类序列
s = pd.Series(['a','b','a','b'], dtype='category')
# 用table格式存储到HDF5
s.to_hdf('s.h5', 's', format='table')

验证读取结果 #

当你需要读取这个HDF5文件时，直接用pd.read_hdf()就能得到完整的分类序列：

read_s = pd.read_hdf('s.h5', 's')
print(read_s.dtype)  # 输出：category

可选优化：添加压缩 #

如果想要减小HDF5文件的体积，还可以搭配压缩参数，比如使用zlib压缩：

s.to_hdf('s.h5', 's', format='table', complib='zlib', complevel=5)

complevel的取值范围是1-9，数值越高压缩率越大，但存储/读取速度会稍慢。

内容的提问来源于stack exchange，提问作者Autumn