内容相等的Pandas DataFrame生成不同pickle文件的原因是什么

• 首先明确DataFrame.equals()的校验范围
  pandas提供的equals()方法仅校验业务层面的核心内容：单元格数值、行索引标签、列索引标签，不会校验索引的非核心元数据，也不会校验DataFrame内部的缓存类属性。

你可以运行以下代码查看两个DataFrame的隐性差异：

print(df1.columns.names)
# 输出：FrozenList([])
print(df3.columns.names)
# 输出：FrozenList([None])

这是最核心的差异点：df3的列索引是从MultiIndex删除层级得到的，保留了降级后的names属性，值为包含一个None的列表；而原始df1的列索引names为空列表。该差异不属于列标签值差异，因此不会导致equals()返回False。

• 其次明确pickle序列化的逻辑
  pickle会完整序列化Python对象的所有实例属性，无论该属性是否对业务逻辑可见。上述提到的columns.names差异，以及对象内部可能存在的计算缓存、元数据标记都会被写入pickle文件，最终导致两个语义相等的DataFrame序列化后的文件存在差异。

• 验证方法
  你可以手动重置df3列索引的names属性后再序列化，即可得到和df1一致的pickle文件：

df3.columns.names = []
df3.to_pickle('df3_reset.pkl')
# 此时对比df1.pkl和df3_reset.pkl将无差异

内容的提问来源于stack exchange，提问作者user13578