将Dataframe与其他数据封装后用pickle保存是否安全？

问题描述 #

我希望将DataFrame与其他数据一同以Pickle格式保存，可以用字典或专用类封装。请问使用pickle模块的dump/load函数保存/加载这些DataFrame是否安全？还是必须始终使用Pandas的to_pickle/read_pickle方法？如果不使用Pandas相关代码进行保存/加载，会有什么损失？

示例代码 #

import pandas as pd
import pickle
df = pd.DataFrame([[1, 2], [3, 4]], columns=list('AB'), index=['x', 'y'])
dictDf = {'Important data' : False, 'Other information' : 'Important', 'Df' : df}

# Save
with open('dictDf.pickle','wb') as f:
    pickle.dump(dictDf, f)

with open('dictDf.pickle','rb') as f:
    dictDfReaded = pickle.load(f)

解答 #

• 安全性方面：使用标准pickle模块的dump/load保存加载包含DataFrame的字典是安全的，但前提是你完全信任要加载的Pickle文件来源。Pickle的安全风险是通用的——它会执行序列化时的对象构造代码，所以绝对不要加载来自不可信渠道的Pickle文件，这一点不管用标准pickle还是Pandas的方法都是一致的。
• 是否必须使用Pandas的方法：不需要。标准pickle完全可以正确序列化和反序列化Pandas的DataFrame对象，因为DataFrame类本身实现了Pickle的序列化协议。你提供的示例代码可以正常运行，加载后的dictDfReaded['Df']会是一个完整可用的DataFrame。
• 不用Pandas方法的潜在损失：
  • 缺失压缩功能：Pandas的to_pickle支持compression参数，可直接生成gzip、bz2等压缩格式的Pickle文件，节省存储空间。用标准pickle的话，需要手动结合压缩模块（比如gzip）处理文件对象。
  • 跨版本兼容性稍差：Pandas的序列化方法会针对不同版本的Pandas做兼容性适配，降低跨版本加载时的出错概率。标准pickle序列化的DataFrame在跨较大版本的Pandas时，可能因内部结构变化出现加载失败的情况。
  • 特定数据类型的优化缺失：对于DatetimeTZDtype、Categorical这类Pandas特有数据类型，Pandas的序列化方法做了针对性优化，标准pickle虽能处理，但极端场景下可能出现小概率的序列化/反序列化异常。

内容的提问来源于stack exchange，提问作者s.paszko