如何在Python Pandas中保存含DataFrame列表的字典并重新加载？

下面介绍两种常用方法，帮你快速保存和重新加载包含DataFrame的字典，避免重复执行SQL查询与预处理：

方法1：使用Pickle（Python内置工具） #

Pickle是Python原生序列化模块，适合处理字典、列表、DataFrame这类混合数据结构。

保存字典 #

import pickle

# 假设你的目标字典名为 state_data_dict
with open('state_data_dict.pkl', 'wb') as file:
    pickle.dump(state_data_dict, file)

加载字典 #

import pickle

with open('state_data_dict.pkl', 'rb') as file:
    loaded_data = pickle.load(file)

方法2：使用Joblib（适合大数据对象） #

Joblib对包含NumPy数组、DataFrame的大对象序列化效率更高，是机器学习生态常用工具。

保存字典 #

from joblib import dump

# 可选compress参数设置压缩级别（0-9，默认0不压缩，级别越高压缩率越大）
dump(state_data_dict, 'state_data_dict.joblib', compress=3)

加载字典 #

from joblib import load

loaded_data = load('state_data_dict.joblib')

注意事项 #

• 文件路径：若不想保存在Jupyter当前工作目录，可指定绝对路径，比如'/Users/xxx/data/state_data_dict.pkl'
• 版本兼容：保存和加载时尽量使用相同版本的Python、pandas库，避免版本差异导致加载失败
• 数据安全：不要加载来源不明的pickle/joblib文件，这类文件存在安全风险

内容的提问来源于stack exchange，提问作者Vonais