Python批量定义大型字典的高效方案咨询（含Pickle评估）

Pickle方案的可行性 #

Pickle完全可以作为你的首选方案，比硬编码字典高效得多：

• 生成方式：先将101个字典存入列表，再序列化保存：

  import pickle
  
  # 假设dict_list是包含101个目标字典的列表
  with open('large_dicts.pkl', 'wb') as f:
      # 使用最高协议提升序列化效率
      pickle.dump(dict_list, f, protocol=pickle.HIGHEST_PROTOCOL)
  

• 加载方式：导入时直接反序列化，无需解析大量硬编码代码：

  import pickle
  
  with open('large_dicts.pkl', 'rb') as f:
      dict_list = pickle.load(f)
  

• 优势：加载速度远快于硬编码字典，文件体积更小，且无需在代码中维护海量字典定义。

更高效的替代方案 #

根据你的数据特性，还可以选择以下更优方案：

• Msgpack序列化：比Pickle更快，文件体积更小，且支持跨语言。需要提前安装msgpack-python库（可打包进分发文件）：

  import msgpack
  
  # 保存
  with open('large_dicts.msgpack', 'wb') as f:
      msgpack.pack(dict_list, f)
  
  # 加载
  with open('large_dicts.msgpack', 'rb') as f:
      dict_list = msgpack.unpack(f)
  

• Numpy结构化数组（适用于键固定的场景）：如果所有字典的键完全一致、值类型统一，用Numpy结构化数组能大幅提升内存效率和访问速度：

  import numpy as np
  
  # 构造 dtype，假设键为key0到key3999，值为浮点数
  dtype = [(f'key{i}', 'float64') for i in range(4000)]
  # 将字典列表转成结构化数组
  data_arr = np.array([tuple(d.values()) for d in dict_list], dtype=dtype)
  
  # 保存
  np.save('large_data.npy', data_arr)
  
  # 加载
  data_arr = np.load('large_data.npy')
  # 访问第1个字典的key0：data_arr[0]['key0']
  

注意事项 #

• 分发时需将生成的二进制文件（.pkl/.msgpack/.npy）与代码一同打包，确保目标设备可读取。
• 使用第三方库时，需将依赖一并分发（例如用PyInstaller打包成独立程序，或提供requirements.txt让用户安装）。
• Pickle仅加载可信文件，避免来源不明的序列化文件。

内容的提问来源于stack exchange，提问作者FluidMechanics Potential Flows