如何实现不依赖Python/pandas/pickle的通用数据/对象存储？

pickle 是 Python 专属的序列化协议，兼容性直接绑定 Python 版本、依赖库版本甚至自定义类的代码实现，天生不适合作为长期存储或跨版本环境的存储介质，你遇到的版本不兼容是 pickle 的典型使用问题。以下是低依赖、无版本绑定的替代方案，按使用场景分类：

1. pandas DataFrame 存储首选方案 #

• Parquet 格式
  是工业界通用的结构化数据存储标准，完全和 Python 生态解绑，支持保留完整的列类型、索引信息，压缩率和读写性能都远高于 CSV。pandas 原生支持读写，仅需额外安装pyarrow或fastparquet任意一个轻量依赖即可，兼容所有主流 Python 版本。
  代码示例：
  写入：df.to_parquet("data.parquet", engine="pyarrow")
  读取：df = pd.read_parquet("data.parquet", engine="pyarrow")
• CSV/TSV 格式（备选，仅适合小数据量场景）
  纯文本格式，零额外依赖，所有编程语言、所有版本环境都可读取。缺点是会丢失列类型、日期类型等元信息，大文件读写性能差，仅适合结构简单、数据量小的临时存储场景。

2. 自定义 Python 对象存储方案 #

• JSON 格式（首选）
  用 Python 内置的json模块即可实现，零额外依赖，纯文本跨平台跨语言通用。仅需要在序列化时手动把自定义对象的属性提取为字典，反序列化时再重新实例化对象即可；如果对象包含日期、字节等 JSON 不原生支持的类型，额外写个简单的类型转换钩子即可适配。
  代码示例：

  import json
  
  # 自定义类示例
  class CustomObj:
      def __init__(self, name, count):
          self.name = name
          self.count = count
  
  # 序列化写入
  obj = CustomObj("test", 100)
  obj_dict = {"name": obj.name, "count": obj.count}
  with open("custom_obj.json", "w", encoding="utf-8") as f:
      json.dump(obj_dict, f)
  
  # 反序列化读取
  with open("custom_obj.json", "r", encoding="utf-8") as f:
      obj_dict = json.load(f)
  new_obj = CustomObj(**obj_dict)
  

• MessagePack 格式（备选，适合复杂对象/大体积对象）
  仅需安装msgpack-python一个轻量依赖，是二进制的类JSON格式，比JSON体积更小、读写速度更快，原生支持字节、数值等多种类型，不需要额外做类型转换，同样跨语言跨版本通用。
• 固定pickle协议版本（临时兼容方案，仅适合自用场景）
  如果你暂时不想更换存储格式，可以在写入pickle时固定协议版本为protocol=4，该版本在Python3.4及以上所有版本都支持，只要自定义类的代码没有修改，就可以跨3.4~3.11+的Python版本读取。
  代码示例：
  写入：pickle.dump(obj, open("data.pkl", "wb"), protocol=4)
  读取：pickle.load(open("data.pkl", "rb"))
  注意该方案依然依赖自定义类的代码一致性，不适合跨环境分发或长期存储。

选型总结 #

• 所有pandas DataFrame存储场景优先选Parquet，兼顾兼容性、性能和存储效率
• 自定义对象优先转JSON/MessagePack存储，彻底解决版本依赖问题，不推荐用pickle做长期存储

内容的提问来源于stack exchange，提问作者Lucas Morin