Python Pickle存储大量dataclass对象为何文件体积极小？

Pickle能实现这么高的存储效率，核心是针对Python对象的存储做了多种结构化复用和优化，以下是几个关键原因：

• 类元数据复用：同一个dataclass的所有实例，Pickle只会在文件中存储一次类的定义（包括属性名、结构等元信息），后续所有实例仅需引用这个定义，无需重复存储类的结构内容。你25000个对象都是同一种dataclass，相当于只承担了一次30多个属性名的存储开销。

• 属性值引用共享：如果多个对象的某属性值相同（比如大量对象的某个整数属性是0、1这类常见值，或是共享同一个字符串），Pickle只会存储一次该值，后续实例用引用指向它即可。若你的dataclass存在大量重复属性值，这会大幅压缩存储空间。

• 小整数特殊处理：Python本身会缓存-5到256之间的小整数（单例对象），Pickle存储这些整数时，不会重复存储完整数值，而是直接引用预定义的单例，仅用一个极小的标记表示引用，而非占用4字节的完整整数空间。

• 高效序列化协议：默认情况下，Pickle使用协议版本4（Python 3.4+）或更高版本，这类协议针对Python对象做了大量优化，比如更紧凑的类型标记、对容器（如列表、dataclass）的高效编码，避免了冗余字节开销。

• dataclass的简洁存储：dataclass结构固定，且你提到无方法，Pickle无需存储额外的实例字典，只需按顺序存储属性值即可，不用像普通字典那样存储完整的键值对结构，进一步节省空间。

另外你在不同环境测试文件大小一致，这是因为Pickle的序列化结果跨平台一致（只要协议版本相同），和操作系统、存储介质无关。

内容的提问来源于stack exchange，提问作者B100