PyTorch tensor多次pickle结果不一致的原因及解决方案咨询
问题原因
对比你提供的两组序列化字节串可以发现,二者的唯一差异是其中记录的PyTorch FloatStorage 运行时内存地址不同:第一次加载得到的张量对应地址为140382183041680,第二次加载得到的张量对应地址为140382172016592。
这是PyTorch 1.7.0及更早版本的默认序列化逻辑导致的:该版本的pickle实现会将张量底层存储对象的运行时内存地址写入序列化结果。你两次从文件加载张量时,PyTorch会为两个张量分配独立的底层存储空间,运行时内存地址天然不同,最终导致两次pickle.dumps的结果不一致。
该差异不影响张量本身的业务属性,相同来源的张量数值、形状、数据类型、设备属性完全一致,调用tensor1.equal(tensor2)会返回True。
规避方法
- 优先使用张量内置方法做等价校验:判断两个张量是否一致时,不要直接对比pickle序列化后的字节串,使用
equal()方法校验数值一致性,额外配合shape、dtype、device等属性校验,即可覆盖所有业务层面的等价判断。 - 若需要生成稳定一致的序列化结果,可选择以下方案:
- 将张量转换为numpy数组后再做pickle序列化,numpy的序列化逻辑不包含运行时内存地址信息,相同数值的数组序列化结果完全一致。
- 升级PyTorch到1.10及以上版本,该版本调整了张量的pickle逻辑,不再将底层存储的运行时内存地址写入序列化结果,相同属性的张量序列化结果会保持一致。
- 优先使用PyTorch官方提供的
torch.save/torch.load接口做张量持久化,相比原生pickle适配性更强,开启_use_new_zipfile_serialization=True参数可获得更稳定的序列化结果。
内容的提问来源于stack exchange,提问作者Hlib Babii
相关产品推荐
相关产品推荐

