Pickle序列化numpy.void对象仍存在崩溃失效问题

问题根因 #

你遇到的崩溃和2009年提到的pickle序列化限制完全无关，是旧版NumPy的已知内存管理Bug：

1. 你提到的官方修复补丁是在NumPy 1.20.0版本才正式并入正式发行版的，你当前使用的1.19.2版本并未包含该修复，因此仍然会复现问题。
2. 具体错误出在NumPy旧版本对结构化标量（numpy.void类型）的pickle反序列化逻辑：你示例中的f0字段是object类型，反序列化后该字段对应的Python对象没有被正确增加引用计数，会被Python垃圾回收器随机回收，后续访问该标量时就会触发野指针访问，也就是你遇到的0xC0000005内存访问违规错误。
3. 报错的随机性、以及和字段数量的关联阈值，是NumPy内部内存对齐、小对象缓存机制共同作用的结果，属于内存越界访问的典型表现。

解决方案 #

你可以根据项目实际情况选择任意一种方案解决问题：

• 首选方案：直接将NumPy升级到1.20.0及以上版本，升级后你的最小复现代码可以直接正常运行，不会出现崩溃问题。
• 如果受项目依赖限制无法升级NumPy，可以使用两种临时规避方案：
  • 序列化时不要直接序列化单条结构化标量，先将其转换为Python原生元组或字典后再序列化，反序列化后再转换回NumPy结构化对象即可正常使用。
  • 序列化时直接序列化整个结构化NumPy数组，而不是取出单条标量单独序列化，旧版NumPy的数组pickle逻辑不存在该问题，反序列化后再提取单条数据即可正常访问。

内容的提问来源于stack exchange，提问作者mapf