Python3.8读取25MB非空pickle文件报EOFError: Ran out of input解决方案咨询

前置排查 #

• 首先确认读取到的文件字节数和实际文件大小一致，排除磁盘IO缓冲、传输中断导致的实际读取内容不足问题：

import os
print(f"文件系统显示大小：{os.path.getsize(name)}字节")
with open(name, 'rb') as f:
    content = f.read()
print(f"实际读取到的字节数：{len(content)}字节")

如果两者数值不一致，优先排查文件传输、存储介质的异常。 #

恢复方案 #

方案1：内存加载后反序列化 #

规避磁盘流式读取的偶发异常，将整个文件读入内存后通过字节流反序列化：

import pickle
from io import BytesIO

with open(name, 'rb') as f:
    file_content = f.read()

obj = pickle.load(BytesIO(file_content))

方案2：增量读取捕获有效内容 #

如果确认是pickle流末尾轻微截断，可通过Unpickler的内部状态读取尽可能多的有效内容：

import pickle

partial_data = None
with open(name, 'rb') as f:
    unpickler = pickle.Unpickler(f)
    try:
        partial_data = unpickler.load()
    except EOFError:
        # 提取已经解析完成的对象栈内容，该逻辑仅适用于数据恢复场景
        if hasattr(unpickler, 'stack') and len(unpickler.stack) > 0:
            partial_data = unpickler.stack[-1] if len(unpickler.stack) ==1 else unpickler.stack

print("恢复到的内容：", partial_data)

方案3：检查协议兼容性 #

如果写入pickle时使用了高于Python3.8支持的协议版本（比如Python3.9+新增的协议5），可尝试用更高版本的Python读取，或者在读取时强制指定兼容协议：

import pickle
pickle.HIGHEST_PROTOCOL = 4 # 强制使用Python3.8支持的最高协议版本
with open(name, 'rb') as f:
    obj = pickle.load(f)

后续写入优化建议 #

同批次文件可正常读取仅能排除全局写入逻辑错误，不能排除单文件写入时的磁盘IO抖动、进程调度异常导致的单文件流截断，后续写入pickle时建议增加强制落盘逻辑，避免缓冲数据未写入磁盘的问题：

import pickle
import os

with open(name, 'wb') as temp:
    pickle.dump(obj, temp)
    temp.flush()
    os.fsync(temp.fileno())

也可通过pickletools模块分析文件的操作码序列确认截断位置，执行命令为python -m pickletools 你的文件名.pkl。

内容的提问来源于stack exchange，提问作者bobsmith76