Pickle文件EOFError排查：非空文件加载失败原因分析

核心原因 #

1. Pickle文件截断引发EOFError
   处理视频时内存耗尽，程序触发OpenCV内存分配失败、Keras Reshape节点错误后，因未拦截异常仍继续执行到pickle.dump步骤。此时内存不足以完成整个ShotDB字典的序列化写入，文件仅写入部分内容就因MemoryError中断，导致文件不完整。pickle加载时需要完整的序列化字节流，因此即使文件有大小，也会触发EOFError: Ran out of input。

2. 错误处理缺失导致异常后仍执行保存
   脚本未对视频推理阶段的异常（如MemoryError、OpenCV/Keras相关错误）做捕获处理，异常发生后程序未提前终止，继续执行保存步骤，最终在内存不足的情况下写入不完整文件，损坏了原有的ShotDB数据。

排查验证点 #

• 检查脚本中视频遍历、模型推理等逻辑是否有try-except块，确认异常是否未被拦截。
• 查看错误栈，确认MemoryError是否发生在pickle.dump调用时——这是文件截断的直接证据。
• 用pickletools分析损坏的shotdb.pkl，会发现文件末尾没有完整的pickle结束标记，证明写入未完成。

修复方案 #

1. 增加异常捕获，避免异常后执行保存 #

在视频推理代码块外添加异常捕获，触发内存或推理相关错误时，直接跳过当前视频，不执行后续保存操作：

import cv2
import tensorflow as tf
import pickle

# 加载已有ShotDB
try:
    with open("shotdb.pkl", "rb") as f:
        ShotDB = pickle.load(f)
except (FileNotFoundError, EOFError):
    ShotDB = {}

for video_path in video_list:
    if video_path in ShotDB:
        continue  # 跳过已处理视频
    try:
        # 视频处理、模型推理逻辑
        cap = cv2.VideoCapture(video_path)
        # ... 帧处理、模型推理代码 ...
        inference_result = model.predict(frames)
        ShotDB[video_path] = inference_result
        cap.release()
    except (MemoryError, cv2.error, tf.errors.ResourceExhaustedError) as e:
        print(f"跳过视频 {video_path}: {str(e)}")
        if 'cap' in locals():
            cap.release()
        continue  # 不执行保存，直接进入下一个视频
    # 仅当前视频处理成功时，保存更新后的ShotDB
    with open("shotdb.pkl", "wb") as f:
        pickle.dump(ShotDB, f)

2. 原子性保存，避免损坏原文件 #

不直接覆盖原文件，先保存到临时文件，确认写入成功后再替换原文件，即使保存失败，原文件也不会被破坏：

import os

# 替换原保存逻辑
temp_file = "shotdb_temp.pkl"
with open(temp_file, "wb") as f:
    pickle.dump(ShotDB, f)
# 原子替换，保证原文件仅在临时文件写入成功后被覆盖
os.replace(temp_file, "shotdb.pkl")

3. 优化内存占用，从根源减少MemoryError #

• 处理视频时逐帧释放内存，避免批量加载过多帧到内存。
• 模型推理后手动清理中间张量（如调用tf.keras.backend.clear_session()）。
• 对ShotDB进行分片保存，不要一次性将所有结果存在一个字典中，避免字典过大导致序列化时内存不足。

4. 恢复损坏的文件 #

若有备份文件直接用备份恢复；无备份时，可尝试提取文件中已完成序列化的部分数据：

import pickle

partial_data = {}
with open("shotdb.pkl", "rb") as f:
    while True:
        try:
            key, value = pickle.load(f)
            partial_data[key] = value
        except EOFError:
            break
# 保存提取出的有效数据
with open("shotdb_recovered.pkl", "wb") as f:
    pickle.dump(partial_data, f)

注意：该方法仅能恢复已完成序列化的部分数据，未写入的数据无法恢复。

内容的提问来源于stack exchange，提问作者Robert