Pickle加载文件遇EOFError：文件是否损坏？能否恢复？

1. EOFError的触发原因 #

• 程序崩溃导致保存中断：你的save函数直接覆盖原文件，若修改后保存时程序意外崩溃，文件会仅写入部分内容，成为不完整的pickle文件，加载时自然触发EOFError，这是最可能的核心原因。
• 大文件的间接影响：300MB的pickle文件本身不会直接引发该错误，但如果系统内存不足、磁盘IO出现异常，可能在写入或读取过程中导致文件截断，间接造成损坏。

2. 文件恢复的可行尝试 #

pickle是序列化格式，文件损坏后完全恢复的概率极低，但可以试试以下方法：

• 尝试读取部分数据：如果你的序列化对象是多个独立元素依次dump的，可以循环读取直到出错，获取部分可用数据：

  def load_partial(datei):
      partial_data = []
      with open(datei, 'rb') as f:
          while True:
              try:
                  item = pickle.load(f)
                  partial_data.append(item)
              except EOFError:
                  break
      return partial_data
  

  注：如果是单个大对象（比如超大字典、列表），这种方法无效，因为pickle会把整个对象作为一个整体序列化。
• 检查文件完整性：查看文件大小，如果比正常保存后的尺寸小很多，说明确实是写入中断，完整恢复基本无望。
• 寻找备份文件：如果有系统快照、自动备份或者之前的版本文件，优先从备份恢复。

3. 避免后续问题的改进方案 #

• 先写临时文件再替换原文件：确保保存过程崩溃时，原文件不会被破坏：

  import os
  def save(datei, objekt):
      temp_file = f"{datei}.tmp"
      with open(temp_file, 'wb') as f:
          pickle.dump(objekt, f)
      # 写入完成后再替换原文件，这一步是原子操作
      os.replace(temp_file, datei)
      return 1
  

• 添加异常处理：捕获保存过程中的异常，清理临时文件并抛出错误，避免残留无效文件：

  import os
  def save(datei, objekt):
      temp_file = f"{datei}.tmp"
      try:
          with open(temp_file, 'wb') as f:
              pickle.dump(objekt, f, protocol=pickle.HIGHEST_PROTOCOL)
          os.replace(temp_file, datei)
          return 1
      except Exception as e:
          if os.path.exists(temp_file):
              os.remove(temp_file)
          raise e
  

• 大文件优化：针对300MB的大对象，可以：
  • 使用pickle.HIGHEST_PROTOCOL提升序列化效率，减少文件体积
  • 将大对象拆分为多个小文件保存，降低单个文件的风险
  • 考虑使用更适合大数据的序列化工具，比如joblib（对numpy数组等数据类型更高效）

内容的提问来源于stack exchange，提问作者Max Mustermann