使用Pandas读取Pickle文件报UnpicklingError: invalid load key如何解决？

我来帮你搞定这个头疼的问题！遇到UnpicklingError: invalid load key, '\x00'，大概率是文件里混入了无效的空字符，或者保存过程中出了点小问题导致文件损坏。既然你只需要打开这个特定的DataFrame，试试下面这些应急方案：

• 手动定位并跳过开头的无效字符
  Pickle文件通常以\x80作为起始标记（Python 3.x版本），你可以先读取文件，跳过开头的空字符，找到这个标记后再开始反序列化：

  import pickle
  import pandas as pd
  
  with open('data/file.pickle', 'rb') as f:
      # 循环读取字节，直到找到有效的Pickle起始标记
      while True:
          byte = f.read(1)
          if byte == b'\x80':
              f.seek(f.tell() - 1)  # 退回到标记位置
              break
          if not byte:  # 读完文件都没找到，说明损坏严重
              raise ValueError("文件中没有有效Pickle数据的起始标记")
      df = pickle.load(f)
  

• 用自定义Unpickler跳过无效数据
  写一个简单的自定义Unpickler类，遇到无法处理的字节就跳过，继续读取后面的内容：

  import pickle
  import pandas as pd
  
  class SkipInvalidUnpickler(pickle.Unpickler):
      def load(self):
          try:
              return super().load()
          except pickle.UnpicklingError:
              self.read(1)  # 跳过当前无效字节
              return self.load()
  
  with open('data/file.pickle', 'rb') as f:
      unpickler = SkipInvalidUnpickler(f)
      df = unpickler.load()
  

  这个方法可能会丢失一点点数据，但如果只是局部的无效字符，基本能完整恢复你的DataFrame。

• 检查是否是分块保存的Pickle文件
  如果这个文件是多次用pickle.dump()写入的，你可以尝试分块读取所有有效的DataFrame部分，再合并：

  import pickle
  import pandas as pd
  
  df_chunks = []
  with open('data/file.pickle', 'rb') as f:
      while True:
          try:
              chunk = pickle.load(f)
              if isinstance(chunk, pd.DataFrame):
                  df_chunks.append(chunk)
          except EOFError:
              break  # 读到文件末尾，停止循环
          except pickle.UnpicklingError:
              f.seek(f.tell() + 1)  # 跳过无效字节，继续读
  
  # 合并所有有效块
  if df_chunks:
      df = pd.concat(df_chunks, ignore_index=True)
  else:
      raise ValueError("文件中没有找到有效的DataFrame数据")
  

这些方法都是应急用的，能恢复多少取决于文件损坏的程度。如果后续还会遇到类似问题，最好从保存环节排查，但现在先试试上面的办法，应该能帮你打开这个DataFrame。

内容的提问来源于stack exchange，提问作者Henrique Nader