加载bz2序列化pd.DataFrame遇OSError，咨询pickle大对象大小限制

让我来帮你分析这个问题——你遇到的OSError: Invalid data stream大概率不是pickle本身的对象大小限制导致的，先给你理清楚关键点和解决办法：

Python的pickle模块（包括结合bz2压缩使用时）没有针对对象大小的硬性限制，只要你的系统内存足够支撑对象的存储，理论上可以序列化/反序列化任意规模的对象。你遇到的错误更可能来自压缩/序列化过程中的意外，或是加载环节的代码、环境问题，而非数据量本身。

1. 压缩后的pickle文件已损坏 #

这是最常见的原因：生成.pbz2文件时，程序意外中断、磁盘空间不足、写入过程中出现IO错误，都会导致文件结构损坏，加载时触发“无效数据流”报错。

• 验证方法：用系统自带的工具检查文件完整性：
  • Linux/macOS终端执行：bz2test your_file.pbz2
  • Windows可以用7-Zip尝试解压该文件，若解压失败则说明文件已损坏。
• 解决办法：重新生成序列化文件，并且用更稳妥的代码写法确保流正确关闭：

  import bz2
  import pickle
  import pandas as pd
  
  # 序列化保存时用with语句自动管理文件流
  df = pd.read_csv("large_file.tsv", sep="\t")
  with bz2.BZ2File("data.pbz2", "wb") as f:
      # 指定protocol=4（Python3.4+支持），对大对象序列化更高效
      pickle.dump(df, f, protocol=4)
  

2. 反序列化代码存在错误 #

如果加载时的代码写错了（比如混用了压缩模块、打开模式错误），也会触发类似报错。

• 正确的加载代码示例：

  import bz2
  import pickle
  
  with bz2.BZ2File("data.pbz2", "rb") as f:
      df = pickle.load(f)
  

• 注意：不要用gzip模块读取.pbz2文件，反之亦然，这会直接导致数据流解析失败。

3. Pandas/Python版本兼容性问题 #

如果生成.pbz2文件时使用的Pandas或Python版本，与加载时的版本差异较大，可能会因为序列化协议不兼容，间接引发数据流错误。

• 检查生成和加载环境的Pandas版本是否一致；
• 序列化时显式指定兼容的protocol版本（比如Python3.6支持protocol=0到4，优先选4）。

4. 内存不足导致的加载异常（错误提示伪装） #

你的表格有150万列、100行，虽然行数少，但列数极多，加载时需要占用大量内存。如果系统内存不足，可能会在加载过程中抛出异常，且错误提示可能不准确。

• 验证方法：尝试分块读取原始TSV文件，同时测试小 chunk 的序列化/反序列化是否正常：

  chunk_iter = pd.read_csv("large_file.tsv", sep="\t", chunksize=10)
  for idx, chunk in enumerate(chunk_iter):
      print(f"Chunk {idx} shape: {chunk.shape}")
      # 测试小chunk的序列化加载
      with bz2.BZ2File(f"test_chunk_{idx}.pbz2", "wb") as f:
          pickle.dump(chunk, f)
      # 加载测试
      with bz2.BZ2File(f"test_chunk_{idx}.pbz2", "rb") as f:
          test_df = pickle.load(f)
  

• 如果小chunk能正常加载，说明大文件加载时的问题来自内存不足，此时建议换用更适合大表格的存储格式，比如HDF5（df.to_hdf()）或Parquet，这类格式对高维度数据的存储和加载更高效、稳定。

内容的提问来源于stack exchange，提问作者O.rka