Pandas读取Pickle缓存文件失败，返回NoneType问题求助

问题背景 #

处理大体积CSV文件时，pd.read_csv加载耗时过长，改用Pickle缓存优化加载速度，但出现以下问题：

• 缓存文件生成后大小正常
• 调用读取方法后，self.data返回NoneType，且无报错信息
• 曾尝试直接传路径、改用文件流读取均无效；尝试Parquet格式也报错

提供的代码片段 #

self.path = ".".join(path.split(".")[:-1]) + ".pkl"

def saveCache(self, df = False):
    with open(self.path, "wb") as f:
        if df:
            df.to_pickle(f)
        else:
            self.data.to_pickle(f)

def readCache(self):
    with open(self.path, "rb") as f:
        self.data = pd.read_pickle(f)

print(f"Here is the data from {rawTaskDataSet.path}\n", rawTaskDataSet.data)

排查步骤 #

1. 确认方法调用顺序
   检查是否在调用readCache()之前就执行了打印self.data的代码——如果先打印再读取缓存，此时self.data还未被赋值，自然是None。

2. 验证缓存文件有效性
   用独立脚本读取缓存文件，确认文件本身是否正常：

   import pandas as pd
   df = pd.read_pickle("你的缓存文件路径.pkl")
   print(df.head())
   

   • 若脚本能正常输出数据：问题出在类的逻辑调用上
   • 若脚本也读不出数据：说明saveCache时未正确写入有效数据

3. 检查缓存写入逻辑

   • 确认调用saveCache时，self.data已经通过pd.read_csv加载了有效数据，而非None或空DataFrame
   • 检查saveCache的参数传递：如果调用时传入的df参数为None，会触发else分支写入self.data，此时若self.data未初始化则会导致缓存文件无效

4. Parquet格式报错排查
   Parquet格式依赖第三方库，需先安装依赖：

   pip install pyarrow
   

   安装后再用df.to_parquet()和pd.read_parquet()进行读写操作。

修复建议 #

1. 调整方法调用顺序
   确保readCache()在访问self.data之前执行。

2. 增强缓存写入的校验逻辑
   避免写入空或未初始化的DataFrame：

   def saveCache(self, df=False):
       target_df = df if df is not False else self.data
       # 校验目标DataFrame是否有效
       if target_df is None or target_df.empty:
           print("警告：待缓存的DataFrame为空或未初始化，跳过保存")
           return
       with open(self.path, "wb") as f:
           target_df.to_pickle(f)
   

3. 给读取方法添加异常捕获
   便于定位读取时的潜在问题：

   def readCache(self):
       try:
           with open(self.path, "rb") as f:
               self.data = pd.read_pickle(f)
           if self.data is None:
               print("读取缓存后DataFrame为None")
       except Exception as e:
           print(f"读取缓存出错：{str(e)}")
   

内容的提问来源于stack exchange，提问作者Adalast