Pandas下划线/隐藏变量未自动清理致内存过高问题求助

关于过滤操作避免副本或自动清理临时结果 #

• 原地修改原DataFrame：放弃生成新副本，直接在原数据上删除不符合条件的行，比如执行：

  df.drop(df[df['ID'].str.len() != 11].index, inplace=True)
  

  这种方式不会产生临时DataFrame，直接修改原数据，操作前记得备份原始数据。
• 显式管理临时对象：如果必须生成临时结果做探索，用完立刻删除并触发垃圾回收：

  temp_df = df[df['ID'].str.len() == 11]
  # 执行你的探索操作，比如查看前几行、统计信息
  del temp_df
  import gc
  gc.collect()
  

• 用query()提升内存效率：替代布尔索引，df.query("ID.str.len() == 11")在部分场景下会生成更轻量的临时对象，且生命周期更短。

清理自动生成的下划线变量 #

• 这些_、__变量是**交互式环境（IPython/Jupyter）**的特性，不是Pandas生成的——它们用来保存最近几次执行的结果。
• 手动删除：直接执行del _、del __、del ___就能删掉这些自动保存的临时结果。
• 关闭自动保存功能：在IPython/Jupyter中执行%config InteractiveShell.cache_size=0，彻底关闭最近结果的自动缓存，就不会再生成这些下划线变量。
• 强制垃圾回收：删除变量后执行import gc; gc.collect()，让Python主动回收未被引用的内存。注意Pandas本身的内存池可能不会立即释放所有内存，但能有效缓解占用问题。

额外内存优化 Tips #

• 加载数据时就压缩内存：指定dtype参数，比如把重复多的字符串列设为category类型，数值列用int32/float32代替默认的64位类型；用usecols只加载需要的列。
• 超大型数据换工具：如果数据集持续超出内存，试试Dask或Vaex，它们支持分块处理，不用把全量数据加载到内存。

内容的提问来源于stack exchange，提问作者Ebrin