无需重启VS Code，如何解决Jupyter Notebook中“unable to allocate x.xx GiB for an array with shape (xx, xxx) and data type xxxxx”内存不足错误？

嘿，我太懂你的痛点了——花1小时导完Excel结果内存爆了，重启kernel又要重来，简直折磨！你试过的del和gc.collect()没效果，大概率是Jupyter里藏了不少隐形的内存引用，比如历史输出、全局变量里的残留对象，这些都没被真正清理掉。下面给你几个亲测有效的方法，帮你保住导入的大DataFrame，同时把其他内存彻底腾出来：

一、精准清理非必要变量+输出，彻底释放内存 #

这是最直接的解决办法，核心是只保留你需要的那个导入后的DataFrame，把其他所有东西都清掉：

1. 先确认要保留的变量
   先运行魔术命令%whos，它会列出当前所有变量的名称、类型和内存占用。找到你那个从Excel导入的大DataFrame（比如叫raw_excel_data），把它记下来作为唯一要保留的变量。

2. 批量删除其他所有变量
   写一段小代码批量清理全局变量，避免手动删漏：

   # 把这里换成你要保留的变量名
   keep_these = ['raw_excel_data']
   
   # 遍历所有全局变量，删除不在保留列表里的（跳过系统自带的下划线开头的变量）
   for var_name in list(globals().keys()):
       if not var_name.startswith('_') and var_name not in keep_these:
           del globals()[var_name]
   

3. 清理Jupyter的输出历史（关键！）
   很多时候，你之前单元格的输出（比如打印过的DataFrame片段、图表）会偷偷保留对象引用，导致内存没法释放。运行这个魔术命令清除所有输出：

   %reset -f out
   

4. 强制触发垃圾回收
   最后再跑垃圾回收，这次应该能真正释放内存了：

   import gc
   gc.collect()
   

   做完这几步，你可以再用%whos检查一下，应该只剩你要保留的那个DataFrame了，内存占用会大幅下降。

二、用工具定位内存泄漏点 #

如果上面的方法还是不够，你可以用内存分析工具找出到底是谁在占内存：

• 先安装memory_profiler：

  !pip install memory_profiler
  

• 加载扩展并查看代码块的内存使用：

  %load_ext memory_profiler
  # 把你要分析的代码块放在下面
  %memit your_cleaning_function()
  

  它会告诉你这段代码执行过程中占用的内存峰值，帮你找到清洗代码里的内存大户。

三、从根源优化：减少导入后的内存占用 #

虽然你不想重新导Excel，但可以在导入时就给DataFrame“瘦身”，从一开始就减少内存压力：

• 导入Excel时指定数据类型：比如把字符串列设为category类型（如果重复值多的话），数值列用更小的类型（比如int32代替int64，float32代替float64），示例：

  import pandas as pd
  dtype_spec = {
      'category_col': 'category',
      'int_col': 'int32',
      'float_col': 'float32'
  }
  raw_excel_data = pd.read_excel('your_data.xlsx', dtype=dtype_spec)
  

• 导入后把数据存成更高效的格式：比如Parquet或Feather，下次直接加载这个格式，不用再等1小时导Excel：

  raw_excel_data.to_parquet('cleaned_import.parquet')
  # 下次直接加载
  raw_excel_data = pd.read_parquet('cleaned_import.parquet')
  

  Parquet不仅加载快，还能自动压缩，内存占用比Excel小很多。

四、日常操作小习惯，避免内存累积 #

平时用Jupyter的时候注意这几点，能减少内存爆炸的概率：

• 不要在单元格里直接打印大DataFrame（比如直接写raw_excel_data），这样会生成一个输出副本占内存，要用raw_excel_data.head()只看前几行。
• 定期清理旧单元格的输出：可以用菜单里的「Cell > All Output > Clear」，或者快捷键Ctrl+Shift+O（Windows/Linux）、Cmd+Shift+O（Mac）。

备注：内容来源于stack exchange，提问作者Xtiaan