Jupyter Notebook计算提速咨询：如何为现有工作簿增加内存分配

一、直接调整Jupyter的内存限制 #

• 启动时临时指定内存：在命令行启动Jupyter时，添加参数分配内存（比如留3GB给系统，给Jupyter分配12GB）：

  jupyter notebook --NotebookApp.max_buffer_size=12000000000
  

• 修改配置文件永久生效：
  1. 生成配置文件（未生成过的话）：jupyter notebook --generate-config
  2. 打开jupyter_notebook_config.py，找到c.NotebookApp.max_buffer_size，取消注释并设置数值（比如12GB对应的12884901888）：

     c.NotebookApp.max_buffer_size = 12884901888
     

二、Python内核与数据层面的内存优化 #

• 确认使用64位Python：32位Python最多只能利用约4GB内存，你的64位系统必须搭配64位Python才能调用全部物理内存。
• 优化数据加载：
  用pandas加载数据时，指定dtype压缩内存占用：

  import pandas as pd
  # 示例：将字符串列设为category，数值列用更小存储类型
  df = pd.read_csv("data.csv", dtype={"category_col": "category", "int_col": "int32", "float_col": "float32"})
  

• 释放闲置内存：手动删除无用变量并触发垃圾回收：

  import gc
  del unused_var
  gc.collect()
  

• 使用分块处理工具：如果数据集过大，用Dask或Vaex替代pandas，它们支持分块加载数据，无需一次性占满内存。

三、机器学习模型的效率优化 #

• 启用并行计算：大部分scikit-learn和XGBoost/LightGBM模型支持多核加速，设置n_jobs=-1（scikit-learn）或nthread=-1（XGBoost），充分利用你的12代i7多核心：

  from sklearn.ensemble import RandomForestClassifier
  model = RandomForestClassifier(n_jobs=-1)
  

• 精简模型与数据：
  • 先用数据集的随机子集调参，确认模型效果后再跑全量数据；
  • 对复杂模型设置参数减少计算量，比如XGBoost设置subsample=0.8（抽样80%样本）、colsample_bytree=0.8（抽样80%特征）。

四、系统层面的辅助设置 #

• 关闭后台闲置程序：释放更多物理内存给Jupyter，避免内存被其他软件占用；
• 调整虚拟内存：如果物理内存仍不足，打开系统分页文件设置，允许系统自动管理或设置更大的虚拟内存空间（虽然速度比物理内存慢，但能避免内存溢出）。

内容的提问来源于stack exchange，提问作者EmmBr