在Jupyter Notebook导入Hugging Face模型时内核崩溃的解决方法

内核崩溃的核心原因是Mistral-7B模型体积过大（全精度约占13GB内存/显存），超出当前环境的内存承载上限，导致进程被强制终止。以下是具体解决方法：

1. 释放冗余内存 #

• 关闭Jupyter之外的高内存占用程序（如多开的浏览器标签页、其他IDE、视频软件等）
• 在Jupyter中先执行内存回收代码：

  import gc
  gc.collect()
  

2. 使用模型量化技术（最有效） #

通过4-bit/8-bit量化将模型内存占用降低至3-7GB，完全适配多数普通GPU或大内存CPU环境。

步骤： #

1. 先安装量化依赖库：

   pip install bitsandbytes accelerate
   

2. 修改加载代码为量化版本：

   from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig, pipeline
   
   # 配置4-bit量化（内存占用最低，精度损失可忽略）
   bnb_config = BitsAndBytesConfig(
       load_in_4bit=True,
       bnb_4bit_use_double_quant=True,
       bnb_4bit_quant_type="nf4",
       bnb_4bit_compute_dtype=torch.bfloat16
   )
   
   # 二选一：用AutoModel加载
   tokenizer = AutoTokenizer.from_pretrained("lvkaokao/mistral-7b-finetuned-orca-dpo-v2")
   model = AutoModelForCausalLM.from_pretrained(
       "lvkaokao/mistral-7b-finetuned-orca-dpo-v2",
       quantization_config=bnb_config,
       device_map="auto"  # 自动分配模型到GPU/CPU
   )
   
   # 或用pipeline加载
   # pipe = pipeline(
   #     "text-generation",
   #     model="lvkaokao/mistral-7b-finetuned-orca-dpo-v2",
   #     quantization_config=bnb_config,
   #     device_map="auto"
   # )
   

3. 避免重复加载模型 #

你的代码中同时用pipeline和AutoModelForCausalLM加载同一个模型，会导致内存被重复占用，只需保留其中一种加载方式即可。

4. 硬件层面扩容（可选） #

• 如果使用GPU：关闭其他占用显存的进程，或升级至更大显存的显卡
• 如果使用CPU：扩大系统虚拟内存（Windows）或交换空间（Linux/macOS）

内容的提问来源于stack exchange，提问作者Arnab Chatterjee