Colab加载Llama 3 8B模型内存不足，加低内存参数仍报错求助

加载Meta-Llama-3-8B-Instruct时出现Your session has failed because all available RAM has been used错误，且添加low_cpu_mem_usage=True后仍无效，可尝试以下几种方案：

• 4位/8位量化加载
  借助bitsandbytes库对模型做量化处理，能将8B模型的内存占用从全精度的32GB+降至4-6GB（4位量化），大幅降低内存压力。示例代码：

  from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
  
  model_name = "meta-llama/Meta-Llama-3-8B-Instruct"
  bnb_config = BitsAndBytesConfig(
      load_in_4bit=True,
      bnb_4bit_use_double_quant=True,
      bnb_4bit_quant_type="nf4",
      bnb_4bit_compute_dtype=torch.bfloat16
  )
  
  tokenizer = AutoTokenizer.from_pretrained(model_name, use_auth_token=hugging_face_key)
  model = AutoModelForCausalLM.from_pretrained(
      model_name,
      use_auth_token=hugging_face_key,
      quantization_config=bnb_config,
      low_cpu_mem_usage=True
  )
  

• 启用自动设备映射
  通过device_map="auto"让transformers自动将模型层分配到可用的GPU和CPU内存中，避免单设备内存过载，尤其适合多GPU或内存有限的环境：

  model = AutoModelForCausalLM.from_pretrained(
      model_name,
      use_auth_token=hugging_face_key,
      low_cpu_mem_usage=True,
      device_map="auto"
  )
  

• 使用半精度浮点加载
  仅做推理场景下，设置torch_dtype=torch.bfloat16或torch.float16，将模型权重以半精度格式加载，内存占用直接减半：

  model = AutoModelForCausalLM.from_pretrained(
      model_name,
      use_auth_token=hugging_face_key,
      low_cpu_mem_usage=True,
      torch_dtype=torch.bfloat16
  )
  

• 清理内存缓存
  加载模型前手动清理PyTorch的GPU缓存和系统内存，释放残留资源：

  import torch
  import gc
  
  torch.cuda.empty_cache()
  gc.collect()
  

内容的提问来源于stack exchange，提问作者matteo