Amazon Linux 2加载Llama 3.2-11B模型时内存分配失败求助

核心原因 #

是的，这个RuntimeError: unable to mmap... Cannot allocate memory错误直接指向服务器RAM内存不足。

Llama-3.2-11B-Vision-Instruct用bfloat16精度加载时，模型本身的内存/显存占用约22GB（11B参数×2字节/参数）。设置device_map="auto"后，Transformers会优先把权重放到GPU显存，GPU装不下的部分就会放到RAM里。如果服务器RAM也不够承载剩余权重，就会触发内存分配失败的mmap错误。

之前的The model weights are not tied只是警告，和内存错误没直接关系，只是说明模型输入输出嵌入层权重未绑定，顶多多占一点内存，不影响加载逻辑。

解决办法 #

• 升级服务器RAM：条件允许的话直接提升内存规格，确保RAM能装下GPU放不下的模型权重。
• 启用磁盘卸载：给from_pretrained加offload_folder="./offload"参数，让Transformers把RAM也装不下的权重放到磁盘，虽然速度会变慢，但能解决内存不足问题：

  model = MllamaForConditionalGeneration.from_pretrained(
      model_id, 
      device_map="auto", 
      torch_dtype=torch.bfloat16,
      offload_folder="./offload"
  )
  

• 换更小的模型版本：如果不需要11B规模，换成Llama-3.2的1B/3B视觉版本，内存占用会大幅降低。
• 量化加载降内存：用4bit/8bit量化加载，大幅减少内存占用，需要先导入BitsAndBytesConfig：

  from transformers import BitsAndBytesConfig
  
  bnb_config = BitsAndBytesConfig(
      load_in_4bit=True,
      bnb_4bit_use_double_quant=True,
      bnb_4bit_quant_type="nf4",
      bnb_4bit_compute_dtype=torch.bfloat16
  )
  
  model = MllamaForConditionalGeneration.from_pretrained(
      model_id, 
      device_map="auto", 
      quantization_config=bnb_config
  )
  

内容的提问来源于stack exchange，提问作者Amon