M1 Pro Mac加载Llama-2 7B遇内存错误：仅HF Pipeline可用的原因

问题场景 #

在16GB内存的M1 Pro Mac上测试Llama-2 7B模型时，仅通过Hugging Face Pipeline方式能正常运行（速度较慢），使用ctransformers或LangChain的CTransformers加载时，Python会崩溃并触发内存相关警告：

UserWarning: resource_tracker: There appear to be 1 leaked semaphore objects to clean up at shutdown

已关闭所有其他程序，仍出现该问题。

核心原因 #

1. HF Pipeline的自动内存优化：Hugging Face的transformers库对Apple Silicon芯片有专门适配，默认会启用内存优化策略——比如自动将模型加载为bfloat16精度，甚至默认开启4-bit量化，大幅降低内存占用。7B模型在bfloat16下仅需约14GB内存，刚好适配16GB Mac的内存空间。
2. ctransformers的默认加载策略：ctransformers默认尝试加载FP32全精度模型，7B全精度模型需要约28GB内存，远超16GB可用内存，直接触发内存溢出导致崩溃；同时该库默认未针对M1芯片做自动内存优化，无法像HF Pipeline那样高效利用内存。

解决建议 #

1. 使用量化后的GGUF/GGML模型（最推荐） #

ctransformers对GGUF/GGML格式的量化模型支持更好，4-bit量化后的7B模型内存占用仅需约4-5GB，完全适配16GB Mac：

• 下载Llama-2-7B-Chat的GGUF量化版本（比如q4_K_M级别，平衡精度和内存）。
• 修改ctransformers加载代码：

  from ctransformers import AutoModelForCausalLM
  # 替换为量化模型的仓库名或本地路径
  llm = AutoModelForCausalLM.from_pretrained(
      "TheBloke/Llama-2-7B-Chat-GGUF",
      model_file="llama-2-7b-chat.Q4_K_M.gguf",
      model_type='llama'
  )
  

• LangChain的CTransformers同理：

  from langchain.llms import CTransformers
  llm = CTransformers(
      model="TheBloke/Llama-2-7B-Chat-GGUF",
      model_file="llama-2-7b-chat.Q4_K_M.gguf",
      model_type='llama',
      config={'max_new_tokens': 256, 'temperature': 0.01}
  )
  

2. 手动给ctransformers添加内存优化参数 #

如果坚持使用原始HF权重，可通过以下参数限制内存占用：

from ctransformers import AutoModelForCausalLM
llm = AutoModelForCausalLM.from_pretrained(
    "meta-llama/Llama-2-7b-chat-hf",
    model_type='llama',
    config={
        'max_new_tokens': 128,  # 限制生成token数
        'context_length': 512,  # 缩短上下文窗口
        'gpu_layers': 10  # 利用M1 GPU分担部分模型层，减少CPU内存占用
    }
)

3. 确认HF Pipeline的内存优化细节 #

可以通过以下代码查看HF加载模型的精度，验证自动优化策略：

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-chat-hf", device_map="auto")
print(model.dtype)  # 输出应为bfloat16或float16，而非FP32

内容的提问来源于stack exchange，提问作者Max Niroomand