使用TheBloke/Llama-2-7B-Chat-GGML构建AI聊天机器人遇OSError求助

问题原因 #

你选用的TheBloke/Llama-2-7B-Chat-GGML是基于llama.cpp的量化GGML格式模型，这类模型无法直接通过Hugging Face Transformers的from_pretrained方法加载——该方法默认寻找PyTorch（pytorch_model.bin）或TensorFlow（tf_model.h5）格式的模型文件，自然会触发文件不存在的报错。

解决步骤 #

1. 安装适配GGML的依赖 #

确保你的环境中安装支持GGML模型的库，二选一即可：

• 安装ctransformers：

pip install ctransformers

• 安装llama-cpp-python：

pip install llama-cpp-python

2. 修改模型加载代码 #

替换原来用Transformers加载模型的代码，改用对应库加载GGML文件：

方案一：使用ctransformers

from ctransformers import AutoModelForCausalLM

# 加载模型，指定模型文件和模型类型
model = AutoModelForCausalLM.from_pretrained(
    "TheBloke/Llama-2-7B-Chat-GGML",
    model_file="llama-2-7b-chat.ggmlv3.q8_0.bin",
    model_type="llama"
)

# 测试聊天推理
response = model("你好，我想了解AI聊天机器人的构建方法")
print(response)

方案二：使用llama-cpp-python

from llama_cpp import Llama

# 加载本地模型文件（建议提前下载到本地，避免重复下载）
llm = Llama(
    model_path="./llama-2-7b-chat.ggmlv3.q8_0.bin",
    n_ctx=2048,  # 上下文窗口大小，根据硬件调整
    n_threads=4   # 线程数，对应CPU核心数
)

# 构造聊天提示并推理
output = llm(
    "用户：你好，我想了解AI聊天机器人的构建方法\n助手：",
    max_tokens=200,
    stop=["用户："],
    echo=False
)
print(output["choices"][0]["text"])

3. 验证模型路径 #

• 如果使用在线仓库加载，确保仓库名和model_file参数完全匹配；
• 如果是本地模型，直接填写本地文件的绝对/相对路径即可。

内容的提问来源于stack exchange，提问作者Deniz ÇELİK