本地部署Llama 3.1 8B缺失config.json文件的问题求助

问题 #

我通过Meta的Github页面安装了Llama 3.1 8B模型，但运行同目录下的示例代码时出现错误。代码如下：

import transformers
import torch

pipeline = transformers.pipeline(
  "text-generation",
  model="Meta-Llama-3.1-8B",
  model_kwargs={"torch_dtype": torch.bfloat16},
  device="cuda"
)

错误信息为：

OSError: Meta-Llama-3.1-8B does not appear to have a file named config.json

请问我可以从哪里获取config.json？我已安装最新版transformers模块，知道可通过HuggingFace访问远程模型，但更希望使用本地模型，是否可行？

解决方法 #

• 获取config.json：直接从Hugging Face的Llama 3.1模型页面下载对应8B版本的config.json，放到本地模型目录根路径下即可。
• 本地模型运行可行性：完全可行，但要确保本地模型目录包含transformers所需的全部必要文件——除了config.json，还需要tokenizer_config.json、tokenizer.model、special_tokens_map.json，以及模型权重文件（如.bin或.safetensors格式）。
• 代码调整：使用本地模型时，需将model参数改为本地模型的绝对路径或相对路径，而非模型名称。例如模型放在当前目录的llama-3.1-8b文件夹中，代码应修改为：

  pipeline = transformers.pipeline(
    "text-generation",
    model="./llama-3.1-8b",  # 替换为你的本地模型实际路径
    model_kwargs={"torch_dtype": torch.bfloat16},
    device="cuda"
  )
  

• 权重转换提示：如果你的本地模型是从Meta官方下载的原始权重，需要先用transformers提供的转换脚本将其转为Hugging Face兼容格式，转换过程会自动生成所有必需的配置文件。

内容的提问来源于stack exchange，提问作者MatthewScarpino