加载Hugging Face Hub的Meta-Llama-3-70B模型时遇OSError求助

错误信息 #

OSError: We couldn't connect to 'https://huggingface.co' to load this file, couldn't find it in the cached files and it looks like meta-llama/Meta-Llama-3-70B is not the path to a directory containing a file named config.json.  Checkout your internet connection or see how to run the library in offline mode at 'https://huggingface.co/docs/transformers/installation#offline-mode'.

所用代码 #

import torch
import transformers

model_id = "meta-llama/Meta-Llama-3-70B"
pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)
pipeline("Hey how are you doing today?")

问题原因 #

• 本地未完成Hugging Face账号认证：即便官网申请了权限，本地环境没做账号认证，Hub会拒绝模型文件访问请求，导致无法下载config.json等核心文件。
• 依赖库版本不兼容：Transformers、Hugging Face Hub等库版本过旧，和Llama 3模型存在适配问题，无法正确解析模型路径或发起请求。
• 缓存或路径异常：本地缓存目录有损坏文件，或者模型ID拼写有误（比如大小写、格式错误），导致找不到对应文件。

解决方法 #

1. 完成本地账号认证

   • 先安装huggingface-hub库（未安装的话）：pip install huggingface-hub
   • 终端执行认证命令：huggingface-cli login，输入Hugging Face账号的token（可在官网个人设置中生成）。
   • 也可以在代码中直接指定token：

     from huggingface_hub import login
     login(token="你的账号token")
     

2. 更新依赖库

   • 升级Transformers、Hugging Face Hub及加速库到最新版本：

     pip install --upgrade transformers huggingface-hub accelerate
     

   • accelerate库对大模型的设备映射加载至关重要，需确保版本兼容。

3. 检查缓存与路径

   • 确认模型ID拼写完全正确：meta-llama/Meta-Llama-3-70B，注意大小写和格式细节。
   • 清理Hugging Face缓存（可选）：删除默认缓存目录~/.cache/huggingface/hub后重新尝试下载。
   • 若网络不稳定，可手动下载模型文件到本地目录，将代码中的model_id替换为本地路径。

4. 验证权限有效性

   • 登录Hugging Face官网，确认已接受Meta-Llama-3-70B的使用协议，且账号在官方授权列表中。

内容的提问来源于stack exchange，提问作者pragateesh