使用Hugging Face API加载分片LLAMA2模型报错，求解决方法

问题原因及对应解决方法 #

1. 模型分片文件命名不符合Hugging Face规范 #

Hugging Face对分片的Safetensors文件有固定命名要求，需采用model-00001-of-00002.safetensors、model-00002-of-00002.safetensors这类格式（数字部分补全前导零，最后一位为总分片数）。

• 将model-part1.safetensors重命名为model-00001-of-00002.safetensors
• 将model-part2.safetensors重命名为model-00002-of-00002.safetensors

2. 确保模型目录包含必要配置文件 #

Hugging Face加载模型时需要读取模型结构配置，目录下必须存在config.json文件，建议同时包含generation_config.json（可选但能避免后续生成时的配置问题）。如果缺少这些文件，可从LLaMA2官方模型仓库复制对应配置，或根据模型参数手动生成。

3. 调整加载代码 #

优化后的代码示例：

from transformers import LlamaForCausalLM, LlamaTokenizer

# 直接从模型目录加载tokenizer（目录需包含tokenizer.json、vocab.txt等相关文件）
tokenizer = LlamaTokenizer.from_pretrained('./')
# 加载模型，指定本地加载并启用safetensors格式
model = LlamaForCausalLM.from_pretrained(
    './',
    use_safetensors=True,
    local_files_only=True  # 本地加载时添加，避免尝试从Hugging Face Hub下载
)

额外检查点 #

• 确认模型目录的相对/绝对路径正确，避免路径指向错误
• 验证分片文件未损坏，可通过文件哈希值对比原文件校验

内容的提问来源于stack exchange，提问作者Tej Kiran Boppana