运行Hermes-3-Llama-3.1-70B模型遇rope_scaling格式错误求助

核心问题 #

报错源于你使用LlamaForCausalLM加载模型，但该类仅支持标准格式的rope_scaling（仅包含type和factor字段），而Hermes-3-Llama-3.1-70B采用了扩展的RoPE配置（带有high_freq_factor等自定义字段），需要用模型提供的自定义实现适配。

方法1：改用AutoModelForCausalLM加载（推荐） #

替换加载模型的类为AutoModelForCausalLM，它会自动读取模型仓库中的自定义代码，兼容扩展的RoPE配置：

import torch
import transformers

model_name = "你的模型路径或名称"

tokenizer = transformers.AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

# 改用AutoModelForCausalLM加载模型
pipe = transformers.AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto",
    quantization_config=transformers.BitsAndBytesConfig(load_in_4bit=True),
    use_flash_attention_2=True,
    trust_remote_code=True  # 确保启用远程自定义代码加载
)

方法2：手动调整配置适配（若方法1无效） #

若必须使用LlamaForCausalLM，可先加载配置并修改rope_scaling为标准格式，同时保留自定义参数：

import torch
import transformers

model_name = "你的模型路径或名称"

# 先加载模型配置
config = transformers.AutoConfig.from_pretrained(model_name, trust_remote_code=True)
# 将rope_scaling修改为标准格式，保留核心factor参数
config.rope_scaling = {"type": "dynamic", "factor": config.rope_scaling["factor"]}
# 将自定义RoPE参数转移到独立字段（适配模型代码逻辑）
config.high_freq_factor = config.rope_scaling.pop("high_freq_factor", 4.0)
config.low_freq_factor = config.rope_scaling.pop("low_freq_factor", 1.0)
config.rope_type = config.rope_scaling.pop("rope_type", "llama3")

tokenizer = transformers.AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

# 使用修改后的配置加载模型
pipe = transformers.LlamaForCausalLM.from_pretrained(
    model_name,
    config=config,
    torch_dtype=torch.float16,
    device_map="auto",
    quantization_config=transformers.BitsAndBytesConfig(load_in_4bit=True),
    use_flash_attention_2=True
)

方法3：升级依赖库 #

旧版本的transformers可能不支持新的RoPE扩展类型，先升级相关依赖：

pip install --upgrade transformers accelerate bitsandbytes

内容的提问来源于stack exchange，提问作者Soumya Das