Llama-2-7b-hf调用model.generate返回张量而非ModelOutput求助

核心原因分析 #

你的Llama-2-7b-hf模型调用generate返回单个张量而非ModelOutput，主要是本地模型的generation_config.json配置覆盖了初始化参数，或是参数传递优先级问题导致return_dict_in_generate未生效。

具体解决步骤 #

1. 显式在generate调用中指定return_dict_in_generate=True #

虽然你在模型初始化时设置了return_dict_in_generate=True，但本地generation_config.json中的配置会优先生效。直接在generate方法中显式声明该参数，强制启用返回字典：

outputs = model.generate(
    input_ids, 
    top_k=1, 
    max_length=max_len, 
    num_return_sequences=1, 
    output_scores=True,
    return_dict_in_generate=True  # 新增该行强制启用返回结构
)

2. 检查并修改本地generation_config.json #

打开模型目录下的generation_config.json，查看是否存在"return_dict_in_generate": false的配置。如果有，将其改为true，后续初始化模型时无需重复指定该参数。

3. 修正tokenizer初始化的笔误 #

你的代码中tokenizer初始化使用了未定义的engine变量，这是明显笔误，会导致tokenizer加载错误，建议修正为：

tokenizer = AutoTokenizer.from_pretrained(model_path, local_files_only=True)

验证 #

修改后重新运行代码，outputs应返回包含sequences和scores属性的ModelOutput对象，与Mistral等模型的行为一致。

内容的提问来源于stack exchange，提问作者julia