从磁盘加载HuggingFace LongT5模型后输出乱码求助

核心排查方向及解决方案 #

1. 模型推理时未切换到eval模式 #

训练后的模型默认处于train模式，此时Dropout、LayerNorm等层的随机化行为会干扰生成逻辑，导致输出乱码。你训练后直接推理时手动调用了model.eval()，但加载模型后漏掉了这关键一步。

解决代码：

model = LongT5ForConditionalGeneration.from_pretrained(os.path.join(model_output_dir, "final"))
model.to('cuda:0')
model.eval()  # 必须添加，禁用训练时的随机化层
model.generation_config = generation_config

# 后续推理代码不变
outputs = model.generate(inputs)
translation = tokenizer.decode(outputs[0], skip_special_tokens=True)

2. GenerationConfig缺失关键参数 #

LongT5作为encoder-decoder结构模型，生成时依赖decoder_start_token_id等核心配置。你手动创建的generation_config可能缺少这些必要参数，导致解码逻辑异常。

方案A：保存模型时同步保存GenerationConfig

训练完成后，把当前生效的配置一起写入磁盘：

# 训练后的保存步骤
trainer.save_model(os.path.join(model_output_dir, "final"))
tokenizer.save_pretrained(os.path.join(model_output_dir, "final"))
model.generation_config.save_pretrained(os.path.join(model_output_dir, "final"))  # 新增这行

加载时直接读取保存的配置：

generation_config = GenerationConfig.from_pretrained(os.path.join(model_output_dir, "final"))
model = LongT5ForConditionalGeneration.from_pretrained(
    os.path.join(model_output_dir, "final"),
    generation_config=generation_config
).to('cuda:0')
model.eval()

方案B：手动补全关键参数

如果必须手动创建配置，确保补充以下内容：

generation_config = GenerationConfig.from_model_config(model.config)
generation_config._from_model_config = False
generation_config.max_new_tokens = 512
# 新增T5系列模型必需的配置
generation_config.decoder_start_token_id = tokenizer.pad_token_id
generation_config.bos_token_id = tokenizer.bos_token_id
generation_config.eos_token_id = tokenizer.eos_token_id
generation_config.pad_token_id = tokenizer.pad_token_id

3. 分布式训练下权重保存不完整 #

如果训练时用了分布式框架（如DDP），trainer.save_model可能只保存了单进程权重，导致加载后参数不完整。此时可以直接用模型实例保存：

# 训练完成后先切到eval模式，再保存
model.eval()
model.save_pretrained(os.path.join(model_output_dir, "final"), safe_serialization=True)
tokenizer.save_pretrained(os.path.join(model_output_dir, "final"))
model.generation_config.save_pretrained(os.path.join(model_output_dir, "final"))

4. 数据类型不匹配 #

如果训练时用了混合精度（如torch.float16），加载模型时未指定对应精度会导致权重异常：

model = LongT5ForConditionalGeneration.from_pretrained(
    os.path.join(model_output_dir, "final"),
    torch_dtype=torch.float16  # 和训练时精度保持一致
).to('cuda:0')
model.eval()

内容的提问来源于stack exchange，提问作者gphilip