如何在Python中加载.mdl文件 用于DialoGPT模型微调

如何加载EmpatheticDialogues仓库的.mdl文件 #

该仓库提供的.mdl是原项目训练的基线对话模型权重，不属于数据集文件，在ipynb中加载步骤如下：

• 提前安装核心依赖库：pytorch、transformers
• 调用pytorch的加载接口读取本地存储的.mdl文件即可，示例代码：

import torch
# 路径替换为你本地.mdl文件的实际存储位置
model_weight = torch.load("./your_file_path.mdl")

• 注意：这类自定义训练的旧版本权重，和你要用到的HuggingFace版DialoGPT架构并不兼容，直接加载会报错，需要手动做权重键名映射后才能正常使用。

微调DialoGPT是否必须加载.mdl文件 #

完全不需要。
这些.mdl是原项目作者训练的自有架构模型的权重，和DialoGPT没有任何依赖关系，你微调DialoGPT只需要用到仓库中的.csv对话数据集即可，不需要加载任何原项目提供的模型权重。

仅用csv训练后输出随机符号的排查方向 #

该问题和未加载.mdl文件没有关联，按以下优先级排查问题：

• 分词器配置错误：未使用DialoGPT对应的专属分词器，或是训练时没有给对话样本添加正确的结束符<|endoftext|>，导致模型无法判断生成终止节点，输出无意义字符
• 数据预处理错误：csv数据中的转义字符、乱码字符未清洗干净，或是对话上下文的拼接格式不符合DialoGPT的训练规范
• 训练参数配置错误：学习率设置过高导致模型训崩，或是训练步数不足模型还未收敛；生成解码时温度值设置过高也会导致输出随机性过强，出现无意义字符
• 测试权重加载错误：测试时没有正确加载你微调完成的模型权重，误使用了随机初始化的模型参数

内容的提问来源于stack exchange，提问作者ss1