基于Mistral-7B的Vigostral-Chat微调后推理输出乱码求助

一、数据集问题排查 #

• 核对数据集是否匹配模型聊天模板：Vigostral-Chat有固定的对话格式（比如<s>[INST] 问题 [/INST] 回答 </s>），如果你的问答对没按这个模板封装，模型学不到正确的对话逻辑，大概率输出乱码。
• 检查数据集内容质量：爬取的学院数据（比如学生人数）是否对应正确的问答对？有没有混入爬虫残留的HTML标签、转义字符或无意义乱码？这些噪声会直接干扰模型学习。
• 确认数据集清洗是否到位：有没有去除冗余换行、特殊符号？有没有过滤掉非法语的无效内容？

二、训练超参数与流程问题排查 #

• 检查学习率：如果学习率过高（比如超过1e-4），模型会出现灾难性遗忘，直接输出随机字符；过低则学不到有效信息，建议尝试1e-5到5e-5区间的学习率。
• 调整训练轮次：轮次太少模型没学会，轮次太多容易过拟合。可以先跑2-5轮，同时盯着验证集loss，一旦loss不再下降就停止训练。
• 验证LoRA配置（如果用了LoRA）：确保rank、alpha参数合理（比如rank=8，alpha=16），训练后是否正确合并了LoRA权重到基座模型？
• 检查输入处理设置：训练时是否开启了正确的padding和truncation？max_seq_length设置是否合理，有没有截断关键问答内容？

三、推理代码问题排查 #

• 确认模型加载正确性：是否加载了微调后的完整模型？如果用了LoRA，有没有用peft库加载或者合并权重？只加载基座模型肯定输出无关内容。
• 对齐推理时的聊天模板：推理输入必须和训练时的格式完全一致，比如训练用了<s>[INST] 问题 [/INST]，推理时也要用同样的模板包裹问题，不然模型读不懂上下文。
• 调整生成参数：temperature过高（比如>1.5）会让输出随机性拉满，建议先设为0.7；同时检查top_p、top_k，默认0.9的top_p比较稳妥。
• 核对tokenizer一致性：推理用的tokenizer必须和训练时完全相同，包括特殊token的设置，否则token不匹配会直接导致乱码输出。

内容的提问来源于stack exchange，提问作者user23371642