Mt5模型微调XL-Sum阿拉伯语数据集后测试结果异常排查请求

• 预处理/后处理流程不一致
  训练时若对阿拉伯语文本执行了特殊预处理（如阿拉伯语字符归一化、专用分词工具处理），但测试阶段未复用完全相同的流程，会导致模型输出无法正确解码。比如训练时统一了阿拉伯语中不同形式的alef字符，测试时未做归一化，或训练用了阿拉伯语专用分词器、测试用了默认mt5分词器，都可能引发乱码。
• 分词器不匹配
  确保测试时使用的分词器与训练时完全一致，包括所有配置参数（如do_lower_case、strip_accents）。Mt5分词器针对多语言设计，但阿拉伯语有特殊字符处理逻辑，若加载分词器时未指定正确参数，或训练后未同步保存配套分词器，测试时用了不同版本的分词器，会出现解码错误。
• 模型加载异常
  检查加载Hugging Face模型的代码：确认是否误加载了其他语言的Mt5变体，是否正确指定from_pretrained的参数（如revision、local_files_only）避免权重加载不全。同时验证测试时的生成配置（如max_length、num_beams）是否合理，不合理的长度设置可能导致输出截断或乱码。
• 字符编码错误
  确认测试阶段输入输出均使用UTF-8编码。若读取测试文本时用了ISO-8859-6等非UTF-8编码，或输出时未正确编码为UTF-8，会出现阿拉伯符号与乱码混合的情况。
• 训练与测试数据分布差异
  即便训练验证损失、Rouge指标正常，测试数据可能包含训练集中未出现的罕见阿拉伯语特殊字符、方言词汇，导致模型生成时无法映射到有效字符。可抽样对比训练集与测试集的字符种类，确认分布差异。
• 模型保存/加载序列化问题
  检查模型保存到Hugging Face库的完整性：是否遗漏了分词器文件、生成配置文件。若仅保存模型权重，未同步保存配套的分词器和配置，加载后生成时会出现解码异常。

内容的提问来源于stack exchange，提问作者Noor