英译卡纳达语Transformer推理仅输出END_TOKEN问题求助

1. 推理解码逻辑问题 #

• 检查初始输入正确性：确认推理时是否将<START_TOKEN>作为目标序列的起始输入，若传入空序列或错误标记，模型会直接输出结束标记。
• 验证解码流程：
  • 贪心解码时，需确保每一步将上一步的输出作为下一步输入，而非始终复用起始标记。
  • 排查终止条件逻辑，是否存在阈值设置过高，导致模型误判为已完成翻译。

2. 训练与推理一致性问题 #

• 核对预处理/后处理逻辑：训练时的文本归一化、标记化规则要和推理时完全一致，比如卡纳达语的特殊字符处理、大小写转换，任何差异都会导致模型无法匹配输入分布。
• 确认模型权重加载：推理时必须加载训练完成的最终权重，而非初始随机权重或中途保存的未训练完全的权重，可通过权重文件大小、校验值对比验证。
• 排查强制教学依赖：训练阶段用强制教学让模型习惯了真实目标前缀，推理时无真实前缀，模型可能因对起始标记响应不足直接输出结束标记。可尝试加入scheduled sampling调整训练策略，或推理时添加少量随机前缀。

3. 数据集与训练过程问题 #

• 检查Samanantar语料质量：确认英-卡纳达语平行语料的对齐准确性，是否存在大量仅含<END_TOKEN>的空目标样本，这类样本会让模型学到错误的输出模式。
• 分析验证指标：即使损失下降，也要看BLEU等翻译质量指标是否同步提升。若损失降但BLEU始终为0，说明模型只是拟合了损失函数，没学到翻译逻辑。
• 核对词汇表：确认<END_TOKEN>在卡纳达语词汇表中的索引是否正确，是否存在索引冲突导致模型输出错误标记。

4. 模型结构细节问题 #

• 检查注意力机制传递：确认编码器输出的上下文向量在解码阶段是否被正确传递，若注意力权重全部集中在<END_TOKEN>上，会导致模型直接输出结束标记。
• 验证输出层计算：排查推理时Softmax是否存在数值不稳定（溢出/下溢），导致<END_TOKEN>概率被异常放大。可尝试添加温度系数降低极端概率的影响。

建议补充以下信息辅助进一步排查：

• 推理阶段的解码代码片段
• 训练时的验证样本输出示例
• 词汇表中<START_TOKEN>、<END_TOKEN>的索引与统计信息

内容的提问来源于stack exchange，提问作者Ajay H