MarianMTModel遇'-'字符停止翻译问题求助

核心原因：贪心搜索（num_beams=1）的局限性 #

当设置num_beams=1时，模型采用贪心搜索策略——每一步只选择当前概率最高的token。你的案例中，模型处理到破折号时，计算得出<s>（句子结束符）的概率高于后续翻译所需的任何token，因此直接终止翻译，仅输出破折号前的内容。

为什么num_beams=2能正常工作 #

beam search（num_beams>1）会在每一步保留多个概率较高的候选token序列，而非只选最高概率的那个。即使模型认为破折号后应该输出<s>，beam search会同时保留“继续翻译后续内容”的候选路径，最终选择完整的翻译结果，避免了过早终止。

模型对破折号的行为细节 #

从你提供的生成ID tensor([[63429, 7157, 522, 10126, 15, 0]]) 解码结果<pad> Life never ends </s>可以看出：模型在翻译完破折号前的内容后，直接生成了结束符<s>，这说明在贪心搜索逻辑下，模型判断此时终止的概率最高。这种现象大概率是因为训练数据中，破折号常出现在语义完整的句末，模型学到了“破折号后无需继续翻译”的统计规律，而贪心搜索没有备选路径来修正这个判断。

内容的提问来源于stack exchange，提问作者Karol