为何输入无掩码句子时BERT未返回原句？

• 预训练目标的本质限制：BERT的核心预训练任务是掩码语言模型（MLM），训练过程中仅对被[MASK]标记的位置计算预测损失，其余位置的预测结果完全不参与损失计算。这意味着MLM分类头从未被训练过在无掩码输入时预测原句的所有token，自然无法输出原句。
• 高频特殊token的概率倾斜：你看到的tensor(1012)大概率是tokenizer中的某类高频特殊token（比如常见的[SEP]对应id为102，可能是输入或token映射的小误差）。由于未训练位置的预测没有约束，模型会倾向于输出预训练语料中出现频率最高的token，这类特殊token在语料中占比极高，因此成为最常出现的预测结果。
• 对“自编码器”概念的混淆：BERT是掩码自编码器，和传统意义上重构整个输入的自编码器完全不同。它的设计目的是通过掩码部分token来学习上下文语义表征，而非还原完整输入序列。只有当输入中存在[MASK]标记时，模型才会针对这些掩码位置输出合理的原词预测。

内容的提问来源于stack exchange，提问作者AlanSTACK