BertForMaskedLM中mask_token_id与attention_mask的关联问题

你当前的掩码操作存在逻辑错误，核心结论先明确：

• 将待预测位置的attention_mask置0是错误操作，完全不符合MLM任务的推理逻辑
• 做掩码预测时必须将待预测位置的input_ids替换为[MASK]的token id，同时保持该位置attention_mask为1，二者不存在“必须同步修改”的绑定关系

两个参数的实际作用 #

• attention_mask：仅用于标记序列中的padding填充位，值为0的位置会被注意力机制完全屏蔽——既不会参与其他位置的注意力计算，自身也无法聚合任何上下文信息。你把待预测位置的该值设为0，相当于直接把这个位置从输入序列中删除，模型根本感知不到这里有需要填充的空位，不可能输出正确的预测结果。
• MLM掩码的核心逻辑：BERT预训练阶段做掩码语言模型任务时，仅会把待预测token替换为[MASK]，所有有效位置（包括掩码位）的attention_mask均为1。推理时保持这个设置，才能让：
  • 掩码位正常聚合全序列的上下文信息，输出合理的预测概率
  • 其他上下文位置感知到掩码位的存在，输出的隐状态完全匹配预训练的输入分布

正确的掩码操作代码 #

你之前的代码只需要修改input_ids即可，不需要改动attention_mask：

# 找到span对应token索引后，仅替换input_ids，不要修改attention_mask
input_ids[idx] = tokeniser.mask_token_id
# attention_mask[idx] 保持原始值1即可

如果你要预测多token组成的span区间，把区间内所有对应token的input_ids都替换为mask_token_id即可，所有位置的attention_mask始终保持全1，不需要做任何置0操作。

内容的提问来源于stack exchange，提问作者Paschalis