带掩码与多正确标签的BERT算术任务微调技术问询

任务背景 #

我计划基于BERT模型做简单算术运算的微调任务，处理诸如 5 + 3 = 8 或 7 plus 2 equals 9 这类算术表述。数据集包含数千条样本，每条样本会掩码操作数、运算符或结果中的一个，示例如下：

• 掩码样本："1 added to [MASK] equals 7"，对应参考标签："1 added to 6 is equal to 7"
• 掩码样本："6 plus 5 [MASK] 11"，对应参考标签："6 plus 5 gives 11"

核心挑战 #

训练中最关键的问题是：部分掩码位置存在多个正确的候选token，比如第二个样本里，模型预测equals替代[MASK]时，也应该被判定为正确，而非仅认可标签里的gives。

可行解决方案 #

1. 损失函数调整 #

放弃传统单标签交叉熵损失，改用多标签交叉熵损失。训练时将所有逻辑和语义正确的token标记为正样本（标签设为1），其余为负样本（标签设为0）。比如第二个样本的掩码位置，gives、equals、=等等价表述都要纳入正标签集合，同时需注意BERT分词器的子token拆分问题，要将完整表述和拆分后的子token对应统一。

2. 数据集预处理优化 #

针对不同类型的掩码样本，提前枚举所有正确替代选项：

• 操作数掩码样本：仅保留符合算术逻辑的数值作为正确token（比如1 added to [MASK] equals 7的正确token只有6）
• 运算符/连接词掩码样本：整理所有语义等价的表述，比如plus对应+、added to；gives对应equals、is equal to等，将这些全部加入该样本的正标签列表。

3. 模型输出层适配 #

在BERT的掩码token输出层后，替换原有的Softmax激活为Sigmoid激活。Softmax会强制模型仅选择概率最高的单个token，而Sigmoid允许多个token的概率趋近于1，更适配多标签场景的需求。

4. 评估指标调整 #

不再使用单token准确率作为核心评估指标，改用多标签F1-score或Hamming Loss。这些指标能更精准地衡量模型对多个正确token的识别能力，避免单标签指标带来的评估偏差。

内容的提问来源于stack exchange，提问作者abbassix