BERT embeddings+LSTM实现CoNLL-2003 NER的技术问题咨询

关于当前实现正确性、以及BERT效果弱于ELMo/GloVe的原因 #

你给每个原始单词的首个wordpiece保留原标签、其余wordpiece打-1标签的核心思路是对的，但实现存在3个关键错误，直接导致BERT效果异常差：

• attention_mask逻辑完全错误：BERT的attention_mask作用是标记哪些位置是padding、不需要参与自注意力计算，你现在用mask = (labels >= 0)生成mask，相当于把同一个单词拆分出的非首wordpiece全部标记为无效padding，BERT做自注意力时完全看不到这些子词，首wordpiece的表征根本没融合同词其他子词的语义，子词拆分的价值完全丧失，表征质量自然极差。
• 标签-1未做损失屏蔽：你把非首wordpiece标签设为-1后，如果没有在交叉熵损失中设置ignore_index=-1，这些无意义的-1标签会全程参与损失计算，给训练引入大量噪声，甚至直接导致训练报错。
• 完全冻结BERT参数浪费模型能力：BERT的预训练目标和下游NER任务存在差异，完全冻结参数只取顶层输出，相当于只用到了BERT的通用静态表征；而ELMo本身就是针对序列标注任务设计的上下文表征、GloVe是和CoNLL分词完全对齐的词级向量，不存在子词对齐损耗，效果比你现在错误实现的BERT好是必然结果。

修正逻辑非常明确：

1. attention_mask只需要标记padding位置为0，所有真实token（包括非首wordpiece）全部设为1，保证BERT能看到完整序列；
2. 非首wordpiece保持-1标签，计算损失时指定ignore_index=-1，仅在每个原始词对应的首wordpiece位置计算损失、输出预测结果；
3. 不建议完全冻结BERT，可先解冻顶部2-3层Transformer层做微调，显存足够的话全量微调效果更好；另外不要在forward方法里做分词、padding、插入特殊token这类操作，把这部分逻辑移到数据加载阶段的collate函数里，能大幅提升训练速度，也能避免特殊token重复添加的问题。

另外你现在只看token级准确率评估效果是完全不准的：CoNLL-2003里超过80%的token都是O标签，只要O标签预测对了大部分，准确率就会很高，但可能实体预测全错，NER任务的核心评估指标必须是实体级F1值。

关于BIO标签的分类逻辑 #

不需要把整个实体作为单元做整体分类，逐token分类是BIO标注体系下的标准做法，有两个核心注意点：

• 直接用全连接层做逐token分类可能出现非法标签序列（比如I-PER直接接在O标签后面、B-PER后面接I-LOC这类不符合规则的情况），在分类层后加CRF层学习标签转移约束，就能自动规避这类问题，效果会有明显提升。
• 评估时不要用token级指标，要把预测的BIO序列还原成实体段，按实体是否边界正确、类型正确来计算精确率、召回率和F1值，这才是NER任务的通用评估标准。

最后补充：用BERT做NER其实没必要额外接LSTM，BERT本身的上下文表征能力已经足够强，直接在BERT输出的首wordpiece位置接线性分类层+CRF，效果会比你现在BERT+LSTM的结构好，训练速度也更快。

内容的提问来源于stack exchange，提问作者1tm0tm1