SparkNLP的NerCrfApproach用自定义标签训练后预测全为O问题咨询

核心结论 #

NerCrfApproach 不绑定任何CoNLL标准NER标签集，完全支持自定义IOB格式的实体标签，无需手动提前指定标签列表，训练时会自动从输入数据集的标签列提取所有标签集合，你的初始认知是正确的。

全O输出问题排查方案 #

你替换为标准标签后仍无法正常预测，可按以下优先级排查问题：

• 数据集格式校验
  SparkNLP内置的CoNLL读取器对格式要求非常严格：
  • 确认你的数据集严格遵循IOB2标注规范，B-前缀代表实体起始token，I-前缀代表实体连续token，O代表非实体token，不存在标签拼写错误、大小写不统一、I标签前无对应B标签这类标注错误
  • 确认标签列位置正确，CoNLL读取器默认读取第4列（列索引从0开始为3）作为NER标签，如果你的自定义数据集标签在其他列，需要调用CoNLL类的setLabelColumn方法指定对应列索引
  • 确认训练集实体分布均衡，若数据中95%以上的token都是O标签，实体样本量不足会导致模型欠拟合，最终全部预测为O
  • 确认句子之间用单独空行分隔，每个token单独占一行，列之间用单个制表符或空格分隔，无多余空列
• 训练预测Pipeline一致性校验
  训练和预测阶段的前置处理组件必须完全匹配：
  • 确认两次流程用的是同一个分词器，分词规则完全一致，避免预测时token拆分和训练集不匹配导致特征错位
  • 确认两次流程用的词嵌入完全一致，包括嵌入类型、维度、大小写处理规则，NerCrfApproach高度依赖前置嵌入的输出特征，嵌入不匹配会直接导致预测失效
  • 确认Pipeline组件顺序正确：必须按SentenceDetector -> Tokenizer -> 词嵌入模型 -> NerCrfModel的顺序编排，缺组件或者顺序错误都会导致特征异常
• 训练参数校验
  参数配置不当也会导致模型不收敛：
  • 调用setMaxEpochs把迭代次数调到20以上，默认迭代次数过低可能未完成收敛
  • 检查setL2正则化系数是否过大，过高的正则化会抑制模型学习实体特征
  • 如果你的实体普遍长度较长，可以调大setWindowSize参数，让模型能获取更长的上下文特征进行学习

内容的提问来源于stack exchange，提问作者Martin Wunderlich