使用自定义spaCy NER模型训练实体链指器报E030错误如何解决

该报错由两个关联问题导致：一是句子边界信息没有在EntityLinker运行前完成设置，二是自定义流水线组件存在异常返回值，你可以按以下步骤逐一排查解决：

• 第一步：调整流水线组件顺序
  EntityLinker必须在sentencizer和NER组件之后运行，错误的组件顺序会导致EL运行时还没生成句子边界，正确的添加逻辑示例：

  nlp = spacy.blank("en")
  # 优先添加sentencizer保证最先生成句子边界
  nlp.add_pipe("sentencizer", first=True)
  # 再添加自定义NER组件
  nlp.add_pipe("ner", source=your_custom_ner_model)
  # 最后添加实体链指组件
  nlp.add_pipe("entity_linker")
  

  如果你依赖依存句法分析器做句子拆分，把sentencizer替换成parser组件即可

• 第二步：排查自定义组件的返回值
  报错中的AttributeError: 'NoneType' object has no attribute 'as_doc'说明流水线中某个组件没有返回Doc对象，大概率是自定义NER的处理逻辑异常，你可以先单独测试组件运行是否正常：

  # 禁用EL单独测试前置组件
  test_doc = nlp("测试输入文本", disable=["entity_linker"])
  # 验证返回值不是None、实体正常识别、句子边界正常生成
  assert test_doc is not None
  print("实体识别结果：", [(ent.text, ent.label_) for ent in test_doc.ents])
  print("句子拆分结果：", [sent.text for sent in test_doc.sents])
  

• 第三步：训练阶段提前手动设置句子边界
  训练时直接传入raw文本可能出现边界丢失，你可以提前把文本预处理为带边界的Doc对象，再封装为训练用的Example实例：

  from spacy.training import Example
  
  examples = []
  for text, annotation in zip(texts, annotations):
      doc = nlp.make_doc(text)
      # 手动强制设置句子起始边界
      doc[0].is_sent_start = True
      # 封装标注信息
      example = Example.from_dict(doc, annotation)
      examples.append(example)
  # 训练时直接传入examples列表，不再传入raw text和annotation
  nlp.update(examples, drop=0.2, losses=losses, sgd=optimizer)
  

• 第四步：升级spaCy到稳定版本
  spaCy 3.4之前的版本存在训练模式下sentencizer不输出边界的已知bug，你可以升级版本验证：

  pip install -U spacy>=3.4.0
  

内容的提问来源于stack exchange，提问作者gzkhv