使用spaCy获取预测NER实体置信度的配置及调用方法疑问

配置修改相关说明 #

• ner与spancat是spaCy中两个相互独立的实体识别组件，不存在依赖关系，你需要根据自己的需求调整配置：
  • 若你的需求是给原有ner组件的预测结果添加置信度，不需要在pipeline中新增spancat组件。原生ner组件默认不直接输出置信度，需要额外修改预测逻辑获取对应数值。
  • 若你打算改用spancat做实体识别来直接获取置信度，仅在pipeline列表中添加spancat是不够的，还需要补充完整的[components.spancat]配置块，同时训练数据也需要适配spancat的span标注格式。这种场景下你可以移除原有ner组件，避免重复识别消耗性能。
• 你使用的spaCy 3.1.3版本确实已正式支持spancat组件，不过该版本的spancat相关API处于早期迭代阶段，部分参数和3.2及之后的版本存在微小差异。

预测代码相关说明 #

• 如果你已经完成了spancat组件的完整配置和训练，你给出的预测代码可以正常获取到每个实体的置信度分数：

doc = nlp(data_to_be_predicted)
spans = doc.spans["spancat"] # SpanGroup
print(spans.attrs["scores"]) # 与SpanGroup长度一致的分数列表

• 需要注意：doc.spans对应的键名需要和你spancat配置中spans_key参数的取值保持一致，如果你在配置里自定义过该参数，需要替换为你设置的对应值。

内容的提问来源于stack exchange，提问作者imhans33