spaCy处理短文本为何存在实体识别不一致问题？

问题复现 #

测试代码：

import spacy

text = 'Delaney Schreiber did a thing!'
nlp = spacy.load('en_core_web_sm')
doc = nlp(text)

for ent in doc.ents:
    print(ent)

不同句式的测试结果：

• Delaney Schreiber did a thing!：无实体输出
• Delaney Schrieber was a woman who did a thing!：无实体输出
• Her name was Delaney Schreiber, and she did a thing!：无实体输出
• Her name was Delaney Schreiber, a woman who did a thing!：成功识别出Delaney Schreiber为PER（人名）实体

原因分析 #

1. 统计模型的语境依赖
   spaCy的实体识别基于统计训练的模型，en_core_web_sm这类轻量模型的训练数据中，人名实体常伴随明确的语义提示（如同位语、身份描述）。第四个句子里的a woman who did a thing!作为同位语，给模型提供了"这是一个人"的强语义线索，帮助模型判定目标字符串为人名；而前几个句子缺乏这类额外语境，模型无法仅凭孤立字符串或弱上下文完成准确识别。

2. 句首位置的歧义干扰
   句首的专有名词容易被模型误判，训练数据中句首出现非人名类专有名词（如品牌、地名、机构名）的场景更多，轻量模型特征提取能力有限，在无额外语境支撑时，无法区分句首的人名与其他类型实体，甚至直接忽略。

3. 轻量模型的容量限制
   en_core_web_sm参数规模小，对细微语义特征的捕捉能力远弱于en_core_web_md或en_core_web_lg这类大模型。大模型能学习到更丰富的语言模式，对低上下文场景的实体识别准确性更高。

解决方案 #

• 更换大模型：加载en_core_web_md或en_core_web_lg，这类模型对孤立语境下的实体识别效果更好，多数情况能直接识别句首人名。
• 添加规则补充：使用spaCy的Matcher或PhraseMatcher，预先定义人名格式规则（如首字母大写的连续两个单词），补充模型的识别能力。
• 微调模型：如果有特定领域数据集，可在现有模型基础上微调，让模型适配你的文本场景。

内容的提问来源于stack exchange，提问作者Rapid Readers