如何调整Spacy使Entity Ruler识别"Frankfurt am Main"为完整GPE实体

问题出在Entity Ruler的管道顺序或实体覆盖设置上：默认情况下，entity_ruler会被添加到ner（原生命名实体识别）管道之后，原生NER先识别出"Frankfurt"为GPE，后续规则无法覆盖这个结果。可以通过以下两种方法解决：

方法1：将Entity Ruler放在NER管道之前 #

让规则优先匹配，原生NER不会再拆分识别已被规则标记的实体：

nlp = spacy.load("en_core_web_sm")
# 把entity_ruler添加到ner管道之前
ruler = nlp.add_pipe("entity_ruler", before="ner")
patterns = [
    {"label": "ORG", "pattern": "MyCorp Inc."},
    {"label": "GPE", "pattern": "Frankfurt am Main"}
]
ruler.add_patterns(patterns)
doc = nlp("MyCorp Inc. is a company in Frankfurt am Main")
print([(ent.text, ent.label_) for ent in doc.ents])

方法2：开启实体覆盖模式 #

通过overwrite_ents=True配置，让规则实体覆盖原生NER识别的结果：

nlp = spacy.load("en_core_web_sm")
# 开启实体覆盖，让规则结果替换原生NER的识别
ruler = nlp.add_pipe("entity_ruler", config={"overwrite_ents": True})
patterns = [
    {"label": "ORG", "pattern": "MyCorp Inc."},
    {"label": "GPE", "pattern": "Frankfurt am Main"}
]
ruler.add_patterns(patterns)
doc = nlp("MyCorp Inc. is a company in Frankfurt am Main")
print([(ent.text, ent.label_) for ent in doc.ents])

额外优化：使用Token级模式匹配（可选） #

如果需要忽略大小写或更精确的分词匹配，可以用Token数组定义模式，避免因分词差异导致的匹配失败：

patterns = [
    {"label": "ORG", "pattern": "MyCorp Inc."},
    {"label": "GPE", "pattern": [{"LOWER": "frankfurt"}, {"LOWER": "am"}, {"LOWER": "main"}]}
]

执行以上任意方法后，输出都会变为：

[('MyCorp Inc.', 'ORG'), ('Frankfurt am Main', 'GPE')]

内容的提问来源于stack exchange，提问作者Mario