如何确保Spacy Entity Ruler按设定顺序匹配实体模式？

你的问题核心是Entity Ruler并非严格按模式添加顺序决定匹配优先级，而是基于模式的匹配精度和内部评分机制。你写的Unknown模式{'OP': '?'}匹配范围极广（任意单个token），会优先覆盖更具体的Country模式，导致预期外的结果。

推荐两种解决方案：

方案一：手动标记未匹配的实体（更可靠直观） #

先让Entity Ruler处理所有已知实体，再遍历文档，将未被标记的token手动转为Unknown实体：

import spacy
from spacy.tokens import Span

nlp = spacy.blank("en")
ruler = nlp.add_pipe("entity_ruler")
# 仅添加已知实体的匹配模式
patterns = [
    {'label': 'Country', 'pattern': [{'lower': 'ger'}]}
]
ruler.add_patterns(patterns)

doc = nlp('ger is a country')

# 收集已被标注为实体的token位置
ent_token_indices = set()
for ent in doc.ents:
    for token in ent:
        ent_token_indices.add(token.i)

# 生成新的实体列表，加入未匹配的Unknown实体
new_ents = list(doc.ents)
for token in doc:
    if token.i not in ent_token_indices:
        # 创建单个token的Span，标记为Unknown
        unknown_span = Span(doc, token.i, token.i + 1, label="Unknown")
        new_ents.append(unknown_span)

# 实体必须按位置排序，否则会报错
doc.ents = sorted(new_ents, key=lambda x: x.start)

print([(ent.text, ent.label_) for ent in doc.ents])

运行后输出符合预期：

[('ger', 'Country'), ('is', 'Unknown'), ('a', 'Unknown'), ('country', 'Unknown')]

方案二：给模式设置优先级（依赖Spacy版本） #

在Spacy 3.x及以上版本中，可以给模式添加priority参数（数值越高优先级越高），同时开启overwrite_ents让高优先级模式覆盖低优先级的：

import spacy

nlp = spacy.blank("en")
# 开启overwrite_ents，让高优先级实体覆盖低优先级的
ruler = nlp.add_pipe("entity_ruler", config={"overwrite_ents": True})
patterns = [
    # 给Country模式设置更高优先级
    {'label': 'Country', 'pattern': [{'lower': 'ger'}], 'priority': 10},
    {'label': 'Unknown', 'pattern': [{'OP': '?'}], 'priority': 1}
]
ruler.add_patterns(patterns)

doc = nlp('ger is a country')
print([(ent.text, ent.label_) for ent in doc.ents])

这种方法可以让Country模式优先匹配，避免被Unknown模式覆盖。

内容的提问来源于stack exchange，提问作者Andreas