SpaCy NORP实体识别异常：Mexican被标记为ORG的修正方案咨询

问题场景 #

使用SpaCy en_core_web_lg-3.7.1 处理餐厅名称时，出现实体识别偏差：

nlp = spacy.load("en_core_web_lg-3.7.1")

name = 'Las Palmas Mexican Restaurant & Bar'

doc = nlp(name)
for token in doc:
    print(f"{token.text}\t{token.ent_type_}\t{token.ent_iob_}")
print('-----------------')

当前输出：

Las     ORG     B
Palmas  ORG     I
Mexican ORG     I
Restaurant ORG   I
&       ORG     I
Bar     ORG     I
-----------------

整个餐厅名称被识别为ORG（组织）实体，但其中的Mexican应属于NORP（国籍/宗教/政治群体）实体。仅修改Restaurant & Bar大小写可临时解决，但希望通过非大小写规则的方式实现正确识别。

解决方案 #

1. 自定义实体规则（EntityRuler）

通过SpaCy的EntityRuler组件添加规则，覆盖原NER的错误标注，精准匹配餐厅名称语境中的Mexican为NORP：

import spacy
from spacy.pipeline import EntityRuler

nlp = spacy.load("en_core_web_lg-3.7.1")
# 开启实体覆盖模式
ruler = EntityRuler(nlp, overwrite_ents=True)

# 定义匹配规则：针对餐厅类名称中的Mexican
patterns = [
    {
        "label": "NORP",
        "pattern": [
            {"ent_type": "ORG"},  # 前面是ORG实体的部分
            {"text": "Mexican"},
            {"text": {"IN": ["Restaurant", "Bar", "Cafe", "Grill"]}}  # 后面是餐厅相关词汇
        ]
    },
    # 补充反向匹配规则（如果Mexican出现在餐厅词汇前）
    {
        "label": "NORP",
        "pattern": [
            {"text": {"IN": ["Restaurant", "Bar", "Cafe", "Grill"]}},
            {"text": "Mexican"}
        ]
    }
]

ruler.add_patterns(patterns)
# 将EntityRuler添加到NER组件之前
nlp.add_pipe("entity_ruler", before="ner")

# 测试
name = 'Las Palmas Mexican Restaurant & Bar'
doc = nlp(name)
for token in doc:
    print(f"{token.text}\t{token.ent_type_}\t{token.ent_iob_}")

该方法无需修改原模型，仅通过规则适配特定场景，不影响其他文本的实体识别。

2. 后处理实体修正

在NER识别完成后，手动遍历实体并修正特定情况，适合快速临时处理：

import spacy

nlp = spacy.load("en_core_web_lg-3.7.1")

name = 'Las Palmas Mexican Restaurant & Bar'
doc = nlp(name)

corrected_ents = []
for ent in doc.ents:
    if ent.label_ == "ORG" and "Mexican" in ent.text:
        # 拆分原ORG实体，将Mexican单独标记为NORP
        norp_token = None
        org_tokens = []
        for token in ent:
            if token.text == "Mexican":
                norp_token = token
            else:
                org_tokens.append(token)
        # 重新构建ORG实体
        if org_tokens:
            corrected_ents.append(spacy.tokens.Span(doc, org_tokens[0].i, org_tokens[-1].i+1, label="ORG"))
        # 添加NORP实体
        if norp_token:
            corrected_ents.append(spacy.tokens.Span(doc, norp_token.i, norp_token.i+1, label="NORP"))
    else:
        corrected_ents.append(ent)

# 更新文档的实体列表
doc.ents = corrected_ents

# 输出修正结果
for token in doc:
    print(f"{token.text}\t{token.ent_type_}\t{token.ent_iob_}")

3. 微调预训练模型

如果有大量标注好的餐厅名称数据集，可以对en_core_web_lg进行微调，让模型学习这类场景下的实体区分逻辑：

• 准备标注数据集：将包含Mexican（标注为NORP）的餐厅名称整理为SpaCy格式的训练样本
• 使用SpaCy官方训练脚本，针对NER层进行微调
• 微调后的模型可长期适配这类特定场景的识别需求

内容的提问来源于stack exchange，提问作者Saeed