如何让spaCy NER忽略比较语句中的非核心实体

在对比句式里聚焦核心讨论实体、排除参照对比实体，单纯依赖spaCy默认NER模型不够——预训练模型会把Java和C都识别为PRODUCT实体。可以结合句法分析、规则匹配或模型微调来实现需求，以下是具体方案：

方案1：基于句法依存关系过滤 #

利用spaCy的句法分析，识别对比标记（如unlike）的宾语，直接排除这类对比实体。

import spacy

nlp = spacy.load("en_core_web_sm")
text = "Java, unlike C, has a garbage collector"
doc = nlp(text)

# 收集对比标记指向的实体
contrast_entities = set()
for token in doc:
    # 可根据需求扩展对比类词汇表
    if token.lower() in ["unlike", "like", "compared to", "as opposed to"]:
        # 找到对比词的宾语（即被用来对比的实体）
        for child in token.children:
            if child.dep_ == "pobj" and child.ent_type_:
                contrast_entities.add(child.text)

# 过滤出非对比的目标实体
target_entities = [ent for ent in doc.ents if ent.text not in contrast_entities]
print("目标实体:", target_entities)
# 输出：目标实体: [Java]

方案2：自定义规则增强NER #

用spaCy的Matcher匹配对比句式结构，精准定位并排除对比项。

from spacy.matcher import Matcher

nlp = spacy.load("en_core_web_sm")
matcher = Matcher(nlp.vocab)

# 定义对比句式匹配规则：[实体] , unlike [实体] , ...
pattern = [
    {"ENT_TYPE": "PRODUCT"},
    {"IS_PUNCT": True},
    {"LOWER": "unlike"},
    {"ENT_TYPE": "PRODUCT"},
    {"IS_PUNCT": True}
]
matcher.add("CONTRAST_PATTERN", [pattern])

text = "Java, unlike C, has a garbage collector"
doc = nlp(text)
matches = matcher(doc)

# 提取匹配到的对比实体
contrast_ents = []
for _, start, end in matches:
    # 匹配片段中第4个token为对比实体（索引start+3）
    contrast_ents.append(doc[start+3].text)

# 过滤得到目标实体
target_entities = [ent for ent in doc.ents if ent.text not in contrast_ents]
print("目标实体:", target_entities)

方案3：微调NER模型（大规模场景适用） #

如果这类对比场景占比高，可以收集标注数据，将对比项标记为非目标实体（或自定义CONTRAST_ENTITY标签），用spaCy的训练流程微调模型，让模型自动区分核心实体和参照对比实体。

内容的提问来源于stack exchange，提问作者Pavlin Petkov