如何自定义Spacy词形还原，将所有专有名词视为普通名词？

你遇到的核心问题是：当文本中的短语被Spacy识别为专有名词（PROPN）时，其中的名词会沿用专有名词的词形还原规则（通常保留原词），导致无法得到预期的普通名词还原结果。以下是两种直接可行的解决方式：

方法一：强制按普通名词规则做词形还原 #

遍历每个token时，若判定为专有名词，直接调用Spacy的词形还原器并指定词性为普通名词（NOUN），忽略原有的PROPN标注。

示例代码：

import spacy

# 加载预训练模型
nlp = spacy.load("en_core_web_sm")

text = "awards mvp awards"
doc = nlp(text)

processed_lemmas = []
for token in doc:
    if token.pos_ == "PROPN":
        # 强制用NOUN的规则生成词形还原结果
        lemma = nlp.vocab.morphology.lemmatize(token.tag_, token.text, pos="NOUN")[0]
        processed_lemmas.append(lemma)
    else:
        processed_lemmas.append(token.lemma_)

print(" ".join(processed_lemmas))  # 输出：award mvp award

方法二：预处理修改词性标注（可选） #

如果需要全局调整PROPN的处理逻辑，可以添加一个自定义组件，将所有PROPN词性替换为NOUN后再进行词形还原。不过这种方式会影响后续其他基于词性的任务，需谨慎使用。

示例代码：

import spacy
from spacy.tokens import Doc

def propn_to_noun(doc: Doc) -> Doc:
    for token in doc:
        if token.pos_ == "PROPN":
            # 覆盖词性标注为NOUN
            token.pos_ = "NOUN"
            # 同步更新tag（可选，部分模型依赖tag做还原）
            token.tag_ = "NN" if token.tag_.startswith("NNP") else token.tag_
    return doc

nlp = spacy.load("en_core_web_sm")
# 将自定义组件添加到词形还原之前
nlp.add_pipe(propn_to_noun, before="lemmatizer")

doc = nlp("awards mvp awards")
print(" ".join([token.lemma_ for token in doc]))  # 输出：award mvp award

关键说明 #

Spacy的词形还原逻辑是基于词性标注的，专有名词（PROPN）的默认规则是不做词形变化（比如复数转单数）。通过强制指定NOUN词性或修改标注，就能让模型用普通名词的规则处理这些词，得到你预期的还原结果。

内容的提问来源于stack exchange，提问作者Abi