如何增强spaCy英文模型形态学信息？祈使语气识别异常排查

问题背景 #

使用spaCy英文预训练模型（如en_core_web_lg）检测祈使语气动词时，发现模型输出的形态特征与官方文档示例不一致，mood特征识别数量极少。用户不确定是遗漏配置项还是需要训练模型，希望先明确差异原因，再寻求简易修复方案。

问题复现 #

示例代码 #

运行以下代码可观察形态特征输出与预期的差异：

'''
Prerequisites

pip install spacy
python -m spacy download en_core_web_lg
'''
import spacy

nlp = spacy.load("en_core_web_lg")

def show_morph_as_markdown_table(doc):
    print("|Context|Token|Lemma|POS|TAG|MORPH|")
    print("|----|----|----|----|----|----|")
    for token in doc:
        print(f'|{doc}|{token.text}|{token.lemma_}|{token.pos_}|{token.tag_}|{token.morph.to_dict()}|')

def show_morph_for_sentences_as_markdown_table(sentences):
    sentence_docs = list(nlp.pipe(sentences))
    for sentence_doc in sentence_docs:
        show_morph_as_markdown_table(sentence_doc)

example_sentences = [
    "I was reading the paper",
    "I don’t watch the news, I read the paper",
    "I read the paper yesterday"
]

show_morph_for_sentences_as_markdown_table(example_sentences)

添加组件时的错误 #

尝试手动添加morphologizer组件时出现初始化错误：

from spacy.pipeline.morphologizer import DEFAULT_MORPH_MODEL

config = {"model": DEFAULT_MORPH_MODEL}
nlp.add_pipe("morphologizer", config=config)

# 报错：ValueError: [E109] Component 'morphologizer' could not be run. Did you forget to call `initialize()`?

# 尝试修复初始化：
nlp.initialize()

# 再次报错：[E955] Can't find table(s) lexeme_norm for language 'en' in spacy-lookups-data. Make sure you have the package installed or provide your own lookup tables if no default lookups are available for your language.

用户发现spaCy 3.x版本通过AttributeRuler管理tag映射和形态规则，怀疑预训练模型未包含文档中使用的完整规则。

问题原因 #

1. 预训练模型局限性：en_core_web系列模型针对通用文本优化，形态特征（尤其是mood）的标注覆盖率有限，部分祈使语气场景未被覆盖。
2. 组件使用误区：预训练模型已集成形态分析能力，无需额外添加morphologizer组件，手动添加会与现有流水线冲突，且需额外lookup数据支持。
3. 规则缺失：模型自带的AttributeRuler规则未覆盖所有祈使语气场景，导致mood特征识别不足。

简易修复方案 #

方案1：补充AttributeRuler形态规则 #

手动添加祈使语气识别规则，让模型正确标记mood特征：

import spacy

nlp = spacy.load("en_core_web_lg")

# 获取现有AttributeRuler组件
ruler = nlp.get_pipe("attribute_ruler")

# 添加祈使语气规则：动词原形作根节点，标记Mood=Imp
ruler.add([[{"POS": "VERB", "TAG": "VB", "DEP": "ROOT"}]], {"Morph": {"Mood": "Imp"}})
# 添加带主语you的祈使句规则
ruler.add([[{"TEXT": {"IN": ["You", "you"]}}, {"POS": "VERB", "TAG": "VB"}]], {"Morph": {"Mood": "Imp"}})

# 测试祈使句
test_sentences = ["Read the paper", "You wash the dishes", "Don't touch that"]
for sent in test_sentences:
    doc = nlp(sent)
    for token in doc:
        if token.pos_ == "VERB":
            print(f"Token: {token.text}, Morph: {token.morph.to_dict()}")

方案2：安装依赖后使用Morphologizer（不推荐在预训练模型中添加） #

若需单独使用morphologizer，先安装依赖：

pip install spacy-lookups-data

新建空流水线初始化组件：

import spacy
from spacy.pipeline.morphologizer import DEFAULT_MORPH_MODEL
from spacy.lang.en import English

# 新建英文空流水线
nlp = English()
config = {"model": DEFAULT_MORPH_MODEL}
nlp.add_pipe("morphologizer", config=config)
nlp.initialize()

# 测试
doc = nlp("Read the paper")
for token in doc:
    print(f"Token: {token.text}, Morph: {token.morph.to_dict()}")

方案3：使用UD系列预训练模型 #

基于Universal Dependencies的模型对形态特征标注更全面，可尝试：

python -m spacy download en_ud_web_trf

使用该模型进行分析，能得到更完整的mood特征输出。

内容的提问来源于stack exchange，提问作者Mufaka