使用Spacy的xx_use_lg模型词形还原返回空值的问题

问题本质 #

xx_use_lg是spaCy基于Universal Sentence Encoder构建的多语言模型，默认管道中没有包含词形还原（lemmatizer）组件——而你之前使用的单语言模型（如en_core_web_lg）默认自带对应语言的lemmatizer，这就是调用lemma_返回空列表的核心原因。

可行解决方案 #

1. 手动添加对应语言的lemmatizer组件 #

xx_use_lg支持多语言，但需要手动为目标语言加载适配的lemmatizer。以处理英文为例：

import spacy

# 加载xx_use_lg模型
nlp = spacy.load("xx_use_lg")
# 添加指定语言的lemmatizer组件
nlp.add_pipe("lemmatizer", config={"lang": "en"})
# 必须初始化组件才能正常使用
nlp.get_pipe("lemmatizer").initialize()

# 测试代码
text = "running cats"
doc = nlp(text)
for token in doc:
    print(token.text, token.lemma_)

如果处理其他语言，将config={"lang": "en"}中的en替换为对应语言代码即可（如fr对应法语、de对应德语）。

2. 修正输入处理方式 #

不要直接将单词列表传入nlp，需先拼接为字符串再处理：

# 错误示例：直接传入单词列表
invalid_text = ["running", "cats"]
doc = nlp(invalid_text)  # 会导致token对象异常
# 正确示例：拼接为字符串
valid_text = " ".join(["running", "cats"])
doc = nlp(valid_text)

3. 验证组件加载状态 #

打印当前管道的组件列表，确认lemmatizer已成功添加：

print(nlp.pipe_names)
# 正常输出应包含"lemmatizer"

额外提醒 #

• xx_use_lg的lemmatizer必须指定具体语言，因为它是多语言模型，无法自动适配所有语言的词形规则。
• 如果需要处理多种语言，可根据输入文本的语言动态切换lemmatizer配置，或尝试spaCy的multi_lemmatizer组件（注意版本兼容性）。

内容的提问来源于stack exchange，提问作者Adrien Villemin