Spacy 2.0.11荷兰语模型添加词形还原查找表遇错求助

我清楚你想给荷兰语模型加上类似德语那样的词形还原查找表，但遇到了导入错误的困扰，咱们一步步来排查和解决：

1. 先明确Spacy 2.0.x的语言模块结构 #

Spacy 2.0版本的语言模块导入逻辑是固定的，你新增lemmatizer.py后，必须确保它的存放位置和__init__.py的配置完全对应，不然就会触发导入错误。

2. 修复lemmatizer.py的模块找不到问题 #

你碰到的ModuleNotFoundError: No module named 'spacy.lang.nl.lemmatizer'，大概率是两个原因：

• 文件放错了位置：lemmatizer.py必须和spacy/lang/nl/__init__.py放在同一个文件夹下
• 导入语句拼写错误：比如把lemmatizer拼错，或者路径写错

参考德语实现的荷兰语lemmatizer.py模板 #

你可以直接参考德语的词形还原文件结构，荷兰语版本大概这样写：

# 定义荷兰语词形映射表，替换成你需要的内容
LOOKUP = {
    "werkte": "werken",
    "ging": "gaan",
    # 更多词形映射...
}

class DutchLemmatizer:
    def __init__(self, lookup=None):
        self.lookup = lookup or LOOKUP

    def __call__(self, token):
        # 优先用查找表匹配，匹配不到就返回原词（也可以加自定义规则）
        lower_token = token.text.lower()
        return self.lookup.get(lower_token, lower_token)

3. 修改荷兰语__init__.py的配置 #

接下来要在spacy/lang/nl/__init__.py里正确配置并导入这个lemmatizer，避免ImportError：

• 先导入你写的DutchLemmatizer和LOOKUP
• 在Dutch类的初始化方法里添加lemmatizer组件

修改后的__init__.py关键部分如下：

from .lemmatizer import DutchLemmatizer, LOOKUP
from spacy.lang.nl import tokenizer, tags, lex_attrs, syntax_iterators
from spacy.language import Language

class DutchDefaults:
    # 保留原有默认配置，不需要修改这部分
    tokenizer = tokenizer.DutchTokenizer
    # ...其他原有代码...

class Dutch(Language):
    lang = "nl"
    Defaults = DutchDefaults

    def __init__(self, **kwargs):
        super(Dutch, self).__init__(**kwargs)
        # 添加lemmatizer组件到管道
        self.add_pipe(self.create_lemmatizer())

    def create_lemmatizer(self):
        return DutchLemmatizer(lookup=LOOKUP)

4. 验证文件权限和路径 #

还要确认两个细节：

• spacy/lang/nl/lemmatizer.py有可读权限，避免Python无法读取文件
• 你的修改是在当前Python环境的Spacy安装路径下：可以用import spacy; print(spacy.__file__)查看路径，确保你修改的是这个路径下的lang/nl文件夹

5. 测试修复后的代码 #

现在重新加载模型或者导入荷兰语模块试试：

import spacy
nlp = spacy.load("nl_core_news_sm")
# 测试词形还原
doc = nlp("werkte")
print(doc[0].lemma_)  # 应该返回你在LOOKUP里配置的"werken"

如果还是报错，检查一下导入语句的大小写（比如nl是不是写成了NL），或者lemmatizer.py里的类名有没有写错。

内容的提问来源于stack exchange，提问作者Bart Boerman