寻求可正确还原德语可分复合动词的词形还原库

你遇到的核心问题是：德语的可分动词在句中会拆分前缀和词根，普通词形还原工具（如HanoverTagger、SpaCy默认配置）仅处理单个词汇，无法识别这种拆分结构，因此无法输出合并后的完整不定式（如aufgeben）。以下是几种可行的工具和实现方式：

1. TreeTagger #

TreeTagger对德语形态分析的支持更细致，能直接识别可分动词结构并输出完整不定式。

示例代码 #

from pytreetagger import TreeTagger

# 初始化德语Tagger（需提前安装TreeTagger及德语模型）
tagger = TreeTagger(language='german')
tag_result = tagger.tag('Wir geben niemals auf.')

# 遍历输出，查看动词的完整不定式
for token, pos, lemma in tag_result:
    print(f"{token} → {lemma}")

输出中geben对应的lemma会是aufgeben，自动合并了可分前缀auf。

2. UDpipe #

UDpipe基于通用依存句法分析，能通过句法关系识别可分前缀与动词词根的关联，进而合并出完整不定式。

示例代码 #

import udpipe

# 加载本地预训练德语模型（需提前下载对应模型文件）
model = udpipe.Model.load('german-ud-2.5-191206.udpipe')
doc = model.process('Wir geben niemals auf.')

for sentence in doc.sentences:
    for token in sentence.tokens:
        # 识别可分动词：动词（VERB）搭配标记为particle的前缀
        if token.upos == 'VERB':
            particle = [child.form for child in token.children if child.deprel == 'particle']
            if particle:
                full_infinitive = particle[0] + token.lemma
                print(f"{token.form} + {particle[0]} → {full_infinitive}")
            else:
                print(f"{token.form} → {token.lemma}")
        else:
            print(f"{token.form} → {token.lemma}")

3. SpaCy自定义规则扩展 #

如果继续使用SpaCy，可以通过句法分析的依存关系（particle标记）手动合并可分动词：

示例代码 #

import spacy

# 加载德语模型
nlp = spacy.load('de_core_news_sm')
doc = nlp('Wir geben niemals auf.')

for token in doc:
    if token.pos_ == 'VERB':
        # 查找关联的可分前缀
        particle_tokens = [child for child in token.children if child.dep_ == 'particle']
        if particle_tokens:
            full_lemma = particle_tokens[0].text + token.lemma_
            print(f"{token.text} → {full_lemma}")
        else:
            print(f"{token.text} → {token.lemma_}")
    else:
        print(f"{token.text} → {token.lemma_}")

以上方法的核心是通过句法分析识别可分动词的拆分结构，而非仅做单词语形还原，因此能得到你期望的合并式结果。

内容的提问来源于stack exchange，提问作者Stanislaw