如何使用Spacy生成带指定后缀的德语名词？相关工具与数据集咨询

1. 用spaCy nlp.vocab提取目标词汇 #

首先明确：遍历nlp.vocab的顺序是固定的，词汇表按哈希值排序存储，每次运行顺序完全一致。要实现随机选取，得自己对筛选后的词汇列表做打乱处理。

以下是可直接运行的代码示例：

import spacy
import random

# 优先加载大词汇量的德语模型，比如de_core_news_lg
nlp = spacy.load("de_core_news_lg")

# 筛选带-keit后缀的名词
keit_nouns = []
for lexeme in nlp.vocab:
    # 验证词性为名词，且词形以-keit结尾
    if lexeme.pos_ == "NOUN" and lexeme.text.endswith("keit"):
        keit_nouns.append(lexeme.text)

# 去重并随机选20个（避免词汇表重复条目）
unique_keit_nouns = list(set(keit_nouns))
random_sample = random.sample(unique_keit_nouns, min(20, len(unique_keit_nouns)))

print(random_sample)

注意：de_core_news_sm这类小模型词汇量有限，建议用大模型获取更多候选词。

2. spaCy Corpus对象的适用场景 #

Corpus主要用来加载标注语料（比如UD树库），不是专门的词汇搜索工具。如果想用它提取词汇，只能遍历语料中的所有token筛选目标后缀，但效率和词汇覆盖度都不如直接用nlp.vocab——毕竟词汇表包含模型训练时见过的所有词汇，范围比单份语料广。

简单示例：

from spacy.training import Corpus

# 先通过spacy download de_ud_treebanks下载语料
corpus = Corpus("de_ud_treebanks")
keit_nouns_from_corpus = set()

for doc in corpus(nlp):
    for token in doc:
        if token.pos_ == "NOUN" and token.text.endswith("keit"):
            keit_nouns_from_corpus.add(token.text)

# 随机抽取20个
random_sample_corpus = random.sample(list(keit_nouns_from_corpus), min(20, len(keit_nouns_from_corpus)))

3. 获取更完整的德语词汇表 #

spaCy模型的词汇表只是训练数据覆盖的子集，不是德语完整词汇库。如果需要更全面的词汇资源，可以用这些方案：

• spacy-lookups-data：加载官方提供的德语词汇表扩展数据，包含更多未在核心模型中收录的词汇
• 德语开源词表：比如公开的deutsches-wortliste文本词表，直接读取后筛选后缀即可
• German WordNet：通过NLTK等工具加载，可获取带词性标注的完整德语词汇体系

内容的提问来源于stack exchange，提问作者Julius Hamilton