基于spaCy筛选德语核心词汇的词表获取及方案咨询

一、结合CEFR分级核心词表 + spaCy词性/词形归一化 #

CEFR（欧洲语言共同参考框架）的A1-A2级词汇是公认的德语核心基础词汇，覆盖日常最常用的词，且这套体系支持多语言扩展（英语、法语等都有对应分级词表）。

• 步骤：
  1. 获取CEFR A1-A2德语核心词表（可从语言教育资源中提取离线词表，包含单词原型）
  2. 用spaCy对输入文本做词性标注和词形还原，将每个词转换为原型
  3. 过滤规则：仅保留原型在CEFR核心词表中且为核心词性（名词NOUN、动词VERB、形容词ADJ、副词ADV）的词汇
• 代码示例：

import spacy

# 加载德语模型
nlp = spacy.load("de_core_news_lg")
# 假设已导入CEFR核心词表（原型集合）
cefr_core_words = {"gehen", "essen", "haus", "groß", ...}

def filter_core_german(text):
    doc = nlp(text)
    core_words = []
    for token in doc:
        # 还原为原型
        lemma = token.lemma_
        # 检查是否在核心词表且为核心词性
        if lemma in cefr_core_words and token.pos_ in ["NOUN", "VERB", "ADJ", "ADV"]:
            core_words.append(token.text)
    return core_words

二、基于高频词统计的自定义核心词表 #

如果需要更贴合特定场景的核心词，可以从大规模德语语料（比如维基百科德语语料、新闻语料）中统计高频词，生成自定义核心词表，再结合spaCy的归一化处理：

• 步骤：
  1. 获取开源德语离线语料，用spaCy做分词和词形还原
  2. 统计所有原型词的出现频率，取前N个（比如前5000个）作为核心词表
  3. 过滤时将输入词还原为原型后匹配词表，同时过滤掉spaCy自带的德语停用词
• 优势：可根据需求调整核心词数量，适配不同领域词汇，扩展到其他语言时仅需替换对应语料

三、使用FastText多语言词向量替代spaCy内置向量 #

spaCy内置向量（尤其是小模型）覆盖范围有限，大模型又包含大量非核心专有名词。FastText多语言词向量模型覆盖100+语言的基础词汇，对低频基础词支持更好：

• 步骤：
  1. 下载FastText多语言离线词向量模型
  2. 加载模型后，检查输入词的原型是否在模型词汇表中，结合词性过滤筛选核心词汇
• 代码示例（简化版）：

import spacy
from fasttext import load_model

nlp = spacy.load("de_core_news_lg")
ft_model = load_model("cc.de.300.bin")  # 德语FastText模型

def filter_with_fasttext(text):
    doc = nlp(text)
    core_words = []
    for token in doc:
        lemma = token.lemma_
        # 检查词是否在FastText词汇中，且为核心词性
        if ft_model.get_word_id(lemma) != -1 and token.pos_ in ["NOUN", "VERB", "ADJ", "ADV"]:
            core_words.append(token.text)
    return core_words

四、优化spaCy内置方法的思路 #

如果坚持用spaCy内置工具，可调整过滤逻辑：

• 不要单独依赖has_vector或vector_norm == 0，结合词性过滤+停用词排除，再补充自定义基础词白名单（覆盖spaCy向量未识别的基础词）
• 示例：

custom_basic_words = {"ich", "du", "er", "sie", "es", ...}  # 补充spaCy未识别的基础代词/动词

def filter_with_spacy_optimized(text):
    doc = nlp(text)
    core_words = []
    for token in doc:
        if token.pos_ in ["NOUN", "VERB", "ADJ", "ADV", "PRON"]:
            if (token.has_vector and token.vector_norm > 0) or token.lemma_ in custom_basic_words:
                if token.text.lower() not in nlp.Defaults.stop_words:
                    core_words.append(token.text)
    return core_words

内容的提问来源于stack exchange，提问作者Levin