如何按含义相似度聚类德语词汇以合并其文本语料库词频？

解决方案 #

你遇到的问题本质是纯字符相似度算法不区分语法变格和语义差异，推荐采用「预设功能词映射+德语词形还原+少量人工校验」的方案，效率和准确率都能满足需求：

1. 优先处理固定功能词归并 #

德语的定冠词、人称代词、指示代词等功能词的变格形式是有限且固定的，直接提前写好映射表批量替换即可，比如所有定冠词变格（der/die/das/den/dem/des等）统一归为同一组，这一步零误差，处理速度最快。

2. 实词用词形还原（Lemmatization）自动归并 #

不要自己实现字符串匹配规则，德语的性数格变格、复数变形、元音变音规则非常复杂，直接调用成熟的德语NLP工具完成词形还原，会自动把所有变格形式映射到对应原型（Lemma），比如Büchern会被还原为Buch，而Arbeitsplatz-Management和Arbeitsplatz-Versicherung的原型就是自身，不会被错误合并。

Python环境下可以直接用spaCy的德语模型实现，示例代码如下：

import spacy
import pandas as pd

# 提前下载德语模型：python -m spacy download de_core_news_sm
nlp = spacy.load("de_core_news_sm", disable=["parser", "ner"])

# 假设你的原始词频数据存储在df中，列名为word、count
def get_lemma(word):
    return nlp(word)[0].lemma_

df["lemma"] = df["word"].apply(get_lemma)
# 按原型分组求和得到合并后的词频
df_merged = df.groupby("lemma")["count"].sum().reset_index()

3. 少量人工校验兜底 #

如果你的语料里存在大量生僻复合词、同形异义词，可以加一层简单的校验规则：对同一原型组内的单词，若长度差超过3、或者包含连字符的复合词词根差异大，单独拉出来人工核对，整体工作量非常小。

内容的提问来源于stack exchange，提问作者johnnydoe