如何将NLTK PorterStemmer生成的词干还原为正确词汇？

这确实是PorterStemmer这类规则驱动的词干提取器的通病——它们只机械地按照后缀切割规则处理词汇，完全不管最终输出是不是一个合法的英文单词。要把像receiv这种不完整的词干还原成正确的原词，我有几个实用的方案推荐：

1. 改用词形还原（Lemmatization）替代词干提取 #

词形还原和词干提取的核心区别在于：词形还原会基于词汇的语义和词性来还原到最基础的合法词汇，而不是单纯切割后缀。NLTK里的WordNetLemmatizer就是很好的选择，它输出的结果都是可在词典中查到的合法单词。

示例代码：

from nltk.stem import WordNetLemmatizer
from nltk.corpus import wordnet

lemmatizer = WordNetLemmatizer()
# 关键：要指定词性，否则默认按名词处理，可能影响结果
print(lemmatizer.lemmatize("receive", pos=wordnet.VERB))  # 输出 'receive'

如果你的文本没有预先标注词性，可以搭配NLTK的词性标注工具（比如pos_tag）先获取词汇的词性，再传入词形还原器，这样能保证还原的准确性。

2. 构建词干-原词映射表 #

如果你的应用场景里有一批高频出现的“残缺词干”，可以手动或自动生成一个映射字典，直接把词干映射到对应的正确词汇。

手动构建示例： #

stem_to_valid_word = {
    "receiv": "receive",
    "comput": "compute",
    "arbitr": "arbitrary",
    "activ": "active"
}

def restore_stem(stem):
    # 如果词干在映射表中就返回原词，否则返回原词干
    return stem_to_valid_word.get(stem, stem)

print(restore_stem("receiv"))  # 输出 'receive'

自动生成映射表的思路： #

1. 收集你领域内的常用合法词汇库；
2. 用PorterStemmer处理每个词汇，得到对应的词干；
3. 将词干和原词配对，去重后保存为映射字典（注意一个词干可能对应多个原词，这时候可以保留最常用的那个）。

3. 基于词典的回溯匹配 #

利用一个完整的英文词典（比如NLTK自带的words语料库），对于给定的词干，在词典中查找以该词干开头的合法词汇，再选择最匹配的结果。

示例代码：

from nltk.corpus import words
from nltk.stem import PorterStemmer

stemmer = PorterStemmer()
# 把词典转为集合，加快查找速度
valid_words = set(words.words())

def restore_stem(stem):
    # 筛选所有以词干开头的合法词汇
    candidates = [word for word in valid_words if word.startswith(stem)]
    if not candidates:
        return stem  # 没有匹配到就返回原词干
    
    # 优先选择长度最接近词干的词汇（减少过度匹配）
    candidates.sort(key=lambda x: len(x))
    return candidates[0]

print(restore_stem("receiv"))  # 输出 'receive'

如果需要更精准的结果，可以结合词频数据（比如Brown语料库的词频），优先选择频率最高的候选词，或者结合上下文语境来判断。

内容的提问来源于stack exchange，提问作者Honggu