在Python文本分类系统中同时使用词形还原与词干提取是否合理？

这是个非常实际的问题——很多人在做文本预处理时都会纠结这俩的搭配，咱们一步步来拆解清楚：

首先直接给结论：同时执行词形还原和词干提取并非最优选择，甚至可能带来冗余或反效果，原因主要有这几点：

1. 两者的定位本质重叠 #

词形还原（lemmatization）的目标是把词还原成语言学上的标准词形（lemma），比如把"walking"变成"walk"，结果是可理解的真实词汇；而词干提取（stemming）是基于规则的粗暴截断，比如PorterStemmer会把"walking"砍成"walk"，但也可能把"university"变成"univers"这种不符合实际词形的结果。

两者都是为了减少词汇的变体，但词形还原追求精度，词干提取追求速度。叠加使用的话，要么是冗余（比如正确还原后的词再stem没变化），要么是破坏词形还原的精度（比如把"university"还原后再stem成"univers"）。

2. 你遇到的WordNet问题，其实是没加词性标注！ #

你提到WordNetLemmatizer处理"walking"时返回原词，这根本不是它的能力问题——默认情况下，WordNet会把所有输入当作名词处理！比如"walking"作为名词（比如"the walking of the dog"），确实还原后还是"walking"；但如果是动词现在分词（比如"he is walking"），你需要指定词性参数pos='v'，也就是：

lem.lemmatize('walking', pos='v')  # 会返回'walk'

同理，处理副词（比如"quickly"）要指定pos='r'，形容词用pos='a'。解决这个问题的核心是给每个词自动标注词性，再传给词形还原器，而不是叠加词干提取。

优化建议 #

方案1：完善词形还原（优先推荐） #

给WordNetLemmatizer加上自动词性标注，用NLTK的pos_tag先打标签，再映射成WordNet需要的格式，代码示例：

from nltk.stem import WordNetLemmatizer
from nltk.corpus import wordnet
from nltk import pos_tag

lem = WordNetLemmatizer()

# 把NLTK的POS标签转换成WordNet能识别的格式
def map_pos(tag):
    if tag.startswith('J'):
        return wordnet.ADJ
    elif tag.startswith('V'):
        return wordnet.VERB
    elif tag.startswith('N'):
        return wordnet.NOUN
    elif tag.startswith('R'):
        return wordnet.ADV
    return wordnet.NOUN  # 默认按名词处理

# 处理语料的示例
corpus = [["walking", "quickly", "dogs", "ran"]]
processed_corpus = []
for doc in corpus:
    tagged = pos_tag(doc)
    lemmatized = [lem.lemmatize(word, map_pos(tag)) for word, tag in tagged]
    processed_corpus.append(lemmatized)
# processed_corpus结果：[['walk', 'quick', 'dog', 'run']]

方案2：换用更省心的工具 #

如果觉得手动处理POS太麻烦，可以直接用spaCy的词形还原器——它自带词性标注，准确率更高，用法更简单：

import spacy

nlp = spacy.load("en_core_web_sm")
doc = nlp("walking quickly dogs ran")
lemmatized_words = [token.lemma_ for token in doc]
# 结果：['walk', 'quickly', 'dog', 'run']

方案3：测试对比再决定 #

如果你的语料规模极大，追求极致速度，可以单独用SnowballStemmer这类更高效的词干提取器。但最好的方式是在你的文本分类任务上，分别测试三种方案：

• 带POS标注的词形还原
• 单独词干提取
• 两者组合
  看哪种的分类指标（准确率、F1值等）更好，毕竟最终效果要贴合你的具体任务。

总结一下：叠加词形还原和词干提取并不明智，解决你当前问题的关键是给WordNet加上词性标注，而不是多做一步冗余的词干提取。

内容的提问来源于stack exchange，提问作者James Ko