添加词干提取/词形还原后情感分析效果下降的原因探究

一、这种现象是否正常？ #

完全正常。在情感分析等NLP任务中，词干提取、词形还原这类预处理步骤并非总能提升模型效果，甚至可能出现效果持平或小幅下降的情况，这是很常见的现象，并非流程或数据存在问题。

二、效果不升反降的核心原因 #

• 数据集规模与特性限制：你的数据集仅4000条IMDB短评，属于中小规模，且短评本身偏口语化、表达简洁，很多词汇已经是基础形式，变形词的出现频次极低。部分变形词可能带有特定的情感细节（比如"hated"比"hate"的情绪强度感知更强），合并后反而抹平了这种细微差异，导致模型丢失部分区分正负样本的关键信息。
• 特征提取方式的适配性：Bag of Words和TF-IDF都是基于词频的统计特征，词干/词形还原会合并同根词以减少特征维度，但如果原本的变形词在正负样本中存在差异化分布，合并后会稀释这种差异。比如"amazing"（多形容事物）和"amazed"（多形容人）在情感标签中的分布可能不同，合并后这种语义区分度就消失了。
• 模型特性差异：不同模型对特征变化的敏感度不同。Random Forest依赖特征的区分度，当词干/词形还原合并了部分有区分度的特征后，会直接降低它捕捉细节的能力；而Naive Bayes这类对稀疏特征更友好的模型，虽然受影响较小，但你的数据集里的变形词并未给它带来额外噪声，因此也没有提升。
• 预处理的副作用：词干提取工具（如Porter Stemmer）可能生成无意义的词干（比如"beautiful"被处理为"beauti"），反而引入噪声；词形还原工具（如WordNetLemmatizer）若未正确标注词性，会出现还原错误（比如"better"被错误还原为"good"，但二者情感强度存在差异），破坏原有语义信息。

三、词干提取/词形还原的价值 #

这类预处理步骤的核心价值体现在以下场景：

• 降低计算成本与避免过拟合：在百万级甚至更大规模的数据集里，词汇量会急剧膨胀，词干/词形还原能有效合并同根词，压缩特征空间，减少模型训练的计算资源消耗，同时降低过拟合风险。
• 提升模型泛化能力：当测试集中出现训练集未见过的变形词时，预处理能将其映射到已有的根词上，让模型识别其核心语义。比如训练集只有"run"，测试集出现"running"，处理后模型能关联到"run"的语义。
• 统一正式文本的语义表达：对于新闻、学术论文这类正式文本，变形词的语义差异极小，合并后能让模型聚焦于核心语义，避免被词汇形式干扰。

四、是否需要先优化模型参数再对比？ #

是的，必须先优化模型参数再进行对比，原因如下：

• 你当前使用的是sklearn默认参数，这些参数并非为你的数据集量身定制。比如Random Forest默认的n_estimators=100可能不足以捕捉数据细节，max_depth无限制可能导致过拟合；SVM默认的RBF核对于高维稀疏的文本特征，效果远不如线性核。
• 预处理步骤改变了特征空间（维度、词频分布均发生变化），原有的默认参数已无法适配新的特征。比如TF-IDF搭配词干提取后，特征权重分布改变，Logistic Regression的正则化参数C需要重新调优才能达到最佳效果。
• 只有在模型参数最优的前提下，对比不同预处理步骤的效果才具备参考价值，否则可能误判预处理的作用——实际上不是预处理没用，而是模型参数没适配新的特征空间。

内容的提问来源于stack exchange，提问作者AdamG