使用TF-IDF与余弦相似度计算文档相似度时，是否必须词干化/词形还原？

1. 并非所有场景都必须做词干化或词形还原 #

词干化和词形还原的核心作用是把形态变化的词汇（比如"running"和"run"、"cats"和"cat"）归为同一语义单元，减少词汇维度，让TF-IDF更聚焦语义层面的相似度计算。但这一步不是必选项——是否需要处理，完全取决于任务目标和数据特性。

2. 这些场景下不做词干化/词形还原效果更佳 #

• 法律/合同类文档相似度比对：这类场景对词汇精确性要求极高，比如"agreement"和"agreements"可能对应不同的合同数量、生效范围，词干化会抹掉这些关键差异，导致相似度判断失真。
• 专业领域术语密集的文档：比如医学、工程领域，很多词汇的变形（复数、时态变化）带有特定专业含义。比如医学中"cell"和"cells"可能指代不同的研究对象层级，强行词干化会破坏专业语义的准确性。
• 文体风格/作者特征分析：如果任务是分析文学作品、社交媒体内容的风格相似度，词汇的形态差异（比如动词的不同时态、形容词的比较级）本身就是风格的一部分。保留原始词形能更精准捕捉作者的用词习惯，词干化会抹平这些细节，降低分析精度。
• 低资源语言处理场景：很多小语种缺乏成熟、准确的词干化/词形还原工具，强行使用劣质工具反而会引入错误，不如直接用原始词汇进行TF-IDF计算，结果更可靠。

内容的提问来源于stack exchange，提问作者dfish