为何Scikit-learn的TfidfVectorizer计算结果与手动TF-IDF不同？

核心问题在于你和Scikit-learn使用的TF-IDF计算公式存在本质差异，具体拆解如下：

1. IDF公式的核心区别 #

你手动采用的IDF公式：
IDF = (总文档数 / 包含该词的文档数) + 1

而Scikit-learn的TfidfVectorizer默认启用平滑化IDF（参数smooth_idf=True，为默认配置），公式为：
IDF = ln((总文档数 + 1) / (包含该词的文档数 + 1)) + 1

2. 结合你的数据集验证 #

你的语料库共4篇文档，其中包含"document"的文档有3篇（第1、2、4篇）：

• Scikit-learn的IDF计算：ln((4+1)/(3+1)) +1 = ln(5/4)+1 ≈ 0.2231 +1 = 1.2231
• 你设置了norm=None，此时TF直接取词在文档中的出现次数（文档1中"document"出现1次，TF=1）
• 最终TF-IDF = 1 * 1.2231 = 1.2231，和你得到的结果完全匹配。

你的手动结果0.22，应该是误用了TF或IDF的定义（比如把TF当成词频占比，或是错误套用了无平滑的对数IDF公式）。

额外说明：如何对齐手动逻辑 #

如果需要强制Scikit-learn匹配你的IDF公式，需要自定义计算逻辑，因为TfidfVectorizer没有直接对应参数。但通常不建议这么做——平滑化IDF是行业通用的标准实现，能避免极端情况（比如某词在所有文档中出现导致IDF为0）。

内容的提问来源于stack exchange，提问作者sherwin desouza