使用sklearn的TfidfVectorizer计算TF-IDF值结果不符的问题

你忽略了TfidfVectorizer默认开启的L2归一化（参数norm='l2'），这是导致计算结果不符的核心原因。sklearn的最终TF-IDF值是原始TF-IDF经过L2归一化后的结果，而不是直接的TF*IDF乘积。

下面以第一个文档中的document为例，一步步还原计算过程：

1. 计算原始TF-IDF（未归一化） #

sklearn默认的TF-IDF公式（smooth_idf=True）：

• TF(t, d) = 词t在文档d中的出现次数 / 文档d的总词数
• IDF(t) = ln((1 + n) / (1 + df(t))) + 1，其中n是总文档数，df(t)是包含词t的文档数

对于第一个文档'This is the first document.'：

• 总词数：5
• document的TF = 1/5 = 0.2
• 总文档数n=4，包含document的文档数df=3（文档1、2、4）
• document的IDF = ln((1+4)/(1+3)) + 1 = ln(5/4) + 1 ≈ 0.2231 + 1 = 1.2231
• 原始TF-IDF = 0.2 * 1.2231 ≈ 0.2446

2. 执行L2归一化 #

L2归一化的规则是：将文档中所有词的原始TF-IDF值的平方和开根号，然后每个词的原始值除以这个根号值，使得归一化后的向量模长为1。

先计算第一个文档所有词的原始TF-IDF：

• document: 0.2446
• first: TF=1/5=0.2，df=2，IDF=ln(5/(1+2))+1≈1.5108，原始TF-IDF≈0.2*1.5108=0.3022
• is: TF=1/5=0.2，df=3，IDF=1.2231，原始TF-IDF≈0.2446
• the: TF=1/5=0.2，df=4，IDF=ln(5/(1+4))+1=1，原始TF-IDF=0.2*1=0.2
• this: TF=1/5=0.2，df=3，IDF=1.2231，原始TF-IDF≈0.2446

计算平方和：

0.2446² + 0.3022² + 0.2446² + 0.2² + 0.2446² ≈ 0.0598 + 0.0913 + 0.0598 + 0.04 + 0.0598 = 0.3107

开根号得到模长：√0.3107 ≈ 0.5574

最后归一化后的document值：0.2446 / 0.5574 ≈ 0.4388，和sklearn输出的0.43877674完全一致。

如果想跳过归一化，可以初始化TfidfVectorizer时设置norm=None，这样得到的就是原始TF-IDF值，和手动计算的结果匹配。

内容的提问来源于stack exchange，提问作者Karthik