为何Sklearn中TfidfTransformer(use_idf=False,norm=None)与CountVectorizer输出一致？

首先得明确Sklearn里对“词频（Term Frequency）”的定义——它其实包含两种形式：原始出现计数和归一化后的频率占比。TfidfTransformer的设计逻辑，是把原始计数作为TF的基础形态，而把归一化作为可选的后续配置项。

为什么这么设计？ #

• TfidfTransformer的核心定位是做TF-IDF转换，而TF的最原始形态就是词在文档里的出现次数。很多场景下原始计数本身就有价值（比如统计文档长度、分析词的绝对出现频次），所以默认保留这种最基础的形式。
• 如果你需要的是“词频占比”（即每个词的出现次数除以文档总词数），这属于归一化后的TF，只需要配合norm='l1'参数即可实现——Sklearn把这种选择权交给用户，是为了适配不同的使用场景，保证组件的灵活性。

代码验证：获取归一化后的词频 #

想得到你需要的文档词频占比，只需要在初始化TfidfTransformer时指定norm='l1'：

from sklearn.feature_extraction.text import CountVectorizer, TfidfTransformer

corpus = ["This is the first document.", "This document is the second document."]

# 先获取原始词项计数
count_vectorizer = CountVectorizer()
count_matrix = count_vectorizer.fit_transform(corpus)

# 配置TfidfTransformer得到归一化后的词频
tf_transformer = TfidfTransformer(use_idf=False, norm='l1')
tf_matrix = tf_transformer.fit_transform(count_matrix)

# 输出结果：每行对应一个文档，每个元素是对应词的频率占比
print(tf_matrix.toarray())

补充说明 #

Sklearn文档里提到“设置use_idf=False可获取词频”，这里的“词频”是广义的TF概念，包含原始计数和归一化频率两种情况。这种设计符合组件的单一职责原则：TfidfTransformer专注于TF与IDF的组合转换，而把归一化这类预处理/后处理的选择权开放给用户，避免过度封装导致灵活性下降。

内容的提问来源于stack exchange，提问作者parot-99