You need to enable JavaScript to run this app. Python中如何查看TfidfVectorizer处理后留存的词汇并生成词云
优惠活动
大模型
产品
解决方案
定价
更多

Python中如何查看TfidfVectorizer处理后留存的词汇并生成词云

实现方法

你使用的TfidfVectorizer在fit训练集文本后,已经自动完成了停用词过滤,所有留存的词汇、以及对应的TF-IDF权重都可以直接从实例中获取,不需要手动回读原文本处理。

方法1:基于TF-IDF权重生成加权词云(更推荐)

这种方法生成的词云大小和词在训练集中的TF-IDF权重正相关,更贴合你建模时的特征重要性,代码如下:

%matplotlib inline
import matplotlib.pyplot as plt
from wordcloud import WordCloud

# 1. 获取所有留存的词汇
vocab = tfv.get_feature_names_out()
# 2. 计算训练集每个词的总TF-IDF得分
word_tfidf_sum = tfv_train.sum(axis=0)
# 3. 生成 {词: 总权重} 的字典
word_weight_dict = dict(zip(vocab, word_tfidf_sum))

# 4. 生成词云,西语重音显示异常可指定支持西语的字体路径
word_cloud = WordCloud(
    font_path="你的西文字体路径.ttf", # 无显示问题可以删掉这行
    width=800,
    height=600,
    background_color="white"
).generate_from_frequencies(word_weight_dict)

# 绘图
plt.figure(figsize=(12,8))
plt.imshow(word_cloud, interpolation="bilinear")
plt.axis("off")
plt.show()

方法2:生成纯文本拼接的普通词云(和你原有用法一致)

如果你想拿到过滤停用词后的纯文本内容,和你原来的词云生成逻辑对齐,可以用TfidfVectorizer自带的分词分析器处理原文本,代码如下:

%matplotlib inline
import matplotlib.pyplot as plt
from wordcloud import WordCloud

# 获取tfidf的分词分析器,已经自带停用词过滤逻辑
analyzer = tfv.build_analyzer()

# 处理所有文本,得到过滤停用词后的词列表
filtered_words = []
for text in X_train.text:
    filtered_words.extend(analyzer(text))
# 拼接成完整字符串
words_str = " ".join(filtered_words)

# 生成词云
word_cloud = WordCloud(
    font_path="你的西文字体路径.ttf",
    width=800,
    height=600,
    background_color="white"
).generate(words_str)

# 绘图
plt.figure(figsize=(12,8))
plt.imshow(word_cloud, interpolation="bilinear")
plt.axis("off")
plt.show()

额外提示

  • 如果需要按target分类绘制正负样本的词云,只要拆分对应类别的文本再按上述逻辑处理即可
  • 如果西语的重音、特殊字符显示乱码,只需要更换WordCloud的font_path参数为系统中支持西语的字体路径即可

内容的提问来源于stack exchange,提问作者dsbr__0

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.14 05:30:03