Python中如何查看TfidfVectorizer处理后留存的词汇并生成词云
实现方法
你使用的TfidfVectorizer在fit训练集文本后,已经自动完成了停用词过滤,所有留存的词汇、以及对应的TF-IDF权重都可以直接从实例中获取,不需要手动回读原文本处理。
方法1:基于TF-IDF权重生成加权词云(更推荐)
这种方法生成的词云大小和词在训练集中的TF-IDF权重正相关,更贴合你建模时的特征重要性,代码如下:
%matplotlib inline import matplotlib.pyplot as plt from wordcloud import WordCloud # 1. 获取所有留存的词汇 vocab = tfv.get_feature_names_out() # 2. 计算训练集每个词的总TF-IDF得分 word_tfidf_sum = tfv_train.sum(axis=0) # 3. 生成 {词: 总权重} 的字典 word_weight_dict = dict(zip(vocab, word_tfidf_sum)) # 4. 生成词云,西语重音显示异常可指定支持西语的字体路径 word_cloud = WordCloud( font_path="你的西文字体路径.ttf", # 无显示问题可以删掉这行 width=800, height=600, background_color="white" ).generate_from_frequencies(word_weight_dict) # 绘图 plt.figure(figsize=(12,8)) plt.imshow(word_cloud, interpolation="bilinear") plt.axis("off") plt.show()
方法2:生成纯文本拼接的普通词云(和你原有用法一致)
如果你想拿到过滤停用词后的纯文本内容,和你原来的词云生成逻辑对齐,可以用TfidfVectorizer自带的分词分析器处理原文本,代码如下:
%matplotlib inline import matplotlib.pyplot as plt from wordcloud import WordCloud # 获取tfidf的分词分析器,已经自带停用词过滤逻辑 analyzer = tfv.build_analyzer() # 处理所有文本,得到过滤停用词后的词列表 filtered_words = [] for text in X_train.text: filtered_words.extend(analyzer(text)) # 拼接成完整字符串 words_str = " ".join(filtered_words) # 生成词云 word_cloud = WordCloud( font_path="你的西文字体路径.ttf", width=800, height=600, background_color="white" ).generate(words_str) # 绘图 plt.figure(figsize=(12,8)) plt.imshow(word_cloud, interpolation="bilinear") plt.axis("off") plt.show()
额外提示
- 如果需要按
target分类绘制正负样本的词云,只要拆分对应类别的文本再按上述逻辑处理即可 - 如果西语的重音、特殊字符显示乱码,只需要更换WordCloud的
font_path参数为系统中支持西语的字体路径即可
内容的提问来源于stack exchange,提问作者dsbr__0
相关产品推荐
相关产品推荐

