如何从Python嵌套列表(列表的列表)中删除停用词及指定词汇
嵌套列表指定词汇过滤与词频统计实现
核心实现逻辑
你需要的效果是保留原嵌套列表的整体结构(即所有子列表的位置、空列表都不改动),仅在每个子列表内部剔除命中停用词的元素,而非将整个嵌套列表扁平化后再做处理,具体实现分为三步:
1. 准备可匹配的停用词集合
直接使用原生英文停用词集存在匹配漏判问题:样例数据中的停用词均为大写形式,需要先统一大小写规则,再把停用词转成集合形式提升查询效率。
from nltk.corpus import stopwords from collections import Counter from itertools import chain import matplotlib.pyplot as plt # 将停用词统一转为大写,匹配样例中的大写文本格式 stop_word_set = set(word.upper() for word in stopwords.words('english'))
2. 逐层级过滤生成目标嵌套列表
通过两层推导式遍历原嵌套列表:外层遍历每个子列表,内层遍历子列表内的元素,仅保留未命中停用词的内容,最终生成的结构与你给出的预期效果完全一致:
# 逐个子列表过滤,保留原有嵌套结构 filtered_nested_list = [ [word for word in sub_list if word not in stop_word_set] for sub_list in my_list ]
运行后即可得到符合预期的结果:原结构中的空列表保持为空,命中停用词的元素(如A、OF、THE)被剔除,非停用词的元素(如SB、NMR、USA)正常保留在原位置的子列表中。
3. 词频统计与Top20频次柱状图绘制
复用你原本的统计逻辑,仅需要将统计对象替换为过滤后的嵌套列表,同时补充布局优化避免x轴标签重叠:
# 自动跳过空列表统计所有剩余词汇的频次 counts = Counter(chain.from_iterable(filtered_nested_list)) # 取频次最高的20个词汇 top20 = counts.most_common(20) x_axis, y_axis = zip(*top20) # 绘制柱状图,优化显示效果 plt.figure(figsize=(12,6)) plt.bar(x_axis, y_axis) plt.xticks(rotation=45) plt.tight_layout() plt.show()
常见注意点
- 不要直接扁平化原列表过滤后再重构结构:会打乱原有子列表的位置,甚至误删原本需要保留的空列表结构
- 停用词优先用
set存储:列表的包含查询是线性时间复杂度,集合查询是常数时间复杂度,大文本量下性能差距明显 - 一定要统一文本与停用词的大小写格式:如果文本是大写形式,直接匹配小写停用词集会出现大量漏判
内容的提问来源于stack exchange,提问作者V_sqrt
相关产品推荐
相关产品推荐

