You need to enable JavaScript to run this app. 如何从Python嵌套列表(列表的列表)中删除停用词及指定词汇
优惠活动
大模型
产品
解决方案
定价
更多

如何从Python嵌套列表(列表的列表)中删除停用词及指定词汇

嵌套列表指定词汇过滤与词频统计实现

核心实现逻辑

你需要的效果是保留原嵌套列表的整体结构(即所有子列表的位置、空列表都不改动),仅在每个子列表内部剔除命中停用词的元素,而非将整个嵌套列表扁平化后再做处理,具体实现分为三步:

1. 准备可匹配的停用词集合

直接使用原生英文停用词集存在匹配漏判问题:样例数据中的停用词均为大写形式,需要先统一大小写规则,再把停用词转成集合形式提升查询效率。

from nltk.corpus import stopwords
from collections import Counter
from itertools import chain
import matplotlib.pyplot as plt

# 将停用词统一转为大写,匹配样例中的大写文本格式
stop_word_set = set(word.upper() for word in stopwords.words('english'))

2. 逐层级过滤生成目标嵌套列表

通过两层推导式遍历原嵌套列表:外层遍历每个子列表,内层遍历子列表内的元素,仅保留未命中停用词的内容,最终生成的结构与你给出的预期效果完全一致:

# 逐个子列表过滤,保留原有嵌套结构
filtered_nested_list = [
    [word for word in sub_list if word not in stop_word_set]
    for sub_list in my_list
]

运行后即可得到符合预期的结果:原结构中的空列表保持为空,命中停用词的元素(如A、OF、THE)被剔除,非停用词的元素(如SB、NMR、USA)正常保留在原位置的子列表中。

3. 词频统计与Top20频次柱状图绘制

复用你原本的统计逻辑,仅需要将统计对象替换为过滤后的嵌套列表,同时补充布局优化避免x轴标签重叠:

# 自动跳过空列表统计所有剩余词汇的频次
counts = Counter(chain.from_iterable(filtered_nested_list))

# 取频次最高的20个词汇
top20 = counts.most_common(20)
x_axis, y_axis = zip(*top20)

# 绘制柱状图,优化显示效果
plt.figure(figsize=(12,6))
plt.bar(x_axis, y_axis)
plt.xticks(rotation=45)
plt.tight_layout()
plt.show()

常见注意点

  • 不要直接扁平化原列表过滤后再重构结构:会打乱原有子列表的位置,甚至误删原本需要保留的空列表结构
  • 停用词优先用set存储:列表的包含查询是线性时间复杂度,集合查询是常数时间复杂度,大文本量下性能差距明显
  • 一定要统一文本与停用词的大小写格式:如果文本是大写形式,直接匹配小写停用词集会出现大量漏判

内容的提问来源于stack exchange,提问作者V_sqrt

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.12 04:24:03