You need to enable JavaScript to run this app. Python移除阿拉伯语停用词时结果退化为单字符集的问题解决
优惠活动
大模型
产品
解决方案
定价
更多

Python移除阿拉伯语停用词时结果退化为单字符集的问题解决

问题根因定位

输出为单字符集合的异常,核心来自遍历粒度错误,和停用词匹配逻辑本身无关,具体触发点有两个常见可能:

  • 构造strings嵌套列表时,没有将长文本拆分为独立的词汇元素,直接把整段带空格的文本字符串作为子列表内容。此时循环逐位遍历字符串,拿到的不是完整词汇,而是单个阿拉伯字符、甚至词之间的空格,最终输出单字符集合,和示例异常结果的特征(包含空格字符、仅含阿拉伯单字符)完全吻合。
  • 编写集合推导式时误写双层循环,把本该遍历词汇的单层逻辑,写成了遍历每个词汇内部字符的结构,同样会把非停用词的词汇拆成单字符存入结果集。
正确实现方案

首先保证遍历粒度为完整词汇,再执行停用词过滤,参考代码如下:

import nltk
from nltk.corpus import stopwords

# 加载阿拉伯语停用词,转成集合提升匹配效率
stopwords_list = set(stopwords.words('arabic'))
keywords = []

for sub_list in strings:
    # 校验子列表结构:如果是单元素的长文本,先按空格拆成独立词汇
    if len(sub_list) == 1 and isinstance(sub_list[0], str) and ' ' in sub_list[0]:
        word_list = sub_list[0].split()
    else:
        word_list = sub_list
    # 词汇粒度过滤停用词
    filtered_res = {word for word in word_list if word not in stopwords_list}
    keywords.append(filtered_res)

# 输出处理结果
for idx, result in enumerate(keywords):
    print(idx, result)
预期输出效果

按照给出的两个示例子列表内容,正确处理后会得到词级别的过滤结果:

  • 第一个子列表:移除停用词من后,结果为{'اطلاله', 'انيقه', 'وانثويه', 'مجموعه', 'غوتشي', 'لخريفشتاء'}
  • 第二个子列表:移除两处停用词من后,结果为{'اخر', 'صيحه', 'حقاءب', 'اليد', 'فندي', 'وغوتشي', 'غوتشي', 'بناتالخبر'}
优化提示
  • 停用词列表转成set类型后,in判断的时间复杂度从列表的O(n)降到O(1),处理大规模文本时性能提升明显。
  • NLTK自带的阿拉伯语停用词没有覆盖带连接前缀的变形(比如前缀带و、ل的停用词),可以根据实际文本的词汇特征,手动补充这类变形到停用词列表,避免漏过滤。

内容的提问来源于stack exchange,提问作者M.rnnnn

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.10 08:06:03