Python移除阿拉伯语停用词时结果退化为单字符集的问题解决
问题根因定位
输出为单字符集合的异常,核心来自遍历粒度错误,和停用词匹配逻辑本身无关,具体触发点有两个常见可能:
- 构造
strings嵌套列表时,没有将长文本拆分为独立的词汇元素,直接把整段带空格的文本字符串作为子列表内容。此时循环逐位遍历字符串,拿到的不是完整词汇,而是单个阿拉伯字符、甚至词之间的空格,最终输出单字符集合,和示例异常结果的特征(包含空格字符、仅含阿拉伯单字符)完全吻合。 - 编写集合推导式时误写双层循环,把本该遍历词汇的单层逻辑,写成了遍历每个词汇内部字符的结构,同样会把非停用词的词汇拆成单字符存入结果集。
正确实现方案
首先保证遍历粒度为完整词汇,再执行停用词过滤,参考代码如下:
import nltk from nltk.corpus import stopwords # 加载阿拉伯语停用词,转成集合提升匹配效率 stopwords_list = set(stopwords.words('arabic')) keywords = [] for sub_list in strings: # 校验子列表结构:如果是单元素的长文本,先按空格拆成独立词汇 if len(sub_list) == 1 and isinstance(sub_list[0], str) and ' ' in sub_list[0]: word_list = sub_list[0].split() else: word_list = sub_list # 词汇粒度过滤停用词 filtered_res = {word for word in word_list if word not in stopwords_list} keywords.append(filtered_res) # 输出处理结果 for idx, result in enumerate(keywords): print(idx, result)
预期输出效果
按照给出的两个示例子列表内容,正确处理后会得到词级别的过滤结果:
- 第一个子列表:移除停用词
من后,结果为{'اطلاله', 'انيقه', 'وانثويه', 'مجموعه', 'غوتشي', 'لخريفشتاء'} - 第二个子列表:移除两处停用词
من后,结果为{'اخر', 'صيحه', 'حقاءب', 'اليد', 'فندي', 'وغوتشي', 'غوتشي', 'بناتالخبر'}
优化提示
- 停用词列表转成
set类型后,in判断的时间复杂度从列表的O(n)降到O(1),处理大规模文本时性能提升明显。 - NLTK自带的阿拉伯语停用词没有覆盖带连接前缀的变形(比如前缀带و、ل的停用词),可以根据实际文本的词汇特征,手动补充这类变形到停用词列表,避免漏过滤。
内容的提问来源于stack exchange,提问作者M.rnnnn
相关产品推荐
相关产品推荐

