CountVectorizer报ValueError: not a built-in stop list: indonesian如何解决
报错原因
scikit-learn 中的 CountVectorizer 内置停用词列表仅支持英语,只有给 stop_words 参数传入字符串 'english' 时才能调用官方内置的停用词集合,传入其他任何语言名称都会触发你碰到的报错。你之前看到的“支持多语言”的描述,要么是混淆了其他NLP库的规则,要么是指该参数支持自定义传入其他语言的停用词列表,并非指sklearn官方内置了多语言停用词。
正确配置印尼语停用词的方案
方案1:调用NLTK库的官方印尼语停用词(推荐,无需自己整理词表)
- 先安装NLTK库并下载停用词语料:
import nltk # 首次使用需要下载停用词库,后续运行可以注释掉这行 nltk.download('stopwords')
- 修改原代码,传入加载好的印尼语停用词列表:
from nltk.corpus import stopwords from sklearn.feature_extraction.text import CountVectorizer # 加载印尼语停用词,转成列表格式 indonesian_stopwords = stopwords.words('indonesian') def get_top_n_gram(corpus,ngram_range,n=None): # 把stop_words参数替换为上面加载的停用词列表 vec = CountVectorizer(ngram_range=ngram_range,stop_words = indonesian_stopwords).fit(corpus) bag_of_words = vec.transform(corpus) sum_words = bag_of_words.sum(axis=0) words_freq = [(word, sum_words[0, idx]) for word, idx in vec.vocabulary_.items()] words_freq =sorted(words_freq, key = lambda x: x[1], reverse=True) return words_freq[:n] # 调用逻辑和原代码一致 n2_bigrams = get_top_n_gram(tw_list['text'],(2,2),20) n2_bigrams
方案2:自定义停用词列表
如果你不想额外安装依赖,或者需要自定义过滤特定词汇,可以自己整理印尼语停用词存为列表后直接传入:
# 示例为部分常用印尼语停用词,可根据业务需求补充完整 indonesian_stopwords = ['dan', 'yang', 'di', 'ke', 'dari', 'pada', 'untuk', 'adalah', 'itu', 'ini', 'dengan', 'sebagai', 'dapat', 'jika'] def get_top_n_gram(corpus,ngram_range,n=None): vec = CountVectorizer(ngram_range=ngram_range,stop_words = indonesian_stopwords).fit(corpus) # 剩余逻辑和原代码完全一致
内容的提问来源于stack exchange,提问作者cyra
相关产品推荐
相关产品推荐

