You need to enable JavaScript to run this app. CountVectorizer报ValueError: not a built-in stop list: indonesian如何解决
优惠活动
大模型
产品
解决方案
定价
更多

CountVectorizer报ValueError: not a built-in stop list: indonesian如何解决

报错原因

scikit-learn 中的 CountVectorizer 内置停用词列表仅支持英语,只有给 stop_words 参数传入字符串 'english' 时才能调用官方内置的停用词集合,传入其他任何语言名称都会触发你碰到的报错。你之前看到的“支持多语言”的描述,要么是混淆了其他NLP库的规则,要么是指该参数支持自定义传入其他语言的停用词列表,并非指sklearn官方内置了多语言停用词。

正确配置印尼语停用词的方案

方案1:调用NLTK库的官方印尼语停用词(推荐,无需自己整理词表)

  1. 先安装NLTK库并下载停用词语料:
import nltk
# 首次使用需要下载停用词库,后续运行可以注释掉这行
nltk.download('stopwords')
  1. 修改原代码,传入加载好的印尼语停用词列表:
from nltk.corpus import stopwords
from sklearn.feature_extraction.text import CountVectorizer

# 加载印尼语停用词,转成列表格式
indonesian_stopwords = stopwords.words('indonesian')

def get_top_n_gram(corpus,ngram_range,n=None):
    # 把stop_words参数替换为上面加载的停用词列表
    vec = CountVectorizer(ngram_range=ngram_range,stop_words = indonesian_stopwords).fit(corpus)
    bag_of_words = vec.transform(corpus)
    sum_words = bag_of_words.sum(axis=0) 
    words_freq = [(word, sum_words[0, idx]) for word, idx in vec.vocabulary_.items()]
    words_freq =sorted(words_freq, key = lambda x: x[1], reverse=True)
    return words_freq[:n]

# 调用逻辑和原代码一致
n2_bigrams = get_top_n_gram(tw_list['text'],(2,2),20)
n2_bigrams

方案2:自定义停用词列表

如果你不想额外安装依赖,或者需要自定义过滤特定词汇,可以自己整理印尼语停用词存为列表后直接传入:

# 示例为部分常用印尼语停用词,可根据业务需求补充完整
indonesian_stopwords = ['dan', 'yang', 'di', 'ke', 'dari', 'pada', 'untuk', 'adalah', 'itu', 'ini', 'dengan', 'sebagai', 'dapat', 'jika']

def get_top_n_gram(corpus,ngram_range,n=None):
    vec = CountVectorizer(ngram_range=ngram_range,stop_words = indonesian_stopwords).fit(corpus)
    # 剩余逻辑和原代码完全一致

内容的提问来源于stack exchange,提问作者cyra

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.15 11:27:04