Python使用sklearn CountVectorizer出现Series歧义ValueError如何解决

错误原因 #

• 初始化写法错误：CountVectorizer构造函数的第一个位置参数不是待处理的数据集，你直接把Token这个Series传入构造函数，触发了内部逻辑的布尔判断异常，就是你看到的报错。
• 数据格式异常：pandas将列表类型的列写入csv时会自动序列化为字符串，重新读取后Token列的每个元素是字符串形式的列表（比如"['词1', '词2']"），不是真实的列表结构，也会导致后续处理失败。

修复步骤 #

1. 修正初始化写法 #

不要给CountVectorizer的构造函数传入数据集，默认初始化即可。如果你的Token列是已经分好词的列表，需要额外指定analyzer参数，避免工具重复分词：

# 处理已分词的列表数据用这个初始化
count_vector = CountVectorizer(analyzer=lambda x: x)
# 处理未分词的Preprocess列（干净文本）用默认初始化即可
# count_vector = CountVectorizer()

2. 修复csv加载后的列表格式 #

读取csv之后先把Token列的字符串转回真实列表：

import ast
df['Token'] = df['Token'].apply(ast.literal_eval)

3. 完整可运行代码 #

import ast
import pandas as pd
from sklearn.feature_extraction.text import CountVectorizer

# 修复Token列的列表格式
df['Token'] = df['Token'].apply(ast.literal_eval)

# 初始化词袋模型
count_vector = CountVectorizer(analyzer=lambda x: x)

# 训练模型并生成结果
count_vector.fit(df['Token'])
# sklearn 1.0+版本用get_feature_names_out()，旧版本用get_feature_names()
feature_names = count_vector.get_feature_names_out()
doc_array = count_vector.transform(df['Token']).toarray()
print(doc_array)

验证方法 #

运行修复代码前先执行print(type(df['Token'].iloc[0]))，确认输出为list后再运行后续逻辑即可。

内容的提问来源于stack exchange，提问作者Abbi KRK