使用Voting Classifier集成模型时触发NumPy类型转换错误

嘿，这个类型错误的原因其实一眼就能看穿——你把回归模型LinearRegression塞进了专门用于分类任务的VotingClassifier里！

为什么会触发这个报错？ #

VotingClassifier是为分类场景设计的集成工具，它对每个基模型的输出有明确要求：

• 硬投票（voting='hard'）模式下：期望模型输出整数类型的类别标签（比如0、1、2这类离散值）
• 软投票（voting='soft'）模式下：期望模型输出每个类别的概率值（浮点数数组，用于加权计算投票结果）

但LinearRegression是回归模型，它的输出是连续的浮点数（比如4.8、6.3这类），当VotingClassifier尝试把这些回归结果当作分类标签处理时，自然会触发“无法将float64转成int64”的类型错误——因为回归输出根本不是合法的分类标签格式。

快速修复方案 #

1. 替换回归模型为分类模型

你的任务是分类（目标列Fit to Job是分类变量），完全不需要回归模型。把LinearRegression换成适合分类任务的线性模型，比如LogisticRegression：

from sklearn.ensemble import VotingClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.svm import SVC
from sklearn.neighbors import KNeighborsClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.linear_model import LogisticRegression  # 替换LinearRegression
from sklearn.model_selection import cross_val_score
import pandas as pd
import numpy as np

# 模拟数据（匹配你提到的mockResults逻辑）
def mockResults():
    data = {
        'Tool_Skill': np.random.randint(0, 11, 100),
        'Fit to Job': np.random.randint(0, 2, 100)  # 假设是二分类场景
    }
    return pd.DataFrame(data)

df = mockResults()
X = df[['Tool_Skill']]
y = df['Fit to Job']

# 构建全分类器的集成列表
estimators = [
    ('rf', RandomForestClassifier()),
    ('svc', SVC(probability=True)),  # 软投票需要开启概率输出
    ('knn', KNeighborsClassifier()),
    ('gnb', GaussianNB()),
    ('lr', LogisticRegression())  # 用分类型线性模型替代回归模型
]

# 初始化VotingClassifier（示例用软投票，也可改为hard）
voting_clf = VotingClassifier(estimators=estimators, voting='soft')

# 执行10折交叉验证
scores = cross_val_score(voting_clf, X, y, cv=10)
print(f"交叉验证平均准确率：{scores.mean():.2f}")

2. 额外注意事项

• 如果用硬投票模式（voting='hard'），确保所有分类器都能输出明确的类别标签（大部分分类器默认支持）；
• 如果用软投票模式（voting='soft'），必须保证每个基模型都实现了predict_proba方法——比如SVC需要手动设置probability=True才能启用概率输出；
• 永远不要在分类任务的集成模型里混用回归模型，两者的输出逻辑完全不兼容。

内容的提问来源于stack exchange，提问作者Tiago Duque