在sklearn GaussianNB中使用独热编码标签报错的排查与解决

问题背景 #

你有一个分类数据集，标签范围从s002到s057，使用pandas读取数据后将特征存入X，标签存入二维列表y，再通过OneHotEncoder把标签转为独热编码格式。这种格式在KNN和神经网络中能正常使用，但在训练GaussianNB时抛出ValueError: bad input shape (14280, 51)；如果对独热标签逆编码，虽然能运行但会触发数据转换警告，且准确率远低于其他模型。

错误原因 #

Scikit-learn中的GaussianNB（高斯朴素贝叶斯）是为单标签分类任务设计的，它要求输入的标签y是1维数组（形状为(n_samples,)），但你传入的独热编码标签是2维矩阵（形状为(n_samples, n_classes)），完全不符合它的输入要求，因此抛出了形状不匹配的错误。

而KNN（KNeighborsClassifier）等模型支持独热编码标签，是因为它们的fit方法兼容多标签输入格式（允许y是二维数组），但GaussianNB不具备这个特性。

另外，你逆编码后出现警告的原因是：enc.inverse_transform(y_train)返回的是二维数组（形状为(n_samples, 1)），而GaussianNB需要的是1维数组，所以触发了DataConversionWarning，提示你需要将y转为(n_samples,)的形状。

解决方案 #

针对GaussianNB的特性，你有两种可行的解决方案：

方案1：直接使用原始1维标签（推荐）

跳过独热编码步骤，直接从数据中提取1维的原始标签，既符合GaussianNB的输入要求，也能避免额外的数据转换开销：

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB
from sklearn.metrics import accuracy_score, classification_report

# 读取数据
data = pd.read_csv('data.csv').values

# 准备输入与输出：直接提取1维标签
X = data[:, 3:]  # 替代循环写法，更高效
y = data[:, 0]   # 直接获取原始标签，形状为(n_samples,)

# 划分数据
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.15, random_state=1)
X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, test_size=0.17645, random_state=1)

# 转换数据类型（保持原有逻辑）
X_train = X_train.astype(float)
X_test = X_test.astype(float)
X_val = X_val.astype(float)

# 训练GaussianNB
model = GaussianNB()
model.fit(X_train, y_train)

# 评估模型
y_pred = model.predict(X_test)
print(">>> Accuracy Score (%)")
print(accuracy_score(y_test, y_pred, normalize=False) / len(y_test) * 100, '\n')
print(">>> Classification Report")
print(classification_report(y_test, y_pred))

方案2：对独热编码的标签逆编码后转为1维数组

如果你已经完成了独热编码的流程，只需将逆编码后的二维数组转为1维即可消除警告，同时符合GaussianNB的输入要求：

# 逆编码并转为1维数组
y_train = enc.inverse_transform(y_train).ravel()  # ravel()将二维数组转为1维
y_test = enc.inverse_transform(y_test).ravel()

# 训练GaussianNB
model = GaussianNB()
model.fit(X_train, y_train)

关于准确率的说明 #

你提到逆编码后准确率只有67%，而其他模型能到80%，这并非标签格式的问题——GaussianNB本身是一种简单的概率模型，对数据分布的假设较强（假设特征服从高斯分布），在某些复杂数据集上的表现确实会不如KNN或神经网络。如果需要提升GaussianNB的性能，可以尝试：

• 对特征进行标准化/归一化处理（GaussianNB对特征尺度敏感）
• 调整模型参数（比如var_smoothing）
• 筛选更具区分度的特征

内容的提问来源于stack exchange，提问作者Mehmet Emin Yıldırım