SKlearn MLPClassifier的predict_proba输出概率和不为1的原因排查

我用sklearn的MLPClassifier做18分类任务（非多标签，仅预测单一类别），训练数据X维度是(103393, 300)，目标标签Y是独热编码向量，维度(103393, 18)，已经用以下代码验证每行和为1，独热编码没问题：

import pandas as pd
pd.DataFrame(Y.sum(axis=1)).value_counts()

拟合模型后调用predict_proba获取类别概率，发现概率向量的和有时接近1（怀疑是舍入误差），但有时只有0.5左右，比如某样本的概率向量和为0.46675437349917814。训练代码示例：

from sklearn.neural_network import MLPClassifier

X_train, Y_train, X_test, Y_test = get_data()

model = MLPClassifier(max_iter=10000)
model.fit(X_train,Y_train)
probability_vector = model.predict_proba(X_test[0, :].reshape(1,-1))

已经考虑过类别不平衡（但代表性好的类别也有这个问题）、模型不确定性，想排查是不是模型初始化错误或其他潜在原因？

排查方向及原因分析 #

• 检查输出层激活函数适配情况
  MLPClassifier在处理多分类任务时，若目标是独热编码的二维数组，会自动将输出层激活函数设为softmax（保证输出概率和为1）。可以通过print(model.out_activation_)直接查看输出层激活函数，确认是否为softmax；若不是，大概率是模型对任务类型识别异常或参数被误改。

• 确认模型是否收敛
  即便设置了max_iter=10000，模型仍可能未收敛。查看model.loss_curve_的变化趋势：如果曲线末端仍有明显波动，说明训练未完成，此时predict_proba的输出会不稳定，概率和也会异常。建议开启early_stopping=True，搭配validation_fraction设置验证集比例，让模型在损失不再下降时提前终止，同时通过model.n_iter_查看实际迭代次数，判断收敛状态。

• 排查数据预处理问题
  MLP对数据尺度极度敏感，若特征未做归一化/标准化，或者存在异常值、缺失值，会导致模型训练不稳定，输出概率分布异常。可以用StandardScaler对X做标准化处理后重新训练：

from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)

model = MLPClassifier(max_iter=10000)
model.fit(X_train_scaled, Y_train)

• 验证独热编码的完整性
  虽然已验证每行和为1，但需确认Y的取值是否严格为0和1，是否存在非0/1的数值（比如浮点型的近似值）。可以用pd.DataFrame(Y.flatten()).value_counts()查看所有元素的取值分布，确保没有异常值混入。

• 排除初始化随机性的影响
  MLP的权重初始化是随机的，若某次初始化导致模型陷入糟糕的局部极小值，可能输出异常。可以固定random_state参数（如random_state=42），多次重复训练和预测，若问题依然存在，则排除初始化随机性的原因；若仅某次出现，则可能是随机初始化导致的偶发问题。

• 检查输入数据的正确性
  确认X_test[0, :].reshape(1,-1)的形状、数据类型和特征值是否正常，比如是否存在NaN、无穷大值，或者特征维度与训练集不匹配。可以用print(np.isnan(X_test[0, :]).any())排查数据异常。

内容的提问来源于stack exchange，提问作者Vid Stropnik