MLPClassifier结合make_classification的3D决策边界样本点分离问题求助
3D分类决策边界绘制问题排查与修正方案
核心问题根源
- 数据生成逻辑完全不匹配3D绘图需求
- 原代码生成10维数据、仅设置2个有效区分特征,剩余8个全为随机噪声维度;绘图时强行取第3个噪声特征作为z轴,该维度本身无类别区分度,两类样本必然混杂。
- 未将数据设置为三维天然可分的结构,和目标呈现的样本分布逻辑存在本质差异。
- 模型训练流程存在操作错误
- 完成训练/测试集划分后,未使用占比70%的大样本训练集拟合模型,反而用仅30%容量的小测试集训练,样本量不足导致模型无法学习到有效分类规律。
- 手动对两类样本的三维坐标施加固定偏移(一类x+2/y-2/z-5,另一类x-2/y+2/z+5),人为扭曲了原始样本的空间分布,既造成视觉混杂,也让决策平面与实际样本空间完全错位。
- 决策边界计算存在本质偏差
- 模型基于10维特征训练,但计算决策平面时仅取前3个维度的权重,直接忽略剩余7个特征对决策边界的贡献,推导的平面根本不是模型真实的分类界面。
- MLP配置为无隐藏层的线性结构,搭配300次的迭代上限,在高维噪声数据下极易出现不收敛,进一步放大决策边界的偏差。
- 代码缺失必要导入语句:原代码未显式导入
numpy和matplotlib.pyplot,实际运行会触发未定义变量报错。
调整方案与可运行代码
针对上述问题逐一修正:
- 调整数据生成参数,直接生成3维可分的二分类数据,让3个维度全部带类别区分度,不存在噪声、冗余、重复的无效特征,保证两类样本在3D空间天然成团分布。
- 修正训练流程,使用划分好的训练集拟合模型,适当调大迭代次数保证模型收敛。
- 基于3维特征空间的真实权重、偏置推导决策平面方程,保证绘制的边界与模型实际输出完全一致。
- 删除所有手动修改样本坐标的操作,还原样本的真实空间位置。
修正后的完整可运行代码:
import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split from sklearn.neural_network import MLPClassifier # 生成3维可分的二分类数据 X, y = make_classification( n_samples=550, n_features=3, n_informative=3, n_redundant=0, n_repeated=0, n_clusters_per_class=1, random_state=0 ) # 常规数据集划分 X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.3, random_state=1 ) # 初始化并训练MLP mlp = MLPClassifier( hidden_layer_sizes=(), max_iter=1000, random_state=0 ) # 使用训练集拟合模型,禁止用测试集训练 clf = mlp.fit(X_train, y_train) # 基于模型真实权重推导决策平面方程:w0*x + w1*y + w2*z + b = 0 w = clf.coefs_[0].flatten() b = clf.intercepts_[0] z = lambda x, y: (-b - w[0]*x - w[1]*y) / w[2] # 生成网格坐标 tmp = np.linspace(-5, 5, 30) x_grid, y_grid = np.meshgrid(tmp) # 绘制3D图 fig = plt.figure(figsize=(8,6)) ax = fig.add_subplot(111, projection='3d') # 绘制原始测试集样本,不做手动坐标偏移 ax.scatter( X_test[y_test==0, 0], X_test[y_test==0, 1], X_test[y_test==0, 2], c='b', marker='^', alpha=0.6, label='类别0' ) ax.scatter( X_test[y_test==1, 0], X_test[y_test==1, 1], X_test[y_test==1, 2], c='r', marker='o', alpha=0.6, label='类别1' ) # 绘制决策平面 ax.plot_surface(x_grid, y_grid, z(x_grid, y_grid), alpha=0.3, color='gray') ax.view_init(30, 60) ax.legend() plt.show()
运行上述代码即可得到两类样本被决策平面清晰分离的3D绘图效果,和目标呈现逻辑一致。
内容的提问来源于stack exchange,提问作者jazz kek
相关产品推荐
相关产品推荐

