关于sklearn MLPRegressor线性激活是否为线性模型的技术问询

你的观察完全准确——如果MLP的所有隐藏层都使用identity（恒等）激活函数，整个网络确实等价于一个普通的线性回归模型，因为线性变换的叠加本质还是线性变换，最终可以合并成单一的权重矩阵加偏置的形式。

这个选项存在的核心意义主要有这几点：

• 网格搜索便捷性：在模型调优的网格搜索流程中，你可以把激活函数作为参数之一纳入搜索范围，包含identity选项后，就能在同一套代码里直接对比线性模型和非线性神经网络的效果，无需单独编写线性回归的调优代码，大幅简化实验流程。
• 统一模型接口：如果你已经基于MLPRegressor搭建了一套训练、评估的代码框架，想要快速切换到线性模型做对比，只需修改activation='identity'即可，不用重构代码去调用LinearRegression或其他线性模型类，保持了代码的一致性。
• 灵活正则化支持：MLPRegressor自带的正则化机制（L1、L2、dropout）比普通线性模型更灵活——比如你可以同时给线性模型施加L1+L2正则，或者尝试dropout正则化，这些都是Ridge、Lasso这类专用线性模型无法直接实现的，而用identity激活的MLP就能做到。
• 教学/实验验证：用于验证“全线性神经网络等价于线性模型”的理论结论，通过实际运行代码，能直观观察到两者的预测结果、模型性能完全一致，帮助理解线性变换的叠加特性。

内容的提问来源于stack exchange，提问作者Harry Salmon