Sklearn中SAG、lbfgs求解器是否会对截距项施加正则惩罚？

你的判断完全正确：除了liblinear之外，包括SAG、SAGA、lbfgs、newton-cg、newton-cholesky在内的所有scikit-learn广义线性模型求解器，都不会对截距项施加正则惩罚。
具体依据如下：

• 从代码实现层面，这些求解器在计算正则损失、正则梯度的时候，会显式将截距参数排除在计算范围外：正则项仅作用于对应输入特征的系数数组coef_，截距intercept_的参数更新完全由拟合数据的损失梯度决定，不会叠加正则项带来的权重收缩效果。
• 这也正是intercept_scaling参数仅对liblinear生效的核心原因：liblinear的底层实现没有单独为截距做正则豁免，而是通过构造一列取值恒为intercept_scaling的合成特征，把截距转化成这个合成特征的权重，和普通特征一起参与带正则的训练，因此才需要通过放大合成特征的取值，降低正则对这个“伪特征权重”也就是截距的影响。其余求解器从设计上就把截距和特征系数分开存储、分开更新，从根源上没有给截距加正则，自然不需要这个兼容参数。
• 你也可以通过小实验快速验证：构造一个标签存在固定全局偏移的模拟数据集，固定相同的正则强度，分别用默认参数的liblinear和lbfgs训练模型，会看到liblinear输出的截距因为被正则压缩明显偏小，而lbfgs输出的截距和关闭正则训练得到的截距几乎没有差异。

内容的提问来源于stack exchange，提问作者Ahmed Elashry