Scikit-Learn中LinearRegression与Ridge结果不一致问题咨询

1. 正则化的固有差异（如果你的Ridge设置了alpha > 0） #

首先要明确：LinearRegression是无正则化的普通最小二乘回归，目标是最小化纯均方误差（MSE）；而Ridge回归是带L2正则化的最小二乘，目标函数是 MSE + α * ||权重向量||²，其中α是正则化强度。

哪怕你把α设得非常小（比如0.0001），正则化项依然会对最优权重产生微小的“收缩”效果——它会把权重往0的方向拉一点，以此降低模型的过拟合风险。这种收缩是系统性的，所以Ridge的结果必然和无正则化的LinearRegression存在细微差异，这完全是正则化设计的初衷，属于正常现象。

2. 求解器的数值近似差异（哪怕你把alpha设为0） #

如果为了对齐目标函数，你把Ridge的alpha设为0，理论上它的目标和LinearRegression完全一致，但两者的求解方法天差地别：

• LinearRegression在sklearn中默认使用SVD分解或正规方程求解，这是精确的解析解法，能直接计算出全局最优的权重值，不存在近似误差（只要数值计算精度足够）。
• SAG求解器是随机平均梯度下降，属于迭代式的近似解法：它每次随机选取少量样本计算梯度，然后迭代更新权重。即使迭代次数足够多，它也无法完全达到解析解的精确值——一方面是随机采样带来的微小噪声（哪怕你的样本只有47个，每次迭代采样的子集也会有波动），另一方面是迭代算法本身的数值精度限制。而且因为是随机方法，每次运行的结果都会有细微的不同（除非你固定了random_state参数）。

你提到“迭代次数不影响该现象”，这是因为当迭代次数足够时，SAG已经收敛到了最优解附近的“平台区”，继续迭代也不会让参数有明显变化，但这个平台区的参数值和解析解之间的微小差距会一直存在，不会消失。

补充：和你之前实现的常规梯度下降对比 #

你之前做过常规梯度下降（全量样本计算梯度），其实也能类比：常规梯度下降如果迭代步数足够多、学习率设置合理，会非常接近解析解，但依然可能因为数值精度问题存在细微差异；而SAG的随机性会让这种差异的波动更明显，每次运行的结果都略有不同。

内容的提问来源于stack exchange，提问作者Fackelmann